Document
拖动滑块完成拼图
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

虚拟装扮系统、方法、设备及介质 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

摘要:本发明涉及一种虚拟装扮系统、方法、设备及介质,该系统包括:眼镜,该眼镜包含存储器和处理器,用于:提供服饰选择界面,接收用户所选择的选定服饰;采集视觉数据,包含由镜子反射出的人体影像;根据视觉数据得到当前人体姿态;获取选定服饰的服饰模型,获取选定服饰的服饰关键点与人体关键点的匹配信息;根据当前人体姿态、以及选定服饰的服饰模型和匹配信息来得到选定服饰的已匹配当前人体姿态的服饰模型;根据已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果;显示服饰渲染结果。利用本发明的虚拟装扮系统、方法、设备及介质,用户仅需佩戴增强现实眼镜并使用身边的任意的普通镜子,就能实现虚拟装扮体验,灵活方便,用户体验好。

主权项:1.一种虚拟装扮系统,其特征在于,所述系统包括:眼镜,包含存储器和处理器;服饰选择模块,用于提供服饰选择界面,接收用户所选择的服饰作为选定服饰;视觉数据采集模块,用于采集视觉数据,所述视觉数据包含由镜子反射出的人体影像;姿势识别与定位模块,用于根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态;其中,所述当前人体姿态包括多个人体关键点的当前姿态信息;服饰数据获取模块,用于获取所述选定服饰的服饰模型,所述服饰模型包括多个服饰关键点,获取所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息;服饰与人体姿态融合模块,用于根据所述人体关键点的当前姿态信息、以及所述选定服饰的所述服饰模型和所述匹配信息,来确定所述选定服饰的所述服饰关键点的当前姿态信息,以得到所述选定服饰的已匹配当前人体姿态的服饰模型;渲染模块,用于根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果;服饰显示模块,用于通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果,用以采用增强现实形式展示装扮效果;其中,所述服饰选择模块、所述视觉数据采集模块、所述姿势识别与定位模块、所述服饰数据获取模块、所述服饰与人体姿态融合模块、所述渲染模块、所述服饰显示模块之中的一个或多个设置于所述眼镜的存储器上。

全文数据:虚拟装扮系统、方法、设备及介质技术领域本发明涉及增强现实技术领域,特别是涉及一种虚拟装扮系统、方法、设备及介质。背景技术虚拟装扮virtualdressing也称为虚拟试穿,指的是用户选择一件、一类、多件或多类时尚服饰后,将该时尚服饰的二维或三维图像叠加在用户身上,这样用户就能够观察到装扮上这些时尚服饰的自己是什么样子了。现有多种实现虚拟装扮的方法。在这些方法中,有的利用了增强现实技术和动作跟踪技术来生成视频,使得在该视频中用户看起来像是穿着虚拟服饰。该方法需要利用特殊设计的虚拟试衣镜,包括屏幕、摄像头以及用于渲染虚拟服饰的处理单元,用于捕捉用户的姿势以在该用户上呈现时尚服饰,并利用该屏幕上显示出来。从用户使用角度来说,这种系统不够灵活,用户体验较差。如果用户将这种系统置于家中,就不能在外使用该系统。发明内容本发明的目的在于提供一种新的虚拟装扮系统、方法、设备及介质,在使用过程中,用户仅需佩戴增强现实眼镜并使用身边的任意的普通镜子,就能实现虚拟装扮体验,灵活方便,用户体验好。本发明的目的采用以下技术方案来实现。依据本发明提出的虚拟装扮系统,所述系统包括:眼镜,包含存储器和处理器;服饰选择模块,用于提供服饰选择界面,接收用户所选择的服饰作为选定服饰;视觉数据采集模块,用于采集视觉数据,所述视觉数据包含由镜子反射出的人体影像;姿势识别与定位模块,用于根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态;其中,所述当前人体姿态包括多个人体关键点的当前姿态信息;服饰数据获取模块,用于获取所述选定服饰的服饰模型,所述服饰模型包括多个服饰关键点,获取所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息;服饰与人体姿态融合模块,用于根据所述人体关键点的当前姿态信息、以及所述选定服饰的所述服饰模型和所述匹配信息,来确定所述选定服饰的所述服饰关键点的当前姿态信息,以得到所述选定服饰的已匹配当前人体姿态的服饰模型;渲染模块,用于根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果;服饰显示模块,用于通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果,用以采用增强现实形式展示装扮效果;其中,所述服饰选择模块、所述视觉数据采集模块、所述姿势识别与定位模块、所述服饰数据获取模块、所述服饰与人体姿态融合模块、所述渲染模块、所述服饰显示模块之中的一个或多个设置于所述眼镜的存储器上。本发明的目的还可以采用以下的技术措施来进一步实现。前述的虚拟装扮系统,所述姿势识别与定位模块包括镜子识别定位单元和姿势识别与定位单元;所述镜子识别定位单元用于将所述视觉数据中的镜子的区域分割出来得到镜内视觉数据,所述镜内视觉数据包含所述人体影像;所述姿势识别与定位单元用于根据所述镜内视觉数据来得到所述当前人体姿态。前述的虚拟装扮系统,所述视觉数据采集模块具体用于采集二维视觉数据;所述姿势识别与定位模块具体用于:利用DensePose方式,根据所述二维视觉数据估计得到有蒙皮的多人线性模型作为所述当前人体姿态,包括得到所述有蒙皮的多人线性模型中的多个三维的所述人体关键点的所述当前姿态信息。前述的虚拟装扮系统,所述多个人体关键点是头、颈部、左肩、右肩、左大臂、右大臂、左前臂、右前臂、左手、右手、胸部、腹部、左大腿、右大腿、左小腿、右小腿、左脚和右脚。前述的虚拟装扮系统,所述服饰数据获取模块具体用于:获取所述选定服饰的服饰三维模型,获取所述选定服饰的三维的所述服饰关键点与三维的所述人体关键点的匹配信息;所述渲染模块具体用于:根据三维的所述已匹配当前人体姿态的服饰模型进行渲染得到所述选定服饰的服饰二维图像;所述服饰显示模块具体用于:通过将所述服饰二维图像叠加到用户看到的所述人体影像上来显示所述服饰二维图像。前述的虚拟装扮系统,所述服饰渲染模块包括光照模拟单元,用于:获取当前的光照条件;在根据所述已匹配当前人体姿态的服饰模型进行渲染时,根据所述光照条件动态设定虚拟世界的光源。前述的虚拟装扮系统,所述系统还包括校准模块,用于通过将人脸信息作为校准的标记,来对所述服饰渲染结果的待展示位置进行校准;所述服饰显示模块具体用于:根据校准后的所述待展示位置,将校准后的所述服饰渲染结果叠加到用户看到的所述人体影像上。前述的虚拟装扮系统,所述校准模块包括:人脸关键点识别单元,用于识别所述人体影像的面部关键点;标准人脸展示单元,用于利用所述眼镜展示预设的标准人脸图像,并提示用户进行移动以将用户面部与所述标准人脸图像对齐;人脸对齐判断单元,用于根据识别出的所述面部关键点判断用户面部是否与所述标准人脸图像对齐;校准单元,用于在所述用户面部与所述标准人脸图像对齐时,确定相机坐标系与显示坐标系的坐标映射关系,用以根据所述坐标映射关系来校准所述服饰渲染结果的待展示位置。前述的虚拟装扮系统,所述系统还包括数据库,用于存储多个可选服饰的服饰模型、以及所述可选服饰的服饰模型中的一个或多个服饰关键点与一个或多个人体关键点的匹配信息;所述服饰数据获取模块具体用于:从所述数据库中调出所述选定服饰的所述服饰模型、和所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息;所述系统还包括数据库录入模块,用于:预先接收所述可选服饰的服饰模型,将所述可选服饰的服饰模型中的一个或多个服饰关键点与人体关键点相匹配得到匹配信息,并录入所述数据库。前述的虚拟装扮系统,还包括服饰效果备忘录模块,用于:每隔一个预设的时间间隔,利用所述服饰选择模块、所述视觉数据采集模块、所述姿势识别与定位模块、所述服饰数据获取模块、所述服饰与人体姿态融合模块、所述渲染模块和所述服饰显示模块,重复进行所述采集视觉数据至所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果的多个步骤,以实时地显示装扮效果;对每次重复过程中的所述视觉数据、所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息、所述已匹配当前人体姿态的服饰模型中的一个或多个进行记录以生成历史装扮记录。前述的虚拟装扮系统,所述系统还包括显示模式判断模块,用于根据当前处于在线状态或离线状态、和或根据用户的选择,来判断显示模式;所述显示模式包括第一显示模式、第二显示模式、第三显示模式的一个或多个;所述服饰显示模块包括第一显示单元、第二显示单元、第三显示单元中的一个或多个;所述第一显示单元用于:若所述显示模式是所述第一显示模式,则在显示所述服饰渲染结果时,将所述服饰渲染结果叠加到由所述镜子反射出的所述人体影像上,以便用户从所述镜子中看到虚拟装扮的自己;所述第二显示单元用于:若所述显示模式是所述第二显示模式,则在显示所述服饰渲染结果时,将所述服饰渲染结果叠加到所述历史装扮记录中的所述视觉数据中的所述人体影像上进行显示,以展示叠加了虚拟装扮效果的视觉数据;所述第三显示单元用于:若所述显示模式是所述第三显示模式,则在显示所述服饰渲染结果时,将所述服饰渲染结果叠加到实时采集到的所述视觉数据中的所述人体影像上进行显示,以展示叠加了虚拟装扮效果的视觉数据。本发明的目的还采用以下的技术方案来实现。依据本发明提出的虚拟装扮方法,包括以下步骤:提供服饰选择界面,接收用户所选择的服饰作为选定服饰;采集视觉数据,所述视觉数据包含由镜子反射出的人体影像;根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态;其中,所述当前人体姿态包括多个人体关键点的当前姿态信息;获取所述选定服饰的服饰模型,所述服饰模型包括多个服饰关键点,获取所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息;根据所述人体关键点的当前姿态信息、以及所述选定服饰的所述服饰模型和所述匹配信息,来确定所述选定服饰的所述服饰关键点的当前姿态信息,以得到所述选定服饰的已匹配当前人体姿态的服饰模型;根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果;通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果,用以采用增强现实形式展示装扮效果。本发明的目的还可以采用以下的技术措施来进一步实现。前述的虚拟装扮方法,所述根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态包括:将所述视觉数据中的镜子区域分割出来得到镜内视觉数据,所述镜内视觉数据包含所述人体影像;根据所述镜内视觉数据来得到所述当前人体姿态。前述的虚拟装扮方法,所述采集视觉数据包括采集二维视觉数据;所述根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态包括:利用DensePose方式,根据所述二维视觉数据估计得到有蒙皮的多人线性模型作为所述当前人体姿态,包括得到所述有蒙皮的多人线性模型中的多个三维的所述人体关键点的所述当前姿态信息。前述的虚拟装扮方法,所述多个人体关键点是头、颈部、左肩、右肩、左大臂、右大臂、左前臂、右前臂、左手、右手、胸部、腹部、左大腿、右大腿、左小腿、右小腿、左脚和右脚。前述的虚拟装扮方法,所述获取所述选定服饰的服饰模型包括:获取所述选定服饰的服饰三维模型;所述获取所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息包括:获取所述选定服饰的三维的所述服饰关键点与三维的所述人体关键点的匹配信息;所述根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果包括:根据三维的所述已匹配当前人体姿态的服饰模型进行渲染得到所述选定服饰的服饰二维图像;所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果包括:将所述服饰二维图像叠加到用户看到的所述人体影像上来显示所述服饰二维图像。前述的虚拟装扮方法,所述根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果包括:获取当前的光照条件;在根据所述已匹配当前人体姿态的服饰模型进行渲染时,根据所述光照条件动态设定虚拟世界的光源。前述的虚拟装扮方法,在所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果的步骤之前,还包括:通过将人脸信息作为校准的标记,来对所述服饰渲染结果的待展示位置进行校准;所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果包括:根据校准后的所述待展示位置,将所述校准后的所述服饰渲染结果叠加到用户看到的所述人体影像上。前述的虚拟装扮方法,所述通过将人脸信息作为校准的标记,来对所述服饰渲染结果的待展示位置进行校准包括:识别所述人体影像的面部关键点;展示预设的标准人脸图像,并提示用户进行移动以将用户面部与所述标准人脸图像对齐;根据识别出的所述面部关键点判断用户面部是否与所述标准人脸图像对齐;在所述用户面部与所述标准人脸图像对齐时,确定相机坐标系与显示坐标系的坐标映射关系,用以根据所述坐标映射关系来校准所述服饰渲染结果的待展示位置。前述的虚拟装扮方法,还包括:每隔一个预设的时间间隔,重复进行所述采集视觉数据至所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果的多个步骤,以实时地显示装扮效果;对每次重复过程中的所述视觉数据、所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息、所述已匹配当前人体姿态的服饰模型中的一个或多个进行记录以生成历史装扮记录。前述的虚拟装扮方法,所述方法还包括:根据当前处于在线状态或离线状态、和或根据用户的选择,来判断显示模式,所述显示模式包括第一显示模式、第二显示模式、第三显示模式的一个或多个;所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果,包括以下的一个或多个步骤:若所述显示模式是所述第一显示模式,则在显示所述服饰渲染结果时,将所述服饰渲染结果叠加到由所述镜子反射出的所述人体影像上,以便用户从所述镜子中看到虚拟装扮的自己;若所述显示模式是所述第二显示模式,则在显示所述服饰渲染结果时,将所述服饰渲染结果叠加到所述历史装扮记录中的所述视觉数据中的所述人体影像上进行显示,以展示叠加了虚拟装扮效果的视觉数据;若所述显示模式是所述第三显示模式,则在显示所述服饰渲染结果时,将所述服饰渲染结果叠加到实时采集到的所述视觉数据中的所述人体影像上进行显示,以展示叠加了虚拟装扮效果的视觉数据。本发明的目的还采用以下的技术方案来实现。依据本发明提出的一种设备,包括:存储器,用于存储非暂时性计算机可读指令;以及处理器,用于运行所述计算机可读指令,使得所述计算机可读指令被所述处理器执行时实现前述的虚拟装扮方法的步骤。本发明的目的还采用以下的技术方案来实现。依据本发明提出的一种计算机可读存储介质,用于存储计算机程序,所述程序在由计算机或处理器执行时实现前述方法实施例的步骤。本发明与现有技术相比具有明显的优点和有益效果。借由上述技术方案,本发明提出的虚拟装扮系统、方法、设备及介质至少具有下列优点及有益效果:1本发明利用增强现实眼镜和一个普通的镜子来实现虚拟装扮体验,在使用过程中,用户仅需佩戴增强现实眼镜,身边的每一面普通镜子都会变成“虚拟试衣镜”,虚拟试衣体验不受特别设计的大屏幕的限制,灵活方便,用户体验好;2本发明通过先将视觉数据中的镜子区域分割出来,再利用得到的镜内视觉数据进行人体姿态识别,能够去除视觉数据中的非镜子区域存在人员时对虚拟装扮的干扰,有利于更准确地识别到用户;3本发明通过利用DensePose方式估计SMPL模型来得到当前人体姿态,能够准确地确定当前人体姿态数据;4本发明通过在人体模型中设置头、颈部、左肩、右肩、左大臂、右大臂、左前臂、右前臂、左手、右手、胸部、腹部、左大腿、右大腿、左小腿、右小腿、左脚、右脚等18个人体关键点,有助于提升人体姿态识别的速度,并能够在提升人体姿态识别速度的同时准确地进行虚拟装扮;5本发明通过将三维的服饰建模成形变物体,服饰会跟随人体姿态的变化发生形变,产生较好的体验效果;6本发明根据光照条件动态设定虚拟世界的光源,能够反映服饰在真实场景中的颜色,产生真实的渲染效果,便于用户进行颜色搭配;7本发明通过利用人脸信息进行标定来实现校准,能够在展现虚拟服饰时更准确地将虚拟服饰叠加到用户身上;8本发明通过设置多种显示模式,能够根据在线、离线的不同状态、或根据用户的选择,采用多种方式展示虚拟装扮效果,灵活方便,用户体验好。上述说明仅是本发明技术方案的概述,为了能更清楚了解本发明的技术手段,而可依照说明书的内容予以实施,并且为让本发明的上述和其他目的、特征和优点能够更明显易懂,以下特举较佳实施例,并配合附图,详细说明如下。附图说明图1是本发明一个实施例的虚拟装扮系统的结构示意图;图2是本发明另一实施例的虚拟装扮系统的结构示意图;图3是本发明一个实施例的虚拟装扮方法的流程框图;图4是本发明一个实施例的设备的结构框图。具体实施方式为更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的虚拟装扮系统、方法、设备及介质的具体实施方式、结构、特征及其功效,详细说明如后。图1为本发明的虚拟装扮系统100一个实施例的示意性结构图,图2为本发明的虚拟装扮系统100另一个实施例的示意性结构图。请参阅图1或图2,本发明示例的虚拟装扮系统100主要包括:眼镜110。眼镜110包括服饰选择模块111、视觉数据采集模块112、姿势识别与定位模块113、服饰数据获取模块114、服饰与人体姿态融合模块115、渲染模块116、服饰显示模块117之中的一个或多个。在一些示例中,该眼镜110是智能眼镜。可选地,该眼镜110是增强现实眼镜也称为AR眼镜,augmentedrealitygoggles。该眼镜110包含存储器和处理器,前述的服饰选择模块111、视觉数据采集模块112、姿势识别与定位模块113、服饰数据获取模块114、服饰与人体姿态融合模块115、渲染模块116、服饰显示模块117之中的一个或多个设置于眼镜110的存储器上。在使用过程中,需要用户佩戴眼镜110并站在镜子前。该镜子包含能够反射事物的镜面。一般来说,该镜子为普通镜子即可。这是由于AR眼镜上的摄像头无法拍摄用户自身的图像,需要一个镜子以使得AR眼镜上的摄像头能够采集到用户的姿态。该服饰选择模块111用于:提供服饰选择界面,接收用户所选择的一件、一类、多件或多类待试穿的服饰作为选定服饰,输出该选定服饰。需注意,对服饰的类型不做限制,可以是包、上衣、裙子等。在一些示例中,利用眼镜110的屏幕来实现前述的提供服饰选择界面。该视觉数据采集模块112用于:采集视觉数据,输出该视觉数据。其中,该视觉数据包含由镜子反射出的人体的影像。在一些实施例中,该视觉数据包括RGB图像,该RGB图像包含由镜子反射出的用户人体RGB信息;该视觉数据采集模块112包括RGB图像捕捉器,用于采集含有由镜子反射出的用户人体RGB信息的RGB图像。可选地,该视觉数据采集模块112包括设置于眼镜110的摄像头。该姿势识别与定位模块113用于:接收视觉数据,根据该视觉数据得到由镜子反射出的人体的当前人体姿态,输出该当前人体姿态。其中,该当前人体姿态包括多个人体关键点的当前姿态信息。人体关键点也可以称为人体部位关键点、或人体关键部位。一般来说,由镜子反射出的人体即为用户本人。该服饰数据获取模块114用于:接收选定服饰;获取该选定服饰的服饰模型,该服饰模型包括多个服饰关键点;获取选定服饰的服饰关键点与人体关键点的匹配信息。在一个可选示例中,该服饰模型预先储存在服务端中,眼镜110的服饰数据获取模块114获取服务端所提供的选定服饰的服饰模型;在另一个可选示例中,该服饰模型预先储存在眼镜110的存储单元中,眼镜110的服饰数据获取模块114通过读取该存储单元来获取选定服饰的服饰模型。该服饰与人体姿态融合模块115用于:接收当前人体姿态、以及选定服饰的服饰模型和匹配信息,根据人体关键点的当前姿态信息、以及选定服饰的服饰模型和匹配信息,来确定选定服饰的服饰关键点的当前姿态信息,以得到选定服饰的已匹配当前人体姿态的服饰模型。该渲染模块116用于:根据已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果。可选地,该服饰渲染结果包括已匹配当前人体姿态的服饰图像。该服饰显示模块117用于:显示服饰渲染结果。具体地,通过将服饰渲染结果叠加到用户看到的人体影像上来显示该服饰渲染结果,用以采用增强现实形式展示装扮效果。不妨将由镜子反射出的人体影像称为虚像。在一些示例中,利用眼镜110的屏幕来实现前述的展示该服饰渲染结果,将该服饰渲染结果叠加到由镜子反射出的人体影像上。本发明示例的虚拟装扮系统100,利用增强现实眼镜和一个普通的镜子来实现虚拟装扮体验,在使用过程中,用户仅需佩戴增强现实眼镜,身边的每一面普通镜子都会变成“虚拟试衣镜”,灵活方便,用户体验好。在一些实施例中,姿势识别与定位模块113包括镜子识别定位单元和姿势识别与定位单元。该镜子识别定位单元用于:接收视觉数据,利用镜子识别定位模型,将视觉数据中的镜子的区域分割出来得到镜内视觉数据。其中,镜内视觉数据包含由镜子反射出的人体影像。该姿势识别与定位单元用于:根据镜内视觉数据来得到当前人体姿态。利用本发明示例的虚拟装扮系统100,能够去除视觉数据中的非镜子区域存在人员时对虚拟装扮的干扰,有利于更准确地识别到用户。在一些实施例中,采集到的视觉数据是二维图像,例如二维的RGB图像,并根据该二维图像识别出三维的人体姿态。可选地,视觉数据采集模块112具体用于采集二维视觉数据。姿势识别与定位模块113具体用于:利用密集姿态DensePose方式,根据该二维视觉数据估计得到有蒙皮的多人线性模型ASkinnedMulti-PersonLinearModel,简称为SMPL模型,作为当前人体姿态。可选地,前述的得到SMPL模型包括:得到SMPL模型中的多个三维的人体关键点的当前姿态信息。其中,前述的DensePose是一种人体姿态估计技术,其将二维图像中的人类像素映射到三维人体表面,并以每秒多帧的速度处理密集坐标,最后实现动态人物的精确定位和姿态估计。前述的SMPL模型是一种参数化人体模型,包含多种用于描述人体的参数。具体包括用于表示个人体高矮胖瘦、头身比例等多个参数,以及用于表示代表人体整体运动位姿和24个人体关键点的相对角度等多个参数。本发明通过利用DensePose方式估计SMPL模型来得到当前人体姿态,能够准确地得到当前人体姿态数据。需注意,本发明并非仅限采用DensePose方式进行姿态识别,也并非仅限采用SMPL人体模型来表征人体,本发明提出的虚拟装扮系统100也可以采用其他的姿态识别方式、或使用其他的人体模型来实现。需注意,本发明对人体关键点的姿态信息的类型不做限制,可以采用多种方式来表现人体关键点的姿态信息,例如,可以利用平面直角坐标系下的位置坐标来表现人体关键点的姿态信息,也可以是多个关键点之间的相对角度和相对距离来表现人体关键点的姿态信息。在一些实施例中,不采用SMPL模型所常用的24个人体关键点,而是采用较少的人体关键点,以提升利用DensePose方式进行人体姿态估计的速度。同时,还需要考虑虚拟装扮的特点,不能将人体关键点减得过少而影响虚拟装扮效果。具体地,本发明的人体关键点包括:头、颈部、左肩、右肩、左大臂、右大臂、左前臂、右前臂、左手、右手、胸部、腹部、左大腿、右大腿、左小腿、右小腿、左脚、右脚。本发明示例的虚拟装扮系统100,通过在人体模型中设置前述的18个人体关键点,有助于提升利用DensePose模型进行姿态识别的速度,并能够在提升人体姿态估计速度的同时准确地进行虚拟装扮。需注意,本发明提出的前述的18个人体关键点的方式并非仅限于前述的SMPL模型,也可以将该方式应用于本发明的采用其他人体模型的虚拟装扮系统100的实施例之中。在一些实施例中,服饰数据获取模块114具体用于:获取选定服饰的服饰三维模型,获取选定服饰的三维的服饰关键点与三维的人体关键点的匹配信息。同时,服饰与人体姿态融合模块115所生成的已匹配当前人体姿态的服饰模型也是三维的。渲染模块116具体用于:根据三维的已匹配当前人体姿态的服饰模型进行渲染,得到选定服饰的服饰二维图像。服饰显示模块117具体用于:通过将服饰二维图像叠加到用户看到的自身虚像中来显示该服饰二维图像。本发明示例的虚拟装扮系统100,将三维的服饰建模成形变物体,这样服饰会跟随人体姿态的变化发生形变,产生较好的体验效果。在一些实施例中,服饰渲染模块116包括光照模拟单元。该光照模拟单元用于:获取当前的光照条件;以及,在根据已匹配当前人体姿态的服饰模型进行渲染时,根据光照条件动态设定虚拟世界的光源,以便反映服饰在真实场景中的颜色,产生真实的渲染效果,便于用户进行颜色搭配。需注意,可以采用多种方式来实现前述的获取当前的光照条件。在一个实施例中,利用传感器实时采集当前的光照条件;在另一实施例中,获取当前时间,根据预先设定的时间与光照的对应关系来确定当前时间的光照条件;在又一实施例中,同时采用多种方式获取光照条件,并综合考虑多种方式得到的光照条件来确定当前的光照条件。在一些实施例中,本发明的虚拟装扮系统100还包括校准模块118。校准模块118用于校准由服饰渲染模块116生成的服饰二维图像,以供服饰显示模块117展示校准后的服饰二维图像。该校准具体指的是:统一用户所在的真实世界坐标系,和眼镜110的相机坐标系。一般的校准方式包括使用一个2d的标记marker来进行校准。进一步地,在一些实施例中,校准模块118具体用于:利用人脸信息进行标定,通过将人脸信息作为校准的标记marker,来对服饰渲染结果的待展示位置进行校准。而服饰显示模块117具体用于:根据服饰渲染结果的校准后的待展示位置,将校准后的服饰渲染结果叠加到用户看到的人体影像上。作为一个可选的具体实施例,校准模块118具体包括以下单元:人脸关键点识别单元,用于识别视觉数据中的人体影像的面部关键点,例如眉毛、鼻子、嘴巴;标准人脸展示单元,用于利用眼镜110展示预设的标准人脸图像,例如在AR眼镜屏幕上显示一个标准人脸图像,并提示用户进行移动以将用户面部即镜中的人脸与标准人脸图像对齐;人脸对齐判断单元,用于根据识别出的面部关键点判断用户面部是否与标准人脸图像对齐;需注意,并非必须完全对齐,误差在预设的阈值内即可;校准单元,用于在用户面部与标准人脸图像对齐时,确定相机坐标系与显示坐标系的坐标映射关系,用以根据坐标映射关系来校准服饰渲染结果的待展示位置。从而能够将眼镜110屏幕上的服饰渲染结果准确地叠加到由镜子反射出的人体影像上。本发明示例的虚拟装扮系统100,通过利用利用人脸信息进行标定来实现校准,能够将眼镜110屏幕上的虚拟信息准确地叠加到用户看到的真实世界,以让用户产生AR感。在一些实施例中,本发明示例的虚拟装扮系统100还包括数据库120,利用数据库120来获取服饰数据。具体地,数据库120用于存储有多个可供用户选择的可选服饰的服饰模型、以及这些可选服饰的服饰模型中的一个或多个服饰关键点与一个或多个人体关键点的匹配信息。服饰数据获取模块114具体用于:从数据库120中调出选定服饰的服饰模型、和选定服饰的服饰关键点与人体关键点的匹配信息。需要注意的是,数据库120可以通过设置于眼镜110中的存储器来实现。或者,如图2所示,数据库120也可以不设置于眼镜110中,而是设置于服务端,并且通过服饰数据获取模块114与服务端的交互来获取服饰数据。进一步地,本发明示例的虚拟装扮系统100还包括数据库录入模块121。该数据库录入模块121用于:预先接收可供用户选择的可选服饰的服饰模型,将可选服饰的服饰模型中的一个或多个服饰关键点与一个或多个人体关键点相匹配得到匹配信息,并录入数据库120。在一些实施例中,本发明示例的虚拟装扮系统100还包括服饰效果备忘录模块119。服饰效果备忘录模块119用于:每隔一个预设的时间间隔,启动虚拟装扮系统100的前述的多个模块和单元,例如启动视觉数据采集模块112、姿势识别与定位模块113、服饰数据获取模块114、服饰与人体姿态融合模块115、渲染模块116和服饰显示模块117,用以重复进行前述的采集视觉数据至显示服饰渲染结果的多个步骤,以实时地显示装扮效果。进一步地,在一些实施例中,服饰效果备忘录模块119还用于:对每次重复过程中的虚拟装扮信息进行记录,以生成用户历史装扮记录。该虚拟试衣信息包括视觉数据、选定服饰的服饰关键点与人体关键点的匹配信息、已匹配当前人体姿态的服饰模型中的一个或多个。以便用户同时比较不同服饰效果。在一些实施例中,本发明示例的虚拟装扮系统100还包括显示模式判断模块图中未示出,用于根据当前处于在线状态或离线状态、和或根据用户的选择,来判断显示模式。该显示模式包括第一显示模式、第二显示模式、第三显示模式的一个或多个。服饰显示模块117包括第一显示单元、第二显示单元、第三显示单元中的一个或多个。该第一显示单元用于:若显示模式是第一显示模式,则在显示服饰渲染结果时,将服饰渲染结果叠加到由镜子反射出的人体影像上,以便用户从镜子中看到虚拟装扮的自己。该第二显示单元用于:若显示模式是第二显示模式,则在显示服饰渲染结果时,将服饰渲染结果叠加到历史装扮记录中的视觉数据中的人体影像上进行显示,以展示叠加了虚拟装扮效果的视觉数据。该第三显示单元用于:若显示模式是第三显示模式,则在显示服饰渲染结果时,将服饰渲染结果叠加到实时采集到的视觉数据中的人体影像上进行显示,以展示叠加了虚拟装扮效果的视觉数据。作为一个可选的具体示例,显示模式判断模块具体用于:根据当前处于在线状态或离线状态来判断显示模式是第一显示模式、还是第二显示模式;服饰显示模块117包括前述的第一显示单元和第二显示单元。该第一显示单元用于:若处于在线状态,则采用第一显示模式,在显示服饰渲染结果时,将服饰渲染结果叠加到由镜子反射出的人体影像上。在线的体验中,用户看到的是:镜子中的自己以及眼镜110显示的渲染的服饰。该第二显示单元用于:若处于离线状态,则采用第二显示模式,在显示服饰渲染结果时,将服饰渲染结果叠加到历史装扮记录中的视觉数据中的人体影像上进行显示。离线的体验中,用户看到的是:眼镜110中摄像头拍摄的试衣的用户的视频以及眼镜110显示的渲染的服饰。需注意,在一些实施例中,眼镜110不必包括服饰选择模块111、视觉数据采集模块112、姿势识别与定位模块113、服饰数据获取模块114、服饰与人体姿态融合模块115、渲染模块116、服饰显示模块117之中的全部,也可以仅包括其中的一些。而另一些模块可以设置于服务端,或者可以设置于另一设备中。例如,本发明示例的虚拟装扮系统100还包括前述的镜子,该镜子是包含存储器和处理器的智能镜子,前述的另一些模块设置于该镜子中。图3为本发明的虚拟装扮方法一个实施例的示意性流程框图。请参阅图3,本发明示例的虚拟装扮方法主要包括以下步骤:步骤S11,提供服饰选择界面,接收用户所选择的一件、一类、多件或多类待试穿的服饰作为选定服饰。需注意,对服饰的类型不做限制,可以是包、上衣、裙子等。步骤S12,采集视觉数据。其中,该视觉数据包含由镜子反射出的人体的影像。该镜子包含能够反射事物的镜面。一般来说,该镜子为普通镜子即可。可选地,该视觉数据包括RGB图像,该RGB图像包含由镜子反射出的用户人体RGB信息。步骤S13,根据该视觉数据得到由镜子反射出的人体的当前人体姿态。其中,当前人体姿态包括多个人体关键点的当前姿态信息。人体关键点也可以称为人体部位关键点、或人体关键部位。步骤S14,获取选定服饰的服饰模型,其中,服饰模型包括多个服饰关键点。获取选定服饰的服饰关键点与人体关键点的匹配信息。步骤S15,根据该选定服饰的该服饰模型、该匹配信息、以及人体关键点的该当前姿态信息,来确定该选定服饰的服饰关键点的当前姿态信息,以得到该选定服饰的已匹配当前人体姿态的服饰模型。步骤S16,根据已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果。可选地,该服饰渲染结果包括已匹配当前人体姿态的服饰图像。步骤S17,显示服饰渲染结果。具体地,通过将服饰渲染结果叠加到用户看到的人体影像上来显示该服饰渲染结果,用以采用增强现实形式展示装扮效果。在一些实施例中,前述的步骤S13具体包括:利用镜子识别定位模型,将视觉数据中的镜子区域分割出来得到镜内视觉数据,其中,该镜内视觉数据包含由镜子反射出的人体影像;以及,根据镜内视觉数据来得到当前人体姿态。利用本发明示例的虚拟装扮方法,能够去除视觉数据中的非镜子区域存在人员时对虚拟装扮的干扰,有利于更准确地识别到用户。在一些实施例中,采集到的视觉数据是二维图像,例如二维的RGB图像,并根据该二维图像识别出三维的人体姿态。可选地,前述的步骤S12包括:采集二维视觉数据。前述的步骤S13包括:利用密集姿态DensePose方式,根据该二维视觉数据估计得到有蒙皮的多人线性模型ASkinnedMulti-PersonLinearModel,简称为SMPL模型作为当前人体姿态。可选地,前述的得到SMPL模型包括:得到SMPL模型中的多个三维的人体关键点的当前姿态信息。其中,前述的DensePose是一种人体姿态估计技术,其将二维图像中的人类像素映射到三维人体表面,再加上以每秒多帧的速度处理密集坐标,最后实现动态人物的精确定位和姿态估计。前述的SMPL模型是一种参数化人体模型,包含多种用于描述人体的参数。具体包括用于表示个人体高矮胖瘦、头身比例等多个参数,以及用于表示代表人体整体运动位姿和24个人体关键点的相对角度等多个参数。需注意,本发明并非仅限采用DensePose方式进行姿态识别,也并非仅限采用SMPL人体模型来表征人体,也可以采用其他的姿态识别方式、或使用其他的人体模型来进行本发明提出的虚拟装扮方法。在一些实施例中,不采用SMPL模型所常用的24个人体关键点,而是采用较少的人体关键点,以提升利用DensePose方式进行人体姿态估计的速度。同时,还需要考虑虚拟装扮的特点,不能将人体关键点减得过少而影响虚拟装扮效果。具体地,本发明的人体关键点包括:头、颈部、左肩、右肩、左大臂、右大臂、左前臂、右前臂、左手、右手、胸部、腹部、左大腿、右大腿、左小腿、右小腿、左脚、右脚。本发明示例的虚拟装扮方法,通过在人体模型中设置前述的18个人体关键点,有助于提升利用DensePose模型进行姿态识别的速度,并能够在提升人体姿态估计速度的同时准确地进行虚拟装扮。需注意,本发明提出的前述的18个人体关键点的方式并非仅限于前述的SMPL模型,也可以将该方式应用于本发明的采用其他人体模型的虚拟装扮方法的实施例之中。在一些实施例中,前述的步骤S14中的获取选定服饰的服饰模型具体包括:获取选定服饰的服饰三维模型。该步骤S14中的获取选定服饰的服饰关键点与人体关键点的匹配信息具体包括:获取选定服饰的三维的服饰关键点与三维的人体关键点的匹配信息。同时,步骤S15中所生成的已匹配当前人体姿态的服饰模型也是三维的。前述的步骤S16具体包括:根据三维的已匹配当前人体姿态的服饰模型进行渲染,得到选定服饰的服饰二维图像。并且,前述的步骤S17具体包括:通过将服饰二维图像叠加到用户看到的人体影像上来显示该服饰二维图像。本发明示例的虚拟装扮方法,将三维的服饰建模成形变物体,这样服饰会跟随人体姿态的变化发生形变,产生较好的体验效果。在一些实施例中,前述的步骤S16具体包括:获取当前的光照条件;以及,在根据已匹配当前人体姿态的服饰模型进行渲染时,根据该光照条件来动态设定虚拟世界的光源,以便反映服饰在真实场景中的颜色,产生真实的渲染效果,便于用户进行颜色搭配。需注意,可以采用多种方式来实现前述的获取当前的光照条件。在一个实施例中,利用传感器实时采集当前的光照条件;在另一实施例中,获取当前时间,根据预先设定的时间与光照的对应关系来确定当前时间的光照条件;在又一实施例中,同时采用多种方式获取光照条件,并综合考虑多种方式得到的光照条件来确定当前的光照条件。在一些实施例中,在前述的步骤S17之前,还包括:利用人脸信息进行标定,通过将人脸信息作为校准的标记marker,来对服饰渲染结果的待展示位置进行校准。而该步骤S17具体包括:根据服饰渲染结果的校准后的待展示位置,将校准后的服饰渲染结果叠加到用户看到的人体影像上。作为一个可选的具体实施例,前述的通过将人脸信息作为校准的标记,来对服饰渲染结果的待展示位置进行校准具体包括以下步骤:识别视觉数据中的人体影像的面部关键点;展示预设的标准人脸图像,并提示用户进行移动以将用户面部与标准人脸图像对齐;根据识别出的面部关键点判断用户面部是否与标准人脸图像对齐;以及在用户面部与标准人脸图像对齐时,确定相机坐标系与显示坐标系的坐标映射关系,用以根据坐标映射关系来校准服饰渲染结果的待展示位置。在一些实施例中,利用数据库来获取服饰数据。具体地,前述的步骤S14具体包括:从数据库中调出选定服饰的服饰模型、和选定服饰的服饰关键点与人体关键点的匹配信息。其中,该数据库记录有多个可供用户选择的可选服饰的服饰模型、以及可选服饰的服饰模型中的一个或多个服饰关键点与一个或多个人体关键点的匹配信息。进一步地,本发明示例的虚拟装扮方法还包括:预先接收可供用户选择的可选服饰的服饰模型,将可选服饰的服饰模型中的一个或多个服饰关键点与一个或多个人体关键点相匹配得到匹配信息,并录入数据库。在一些实施例中,本发明示例的虚拟装扮方法还包括:每隔一个预设的时间间隔,重复前述步骤S12至前述步骤S17的多个步骤,以实时地显示装扮效果。进一步地,在一些实施例中,本发明示例的虚拟装扮方法还包括:在前述的重复步骤S12至步骤S17的过程中,对每次重复过程中的虚拟装扮信息进行记录,以生成用户历史装扮记录。该虚拟试衣信息包括视觉数据、选定服饰的服饰关键点与人体关键点的匹配信息,、已匹配当前人体姿态的服饰模型中的一个或多个。以便用户同时比较不同服饰效果。在一些实施例中,本发明示例的虚拟装扮方法还包括:根据当前处于在线状态或离线状态、和或根据用户的选择,来判断显示模式。该显示模式包括第一显示模式、第二显示模式、第三显示模式的一个或多个。前述的步骤S17包括以下的一个或多个步骤:若显示模式是第一显示模式,则在显示服饰渲染结果时,将服饰渲染结果叠加到由镜子反射出的人体影像上,以便用户从镜子中看到虚拟装扮的自己;若显示模式是第二显示模式,则在显示服饰渲染结果时,将服饰渲染结果叠加到历史装扮记录中的视觉数据中的人体影像上进行显示,以展示叠加了虚拟装扮效果的视觉数据;若显示模式是第三显示模式,则在显示服饰渲染结果时,将服饰渲染结果叠加到实时采集到的视觉数据中的人体影像上进行显示,以展示叠加了虚拟装扮效果的视觉数据。作为一个可选的具体示例,前述的判断显示模式的步骤具体包括:根据当前处于在线状态或离线状态来判断显示模式是第一显示模式、还是第二显示模式。前述的步骤S17具体包括:若处于在线状态,则采用第一显示模式,在显示服饰渲染结果时,将服饰渲染结果叠加到由镜子反射出的人体影像上;若处于离线状态,则采用第二显示模式,在显示服饰渲染结果时,将服饰渲染结果叠加到历史装扮记录中的视觉数据中的人体影像上进行展示。在线的体验中,用户看到的是:镜子中的自己以及AR眼镜显示的渲染的服饰。离线的体验中,用户看到的是:AR眼镜中摄像头拍摄的试衣的用户的视频以及AR眼镜显示中的渲染的服饰。图4是图示根据本发明的一个实施例的设备的硬件框图。如图4所示,根据本发明实施例的设备200包括存储器201和处理器202。该设备200中的各组件通过总线系统和或其它形式的连接机构未示出互连。本发明的设备200可以以各种形式来实施,包括但不限于诸如增强现实眼镜或称为AR眼镜、智能眼镜或其他的增强现实设备或称为AR设备、虚拟现实设备或称为VR设备、智能手表、智能电话、笔记本电脑、数字广播接收器、PDA个人数字助理、PAD平板电脑、PMP便携式多媒体播放器、导航装置、车载终端设备、车载显示终端、车载电子后视镜等等的移动终端设备以及诸如数字TV、台式计算机等等的固定终端设备。该存储器201用于存储非暂时性计算机可读指令。具体地,存储器201可以包括一个或多个计算机程序产品,该计算机程序产品可以包括各种形式的计算机可读存储介质,例如易失性存储器和或非易失性存储器。该易失性存储器例如可以包括随机存取存储器RAM和或高速缓冲存储器cache等。该非易失性存储器例如可以包括只读存储器ROM、硬盘、闪存等。该处理器202可以是中央处理单元CPU或者具有数据处理能力和或指令执行能力的其它形式的处理单元,并且可以控制该设备200中的其它组件以执行期望的功能。在本发明的一个实施例中,该处理器202用于运行该存储器201中存储的该计算机可读指令,使得该设备200执行前述的本发明各实施例的虚拟装扮方法的全部或部分步骤。在一些实施例中,本发明实施例的设备200是增强现实眼镜。本发明实施例还提供一种计算机可读存储介质,用于存储计算机程序,所述程序在由一计算机或处理器执行时实现所述虚拟装扮方法的步骤。以上所述,仅是本发明的较佳实施例而已,并非对本发明做任何形式上的限制,虽然本发明已以较佳实施例揭露如上,然而并非用以限定本发明,任何熟悉本专业的技术人员,在不脱离本发明技术方案范围内,当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例,但凡是未脱离本发明技术方案的内容,依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。

权利要求:1.一种虚拟装扮系统,其特征在于,所述系统包括:眼镜,包含存储器和处理器;服饰选择模块,用于提供服饰选择界面,接收用户所选择的服饰作为选定服饰;视觉数据采集模块,用于采集视觉数据,所述视觉数据包含由镜子反射出的人体影像;姿势识别与定位模块,用于根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态;其中,所述当前人体姿态包括多个人体关键点的当前姿态信息;服饰数据获取模块,用于获取所述选定服饰的服饰模型,所述服饰模型包括多个服饰关键点,获取所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息;服饰与人体姿态融合模块,用于根据所述人体关键点的当前姿态信息、以及所述选定服饰的所述服饰模型和所述匹配信息,来确定所述选定服饰的所述服饰关键点的当前姿态信息,以得到所述选定服饰的已匹配当前人体姿态的服饰模型;渲染模块,用于根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果;服饰显示模块,用于通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果,用以采用增强现实形式展示装扮效果;其中,所述服饰选择模块、所述视觉数据采集模块、所述姿势识别与定位模块、所述服饰数据获取模块、所述服饰与人体姿态融合模块、所述渲染模块、所述服饰显示模块之中的一个或多个设置于所述眼镜的存储器上。2.根据权利要求1所述的虚拟装扮系统,其特征在于,所述姿势识别与定位模块包括镜子识别定位单元和姿势识别与定位单元;所述镜子识别定位单元用于将所述视觉数据中的镜子的区域分割出来得到镜内视觉数据,所述镜内视觉数据包含所述人体影像;所述姿势识别与定位单元用于根据所述镜内视觉数据来得到所述当前人体姿态。3.根据权利要求1所述的虚拟装扮系统,其特征在于,所述视觉数据采集模块具体用于采集二维视觉数据;所述姿势识别与定位模块具体用于:利用DensePose方式,根据所述二维视觉数据估计得到有蒙皮的多人线性模型作为所述当前人体姿态,包括得到所述有蒙皮的多人线性模型中的多个三维的所述人体关键点的所述当前姿态信息。4.根据权利要求1所述的虚拟装扮系统,其特征在于,所述多个人体关键点是头、颈部、左肩、右肩、左大臂、右大臂、左前臂、右前臂、左手、右手、胸部、腹部、左大腿、右大腿、左小腿、右小腿、左脚和右脚。5.根据权利要求3所述的虚拟装扮系统,其特征在于:所述服饰数据获取模块具体用于:获取所述选定服饰的服饰三维模型,获取所述选定服饰的三维的所述服饰关键点与三维的所述人体关键点的匹配信息;所述渲染模块具体用于:根据三维的所述已匹配当前人体姿态的服饰模型进行渲染得到所述选定服饰的服饰二维图像;所述服饰显示模块具体用于:通过将所述服饰二维图像叠加到用户看到的所述人体影像上来显示所述服饰二维图像。6.根据权利要求1所述的虚拟装扮系统,其特征在于,所述服饰渲染模块包括光照模拟单元,用于:获取当前的光照条件;在根据所述已匹配当前人体姿态的服饰模型进行渲染时,根据所述光照条件动态设定虚拟世界的光源。7.根据权利要求1所述的虚拟装扮系统,其特征在于,所述系统还包括校准模块,用于通过将人脸信息作为校准的标记,来对所述服饰渲染结果的待展示位置进行校准;所述服饰显示模块具体用于:根据校准后的所述待展示位置,将校准后的所述服饰渲染结果叠加到用户看到的所述人体影像上。8.根据权利要求7所述的虚拟装扮系统,其特征在于,所述校准模块包括:人脸关键点识别单元,用于识别所述人体影像的面部关键点;标准人脸展示单元,用于利用所述眼镜展示预设的标准人脸图像,并提示用户进行移动以将用户面部与所述标准人脸图像对齐;人脸对齐判断单元,用于根据识别出的所述面部关键点判断用户面部是否与所述标准人脸图像对齐;校准单元,用于在所述用户面部与所述标准人脸图像对齐时,确定相机坐标系与显示坐标系的坐标映射关系,用以根据所述坐标映射关系来校准所述服饰渲染结果的待展示位置。9.根据权利要求1所述的虚拟装扮系统,其特征在于,所述系统还包括数据库,用于存储多个可选服饰的服饰模型、以及所述可选服饰的服饰模型中的一个或多个服饰关键点与一个或多个人体关键点的匹配信息;所述服饰数据获取模块具体用于:从所述数据库中调出所述选定服饰的所述服饰模型、和所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息;所述系统还包括数据库录入模块,用于:预先接收所述可选服饰的服饰模型,将所述可选服饰的服饰模型中的一个或多个服饰关键点与人体关键点相匹配得到匹配信息,并录入所述数据库。10.根据权利要求1到9中任意一项所述的虚拟装扮系统,其特征在于,还包括服饰效果备忘录模块,用于:每隔一个预设的时间间隔,利用所述服饰选择模块、所述视觉数据采集模块、所述姿势识别与定位模块、所述服饰数据获取模块、所述服饰与人体姿态融合模块、所述渲染模块和所述服饰显示模块,重复进行所述采集视觉数据至所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果的多个步骤,以实时地显示装扮效果;对每次重复过程中的所述视觉数据、所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息、所述已匹配当前人体姿态的服饰模型中的一个或多个进行记录以生成历史装扮记录。11.根据权利要求10所述的虚拟装扮系统,其特征在于:所述系统还包括显示模式判断模块,用于根据当前处于在线状态或离线状态、和或根据用户的选择,来判断显示模式;所述显示模式包括第一显示模式、第二显示模式、第三显示模式的一个或多个;所述服饰显示模块包括第一显示单元、第二显示单元、第三显示单元中的一个或多个;所述第一显示单元用于:若所述显示模式是所述第一显示模式,则在显示所述服饰渲染结果时,将所述服饰渲染结果叠加到由所述镜子反射出的所述人体影像上,以便用户从所述镜子中看到虚拟装扮的自己;所述第二显示单元用于:若所述显示模式是所述第二显示模式,则在显示所述服饰渲染结果时,将所述服饰渲染结果叠加到所述历史装扮记录中的所述视觉数据中的所述人体影像上进行显示,以展示叠加了虚拟装扮效果的视觉数据;所述第三显示单元用于:若所述显示模式是所述第三显示模式,则在显示所述服饰渲染结果时,将所述服饰渲染结果叠加到实时采集到的所述视觉数据中的所述人体影像上进行显示,以展示叠加了虚拟装扮效果的视觉数据。12.一种虚拟装扮方法,其特征在于,所述方法包括以下步骤:提供服饰选择界面,接收用户所选择的服饰作为选定服饰;采集视觉数据,所述视觉数据包含由镜子反射出的人体影像;根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态;其中,所述当前人体姿态包括多个人体关键点的当前姿态信息;获取所述选定服饰的服饰模型,所述服饰模型包括多个服饰关键点,获取所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息;根据所述人体关键点的当前姿态信息、以及所述选定服饰的所述服饰模型和所述匹配信息,来确定所述选定服饰的所述服饰关键点的当前姿态信息,以得到所述选定服饰的已匹配当前人体姿态的服饰模型;根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果;通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果,用以采用增强现实形式展示装扮效果。13.根据权利要求12所述的虚拟装扮方法,其特征在于,所述根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态包括:将所述视觉数据中的镜子区域分割出来得到镜内视觉数据,所述镜内视觉数据包含所述人体影像;根据所述镜内视觉数据来得到所述当前人体姿态。14.根据权利要求12所述的虚拟装扮方法,其特征在于,所述采集视觉数据包括采集二维视觉数据;所述根据所述视觉数据得到由所述镜子反射出的人体的当前人体姿态包括:利用DensePose方式,根据所述二维视觉数据估计得到有蒙皮的多人线性模型作为所述当前人体姿态,包括得到所述有蒙皮的多人线性模型中的多个三维的所述人体关键点的所述当前姿态信息。15.根据权利要求12所述的虚拟装扮方法,其特征在于,所述多个人体关键点是头、颈部、左肩、右肩、左大臂、右大臂、左前臂、右前臂、左手、右手、胸部、腹部、左大腿、右大腿、左小腿、右小腿、左脚和右脚。16.根据权利要求14所述的虚拟装扮方法,其特征在于,所述获取所述选定服饰的服饰模型包括:获取所述选定服饰的服饰三维模型;所述获取所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息包括:获取所述选定服饰的三维的所述服饰关键点与三维的所述人体关键点的匹配信息;所述根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果包括:根据三维的所述已匹配当前人体姿态的服饰模型进行渲染得到所述选定服饰的服饰二维图像;所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果包括:将所述服饰二维图像叠加到用户看到的所述人体影像上来显示所述服饰二维图像。17.根据权利要求12所述的虚拟装扮方法,其特征在于,所述根据所述已匹配当前人体姿态的服饰模型进行渲染得到服饰渲染结果包括:获取当前的光照条件;在根据所述已匹配当前人体姿态的服饰模型进行渲染时,根据所述光照条件动态设定虚拟世界的光源。18.根据权利要求12所述的虚拟装扮方法,其特征在于,在所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果的步骤之前,还包括:通过将人脸信息作为校准的标记,来对所述服饰渲染结果的待展示位置进行校准;所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果包括:根据校准后的所述待展示位置,将所述校准后的所述服饰渲染结果叠加到用户看到的所述人体影像上。19.根据权利要求18所述的虚拟装扮方法,其特征在于,所述通过将人脸信息作为校准的标记,来对所述服饰渲染结果的待展示位置进行校准包括:识别所述人体影像的面部关键点;展示预设的标准人脸图像,并提示用户进行移动以将用户面部与所述标准人脸图像对齐;根据识别出的所述面部关键点判断用户面部是否与所述标准人脸图像对齐;在所述用户面部与所述标准人脸图像对齐时,确定相机坐标系与显示坐标系的坐标映射关系,用以根据所述坐标映射关系来校准所述服饰渲染结果的待展示位置。20.根据权利要求12到19中任意一项所述的虚拟装扮方法,其特征在于,还包括:每隔一个预设的时间间隔,重复进行所述采集视觉数据至所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果的多个步骤,以实时地显示装扮效果;对每次重复过程中的所述视觉数据、所述选定服饰的所述服饰关键点与所述人体关键点的匹配信息、所述已匹配当前人体姿态的服饰模型中的一个或多个进行记录以生成历史装扮记录。21.根据权利要求20所述的虚拟装扮方法,其特征在于,所述方法还包括:根据当前处于在线状态或离线状态、和或根据用户的选择,来判断显示模式,所述显示模式包括第一显示模式、第二显示模式、第三显示模式的一个或多个;所述通过将所述服饰渲染结果叠加到用户看到的所述人体影像上来显示所述服饰渲染结果,包括以下的一个或多个步骤:若所述显示模式是所述第一显示模式,则在显示所述服饰渲染结果时,将所述服饰渲染结果叠加到由所述镜子反射出的所述人体影像上,以便用户从所述镜子中看到虚拟装扮的自己;若所述显示模式是所述第二显示模式,则在显示所述服饰渲染结果时,将所述服饰渲染结果叠加到所述历史装扮记录中的所述视觉数据中的所述人体影像上进行显示,以展示叠加了虚拟装扮效果的视觉数据;若所述显示模式是所述第三显示模式,则在显示所述服饰渲染结果时,将所述服饰渲染结果叠加到实时采集到的所述视觉数据中的所述人体影像上进行显示,以展示叠加了虚拟装扮效果的视觉数据。22.一种设备,包括:存储器,用于存储非暂时性计算机可读指令;以及处理器,用于运行所述计算机可读指令,使得所述计算机可读指令被所述处理器执行时实现权利要求12到21中任意一项所述的虚拟装扮方法。23.一种计算机可读存储介质,用于存储计算机程序,其特征在于,所述程序在由一计算机或处理器执行时实现如权利要求12至21中任意一项权利要求所述的虚拟装扮方法的步骤。

百度查询: 芋头科技(杭州)有限公司 虚拟装扮系统、方法、设备及介质

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。