买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:中国科学技术大学
摘要:本发明提供了一种基于多视角穿衣人体运动视频的重建及驱动方法方法。该方法包括:使用双层三维高斯表示来建模人体及对应的衣服;对于人体和衣服的粗糙三维网格上的任意一个面定义三维高斯椭球的几何属性;在重建阶段时,将衣服和身体粗糙三角网格由基准空间变化到观测空间,并更新高斯的几何属性;根据输入视频的相机位姿和参数,将观测空间的三维高斯表示光栅化到图像空间,并依据高斯溅射公式渲染图片。通过计算渲染图片和真实图片的颜色差作为优化目标,即可对模型进行自监督的训练;在重建完成进行驱动时,利用当前帧的几何结果计算下一帧的衣服粗糙三角网格的位置;使用重建阶段方法和相关参数渲染新姿势下的驱动图片。
主权项:1.一种基于多视角穿衣人体运动视频的重建及驱动方法,其特征在于,所述方法包括:从多视角穿衣人体运动视频中得到相机参数和目标人物的人体姿态信息,并对所述多视角穿衣人体运动视频进行分割,得到视频分割结果;获取基准空间下的人体粗糙三维三角网格,并利用所述视频分割结果、所述相机参数、所述人体粗糙三维三角网格以及所述人体姿态信息得到所述基准空间下的衣服粗糙三维三角网格;将人体三维高斯表示锚定在所述人体粗糙三维三角网格上,并将衣服三维高斯表示锚定在所述衣服粗糙三维三角网格上;分别将所述人体粗糙三维三角网格和所述人体三维高斯表示以及所述衣服粗糙三维三角网格和所述衣服三维高斯表示从所述基准空间变换到观测空间;将观测空间中的人体三维高斯表示和所述衣服三维高斯表示投影成二维高斯表示,对人体二维高斯表示和衣服二维高斯表示进行渲染;重复执行空间变换操作、投影操作以及渲染操作,并自监督地对所述粗糙三维三角网格以及所述三维高斯表示进行优化,得到所述目标人物的重建结果。
全文数据:
权利要求:
百度查询: 中国科学技术大学 一种基于多视角穿衣人体运动视频的重建及驱动方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。