买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:广东工业大学
摘要:本发明公开的属于计算机图形学技术领域,具体为基于3D高斯的人体重建和实时动画渲染系统,包括一种方法,具体步骤如下:参数提取、可变形高斯人体初始化、设置可学习优化的参数、可变形高斯人体变形、渲染、模型训练、实时人体动画,本发明无需复杂的设备,只需拍摄到人体的全部位置,将数据训练约3分钟,能有效地从单目视频中重建出精确的人体。同时,本发明可以以120fps的速度输出人体的图像序列,实现逼真地人体动画化。本发明在动态人体建模及实时渲染领域的应用更加广泛,特别是在虚拟现实、游戏开发和动画制作等领域,提供了一种效率更高、更逼真的解决方案。
主权项:1.基于3D高斯的人体重建和实时动画渲染系统,其特征在于,包括一种方法,具体步骤如下:S1,参数提取:利用深度学习方法从单目视频每一帧图像中识别并追踪人体的关键点,提取出人体形态参数和姿势参数,同时提取出拍摄相机的参数,构建数据集;S2,可变形高斯人体初始化:借助SMPL提供的模板先验,同时根据不同的人体部位初始化高斯的各个参数,得到可变形高斯人体;S3,设置可学习优化的参数:将人体形态参数和姿势参数,SMPL中的线性混合蒙皮参数,可变形高斯人体的高斯参数设置为可学习优化的参数,添加可学习的混合蒙皮修正参数修正线性混合蒙皮参数,添加潜在关节的可学习线性混合蒙皮参数;S4,可变形高斯人体变形:根据姿势参数,运用线性混合蒙皮技术以及潜在关节模块对所述可变形高斯人体进行变形,得到带有姿势的高斯人体;S5,渲染:使用可微的3D高斯溅射渲染方法,渲染带有姿势的高斯人体的2D图像;S6,模型训练:将S5得到的2D图像与真实图像作损失求梯度来优化参数,使用创新性的紧凑致密化算法、KL-Sph再高斯化算法对S5可变形高斯人体中高斯的数量进行优化;S7,实时人体动画:将新的自定义的姿势参数序列输入训练完的模型,实时输出人体新的姿势,实现动画化。
全文数据:
权利要求:
百度查询: 广东工业大学 基于3D高斯的人体重建和实时动画渲染系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。