杭州电子科技大学周文晖获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉杭州电子科技大学申请的专利一种基于人体形状一致性的可驱动单视点多人重建方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119600191B 。
龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411592527.8,技术领域涉及:G06T17/00;该发明授权一种基于人体形状一致性的可驱动单视点多人重建方法是由周文晖;郑正雄;王凯鑫;卢怡菲;胡泽昱设计研发完成,并于2024-11-08向国家知识产权局提交的专利申请。
本一种基于人体形状一致性的可驱动单视点多人重建方法在说明书摘要公布了:本发明公开了一种基于人体形状一致性的可驱动单视点多人重建方法。本发明在体渲染的基础上引入通用特征体素网格和实例相关的实例特征体素网格以及一个多目标拟合框架,实现在短时间内同时获得场景内的多个可驱动三维数字人。通用特征体素网格拟合不同人体之间共性的形状和纹理特征,实例相关的实例特征体素网格拟合个体之间的体态和纹理差异。利用表面回归模块和先验的人体形状信息界定采样点和人体表面的包含关系,通过完整性对体内外点的体密度进行额外约束。通过融合通用体态特征和实例相关的细节形状和纹理特征,结合人体形状先验引入完整性损失实现对人体形状的有效约束,提高由于可见性或者采样频率不足导致的人体形状欠约束问题。
本发明授权一种基于人体形状一致性的可驱动单视点多人重建方法在权利要求书中公布了:1.一种基于人体形状一致性的可驱动单视点多人重建方法,其特征在于,包括如下步骤: 步骤S1:建立单目多人三维重建数据集; 步骤S2:基于相机内参和外参矩阵生成采样射线和采样点; 步骤S3:基于线性混合蒙皮算法和姿态将三维空间采样点由观察空间变换到标准空间下; 步骤S4:同时在通用特征体素网格和实例相关的实例特征体素网格进行采样并插值后进行位置编码,得到融合特征向量; 步骤S5:送入隐式表示解码模块得到对应采样点的体密度和颜色信息,并且基于体渲染公式得到最终像平面像素的颜色; 步骤S6:采样点送入表面回归模块,得到采样点距离人体表面的距离; 步骤S7:通过完整性损失,对体内外点的体密度进行约束; 步骤S8:通过深度渲染模块,将不同实例的颜色信息混合到输出图像中; 步骤S9:通过图像损失,对颜色信息进行约束; 步骤S2具体细节如下: 2-1.首先相机的内参矩阵包含主点坐标cx,cy和水平焦距fx和垂直焦距fy,以此确定像平面的分辨率以及焦点距离像平面的距离;相机的外参矩阵包含相机的旋转和位移信息,根据相机外参矩阵,基于标定板确定的世界坐标系原点从而确定相机的位置和朝向,以相机光心为起始点,像平面某个像素的连线为一条采样射线的方向,在射线上进行等间隔的均匀采样生成采样点; 2-2.对采样点优化,具体如下: 1基于估计的实例姿态的关节点生成包围结构的3D立方体,对采样点进行筛选,仅保留3D立方体内部的采样点; 2仅对3D立方体内的实例掩码有效区域内部和3D立方体投影区域内部的像素生成采样射线,并且以p概率在实例掩码内部进行采样,以1-p概率在3D立方体投影区域内部的非实例掩码区域采样以减小实例掩码不准确带来的影响; 步骤S3具体细节如下: 姿态变形网络记为Fd,实例姿态提取阶段提取得到SMPL骨骼标准下的24个关节点的以父节点方向为旋转轴的旋转向量,并基于此通过罗德里格斯公式得到各关节点的旋转矩阵和位移向量,从而构造4×4的RT变换矩阵;LBS算法需要为每个关节点设置线性混合蒙皮的权重值,代表该个关节点的变换对表面顶点的影响权重;通过逆向的运用LBS公式,实现从任意姿态到静息姿态的顶点变换,从而实现任意姿态到T-Pose的动作还原;设第j个关节点的LBS权重记为wj,第j个关节点的RT变换矩阵记为Gj,x记为任意顶点,则: x'=Fdx,w 其中,J表示关节点总数,取值为24;通过逆向的运用蒙皮公式将任意姿态下的采样点记为x,变换到静息姿态下的对应点位置,即表面顶点x';在此点变换的基础上以静息姿态为基准,进行三维数字人的外观重建,完整姿态和外观的解耦; 步骤S6具体细节如下: 引入对应实例体型参数β的静息姿态下的SMPL的顶点模型和法线模型作为人体形状先验,对于任意空间采样点通过K近邻算法确定k个距离空间采样点最接近的表面顶点,估计表面有向距离判定点的法向量具体计算公式如下: 其中,代表静息姿态下的任意空间采样点,vi'第i'个最近邻表面顶点,ni'表示第i'个最近邻表面顶点的法向量,代表向量和对应vi'顶点的法向量的余弦相似度;通过计算余弦相似度作为近邻表面顶点和法向量的加权权重,得到估计表面有向距离判定法向量即可轻易通过一次向量点乘得到有向距离dsign,具体计算公式如下: 得到的有向距离作为后续计算完整性损失的判定依据; 步骤S7具体细节如下: 完整性损失用于约束人体体内采样点体密度趋近于1,从而有效改善肢体断离和伪影现象,完整性损失记为具体定义如下: 其中,ReLU为激活函数,σ为对应点的体密度,α为超参;本方法使用ReLU对负的体密度进行截断操作,并且对高体密度趋于减小惩罚系数从而对体密度实现有效约束。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州电子科技大学,其通讯地址为:310018 浙江省杭州市钱塘区白杨街道2号大街1158号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励