买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:天津大学
摘要:本发明公开了基于跨域多任务的单张图像三维人体精细重建方法,涉及三维视觉技术领域;本发明中方法基于多任务学习引导的跨域特征生成网络,并设计了可见区域与不可见区域分离重建的双支路重建方法;利用法线图和人体几何之间的关联性,将法线图预测以及人体三维重建两个任务集成到一个整体网络中,通过法线图预测与人体三维重建的部分共享网络,互相提供跨域的表征信息,更加有效地提取图像中的几何特征;同时通过可见区域与不可见区域分离重建,更有效地引导网络提取不可见区域的图像特征,进而重建出全局完整、精细的人体三维模型;此外本发明还引入了人体姿态的先验知识,使本发明提出的方法针对人体复杂姿势的情况具有更好鲁棒性和稳定性。
主权项:1.基于跨域多任务的单张图像三维人体精细重建方法,其特征在于,包括如下步骤:S1、采集人体扫描模型数据集,数据集随机划分为训练集和测试集;S2、对数据集进行数据预处理;从多个视角渲染人体扫描模型,且对人体扫描模型采集采样点及定义采样点的可见性与不可见性;S3、通过预处理后的训练集训练跨域多任务特征提取网络;跨域多任务特征提取网络包括两个编码器和一个高分辨率骨干网络,两个编码器具有相同的结构;将高分辨率骨干网络提取的特征分别与两个编码器的输出拼接并送入对应可见区域和不可见区域的解码器网络中,两个解码器具有相同的网络结构,分别经过四个残差块产生不同尺度的特征图,并提取最后一层特征图输出预测的法线图和掩膜图;S4、由S3中得到的多尺度特征图,将取四层编码器层不同尺度的特征图送入空间采样点回归器中,并通过将采样点投影到特征图上,使用双线性插值在特征图中获取像素对齐的局部特征,并引入人体关节点,利用采样点与人体关节点的相对方位关系,将关节点与局部特征一起送入空间采样点分类器中进行编码;S5、基于可见区域与不可见区域分离的图像特征送入空间采样点分类器中,将图像特征转换成人体扫描模型所在空间的连续占有率场表示,之后通过等值面提取算法得到最终的人体模型。
全文数据:
权利要求:
百度查询: 天津大学 基于跨域多任务的单张图像三维人体精细重建方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。