龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：浙江大学
摘要：本发明公开了一种基于隐式表示的手物交互三维重建方法，该方法包括：从输入RGB图像序列中获取手部与物体的语义分割结果，并利用其估计物体的全模态掩膜；重建序列帧中手部运动和三维模型；将手部运动作为参考，得到物体的位姿并使用隐式表示对物体进行三维重建；基于全模态掩膜和手物交互过程物理合理性，约束物体的三维隐式表达；迭代优化物体三维表示和全模态掩码。本发明的优势在于解决了在手物交互场景中，面临遮挡问题时难以准确且完整地重建物体三维模型的挑战，同时仅需使用易于采集的RGB视频数据，即可实现对手部和物体的准确三维模型重建，减少了三维重建过程的复杂度与困难度。
主权项：1.一种基于隐式表示的手物交互三维重建方法，其特征在于，包括以下步骤：S1：从原始RGB图像序列中获得每一帧手部和物体的语义分割结果，构建物体全模态掩膜估计网络，输入手部和物体的语义分割结果，获得物体的全模态掩膜；所述物体全模态掩膜估计网络的构建具体为：采用HourglassNetwork为框架，ResNet18为主干的神经网络；构建完成后还需进行神经网络训练，神经网络训练过程中对于物体的全模态掩膜进行监督；该步骤损失函数定义为： 其中是物体全模态掩膜的预测值，O是相对应的真值；S2：获取输入图像中手部的二维关键点坐标，使用参数化模型MANO表示三维手部模型，优化模型参数，获得手部的运动状态以及手部姿态；S3：基于步骤S2获得的手部运动状态，将相机坐标系转换到以手腕为原点的局部坐标系，获取对应的物体位姿信息并构建物体的隐式神经网络；S4：输入RGB图像帧和步骤S3获得的物体位姿，输出物体相应点的SDF值、颜色值和语义信息；S5：基于步骤S4输出物体相应点的语义信息，更新物体的全模态掩膜；S6：基于步骤S5更新后的物体全模态掩膜和步骤S2中所获得的手部姿态，训练物体的隐式神经网络；S7：重复步骤S4-S6，直至物体的隐式神经网络收敛，将空间均匀采样点坐标输入到训练好的隐式神经网络中，得到每个点对应的SDF值，提取SDF值为0的等值面，从而获取物体的三维网格，完成当前物体的隐式三维重建。
全文数据：
权利要求：
百度查询： 浙江大学 一种基于隐式表示的手物交互三维重建方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号