龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：南京大学
摘要：本发明提供了基于预训练光流模型几何蒸馏的高斯辐射场三维重建方法，包括以下步骤：步骤1，输入训练图片集合和对应的位姿矩阵，相机的内参矩阵和一个预训练匹配模型；同时初始化高斯辐射场；步骤2，执行高斯辐射场的优化过程；步骤3，渲染视角的图片；步骤4，计算训练视角像素到邻域视角的对应位置；步骤5，得到先验光流；步骤6，优化3D高斯辐射场；步骤7，损失下降结束后，优化结束，得到最终的高斯辐射场。本发明通过在训练过程中利用未观察视角的光流模型匹配信息，显著提高了高斯辐射场的几何重建精度。与其他几何先验信息相比，结合位姿输入的匹配流先验信息能够恢复场景的绝对尺度，从而为几何优化提供更可靠的引导。
主权项：1.基于预训练光流模型几何蒸馏的高斯辐射场三维重建方法，其特征在于，包括以下步骤：步骤1，输入训练图片集合和对应的位姿矩阵，相机的内参矩阵K和一个预训练匹配模型；同时初始化高斯辐射场，其中为第i个高斯点，表示第i张训练图片，B表示训练图片总数，表示第i张训练图片的位姿矩阵，位姿矩阵就是视角；为预训练匹配模型的参数；预训练匹配模型为光流模型；，、、、、分别对应第i个高斯点的旋转、尺度、颜色、位置和不透明度；步骤2，执行高斯辐射场的优化过程：首先从训练图片的视角中随机选择一个视角作为当前训练视角，同时从该视角的邻域内采样一个未观测到的视角；邻域的范围为半径为r的圆；步骤3，渲染视角的图片，渲染当前训练视角的图片以及对应的几何深度图；步骤4，通过当前训练视角的深度，以及当前训练视角与视角的位姿变换，计算训练视角像素到邻域视角的对应位置，得到几何光流；步骤5，将视角的图片和训练图片输入预训练匹配模型，得到先验光流；步骤6，使用先验光流来监督几何光流，得到光流损失，结合颜色损失与结构相似性损失，进行梯度反传，优化3D高斯辐射场；返回步骤2，直到优化收敛，整体的优化损失函数L为： ；其中，为结构相似性损失权重，为光流损失权重，表示颜色损失函数，表示结构相似性损失函数，为表面法向一致性损失，为表面法向一致性损失权重；步骤7，损失下降结束后，优化结束，得到最终的高斯辐射场。
全文数据：
权利要求：
百度查询： 南京大学 基于预训练光流模型几何蒸馏的高斯辐射场三维重建方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号