买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明公开一种基于多源融合的复杂场景三维重建方法,其基于神经辐射场和三维高斯溅射实现多传感器的信息融合,整个场景被编码在NeRF的符号距离场中,进而通过SDF作为中间介质来关联多模态数据;在NeRF的训练过程中,3DGS作为指导,显式的监督SDF的估计值,并且引导NeRF的射线进行采样。本发明能够在给定初始位姿的条件下,联合优化相机和激光雷达位姿以及场景的隐式表达,获得更加精确的位姿和场景三维重建结果,达到更高的重建精度。
主权项:1.一种基于多源融合的复杂场景三维重建方法,其特征是:其包括以下步骤:S1、采集目标场景的激光雷达点云数据和相机图像数据,采用所述激光雷达点云数据进行位姿估算,得到激光雷达位姿信息;采用所述相机图像数据进行位姿估算,得到相机位姿信息;S2、基于步骤S1中的相机图像数据和相机位姿信息,计算与三维椭球相关的损失函数,该损失函数用于训练三维椭球的属性以及优化相机位姿,三维椭球的属性包含:颜色、位置、透明度、旋转、尺度,其中,旋转和尺度进行组合,得到三维高斯椭球的方差;S3、基于步骤S1中的相机图像数据和激光雷达点云数据,以及相机和激光雷达位姿,计算与神经辐射场有关的损失函数;S4、将步骤S2和步骤S3中所有的损失加在一起,得到最终损失;将最终损失进行反向传播,优化三维高斯椭球、神经辐射场、以及相机和激光雷达位姿;S5、根据最终损失传播到高斯椭球均值上的梯度,对高斯椭球进行动态的增加;S6、若某个高斯椭球的透明度低于0.001,直接删除该高斯椭球;S7、将以上步骤S2~S6重复至少上万次,即完成训练,得到整个场景的三维表达;S8、根据训练的神经辐射场提取场景的三维重建结果。
全文数据:
权利要求:
百度查询: 中科(洛阳)机器人与智能装备研究院 基于多源融合的复杂场景三维重建方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。