买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京航空航天大学

摘要：本发明公开了一种基于深度先验信息的稀疏视角三维重建方法，所述方法包括：通过运动恢复结构算法获取输入多帧图像的相机拍摄位姿、相机内参矩阵、场景稀疏点云以及场景稠密点云；利用场景深度信息稠密估计的大模型获取各已知视角下的场景深度先验；实现场景稀疏点云向二维图像的映射，利用深度先验信息完成场景结构估计；以三维高斯泼溅为算法的主体框架，将深度先验引导扩充后的初始化点云作为算法输入，计算渲染后的各视角图像光学信息、深度信息等；根据单目深度在不同物体上，相比于深度真值具备不同的尺度信息，设计物体级的单目深度约束，并添加平滑正则化项。本发明的场景渲染质量高，计算简单，工程实现容易。

主权项：1.一种基于深度先验信息的稀疏视角三维重建方法，其特征在于，所述方法包括如下步骤：步骤1、通过运动恢复结构算法获取输入多帧图像的相机拍摄位姿、相机内参矩阵、场景稀疏点云，其中，相机拍摄位姿与相机内参矩阵提供了各视角下三维点与二维深度图之间相互转换的映射关系；步骤2、利用场景深度信息估计的大模型稠密预测转换器，获取各个已知视角下场景的单目深度估计先验信息；步骤3、利用步骤1中稀疏场景点云的特征串信息，获取稀疏场景点云到二维图像的映射，得到各帧视角图像的稀疏深度信息，利用基于单目深度先验法平面引导的稀疏点云补全方法，实现各三维点的邻域点云扩充，扩充结果作为三维高斯泼溅算法的初始化点云输入；步骤4、设计物体级渲染深度的线性约束，使得合成视角下的深度信息呈现合理的空间远近位置布局，添加平滑正则化项，实现各视角下深度图与步骤2获取的场景单目深度估计先验信息之间的一致性监督；步骤5、对初始化点云输入构建3D高斯模型，一个点代表一个3D高斯球，进行不同视角下的投影与光栅化，输出前向渲染后的各视角图像光学信息、深度信息，根据已有视角的RGB图像信息完成光学信息的L1范数监督，最小化L1范数损失、最小化步骤4设计的物体级渲染深度的线性约束，约束渲染的深度信息，并进行梯度反传，实现每个3D高斯位置、协方差、颜色属性的优化，整个优化过程构成三维高斯泼溅的训练过程；步骤6、训练完成后，在所构建3D高斯模型中，输入任意一个相机拍摄位姿，渲染输出相应视角下的场景光学信息、深度信息，用以描述整个场景的可视化纹理信息、以及相关的场景结构信息。

全文数据：

权利要求：

百度查询： 北京航空航天大学 一种基于深度先验信息的稀疏视角三维重建方法