买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:浙江大学
摘要:本发明公开了一种基于三维高斯泼溅及持续学习的三维场景重建与渲染方法,包括:确认第N时刻的三维高斯场;三维高斯场包括:三维高斯表示、可见性池、外观模型;获取结构不变掩膜;设置训练集;固定预先训练好的三维高斯表示的参数训练外观模型;定外观模型的参数,将场景稀疏点云作为初始的三维高斯并添加至三维高斯表示中,训练初始的三维高斯并学习移除因子;基于移除因子将预先训练好的三维高斯表示中应该移除的三维高斯在可见性池中设为第N+1时刻不可见;联合优化外观模型及初始化的三维高斯,得到更新的三维高斯场;将待渲染图像的位姿以及对应的时刻输入到更新的三维高斯场中,输出该时刻渲染的新视角图像。
主权项:1.一种基于三维高斯泼溅及持续学习的三维场景重建与渲染方法,其特征在于,所述方法包括:确认第N时刻的三维高斯场;所述三维高斯场包括:三维高斯表示、可见性池、外观模型;基于第N时刻的三维高斯场、第N+1时刻的RGB图像数据集中每一图像对应的位姿渲染得到第N时刻的RGB图像数据集;基于第N+1时刻的RGB图像数据集对应的分割掩膜集合与第N时刻的RGB图像数据集对应的分割掩膜集合得到结构不变掩膜;将0-N时刻RGB图像数据集的位姿输入至第N时刻的三维高斯场渲染得到0-N时刻对应的RGB图像数据;将0-N时刻对应的RGB图像及其位姿、第N+1时刻的RGB图像及其位姿作为训练集;固定预先训练好的三维高斯表示的参数,设置第一损失函数,基于第一损失函数、结构不变掩膜以及训练集训练外观模型从而学习几何一致区域的全局光照变化;固定外观模型的参数;设置第二损失函数,将获取的场景稀疏点云作为初始的三维高斯并添加至三维高斯表示中,基于第二损失函数以及训练集训练初始的三维高斯并学习移除因子;基于移除因子将预先训练好的三维高斯表示中应该移除的三维高斯在可见性池中设为第N+1时刻不可见,从而学习场景的几何结构变化;设置第三损失函数,基于第三损失函数、训练集联合优化外观模型及初始化的三维高斯,过滤冗余的三维高斯,得到更新的三维高斯场;将待渲染图像的位姿以及对应的时刻输入到更新的三维高斯场中,输出该时刻渲染的新视角图像。
全文数据:
权利要求:
百度查询: 浙江大学 一种基于三维高斯泼溅及持续学习的三维场景重建与渲染方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。