首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

用于从多视图图像进行端到端场景重建的系统和方法 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

申请/专利权人:奇跃公司

摘要:一种用于生成空间计算系统诸如虚拟现实、增强现实或混合现实系统的用户周围的场景或环境的三维3D重建的系统和方法,其仅使用包括RGB图像的多视图图像而不需要深度传感器或来自传感器的深度数据。特征从RGB图像的帧序列中提取,并使用已知的相机内在函数和外在函数反向投影到3D体素体积中,其中体素体积的每个像素都被映射到体素体积中的光线。反向投影特征融合到3D体素体积中。将3D体素体积通过3D卷积神经网络以细化和回归3D体素体积的每个体素处的截断符号距离函数值。

主权项:1.一种从多视图图像生成场景的三维3D重建的方法,所述方法包括:获得红绿蓝RGB图像的帧序列;使用二维卷积神经网络2DCNN从RGB图像的所述帧序列中提取特征;使用已知的相机内在函数和外在函数将来自每个帧的所述特征反向投影到3D体素体积中,其中,所述体素体积的每个像素被映射到所述体素体积中的光线;将来自每个帧的特征融合累积到所述3D体素体积中;将所述3D体素体积通过具有编码器-解码器的3D卷积神经网络3DCNN以细化所述3D体素体积中的所述特征,并在所述3D体素体积的每个体素处回归输出截断符号距离函数TSDF值,其中,从所述3DCNN的编码器到解码器包括加性跳跃连接,并且所述3D体素体积的一个或多个空体素不具有被反向投影到与在RGB图像的所述帧序列期间未观察到的体素相对应的体素的特征,所述方法进一步包括:使用所述加性跳跃连接将所述3D体素体积中的一个或多个特征从所述3DCNN的所述编码器跳跃到所述解码器,针对所述空体素不使用来自所述编码器的所述加性跳跃连接;将所述空体素通过批量归一化batchnorm函数和整流线性单元reLU函数以匹配经历所述跳跃连接的所述体素的幅度。

全文数据:

权利要求:

百度查询: 奇跃公司 用于从多视图图像进行端到端场景重建的系统和方法

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。