买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：云南大学

摘要：本发明涉及动态场景重建与追踪技术领域，且公开了一种基于时变神经辐射场的动态场景重建与追踪方法首先输入是一系列连续的RGB‑D帧，包括深度图、彩色图和对应的时间戳，通过维护追踪线程和建图线程，实现追踪相机位姿和重建场景表面的任务。该基于时变神经辐射场的动态场景重建与追踪方法通过使用基于神经辐射场的技术，可以刻画、重建出动态物体，供下游任务使用，解决了目前在动态SLAM系统中动态物体重建精确度较低，重建结果不连续的问题，通过NeRF的方法可以通过多角度的三维空间观测，拟合出动态物体的变化规律，从而增加动态场景重建的精确性。

主权项：1.一种基于时变神经辐射场的动态场景重建与追踪方法，其特征在于：包括以下步骤：S1、输入连续的RGB-D帧，每一个RGB-D帧包括深度图、彩色图和对应RGB-D帧的时间戳；S2、对每一个RGB-D帧进行处理，得到采样点，具体处理步骤如下：S2.1、将采样N个像素并将其投射为N条射线，并由j进行索引，其中，j∈{0,…,N-1}；S2.2、对步骤S2.1中的每一条射线采样M个点，并将采样点记为其中，表示第j条射线中的第i个采样点，x,y,z表示采样点的坐标；S3、构建追踪线程和建图线程，完成追踪相机位姿和重建场景表面，具体包括以下步骤：S3.1、构建嵌入合集E，嵌入合集E中包含所有的采样点；S3.2、将时间t＝0的场景定义为规范场，而其他时间的场景则为变形场；S3.3、设置多层神经网络MLPd将采样点从变形场内转化到标准场内，并输出偏移量，若该采样点处于标准场内则输出0，若该采样点处变形场则输出偏移量为S3.4、将偏移量为和采样点的特征编码组合t送入另一个多层神经网络MLPs中输出颜色和SDF值，分别为和S3.5、通过输出颜色和SDF值和加权计算得出颜色和深度值；S4、对步骤S3的过程设置损失函数，具体表达式如下： 其中，表示第b个训练批次的综合损失函数，表示第b个训练批次颜色损失函数，λcolor表示颜色损失权重，表示第b个训练批次深度损失函数，λdepth表示深度损失权重，表示第b个训练批次自由空间损失函数，λspace表示自由空间损失权重，表示第b个训练批次SDF损失函数，λSDF表示SDF损失权重，表示第b个训练批次偏移损失函数，λoffset表示偏移损失权重，B表示训练的总批次；第b个训练批次颜色损失函数的表达式如下： 其中，N表示采样点个数，Cjt表示t时刻第j条射线的颜色，表示第j条射线对应采样点的颜色真值，||*||表示距离范数；第b个训练批次深度损失函数的表达式如下： 其中，N表示采样点个数，Djt表示t时刻第j条射线的深度值，表示第j条射线对应采样点的深度真值，||*||表示距离范数；第b个训练批次自由空间损失函数的表达式如下： 其中，s∈Sspace表示自由空间采样点，即从相机原点到截断距离处的范围内的采样点，βspace表示自由空间采样点的权重值，Dst表示自由空间中的点的深度值，tr表示预定义的截断距离值，Pspacet表示在自由空间中采样的点的数量，Ptrt表示在物体表面到截断距离处的范围采样的点的数量；第b个训练批次SDF损失函数的表达式如下： 其中，βSDF表示物体表面权重参数，s∈Str表示自由空间中的点的深度值，Dst在对象表面的截断范围内，表示自由空间中的点的深度真值，Pspacet表示在自由空间中采样的点的数量，Ptrt表示在物体表面到截断距离处的范围采样的点的数量；第b个训练批次偏移损失函数的表达式如下： 其中，s∈Sbg表示从背景中采样的点，表示变形场和规范场之间的偏移量，||*||2表示范数距离的平方；S5、进行动态建图，包括以下步骤：S5.1、建立关键帧数据库，并以固定的时间间隔向内插入新的关键帧；S5.2、计算当前帧和数据库中每一帧之间的重叠比例来选择关键帧，具体计算表达式如下：ut-qτ＝K·Tw2ct-qτ·Tc2wt·K-1·ut其中，ut表示当前帧的像素，ut-qτ表示第t-qτ时刻的关键帧的像素，q表示时间间隔τ的数量，Tw2c和Tc2w分别是相机坐标系和世界坐标系之间的转换矩阵，K表示相机的内参数矩阵，K-1表示相机的内参数矩阵K的逆矩阵，t表示当前时刻；S5.3、在对每个帧进行自监督训练后，完成建图过程。

全文数据：

权利要求：

百度查询： 云南大学 一种基于时变神经辐射场的动态场景重建与追踪方法