买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京大学

摘要：本发明提供一种基于神经辐射场的水下场景表征方法，通过神经网络中设计相应的模块来实现,包括：混合渐进采样模块、场景参数估计模块、混合体积渲染模块，对于没有时序的水下数据集，实现水下场景高质量的静态重建，提高了在此类数据集上的三维重建表现；对于存在时序信息的水下数据集，实现水下场景高质量的动态重建，恢复水下生物的运动轨迹与光照的实时变化，扩大了算法的应用范围；渲染速度上大大超越了现有的其它水下场景三维重建的方法，提高了在水体消除任务上的表现；在水体迁移任务上实现了更加真实的效果，设计科学合理，适合推广应用。

主权项：1.基于神经辐射场的水下场景表征方法，其特征在于，通过神经网络中设计相应的模块来实现,包括：步骤一、混合渐进采样模块：采用在相机射线上的采样方式，实现了同时对场景中物体部分与水体部分进行优化；对于相机射线r，首先等距选取Nm个点来预测水体部分的参数，再利用多尺度哈希网格采样Ns个点，实现在物体表面附近的充分采样；这Ns个点需要满足：σstaor+ti·δk·drτ.也就是说在起点为or，方向为dr的这条相机射线上，以δk为间隔采样一些点，满足这些采样点处的静态物体体素密度大于一预设定的界限；对于动态物体，只有当它们出现在相机与静态物体之间时，才会对新视角图片有贡献；因此在建模动态物体时，额外进行一次等距采样，范围从相机近处开始直到场景中静态物体出现的深度处，这样可以为动态物体的建模提供更高的精确度；步骤二、场景参数估计：经过所述混合渐进采样得到的采样点，在经过双立方插值之后，输入进各个MLP来预测所述采样点处的场景的参数信息；整个场景被分为动态物体，静态物体与水体三个部分；这就导致对于每一个采样点，神经网络会输出三组场景参数的预测结果：静态场景参数σsta,csta，动态场景参数σdyn,cdyn和水体参数σw，cw；神经网络会同时对每一个采样点预测一个局部光照参数λ，表示在输入的时间和视角方向下，采样点的曝光时间；将局部光照参数λ乘以神经网络输出的三组颜色结果，就得到了考虑光照条件之后的该采样点的颜色，即：c′{sta,dyn,w}＝λ·c{sta,dyn,w}.步骤三、混合体积渲染：经过神经网络的预测，得到了所述三组场景参数的预测结果；在真实的水下场景中，对于每个采样点，只存在动态物体、静态物体或水体三者之一；完全将三者在空间上分离是困难的，故采用了混合体积渲染这一模型，来将网络预测的同一个点的三种参数进行混合；大多数的水下场景中的物体都是不透明的，因此在考虑物体与水之间的混合之时：在物体存在的部分：物体的体素密度远大于水的体素密度；在水体中的部分：预测的物体的体素密度接近0，远小于水的体素密度；因此物体与水之间不会产生很大的干扰；又根据之前的假设，动态物体一定出现在静态物体之前，因此物体之间也不会形成干扰，保证了所述混合体积渲染这一模型的合理性。

全文数据：

权利要求：

百度查询： 北京大学 基于神经辐射场的水下场景表征方法