东北大学栾贺获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉东北大学申请的专利一种基于递进式网格细化的神经辐射场重打光方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119963715B 。
龙图腾网通过国家知识产权局官网在2025-11-25发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510033574.7,技术领域涉及:G06T15/50;该发明授权一种基于递进式网格细化的神经辐射场重打光方法是由栾贺;李诗瑶;林树宽设计研发完成,并于2025-01-09向国家知识产权局提交的专利申请。
本一种基于递进式网格细化的神经辐射场重打光方法在说明书摘要公布了:本发明提供一种基于递进式网格细化的神经辐射场重打光方法,涉及计算机图形学和新视角合成技术领域,本方法采用分辨率逐步递进的网格结构,并结合频率编码技术,通过多层感知器、对每一层网格进行特征提取,逐层细化场景的三维结构与光照信息。具体地,低分辨率网格与低频编码结合,高分辨率网格与高频编码结合,通过残差连接有效增强了不同尺度下的特征表达能力,优化场景的重打光效果并提高渲染图像的细节和清晰度。该方法训练过程高效,能够在消费级显卡上实现快速训练和推理,具有良好的可扩展性,广泛适用于虚拟现实、增强现实、自动驾驶等多种环境感知任务,具备广泛的应用前景。
本发明授权一种基于递进式网格细化的神经辐射场重打光方法在权利要求书中公布了:1.一种基于递进式网格细化的神经辐射场重打光方法,其特征在于,包括以下步骤: 步骤1:构建数据集,并划分为训练集和测试集; 步骤1-1:采集不同视角下相机拍摄的图片构建数据集,获取数据集中的图片和对应的内部参数,其中内部参数包括相机视角方向v、图片拍摄时相机的位置o和光源位置Pl; 步骤1-2:将数据集按照设定比例划分为训练集和测试集; 步骤2:从数据集中的相机位置o发射采样射线,并进行离散点采样; 步骤3:构建递进式多分辨率特征网格,进行特征提取; 步骤3-1:网格的多分辨率表示:通过递进式的方式构建多个分辨率的网格,每一层网格对应不同尺度的空间细节信息,具体表示为,其中,r=1,2,...n,表示第r层的网格,是该层网格的分辨率,n为网格层数; 步骤3-2:特征提取过程:在递进式网格中,通过对每个网格层逐层提取特征进行细化,使用多层感知器MLP从不同分辨率的网格中提取三维空间的特征;对于每一层网格,MLP网络将步骤2所得到的采样点位置x和采样射线方向v作为输入,得到MLP学习到的输入的采样点的特征表示,即SDF值; 步骤3-3:递进式训练:采用递进式训练策略,在低分辨率网格上首先进行训练,逐步利用残差网络引入更高分辨率的网格学习,进行训练和优化; 步骤4:根据递进式特征网格构建相应频率的位置编码; 步骤4-1:利用递进式多分辨率网格细化的思想,结合位置编码技术,为神经辐射场的每个采样点生成不同频率的编码;具体而言,不同分辨率的网格对应不同频率的傅里叶位置编码,对于每个网格点,利用其空间坐标X,Y,Z,使用傅里叶变换进行位置频率编码,具体地,位置频率编码函数表示为: ; 其中,x为网格点的空间坐标,X为水平坐标,表示该点相对于水平面沿着水平方向的距离;Y为纵深坐标,表示该点相对于水平面沿着前后方向的距离;Z为垂直坐标,表示该点相对于水平面沿着上下方向的距离;L是编码的最大频率层级,与网格的分辨率相对应,2L表示高频部分的标定指数; 步骤4-2:递进式细化的编码:使用设定的最小频率的傅里叶编码来捕捉大尺度的场景特征;而在高分辨率网格上,频率逐渐增加;网格有n个层级,对于第l层的网格,其频率编码的最大频率为2l-1,ln,即随着分辨率的增加,频率也按指数级增长,第l层网格对应的位置频率编码函数的表示如下: ; 步骤5:将多个多层感知器MLP使用残差网络连接,实现对场景的隐式表达; 所述隐式表达定义为一种函数映射: F,其中x是采样点的空间坐标,v是采样射线的方向,,;MLP网络是由多个多层感知机MLP构成,多层感知机MLP分别为F1,F2,...Fn,每个MLP的输入是上一层MLP输出的特征向量以及本层次对应频率的位置编码集合; 步骤5-1:第一层级MLP网络F1的输入是将未编码的采样点空间坐标x以及经过频率编码后的数据进行拼接,输出向量是本层学习到的特征向量,表示为: ; 步骤5-2:第二层以及后面的每个层级的MLP网络均是输入来自上一层级的输出O以及本层级的位置频率编码;具体地,第l层级的MLP网络将l-1层级MLP的输出和本层级的位置频率编码集合作为输入,并输出本层级学习到的中间特征向量,公式表示如下: 步骤5-3:通过残差网络连接各个层级网络构成整体网络架构,每个位置频率编码经过对应的网络层生成特征输出;采用残差网络结构连接每一层频率的输出,具体表示如下: ,其中是加权系数,k为常数; 步骤5-4:将采样射线方向v进行频谱编码: 步骤5-5:最后一层网络输出的特征向量为,将该输出经过线性层,得到最终学习到的SDF值,再将进行频率编码后得到的采样射线方向信息与特征向量进行拼接,送入附加的全连接ReLU层中,最后通过sigmoid激活函数预测得到颜色值c; 步骤6:采样点可见度估算,重建重打光任务中的光照阴影,确定该点在给定光照条件下是否会受到光源的直接照射; 步骤6-1:计算采样点pi与光源点位置Pl在三维空间中的直线距离Zfrag公式如下: ; 其中,x为采样点的空间坐标,Pl为光源点的空间坐标; 步骤6-2:将相机位置o切换为光源点位置Pl,按照重复步骤2至步骤3学习射线上采样点的SDF值,将SDF值为0的采样点记为q;连接采样点pi与光源点位置Pl,检测两点所连直线上存在的SDF值为0的采样点记为qi,计算qi点与光源点位置Pl在三维空间中的直线距离Zshadow公式如下:; 其中,xq为采样点qi的空间坐标,Pl为光源点的空间坐标; 步骤6-3:估算采样点pi所在采样射线的可见性,通过Zfrag和Zshadow来进行可见度判断;当Zfrag大于Zshadow时说明采样点与光源之间的连线上存在遮挡物,因此该采样点位于阴影区域,可见度为0;否则可见度为1,采样点pi所在采样射线的可见度表示如下: ; 其中,Vp为该采样点所在采样射线的可见度; 步骤7:通过体渲染公式进行图片渲染; 步骤7-1:计算采样射线上每个采样点对应的体密度: ,; 其中,表示密度函数,s为超参数,F是学习SDF值的网络函数,pi表示采样点; 步骤7-2:计算采样射线上所有采样点所对应的体积密度的累计值,即不透明度: ; 其中t为采样距离,为采样点体密度; 步骤7-3:计算采样射线上每个采样点所对应的密度权重:; 步骤7-4:使用采样射线的可见度Vp、采样射线上所有采样点的密度权重、采样点对应的颜色值c用累加求和的方式计算,得到像素点的颜色值: ,其中,N为采样点数量,表示采样点的密度权重值,表示采样点学习到的颜色; 步骤8:计算整体损失; 步骤8-1:计算渲染损失; 所述渲染损失表示如下:; 其中,表示渲染出来的RGB值,表示像素点真实的RGB值,Rp是全部射线合集,p为采样射线; 步骤8-2:计算SDF正则化损失; 所述SDF正则化损失表示如下: ; 其中,为采样射线p上的采样点,即采样点的空间坐标; 步骤8-3:计算总体损失; 所述总体损失为渲染损失与SDF正则化损失的加权和,表示如下: ,其中为超参数; 步骤9:迭代训练,对MLP网络进行迭代训练,重复执行步骤2至步骤8,每次使用不同的训练样本进行优化,直到MLP网络的性能达到预定的收敛标准;最终,将训练好的MLP网络保存下来; 步骤10:利用体渲染公式生成新的视角图像。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人东北大学,其通讯地址为:110819 辽宁省沈阳市和平区文化路3号巷11号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励