买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学技术大学

摘要：本发明公开了一种基于高斯泼溅并融合可学习基函数的新视角合成方法，包括：S1、构建场景数据集，获取场景点云数据；S2、将场景点云数据作为改进高斯泼溅模型输入，利用渐进式模型训练方法对改进高斯泼溅模型进行训练，完成改进高斯泼溅模型参数的优化；S3、根据高斯核重要性评价指标对改进高斯泼溅模型进行修剪，通过重新优化获得更紧凑的改进高斯泼溅模型并保存；S4、得到可学习基函数信息图；S5、根据优化后改进高斯泼溅模型和烘焙后的可学习基函数信息图，完成新视角合成且能够实现高帧率的实时渲染。本发明对颜色信息重新建模，引入轻量级的多层感知器来扩展球谐函数并提出渐进式模型训练方法，更准确地模拟复杂视觉效果。

主权项：1.一种基于高斯泼溅并融合可学习基函数的新视角合成方法，其特征在于，包括如下步骤：S1、构建场景数据集，获取场景点云数据；S2、将场景点云数据作为改进高斯泼溅模型输入，利用渐进式模型训练方法对改进高斯泼溅模型进行训练，完成改进高斯泼溅模型参数的优化；S3、根据高斯核重要性评价指标对改进高斯泼溅模型进行修剪，通过重新优化获得更紧凑的改进高斯泼溅模型并保存；S4、将训练好的改进高斯泼溅模型进行烘焙处理，得到可学习基函数信息图；S5、根据优化后改进高斯泼溅模型和烘焙后的可学习基函数信息图，完成新视角合成且能够实现高帧率的实时渲染；所述改进高斯泼溅模型在原始高斯泼溅模型上对颜色进行了重新建模，将总颜色C分为由低阶球谐函数学习的低频颜色和可学习基函数学习的高频颜色： ；在低频颜色部分，对于每个高斯核对应颜色只与方向向量v有关，每个通道的低频颜色均建模为一个函数： ；其中，v表示三维高斯核中心位置与摄像机位置之差，表示函数的输入空间，即方向向量v的定义域，表示函数的输出空间，即函数值所在的实数集；高斯核对应颜色： ；其中，表示低阶球谐函数的基函数，是基函数所对应的系数；在高频颜色部分，使用一个多层感知器定义M个可学习基函数作为低频颜色信息的扩展： ；多层感知器将三维高斯核中心位置与摄像机位置之差作为输入向量v，视为二维向量，采用以下公式对输入向量v进行位置编码： ；其中，表示位置编码后的向量，k表示一个索引，从0到，L表示编码的级数或频率的数量，和表示对输入向量v进行正弦和余弦变换，频率为；多层感知器输出一个M维向量作为M个基函数，同时引入一组系数，每个高斯核的高频颜色信息计算如下： ；其中，表示高频颜色信息；每个高斯的可学习基函数的系数的数量为3M，对应着红绿蓝三个通道；针对低阶球谐函数基函数与可学习基函数采用了系数共享策略： ；其中，表示总颜色信息，表示低阶球谐函数和可学习基函数对应的系数；对高斯核的形状定义与光栅化的表达形式： ； ；其中，x是高斯核的位置，是协方差矩阵控制着高斯核的形变，C是像素颜色，是第i个高斯核的颜色，是第i个高斯核的不透明度，N为索引集合，为累乘透明度因子，表示从第1个到第i-1个高斯核的透明度累乘积，用于调整每个高斯核对最终像素颜色的贡献；所述渐进式模型训练方法包括扰动策略、初始化策略、分辨率策略；扰动策略采用可学习基函数增强每个高斯核的表达能力，引入在训练过程中衰减的扰动策略，扰动策略为方向向量添加随机噪声： ； ；其中，表示在第i次训练迭代中添加到输入向量v中的线性衰减噪声，表示高斯分布，0为均值，I为协方差矩阵，是根据经验确定的缩放因子，用于调整噪声幅度，表示应用该策略的训练迭代总数；初始化策略包括设置初始阈值与软阈值，可学习基函数在迭代次数大于初始阈值之后参与渲染，权重在软阈值之前呈线性增长： ；其中，i为当前迭代次数；分辨率策略为在训练初期使用下采样得到的低分辨率图像，逐步提高分辨率： ；其中，表示第i次迭代时的分辨率，分辨率在每次迭代中逐步增加，直到达到最终分辨率，和分别代表初始分辨率和最终分辨率，i是当前迭代次数，是控制从到过渡速度的阈值；所述S2中设置新的损失函数，在原始高斯泼溅的损失函数上引入了块的概念，将训练视图图像划分为多个块，将渲染得到的块与真实图像对应位置进行比较，得到块损失，将块损失与全局损失结合，作为最终损失： ；其中，L表示总损失函数，用于衡量预测图像与真实图像之间的差异，和表示损失函数的权重系数，表示图像块的数量，即将训练图像划分成的总块数，是块损失，是全局损失，损失的计算公式为： ；其中，表示的是全局损失和局部块损失的统一计算公式，用于衡量图像预测质量的两种不同尺度上的损失，表示预测图像与真实图像之间的绝对误差，表示结构相似性指数，用于衡量两幅图像之间的视觉相似性，表示权重系数；所述重要性评价指标，将评估每个高斯核对训练图像中每个像素的贡献并汇总，根据总得分裁剪高斯核，并确定在T张训练图像中，每条光线的计算过程中是否使用了三维高斯： ；其中，H和W分别表示图像的高度和宽度，如果使用，考虑当前高斯在最终颜色中的权重，表示对有遮挡效应的所有高斯点，权重表示为的不透明度与使用计算的透射率的乘积；所述可学习基函数由多层感知器计算得到，并将基函数烘焙成可学习基函数信息图，输入的三维方向向量v转化为天顶角与方位角的表示形式，其中，，，确定可学习基函数信息图的分辨率，根据分辨率对天顶角与方位角均匀采样，预计算经过训练的多层感知器，将结果存储在M幅单通道图像中，第m幅烘焙图像中每个像素的值为： ；其中，是多层感知器输出的第m维的可学习基函数，烘焙图像尺寸为；在烘焙完成之后进行实时渲染，将烘焙数据加载到内存，传递给GPU进行实时渲染，采用一种可学习基函数超采样策略，每个像素近似值： ； ； ；其中，S表示超采样因子，表示在单位像素区域内进行的采样点的数量，和表示超采样点的位置。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种基于高斯泼溅并融合可学习基函数的新视角合成方法