买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院计算技术研究所

摘要：本发明提出一种基于神经辐射场的三维场景一致性风格化方法和系统。通过引入2D风格化模型和3D神经辐射场互学习的策略，让神经辐射场获得了像素级的精准风格化监督，同时减少了2D风格化模型的不一致性对神经辐射场结果的损害。引入的条件概率建模的可学习变量在学习到2D风格化结果的不一致性，进一步降低了神经辐射场的模糊，与此同时让神经辐射场能够条件化的对三维场景进行风格化渲染。本发明能够基于一组风格图片，和同一场景不同视角的一组图片，建模出该场景的风格化神经辐射场。可给定场景的任意新视角和一张风格图片，渲染出该视角下符合风格图片的风格效果的场景图片，渲染结果在不同视角下满足一致性。

主权项：1.一种基于神经辐射场的三维场景一致性风格化方法，其特征在于，包括步骤1、获取风格图片和一组相同场景不同视角的内容图片；步骤2、使用特征提取模型分别对该内容图片和该风格图片进行特征提取，得到该内容图片的内容特征和该风格图片的风格特征；内容特征通过线性变换，将其均值和方差与风格特征的均值和方差对齐，通过卷积网络解码器对经特征对齐后的内容特征进行反卷积操作，得到第一风格化内容图片；步骤3、该第一风格化内容图片经过该特征提取模型提取出中间特征，根据该中间特征的均值与方差与该风格特征的均值与方差之间的L2距离，作为风格化损失；根据该中间特征与该内容特征之间的L2距离，作为内容损失，通过优化该内容损失和该风格化损失训练卷积网络解码器，得到具备风格化能力的中间解码器；步骤4、通过神经辐射场，渲染出该场景多个视角下的颜色图片和深度图片，经过该特征提取模型依次提取每张颜色图片的特征，并将其与风格特征的均值方差对齐后，使用该中间解码器恢复为风格化的第二风格化内容图片；根据每张第二风格化内容图片的深度以及视角，将预设视角范围内的第二风格化内容图片图片的像素点投影至同一视角，得到多张颜色投影图片及其对应的深度投影图片；根据深度投影图片，筛除颜色投影图片中深度差距过大的像素点，计算筛除后的颜色投影图片之间的颜色误差作为一致性损失，通过该一致性损失、该风格化损失和该内容损失，对该中间解码器进行训练，得到最终解码器；步骤5、将待风格化的一组相同场景不同视角的内容图片依次输入该特征提取模型和该最终解码器，得到风格化图片结果。

全文数据：

权利要求：

百度查询： 中国科学院计算技术研究所 基于神经辐射场的三维场景一致性风格化方法及系统