Document
拖动滑块完成拼图
个人中心

预订订单
商城订单
发布专利 发布成果 人才入驻 发布商标 发布需求

请提出您的宝贵建议,有机会获取IP积分或其他奖励

投诉建议

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 积分商城 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 华东师范大学汤昌琳获国家专利权

华东师范大学汤昌琳获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉华东师范大学申请的专利一种基于三维高斯的三维模型生成方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119379913B

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411516053.9,技术领域涉及:G06T17/00;该发明授权一种基于三维高斯的三维模型生成方法是由汤昌琳;宋海川设计研发完成,并于2024-10-29向国家知识产权局提交的专利申请。

一种基于三维高斯的三维模型生成方法在说明书摘要公布了:本发明公开了一种基于三维高斯的三维模型生成方法,其特点是使用三维高斯作为初始三维模型载体,将生成二维图像的扩散模型用于优化三维高斯各个视角的渲染结果,使用网格模型作为最终三维模型载体,具体包括:随机采样相机位置并对三维高斯模型进行渲染以获得渲染图像;使用渲染图像和文本提示,通过扩散模型反向传播更新三维高斯参数;将训练好的三维高斯转换为带纹理的网格,并使用可微分渲染进行优化,得到最终的三维模型等步骤。本发明与现有技术相比具有利用三维重建领域的三维高斯模型,结合二维图像生成技术,实现对三维模型的快速生成,较好地解决了基于辐射场的三维生成方法耗时极长的问题,在三维模型生成领域具有一定的应用前景。

本发明授权一种基于三维高斯的三维模型生成方法在权利要求书中公布了:1.一种基于三维高斯的三维模型生成方法,其特征在于,采用生成物体描述文本为输入,根据三维高斯模型的渲染结果,使用二维扩散模型监督训练三维高斯模型,并根据三维高斯点的不透明度初始化网格模型,通过多视角反投影算法获取材质贴图,利用二维扩散模型监督训练网格模型与材质贴图,得到符合生成物体描述文本的三维网格模型,该方法具体包括以下步骤: 步骤1:三维高斯渲染图片 1.1在球面坐标系中随机采样相机位置,并将采样结果转换为表示相机位置的三维向量x,对于极角φ,采样范围设定在[-10°,90°],对于方位角θ,采样范围设定在[0°,360°],对于到原点的距离r,采样范围设定在[1,1.5]; 1.2将图片中心坐标y作为终点,相机坐标x作为起点,计算相机方向d,并以三维向量x为射线起点,d为射线方向,构造旋转矩阵R和平移向量t,结合内参矩阵K得到旋转平移矩阵W,并将渲染图片的分辨率设定为64*64; 1.3将旋转平移矩阵W作为输入,构建并训练一个三维高斯来学习三维模型的形状与材质,其中每个三维高斯点均包含:三维向量表示的中心位置x、标量表示的不透明度α、3*3的对称正定矩阵Σ和三维向量表示的颜色c,所述三维高斯渲染图片的获得具体包括: 1.3.1使用雅克比矩阵J用于近似相机空间到射线空间的非仿射变换,对于每个高斯中心点u0,u1,u2,雅可比矩阵J由下述a式表示为: 其中,x0,x1,x2为射线空间中的坐标点;u0,u1,u2为相机空间中的坐标点; 1.3.2通过旋转平移矩阵W和雅可比矩阵J,将3D高斯的协方差矩阵Σ由下述b式转换为射线空间下的协方差矩阵Σ′: Σ′=JWΣWTJTb; 其中,WT、JT分别为转置后的旋转平移矩阵和雅可比矩阵; 1.3.3使用下述c式所示的渲染方程,得到像素颜色C: 其中,C为像素颜色;ci为第i个高斯点的颜色;αi为第i个高斯点的不透明度;xi为第i个高斯点的坐标;Σ′为射线空间下的协方差矩阵;pi为第i个高斯点的亮度; 1.3.4得到该相机位置与方向对应的渲染图片I; 步骤2:二维扩散模型监督训三维高斯 2.1将用户输入的描述文本转换为矩阵形式,基于步骤1中随机采样的球坐标角度,将方位描述词添加到用户输入的生成物体描述文本中,利用CLIP模型对生成物体描述文本进行编码,得到一个维度为77,768的文本嵌入矩阵τ; 2.2随机采样与渲染图像维度相同的高斯噪声∈,在均匀分布中随机采样扩散时间步t,将渲染图片I与高斯噪声∈以1-t:t的比例相加,得到加入噪声的渲染图片z9; 2.3将加入噪声的渲染图片z:与文本嵌入矩阵τ以及扩散时间步t作为二维扩散模型中噪声预测模块的输入,得到预测扩散噪声 2.4计算采样噪声与预测噪声之间的误差将其通过反向传播的方式计算梯度,更新三维高斯的参数并迭代500次,得到符合生成物体描述文本的三维高斯; 步骤3:二维扩散模型监督训练网格模型 3.1使用MarchingCubes算法获取网格模型的几何信息,从三维高斯中初始化网格模型,并由下述d式对空间中的128^3个方格进行查询,判断方格对应的dx是否大于0.8,从而决定是否为网格模型边界: 其中,αi为第i个高斯点的不透明度;xi为第i个高斯点的坐标;Σ′为射线空间下的协方差矩阵; 3.2随机选择20个视角对三维高斯进行渲染,并将渲染得到的RGB图像反投影到3.1初始化得到的网格模型中,得到相应的纹理贴图,即网格模型的材质信息; 3.3采用与步骤1相同的方法采样得到相机位置与方向,使用可微分渲染器将网格模型渲染的分辨率设定为256x256的图像; 3.4在网格模型渲染到图像时,使用可微分渲染器跟踪每个相应像素投影的3D坐标,将其查询相应纹理字段中的颜色;采用与步骤2相同的方法,对网格模型与纹理贴图的参数进行更新并迭代50次,得到符合生成物体描述文本的三维网格模型。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人华东师范大学,其通讯地址为:200241 上海市闵行区东川路500号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。