Document
拖动滑块完成拼图
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索

利用文本和2D边界框同时生成多个3D物体的方法及系统 

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

摘要:本发明公开一种利用文本和2D边界框同时生成多个3D物体的方法及系统,包括3D内容增强模块、布局控制模块、多视图一致性控制模块以及布局和多视图知识整合模块。其中3D内容增强模块用于提升生成的3D内容的质量,布局控制模块用于控制同时生成的多个3D物体之间的位置,多视图一致性控制模块用于维持生成的多个物体的多视图一致性,布局和多视图知识整合模块用于统一蒸馏的多种知识并进一步增强生成物体的质量。本发明不需要改变预训练模型的结构和参数,同时解决了现有方法中存在的无法理解输入文本中复杂逻辑关系,只能生成单个物体的问题。

主权项:1.一种利用文本和2D边界框同时生成多个3D物体的方法,其特征在于,包括:步骤1,获取输入文本y和边界框l,提取输入文本和边界框特征y,l,通过预训练的布局控制扩散模型生成一张2D图片通过多层感知机模型初始化多个3D物体gθ;步骤2,从gθ中以视角c渲染出2D图片x=gθ,c并添加正态分布的噪声;步骤3,基于输入文本y和边界框l,利用蒸馏从预训练的布局控制扩散模型中提取布局先验知识,优化生成的多个3D物体;步骤4,将2D图片作为预训练的多视图一致性扩散模型的先验,利用蒸馏提取多视图先验知识,优化生成的多个3D物体;步骤5,使用均方误差损失函数更新预训练的布局扩散模型中的低秩矩阵,得到3D物体分布;步骤6,使用布局多视图变分蒸馏,基于3D物体分布,统一布局先验知识和多视图先验知识,优化多个3D物体;步骤7,重复步骤2-6,基于步骤2的2D加噪渲染图片设计并计算布局控制扩散模型、多视图一致性扩散模型的损失函数,优化多个3D物体。

全文数据:

权利要求:

百度查询: 南京理工大学 利用文本和2D边界框同时生成多个3D物体的方法及系统

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。