大连理工大学诸葛云志获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉大连理工大学申请的专利一种基于查询引导的自适应三维大语言模型系统获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120849595B 。
龙图腾网通过国家知识产权局官网在2025-12-26发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511369889.5,技术领域涉及:G06F16/334;该发明授权一种基于查询引导的自适应三维大语言模型系统是由诸葛云志;单泳齐;张璐;卢湖川设计研发完成,并于2025-09-24向国家知识产权局提交的专利申请。
本一种基于查询引导的自适应三维大语言模型系统在说明书摘要公布了:本发明属于三维场景理解与多模态人工智能交叉领域,公开一种基于查询引导的自适应三维大语言模型系统。本发明提出了查询引导的自适应裁剪模块和多模态物体级特征增强模块,分别解决了三维场景中的冗余信息处理和语义信息不足的问题,包括四个步骤:三维视觉语言对齐、查询引导的自适应裁剪、多模态特征增强和语言模型的训练优化。通过多模态数据的联合处理,本发明能够在无标注或少标注数据集的情况下,实现高效、精确的三维场景理解。实验结果表明,本发明方法在多个标准数据集上的表现优于现有技术,特别是在三维问答和场景描述任务中,展现出了显著的精度提升与鲁棒性,尤其在处理复杂三维结构和细粒度问题时具有更高的准确性和可解释性。
本发明授权一种基于查询引导的自适应三维大语言模型系统在权利要求书中公布了:1.一种基于查询引导的自适应三维大语言模型系统,其特征在于,包含以下步骤: 步骤1:三维视觉-语言对齐构建; 采用SentencePiece分词器对系统提示文本和用户问题进行编码,同时利用预训练的点云编码器PointNet++对输入的三维场景中的每个物体进行点级向量表示提取,获得每个物体的几何向量表示;随后将每个物体的几何向量表示转换为统一尺度物体级向量表示,得到三维特征矩阵,同时针对三维场景中每个物体预测其类别标签,其中,指代三维场景中的第个物体,为三维场景中的物体数量,为与大语言模型输入维度匹配的向量维度; 步骤2:查询引导的自适应裁剪; 2.1问题表示生成:使用冻结的BERT编码器对用户问题进行编码,得到查询语义向量,同时通过BERT编码器将每个物体的类别标签转换为类别语义向量; 2.2语义相关性计算:计算类别语义向量与查询语义向量的余弦相似度,形成语义相关度列表: ; 2.3全局任务引导建模:构建一个可学习的全局任务查询向量,通过其与查询语义向量的交叉注意力、两层自注意力及池化操作,得到裁剪比例因子,计算需要保留的物体数量: ; ; 其中,为当前三维场景内的总物体数量;表示线性层,用于对输入向量进行线性变换;表示池化操作,用于对向量表示进行聚合;表示通过两次自注意力层,用于捕捉序列内部元素之间的相关性;表示交叉注意力层;表示取整操作; 2.4基于相似度排序结果,在三维特征矩阵中,找到前个与任务最相关的物体级向量表示; 步骤3:多模态物体级向量表示增强; 3.1点级二维向量表示提取:首先从三维场景对应的多视角图像中利用预训练的2D编码器提取每幅多视角图像的像素级向量表示,其中,和分别为多视角图像的高和宽,为像素级向量表示的通道数;通过相机内参与外参将三维场景对应的点云数据投影至图像像素点并在多个视角下对相应像素向量表示求平均以形成点级二维向量表示,为三维场景对应的点云数据中点的数量: ; 其中,为三维场景下多视角图像的数量; 3.2物体级二维向量表示融合与对齐:利用3D场景对应的物体掩码,将点级二维向量表示汇聚为物体级二维向量表示,并通过线性映射矩阵映射至与大语言模型匹配的维度: ; 3.3跨模态融合操作:以三维特征矩阵作为查询向量、映射后的物体级二维向量表示作为键,通过交叉注意力机制融合为融合向量表示: ; 其中,是交叉注意力中的映射矩阵,分别代表交叉注意力计算中的查询向量、键向量和值向量,表示归一化函数;随后通过线性层,归一化随机失活与残差连接,随后再次进行归一化操作,最后根据步骤2.3中计算得到的值,在三维特征矩阵中挑选个与任务最相关的物体级向量表示,得到增强后的三维特征矩阵; 步骤4:语言建模与训练优化。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人大连理工大学,其通讯地址为:116024 辽宁省大连市甘井子区凌工路2号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励