买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中山大学申请的专利一种从大模型中发现常见交互属性的可操作部件感知方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118036559B 。

龙图腾网通过国家知识产权局官网在2025-04-04发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410243715.3，技术领域涉及：G06F40/126；该发明授权一种从大模型中发现常见交互属性的可操作部件感知方法是由梁小丹;温悠朋;赵屾设计研发完成，并于2024-03-04向国家知识产权局提交的专利申请。

本一种从大模型中发现常见交互属性的可操作部件感知方法在说明书摘要公布了：本发明涉及计算机视觉的技术领域，提出一种从大模型中发现常见交互属性的可操作部件感知方法，包括以下步骤：获取现实场景的物体的可操作部件对应的图像‑文本配对数据集，并编码得到图像‑文本配对数据集对应的视觉级别的嵌入和文本嵌入；利用对比学习训练使所述视觉级别的嵌入和文本嵌入之间的互信息最大化，得到训练好的视觉级别的嵌入和文本嵌入；将训练好的视觉级别的嵌入对应的图像特征蒸馏至3D空间；基于蒸馏结果和训练好的文本嵌入对现实场景物体的可操作部件进行实例分割，得到部件的分割掩码；基于部件的分割掩码利用姿态预测网络预测得到部件的预测位姿；将部件的分割掩码和部件的预测位姿用于实现具身智能与现实场景物体间的交互。

本发明授权一种从大模型中发现常见交互属性的可操作部件感知方法在权利要求书中公布了：1.一种从大模型中发现常见交互属性的可操作部件感知方法，其特征在于，包括以下步骤：利用大语言模型和扩散模型，获取现实场景的物体的可操作部件对应的图像-文本配对数据集；利用图像编码器和文字编码器，对图像-文本配对数据集进行编码，得到图像-文本配对数据集对应的视觉级别的嵌入和文本嵌入；利用对比学习训练所述视觉级别的嵌入和文本嵌入，当所述视觉级别的嵌入和文本嵌入之间的互信息最大化时，停止训练，得到训练好的视觉级别的嵌入和训练好的文本嵌入；基于知识蒸馏，将训练好的视觉级别的嵌入对应的图像特征蒸馏至3D空间；基于蒸馏至3D空间的图像特征和训练好的文本嵌入，对现实场景的物体的可操作部件进行实例分割，得到部件的分割掩码；基于部件的分割掩码，利用姿态预测网络预测得到部件的预测位姿；将部件的分割掩码和部件的预测位姿用于实现具身智能与现实场景的物体之间的交互；其中，利用对比学习训练所述视觉级别的嵌入和文本嵌入的步骤包括：设计用于最大化视觉级别的嵌入和文本嵌入之间的互信息的损失函数L2D-text，所述损失函数L2D-text的表达式为： 式中，vk表示视觉级别的嵌入的第k个元素，tk表示文本嵌入的第k个元素，·,·表示两向量的相似度，τ表示可学习的温度系数，Qk表示正样本提供负样本的采样字典，其中，将vk对应的图像与tk对应的文字有共同的部件的样本视为正样本，其余情况视为负样本；基于损失函数L2D-text，利用对比学习训练所述视觉级别的嵌入和文本嵌入，直至损失函数L2D-text最小化或迭代次数达到阈值时，停止训练，得到训练好的视觉级别的嵌入和训练好的文本嵌入，停止训练时，视觉级别的嵌入和文本嵌入之间的互信息达到最大化，且所述训练好的视觉级别的嵌入的表达式为：v′k表示停止训练时的vk；训练好的文本嵌入的表达式为ti′表示停止训练时的ti；基于部件的分割掩码，利用姿态预测网络预测得到部件的预测位姿的步骤包括：对于每个部件的分割掩码，从3D特征F3D中查询分割掩码对应的掩码特征，利用姿态预测网络对掩码特征相应的点的部件坐标空间坐标进行逐点归一化，并对部件坐标空间坐标进行7维的刚性变换，得到初始的部件的预测位姿pnpcs；对初始的部件的预测位姿pnpcs进行优化，得到部件的预测位姿，其中，优化步骤包括：基于初始的部件的预测位姿pnpcs设计归一化损失函数LNPCS；迭代求解损失函数LNPCS，直至损失函数LNPCS达到最小化或迭代次数达到预设次数时，停止迭代，得到部件的预测位姿，部件的预测位姿为停止迭代时的pnpcs；所述损失函数LNPCS的表达式为：LNPCS＝L1pnpcs,gnpcs式中，L1表示L1损失函数，gnpcs表示部件的真实位姿的接地数据。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中山大学，其通讯地址为：510275 广东省广州市海珠区新港西路135号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。