买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东浪潮科学研究院有限公司申请的专利面向视觉语言模型的模型推理方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120046743B 。

龙图腾网通过国家知识产权局官网在2025-07-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510535090.2，技术领域涉及：G06N5/04；该发明授权面向视觉语言模型的模型推理方法、装置、设备及介质是由李雪;杨彤;张吉臣;姜凯设计研发完成，并于2025-04-27向国家知识产权局提交的专利申请。

本面向视觉语言模型的模型推理方法、装置、设备及介质在说明书摘要公布了：本申请公开了面向视觉语言模型的模型推理方法、装置、设备及介质，涉及模型推理领域，包括：基于语义引导网络、初始视觉语言模型、视觉样本以及与文本描述确定初始单步问题集，并对初始单步问题集进行优化，得到目标单步问题集；利用目标单步问题集、预设语义扩展策略以及预设问题推理策略确定目标多步问题集；基于目标单步问题集、目标多步问题集以及所述初始视觉语言模型确定训练样本集和第一微调后模型；利用混合掩码策略对第一微调后模型进行微调，得到第二微调后模型；将第二微调后模型进行蒸馏，利用训练样本集对得到的蒸馏模型进行训练，以利用得到的目标视觉语言模型触发模型推理。因此，本申请能够提高视觉语言模型的模型推理能力。

本发明授权面向视觉语言模型的模型推理方法、装置、设备及介质在权利要求书中公布了：1.一种面向视觉语言模型的模型推理方法，其特征在于，包括： 基于语义引导网络、初始视觉语言模型、视觉样本以及与所述视觉样本对应的第一文本描述确定目标实体集，并利用对所述目标实体集进行分类预测的结果从所述目标实体集中确定不确定性满足预设阈值条件的实体，基于所述不确定性满足预设阈值条件的实体生成初始单步问题集；单步问题为单一逻辑关系问题； 基于所述初始单步问题集、所述第一文本描述以及与所述视觉样本不存在预设对应关系的第二文本描述对所述初始单步问题集进行优化，以得到目标单步问题集； 利用所述目标单步问题集、预设语义扩展策略以及预设问题推理策略确定目标多步问题集，并基于所述目标单步问题集、所述目标多步问题集、预设模型推理策略以及所述初始视觉语言模型确定训练样本集和第一微调后模型；多步问题为在单步问题的基础上具有逻辑递进关系的多个问题； 基于所述视觉样本、所述第一文本描述、预设视觉掩码概率以及预设文本掩码概率确定混合掩码策略，并利用所述混合掩码策略对所述第一微调后模型进行微调，得到第二微调后模型； 将所述第二微调后模型确定为学生模型，并利用预设教师模型对所述学生模型进行蒸馏，以得到蒸馏模型，确定所述训练样本集的样本难度，并基于所述训练样本集和所述样本难度对所述蒸馏模型进行迭代训练，以利用得到的目标视觉语言模型触发模型推理； 其中，将视觉样本和与所述视觉样本对应的第一文本描述输入至初始视觉语言模型，通过语义引导网络基于所述初始视觉语言模型输出的跨模态表征确定目标实体集，包括：利用初始视觉语言模型对视觉样本和与所述视觉样本对应的第一文本描述进行解析，以得到相应的跨模态表征；通过语义引导网络利用所述跨模态表征提取所述视觉样本和所述第一文本描述中的初始实体集，以完成实体提取操作；确定所述初始实体集的第一重要程度和第二重要程度；所述第一重要程度为所述初始视觉语言模型预测的初始实体在视觉信息中的重要程度，所述第二重要程度为所述初始视觉语言模型预测的初始实体在文本描述中的重要程度；基于所述第一重要程度、所述第二重要程度、预设视觉权重控制参数以及预设文本权重控制参数确定所述初始实体集中各初始实体的重要度得分；在所述初始实体集中，将所述重要度得分大于预设重要度阈值的初始实体确定为目标实体，以基于各所述目标实体构建目标实体集； 所述基于所述目标单步问题集、所述目标多步问题集、预设模型推理策略以及所述初始视觉语言模型确定训练样本集和第一微调后模型，包括：利用所述目标单步问题集、所述目标多步问题集以及预设模型推理策略对所述初始视觉语言模型进行微调，以得到第一微调后模型；在对所述初始视觉语言模型进行微调的过程中，基于所述目标单步问题集和所述目标多步问题集确定训练样本集。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东浪潮科学研究院有限公司，其通讯地址为：250000 山东省济南市高新区浪潮路1036号S02号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。