买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江华是科技股份有限公司申请的专利一种基于多模态大模型监督的提示词优化训练方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120297423B 。

龙图腾网通过国家知识产权局官网在2025-09-12发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510776516.3，技术领域涉及：G06N5/04；该发明授权一种基于多模态大模型监督的提示词优化训练方法及系统是由吴显德;刘赞;雷明根;盛凯威;何淑燕;杨姗姗设计研发完成，并于2025-06-11向国家知识产权局提交的专利申请。

本一种基于多模态大模型监督的提示词优化训练方法及系统在说明书摘要公布了：本发明公开一种基于多模态大模型监督的提示词优化训练方法及系统。其中，该方法包括：将多个初始提示词采用简单多模态大模型、复杂多模态大模型、第一文本大模型进行筛选和优化，得到简单最优提示词、复杂最优提示词；将简单最优提示词、训练集、人工标定问题输入到简单多模态大模型中进行训练，得到简单总损失值；判断简单总损失值是否在预设阈值范围内，若是，则结束训练；反之，重复上述过程的优化，直至简单总损失值在预设阈值范围内，停止训练，将最后一次更新得到的简单最优提示词作为目标最优提示词。该方法通过复杂大模型与简单大模型的协同训练，减少人工干预；结合人工标定数据与复杂大模型的推理过程，双重监督提升提示词的准确性。

本发明授权一种基于多模态大模型监督的提示词优化训练方法及系统在权利要求书中公布了：1.一种基于多模态大模型监督的提示词优化训练方法，其特征在于，包括： S1、构建包括人工标定问题、人工分析过程和人工答案的图片训练集； S2、将图片训练集采用复杂多模态大模型生成多个初始提示词； S3、将多个初始提示词采用简单多模态大模型进行筛选，得到简单初始提示词；将多个初始提示词采用复杂多模态大模型进行筛选，得到复杂初始提示词； S4、将简单初始提示词通过简单多模态大模型、复杂多模态大模型、第一文本大模型进行优化，得到简单最优提示词；将复杂初始提示词通过简单多模态大模型、复杂多模态大模型、第一文本大模型进行优化，得到复杂最优提示词； S5、将简单最优提示词、图片训练集输入到简单多模态大模型中进行训练，得到简单总损失值、每张图片的简单答案、以及每张图片的简单分析过程；判断简单总损失值是否在预设阈值范围内，若是，则结束训练；反之，将简单最优提示词作为简单初始提示词，将复杂最优提示词作为复杂初始提示词，重复进行S4～S5，直至简单总损失值在预设阈值范围内，停止训练，将最后一次更新得到的简单最优提示词作为目标最优提示词； 所述S2包括： 将图片训练集、图片训练集中每张图片的人工标定问题输入到所述复杂多模态大模型中，得到问题的关键词； 依据关键词联网检索获得参考提示词模板； 将参考提示词模板、所有图片的人工标定问题输入到所述复杂多模态大模型中，得到多个初始提示词； 所述将多个初始提示词采用简单多模态大模型进行筛选，得到简单初始提示词包括： 依次将每个初始提示词作为当前初始提示词； 将当前初始提示词、图片训练集输入到简单多模态大模型中进行训练，得到每张图片的简单推理答案、以及简单推理分析过程； 根据每张图片的人工分析过程和简单推理分析过程计算得到每张图片的简单分析过程相似度损失值； 根据每张图片的简单分析过程相似度损失值、每张图片的简单推理答案、每张图片的人工答案计算得到当前初始提示词对应的得分； 将最高得分对应的初始提示词作为简单初始提示词； 所述将多个初始提示词采用复杂多模态大模型进行筛选，得到复杂初始提示词包括： 依次将每个初始提示词作为当前初始提示词； 将当前初始提示词、图片训练集输入到复杂多模态大模型中进行训练，得到每张图片的复杂推理答案、以及复杂推理分析过程； 根据每张图片的人工分析过程和复杂推理分析过程计算得到每张图片的复杂分析过程相似度损失值； 根据每张图片的复杂分析过程相似度损失值、每张图片的复杂推理答案、每张图片的人工答案计算得到当前初始提示词对应的得分； 将最高得分对应的初始提示词作为复杂初始提示词； 所述将简单初始提示词通过简单多模态大模型、复杂多模态大模型、第一文本大模型进行优化，得到简单最优提示词包括： 将简单初始提示词、图片训练集、人工标定问题输入到简单多模态大模型中进行模型训练，得到每张图片的简单推理答案、简单分析过程以及简单分析过程相似度损失值；将复杂初始提示词、图片训练集、人工标定问题输入到复杂多模态大模型中进行模型训练，得到每张图片的复杂推理答案、复杂分析过程以及复杂分析过程相似度损失值； 根据每张图片的简单推理答案、简单分析过程以及简单分析过程相似度损失值，每张图片的复杂推理答案、复杂分析过程以及复杂分析过程相似度损失值，将简单初始提示词通过第一文本大模型进行训练，得到第一简单正确提示词、第二简单正确提示词、第一简单错误提示词、第二简单错误提示词； 将第一简单正确提示词、第二简单正确提示词、第一简单错误提示词、第二简单错误提示词输入到第一文本大模型中进行训练，得到简单共同提示词； 将第一简单正确提示词、第二简单正确提示词、第一简单错误提示词、第二简单错误提示词、简单共同提示词、图片训练集输入到简单多模态大模型中，得到每张图片通过每个提示词推理得到的答案、以及分析过程；根据每张图片通过每个提示词推理得到的答案、以及分析过程，将简单共同提示词采用第一文本大模型进行优化，得到简单最优提示词； 所述简单总损失值根据以下公式计算： 其中，loss为简单总损失值，N训练集为图片训练集的图片数量，为第i张图片的简单分析过程相似度损失值，为第i张图片的简单答案与人工答案是否一样，一样为1，不一样为0。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江华是科技股份有限公司，其通讯地址为：311122 浙江省杭州市余杭区闲林街道嘉企路16号3幢1楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。