买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州群核信息技术有限公司申请的专利基于多模态大模型的对话方法、装置、设备以及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120448507B 。

龙图腾网通过国家知识产权局官网在2025-09-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510918795.2，技术领域涉及：G06F16/3329；该发明授权基于多模态大模型的对话方法、装置、设备以及存储介质是由朱皓;陈熠侃;董付春;宗盖盖设计研发完成，并于2025-07-03向国家知识产权局提交的专利申请。

本基于多模态大模型的对话方法、装置、设备以及存储介质在说明书摘要公布了：本公开提供了一种基于多模态大模型的对话方法、装置、设备以及存储介质。本公开涉及计算机技术领域，尤其涉及深度学习、大语言模型、问答系统、家装设计软件等技术领域。该方法包括：响应于前端界面的对话操作，获取输入的原始查询文本和前端界面的界面图片；利用视觉大语言模型，根据界面图片中包含的视觉信息，对原始查询文本进行改写，得到增强查询文本；根据原始查询文本和增强查询文本，在向量数据库中检索得到外部知识结果；将增强查询文本和外部知识结果输入问答模型，得到回答文本。根据本公开的方案，可以结合用户的文本输入和实时的操作界面视觉信息，更深刻地理解用户意图，从而提供更加精准、有效的回答。

本发明授权基于多模态大模型的对话方法、装置、设备以及存储介质在权利要求书中公布了：1.一种基于多模态大模型的对话方法，包括： 响应于前端界面的对话操作，获取输入的原始查询文本和所述前端界面的界面图片；其中，所述原始查询文本包含对目标事件的问询信息； 利用视觉大语言模型，根据所述界面图片中包含的视觉信息，对所述原始查询文本进行改写，得到增强查询文本； 根据所述原始查询文本和所述增强查询文本，在向量数据库中检索得到外部知识结果；其中，所述外部知识结果由所述原始查询文本的召回结果和所述增强查询文本的召回结果进行重新排序得到； 将所述增强查询文本和所述外部知识结果输入问答模型，得到回答文本；其中，所述回答文本包含调用所述前端界面中工具模块以解决所述目标事件的指引信息或操作流程信息；其中，所述目标事件包括以下至少一种： 操作目标，指用户意图利用所述前端界面中的一种或多种工具模块，以实现特定设计效果或完成特定操作任务； 异常状态，指所述前端界面上呈现的、阻碍用户正常操作的非预期状态，包括错误弹窗或警告提示； 其中，所述根据所述原始查询文本和所述增强查询文本，在向量数据库中检索得到外部知识结果，包括： 通过第一文本向量化模型将所述原始查询文本转换为第一查询向量； 通过第二文本向量化模型将所述增强查询文本转换为第二查询向量； 分别使用所述第一查询向量和第二查询向量，在向量数据库中检索得到初步的候选文档集合； 对所述候选文档集合进行文档重排与融合，生成最终的外部知识结果； 其中，所述对所述候选文档集合进行文档重排与融合，生成最终的外部知识结果，包括： 对所述候选文档集合中的多个第一候选文档和多个第二候选文档的相关性分别进行评分；其中，所述多个第一候选文档由所述第一查询向量召回，所述多个第二候选文档由所述第二查询向量召回； 根据评分结果对所述多个第一候选文档和所述多个第二候选文档重新排序； 对重新排序的结果进行加权融合或倒数排序融合，生成最终的外部知识结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州群核信息技术有限公司，其通讯地址为：310000 浙江省杭州市上城区莫干山路1418-40号1层106室(上城科技工业基地)；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。