买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明提供一种基于自我问答的可信多模态大模型推理方法及装置,涉及人工智能技术领域,方法包括:获取多模态数据,并进行特征提取得到对应的多模态令牌特征;获取针对多模态数据的提问问题,将提问问题与多模态令牌特征输入到多模态大模型中进行第一问答;并将得到的第一回答文本以及提示词输入到多模态大模型进行第二问答,得到第二回答文本,确定第一回答文本与第二回答文本的相似度得分,当相似度得分大于相似度阈值时,将第一回答文本作为提问问题的回答文本。通过本申请,克服大语言模型在进行问答时过于依赖问答知识库,且生成的回答文本准确性和可信度低的缺陷。
主权项:1.一种基于自我问答的可信多模态大模型推理方法,其特征在于,所述方法包括:获取多模态数据,并调用对应模态的编码器对所述多模态数据进行特征提取处理,得到对应的多模态令牌特征;获取针对所述多模态数据的提问问题,并将所述提问问题与所述多模态令牌特征输入到多模态大模型中进行第一问答;将所述多模态大模型进行第一问答得到的第一回答文本以及提示词输入到所述多模态大模型进行第二问答,得到第二回答文本,其中,所述提示词用于提示所述多模态大模型根据所述第一回答文本进行提问;确定所述第一回答文本与所述第二回答文本的相似度得分,当所述相似度得分大于相似度阈值时,将所述第一回答文本作为所述提问问题的回答文本。
全文数据:
权利要求:
百度查询: 中国科学院自动化研究所 基于自我问答的可信多模态大模型推理方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。