买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京科技大学

摘要：本发明公开了一种基于多模态输入和知识图谱的问答方法及装置，属于人工智能技术领域。所述方法包括：对获取到的多模态数据进行融合，获得融合后的多模态数据；在预先构建的知识图谱中，找到与融合后的多模态数据多个相关的实体与关系，并构成实体集合与关系集合；利用上下文感知技术对实体集合与关系集合中元素的权重进行调整，获得调整权重后的实体集合与关系集合；根据调整权重后的实体集合与关系集合，利用自适应路径探索方法，在预先构建的知识图谱中，找到所有可能导向最终答案的路径并对其进行评估与优化，获得可能导向最终答案的路径；对可能导向最终答案的路径提取信息并生成最终答案。采用本发明，可提高问答系统的准确性和高效性。

主权项：1.一种基于多模态输入和知识图谱的问答方法，其特征在于，所述方法包括：S1、获取多模态数据；所述多模态数据为用户输入的问题数据；其中，所述多模态数据，包括：图像数据、文本数据以及声音数据；S2、对所述多模态数据进行融合，获得融合后的多模态数据；S3、在预先构建的知识图谱中，找到与所述融合后的多模态数据多个相关的实体与关系，并构成实体集合与关系集合；利用上下文感知技术对实体集合与关系集合中元素的权重进行调整，获得调整权重后的实体集合与关系集合；S4、根据所述调整权重后的实体集合与关系集合，利用自适应路径探索方法，在预先构建的知识图谱中，找到所有可能导向最终答案的路径；其中，所述S4的根据所述调整权重后的实体集合与关系集合，利用自适应路径探索方法，在预先构建的知识图谱中，找到所有可能导向最终答案的路径，包括：S41、根据多模态数据的复杂程度与预先构建的知识图谱结构，确定路径搜索策略；S42、利用自适应路径探索方法，对路径搜索策略进行动态调整，获得调整后的路径搜索策略；其中，自适应路径探索方法根据多模态数据的复杂程度与预先构建的知识图谱结构来选择适当的路径搜索策略；在执行路径搜索过程中，实时监测路径搜索效率和已发现的答案质量，并根据已发现的答案质量来动态调整路径搜素策略，调整路径搜索深度限制或更改路径搜索分支的优先级；S43、以调整权重后的实体集合与关系集合作为探索起点，在预先构建的知识图谱中，执行调整后的路径搜索策略，找到所有可能导向最终答案的路径；S5、对所述所有可能导向最终答案的路径进行评估与优化，选择最有可能导向最终答案的路径；S6、从所述最有可能导向最终答案的路径中提取信息，并根据提取到的信息生成最终答案。

全文数据：

权利要求：

百度查询： 北京科技大学 一种基于多模态输入和知识图谱的问答方法及装置