买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜电子科技大学申请的专利一种用于特定专业领域的多模态知识问答检索方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119621921B 。

龙图腾网通过国家知识产权局官网在2025-04-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510166992.3，技术领域涉及：G06F16/3329；该发明授权一种用于特定专业领域的多模态知识问答检索方法及系统是由谢婧希;王萍萍;刘畅通设计研发完成，并于2025-02-14向国家知识产权局提交的专利申请。

本一种用于特定专业领域的多模态知识问答检索方法及系统在说明书摘要公布了：本发明公开了一种用于特定专业领域的多模态知识问答检索方法及系统，属于数据处理技术领域。本申请通过大模型预处理，在每个模态中计算特征向量之间的余弦相似度，以构成相似性矩阵，采用和知识库文本相同的向量化处理方式，以实现问题与专业领域知识库文本直接的向量计算。根据输入的问题向量，通过专业领域知识库里的向量化索引检索，从专业领域知识库中挑选出若干与问题向量最接近的文本向量，以得到与问题相关的若干知识以及每一条知识的出处。本申请有效提升了目标领域的知识问答回复准确性，保障了目标领域的知识问答回复的完整性，并实现了依据支撑，支持本地化部署，解决信息安全问题，实现了知识问答检索的智慧化应用场景。

本发明授权一种用于特定专业领域的多模态知识问答检索方法及系统在权利要求书中公布了：1.一种用于特定专业领域的多模态知识问答检索方法，其特征在于，包括下列步骤：多模态专业领域知识库构建步骤：采用向量数据库形式构建多模态专业领域知识库，该多模态专业领域知识库用于存储面向目标专业领域的不同数据模态的基础信息知识；输入文本预处理步骤：对用户输入的问题文本进行预处理，以得到问题文本的向量形式，即问题向量；同时，在多模态专业领域知识库中找出与当前问题向量最接近的若干个“问题+专业知识”组成的提示内容，并创建该提示内容中所对应的各专业知识的出处索引；提示输入处理步骤：以若干个“问题+专业知识”组成的提示内容为多模态的大语言模型的输入消息，基于大语言模型的输出得到初步的原始答案文本并传输给约束大模型输出模块；约束输出步骤：以初步的原始答案文本为输入，并基于面向目标专业领域的知识图谱和设置的输出约束，通过大语言模型生成最终输出的回答文本并传输给生成检索依据模块；生成检索依据步骤；基于各专业知识的出处索引生成回答文本的答案出处与依据，并向用户可视化输出回答文本及其答案出处与依据；所述输入文本预处理步骤中，在多模态专业领域知识库中找出与当前问题向量最接近的若干个“问题+专业知识”组成的提示内容具体为：通过向量化索引检索，在多模态专业领域知识库中挑选出前k条最接近的特征向量，其中，k大于1；基于每条挑选出的特征向量与问题向量的关联性进行排序，得到k条“问题+专业知识”组成的提示内容，以及每一条提升内容所对应的每一条专业知识的出处索引；其中，在多模态专业领域知识库中挑选出前k条最接近的特征向量具体包括：基于所有数据模态的相似性矩阵得到总相似性矩阵Sa＝S1·S2·…·SM，其中，Sm表示第m个数据模态的相似性矩阵，且m＝1,2…,M；选择出问题向量u对应的二阶兴趣特征向量： 其中，SOI_Iu表示问题向量u最接近的多模特特征向量的集合，SOI_Wu,i用于记录每个属于SOI_Iu的多模态特征向量i的相似性分数，top_k表示筛选出的前k个对象，表示总相似性矩阵Sa中的第i行，一阶交互矩阵R∈{0,1}|U|×|I|是所有问题向量-多模态特征向量之间交互的集合，|U|表示问题向量集U包括的问题向量数，|I|表示特征向量集I包括的多模态特征向量数，ru,i∈{0,1}用于表征问题向量u与多模态特征向量i的交互状态，ru,i＝1则表示进行了交互，ru,i＝0则表示未进行交互；创建二阶交互矩阵Ra： 以二阶交互矩阵Ra为输入，通过图卷积网络获取问题向量u与多模态特征向量i的第一协作信息Eui；根据公式计算问题向量u与各多模态特征向量i的关联程度Smu，其中，表示第m个数据模态的相似性矩阵Sm中的第i行；Iu＝{i|ru,i＝1,ru,i∈R}表示与问题向量u关联程度强的一阶兴趣向量；分别在每个Smu中选择出代表问题向量u的兴趣向量：Imu＝top_kSmu；构建兴趣相关图： 其中，表示第m个数据模态的兴趣相关图的第i行和第j列，表示与问题向量u关联程度强的二阶兴趣向量，j′表示多模态特征向量索引；各数据模态的相似性矩阵Sm进行稀疏化： 其中，表示m个数据模态的稀疏化相似性矩阵的i行和第j列，表示相似性矩阵Sm中的第i行；根据兴趣相关图与稀疏化相似性矩阵构建第m个数据模态的兴趣相关特征-特征图： 分别对每个数据模态的兴趣相关特征-特征图Gm进行特征提取，得到每个数据模态下问题向量u与多模态特征向量i的特征向量融合所有模态的特征向量得到问题向量u与多模态特征向量i的第二协作信息基于第一协作信息Eui与第二协作信息得到特征嵌入矩阵E，基于特征嵌入矩阵E的对应行得到问题表征特征嵌入矩阵E的对应列得到特征表征再根据计算问题向量u和多模态特征向量i之间的交互分数；对每个问题向量u，选取分数最高的前k个多模态特征向量i作为前k条最接近的特征向量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学，其通讯地址为：611731 四川省成都市高新区(西区)西源大道2006号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。