买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉湖南科技大学申请的专利基于多模态大语言模型对特定行业进行关系抽取的方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120011577B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510089552.2，技术领域涉及：G06F16/36；该发明授权基于多模态大语言模型对特定行业进行关系抽取的方法是由李俊杰;莫心洁;刘金维设计研发完成，并于2025-01-21向国家知识产权局提交的专利申请。

本基于多模态大语言模型对特定行业进行关系抽取的方法在说明书摘要公布了：本发明公开了基于多模态大语言模型对特定行业进行关系抽取的方法，包括样本信息输入Transformer编码器，利用跨模态注意力模块按照层次化融合方式进行多模态信息融合以捕捉文本中的语义关系，引入利用知识融合技术将爬取的特定行业数据构建知识图谱作为模态融合时的补充信息，使模型在处理文本、图像以及音频时，可以对比知识图谱中的内容以便于更好地理解不同模态间的潜在关系；将融合特征输入基于强化学习的奖励函数模块中，依据奖励函数的设定基于预测结果与真实实体关系的匹配程度，输出准确率较高的原始文本中两个实体间的关系。

本发明授权基于多模态大语言模型对特定行业进行关系抽取的方法在权利要求书中公布了：1.基于多模态大语言模型对特定行业进行关系抽取的方法，其特征在于，包括以下过程， S1：将样本信息输入到多模态大语言模型的Transformer编码器中，Transformer编码器对文本进行深度特征提取； S2：利用跨模态注意力模块按照多层次融合方式，将文本模态与图像模态、音频模态进行信息融合； S3：引入知识融合模块将爬取的特定行业数据构建成知识图谱，在进行模态融合时，把知识图谱作为补充信息； S4：融合后的特征输入到基于强化学习的奖励函数模块中，通过不断地根据奖励函数的反馈调整模型，使得模型最终能够输出准确率较高的原始样本中两个实体间的关系； 跨模态注意力模块按照基础层融合、中层特征融合、高层语义融合方式进行多层次特征融合，引入知识融合模块构建知识图谱作为补充信息的操作包括， 基础层进行特征融通过词嵌入模型形成文本特征矩阵T∈，表示文本特征维度；利用卷积神经网络提取图像特征得到特征图I∈，表示图像区域数量，表示图像区域特征维度；再用卷积神经网络提取音频特征，得到音频特征向量A∈，表示音频片段数量，表示音频片段特征维度；爬取特定行业数据构建成知识图谱，使用图嵌入方法提取知识图谱中的实体和关系特征将知识图谱表示为向量形式K∈，表示知识实体数量，表示知识实体特征维度；利用融合函数融合后的基础层特征∈； 中层特征融合通过softmax函数分别得到文本-图像模态的注意力权重=softmaxT，T表示文本特征矩阵，表示文本-图像特征权重矩阵，表示第i个图像区域的特征向量，表示第i个图像区域特征向量的转置；文本-音频模态的注意力权重=softmaxT，表示文本-音频特征权重矩阵，表示第个音频片段的特征向量，表示第个音频片段特征向量的转置；文本-知识图谱模态的注意力权重=softmaxT，表示文本-知识图谱特征权重矩阵，表示第k个知识实体的特征向量，表示第k个知识实体特征向量的转置，对模态的特征进行加权融合得到融合后的中层特征向量： ， 由知识图融合模块得到从知识图谱中推理的实体和关系，得到推理结果R∈，表示实体与关系特征向量维度，拼接中层融合特征计算权重： sigmoid， 表示门控权重，表示门控权重矩阵，知识图谱推理结果，表示门控偏置项； 最后利用权重动态平衡中层特征和知识图谱推理结果得到融合后的高层语义特征向量∈，高层语义特征维度即的特征维度： =⊙⊙R， 由知识图融合模块得到从知识图谱中推理的实体和关系，得到推理结果R，将知识图谱中的每个实体对定义为，基于余弦相似度引入基于营销语义知识库的修正项计算每个实体对在嵌入空间中的语义相似度，同时引入图神经网络有效地捕捉图结构数据中的复杂关系和特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人湖南科技大学，其通讯地址为：411201 湖南省湘潭市湘潭县桃园路；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。