买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉山东交通学院申请的专利基于图推理下注意力与相似度融合的图文匹配方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117521013B 。

龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311587133.9，技术领域涉及：G06F18/25；该发明授权基于图推理下注意力与相似度融合的图文匹配方法及系统是由朱振方;水翔宇;刘芸;张化祥;李克峰;亓江涛;裴洪丽;张广渊;王朋设计研发完成，并于2023-11-24向国家知识产权局提交的专利申请。

本基于图推理下注意力与相似度融合的图文匹配方法及系统在说明书摘要公布了：本公开涉及自然语言处理和计算机视觉技术领域，提出了一种基于图推理下注意力与相似度融合的图文匹配方法及系统，能够同时兼顾注意力机制和相似度度量的优势，使用注意力机制与阈值控制匹配图文片段和不匹配图文片段；让匹配片段的积极影响和不匹配片段的消极影响同时作用，增加辨别性和鲁棒性；同时利用全局特征和局部特征的相似度融合，在考虑低计算成本的同时以一种直观的方式衡量图像和文本之间的相似程度，使得语义表述更加完整统一，提高匹配的准确度。

本发明授权基于图推理下注意力与相似度融合的图文匹配方法及系统在权利要求书中公布了：1.基于图推理下注意力与相似度融合的图文匹配方法，其特征在于，包括如下步骤：对待匹配的文本与图片分别进行特征提取，得到词级特征、句子级特征、图像区域特征以及图像全局特征； 计算图像区域特征与词级特征的相似度得到局部相似度，计算图像全局特征与句子级特征的相似度得到全局相似度，并进行对齐融合，得到相似性矩阵； 局部相似度以及全局相似度计算并对齐融合的方法，包括如下步骤：将图像特征和文本特征的进行嵌入操作，得到局部图像嵌入向量、文本嵌入向量、全局图像嵌入向量、全局文本嵌入向量；通过对局部图像嵌入向量和全局图像嵌入向量进行逐元素相乘，得到的公共特征向量；通过对权重进行归一化得到的注意力权重，通过将注意力权重与公共特征向量进行加权求和，得到更新后全局图像嵌入向量；将获得的嵌入向量进行对齐构建为：采用SCAN算法，在文本和图像之间构建局部全局对齐的图像上下文； 基于对齐后的嵌入向量，进行相似性计算和对齐融合；基于图像区域特征和文本上下文信息，计算图像和文本的局部相似度，公式为：；其中，是设定的可学习的第一参数矩阵；根据图像全局特征以及文本全局特征，计算图像和文本的全局相似度，公式为：；其中，是设定的可学习的第二参数矩阵； 将全局局部相似度和局部相似度连接得到相似性矩阵，然后将相似性矩阵展平为一维向量；；其中，表示匹配置信度； 基于相似性矩阵将图像和文本数据表示为图结构，采用自注意图推理，得到具有隐式关系的相似性矩阵； 使用双极注意力的软阈值控制，采用双极注意力关注图像与文本对中不匹配和匹配的片段，得到度量词片段的相似度与词片段的加权相似度； 双极注意力计算，包括如下步骤：计算所有文本单词和图像区域之间的语义相关性得分；；其中，为第j个文本的嵌入向量，为第i个图像区域的嵌入向量，也是图像的区域特征； 根据相关性得分，进行负注意力计算，计算每个词片段与所有图像区域的相似度，；是最优边界，计算负注意力为：；并在文本模态内进行传播；根据语义相似的词片段具有相同的匹配关系，对每个单词的匹配度进行模态内传播: ； 其中，表示第j个词片段和第l个词片段之间的语义关系； 根据相关性得分，进行正注意力计算，对每个查询词聚合匹配的图像区域，计算度量词片段的相似度以及文本中每个词片段的加权相似度； 基于得到的各相似度进行匹配计算，得到图像与文本匹配结果； 将双极注意力结果和相似度融合，获得最终的得分，具体融合方法如下：匹配的文本-图像对的相似度，计算公式为：=+；表示度量词片段的相似度；表示词片段的加权相似度；表示具有隐式关系的相似性矩阵； 待识别的图像与文本的总相似度为相似度的加权和，为得到图文的匹配结果，计算公式为：。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人山东交通学院，其通讯地址为：250300 山东省济南市天桥区交校路5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。