买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中国电子科技集团公司第十研究所申请的专利一种基于多类注意力机制的图文跨模态检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115658934B 。

龙图腾网通过国家知识产权局官网在2026-01-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211252004.X，技术领域涉及：G06F16/432；该发明授权一种基于多类注意力机制的图文跨模态检索方法是由代翔;周子杰;潘磊;孟令宣;钟海玲;张琳科;崔莹设计研发完成，并于2022-10-13向国家知识产权局提交的专利申请。

本一种基于多类注意力机制的图文跨模态检索方法在说明书摘要公布了：本发明提供一种基于多类注意力机制的图文跨模态检索方法，属于图文信息检索技术领域，解决了传统图文检索方式中信息冗余大，检索精度差和语义鸿沟等问题；包括获取图文数据集，划分成训练集和测试集，采用图像和文本两个输入通道分别做特征工程提取所需的特征向量，使用自注意力机制，增强各自特征的内部相关性，再通过图注意力网络，分别构建各自模态内的约束关系，进行相似度计算；结合区域特征和词特征，设计模态间的跨模态注意力网络，使用注意力分离方法来聚合对齐向量，从而计算相似度，最后对两个相似度进行融合，训练前述网络，计算测试并评估检索性能；本发明具有高精度、高匹配和高鲁棒性的优点，适用于多领域的图文互检任务。

本发明授权一种基于多类注意力机制的图文跨模态检索方法在权利要求书中公布了：1.一种基于多类注意力机制的图文跨模态检索方法，其特征在于，包括： 获取输入的图文数据集，将所述图文数据集按比例划分成训练集和测试集； 对所述训练集，其中的图像输入通道提取图像的全局特征向量和区域特征向量，其中的文本输入通道提取文本的词特征向量； 使用自注意力机制，增强所述全局特征向量、区域特征向量和词特征向量的内部相关性； 通过图注意力网络，对增强后的全局特征向量、区域特征向量和词特征向量，分别构建各自模态内的约束关系，得到图文特征对，具体包括：对增强后的全局特征向量，构建全局图，对增强后的区域特征向量，构建区域图；将构建的全局图和区域图分别送入所述图注意力网络中，得到经过图注意力增强的特征和，并再次送入图注意力网络中，得出多尺度图像通道的特征向量，再通过融合算法将多尺度特征融合为图像端特征；对增强后的词特征向量，同样构建全连接图，并将送入文本通道的图注意力网络中，得出文本端特征；对所述图文特征对的图像端特征和文本端特征进行相似度计算，采用余弦相似性函数，得出第一相似度； 结合增强后的区域特征向量和词特征向量，设计模态间的跨模态注意力网络，使用注意力分离方法，聚合所有对齐向量，抑制无意义的对齐，进行相似度计算，得出第二相似度； 将所述第一相似度和第二相似度进行融合，对所述图注意力网络和跨模态注意力网络进行训练，通过计算所述测试集中的图文特征对相似度，评估检索性能。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国电子科技集团公司第十研究所，其通讯地址为：610000 四川省成都市金牛区茶店子东街48号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。