买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉陕西师范大学申请的专利基于注意力网络对抗哈希的跨模态检索方法及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116737877B 。

龙图腾网通过国家知识产权局官网在2026-01-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310722310.3，技术领域涉及：G06F16/3331；该发明授权基于注意力网络对抗哈希的跨模态检索方法及设备是由黄昭;苏苗设计研发完成，并于2023-06-16向国家知识产权局提交的专利申请。

本基于注意力网络对抗哈希的跨模态检索方法及设备在说明书摘要公布了：本发明提出了一种基于注意力网络对抗哈希的跨模态检索方法及设备，方法包括:获得图像‑文本对数据，提取图像数据和文本数据的初始全局特征，将图像数据的初始全局特征和文本数据的初始全局特征分别经过共享注意力模块处理，获得图像数据和文本数据的最终特征表示；模态判别器以对抗式的方式和特征提取器相互作用，促使模态特征提取器学习到更好的图文特征；将图像数据和文本数据的最终特征表示转换为二进制编码，将其特征映射到公共汉明空间中，进行跨模态检索，获得前K个跨模态检索的结果。本发明将对抗网络与哈希学习网络结合，既利用了对抗网络学习促使特征提取器学习模态不变表示，同时也利用了哈希快速检索的特性，从而实现跨模态检索。

本发明授权基于注意力网络对抗哈希的跨模态检索方法及设备在权利要求书中公布了：1.一种基于注意力网络对抗哈希的跨模态检索方法，其特征在于，包括以下步骤： 对成对的图文数据中的图像数据和文本数据提取初始特征； 对初始特征学习掩码权重，获得用于检索任务的高质量的图文特征；具体的，将图像数据的初始全局特征和文本数据的初始全局特征作为共享注意力模块的输入，经过注意力模块处理，从而获得图像数据和文本数据的激活输出；将图像数据和文本数据的激活输出送到一个全连接层，分别得到图像数据和文本数据的最终特征表示； 基于所述高质量的图文特征，利用模态判别器判断所述图文特征是图像特征还是文本特征，模态特征提取器和模态判别器以对抗式的方式相互作用，通过模态特征提取器学习到更好的图文特征； 将所述图文特征作为哈希学习器的输入，利用哈希学习网络将更好的图文特征非线性的转换为二进制编码，即哈希码； 将待查询图像数据或文本数据映射到公共汉明空间，在公共汉明空间经过计算查询数据的二进制编码和初始数据的二进制编码之间进行相似度测量，对相似度测量结果进行排序，获得前K个跨模态检索的结果；哈希学习网络包括三个全连接层，二进制编码的计算基于前两个全连接层，通过最小化下式来学习二进制编码： 其中，是数据样本的二进制编码，n为跨模态数据集中的图像-文本对数量，为二进制编码学习中的成对相似性，a为二进制编码的长度； 上式确保所学习的二进制编码应接近成对相似性，等价为： 其中，为哈希学习中第二层全连接的值； 基于非对称松弛策略，进一步减小量化误差，强制二进制编码B与特征相似，并最小化特征与成对相似性矩阵之间的差异； 哈希学习网络的目标函数为： 其中，是独立项，是平衡项，是超参数，为控制二进制编码离散约束的超参数，为控制二进制编码独立性的超参数，为控制二进制编码平衡性的超参数，为哈希学习网络的参数； 最终，总的目标函数可以表示为： 其中，是超参数，分别是图像特征提取网络和文本特征提取网络的参数，为模态判别器的参数，为哈希学习网络的参数，是判别损失函数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人陕西师范大学，其通讯地址为：710119 陕西省西安市长安区西长安街620号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。