买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉桂林电子科技大学申请的专利一种跨模态检索方法以及检索系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115563316B 。

龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211322568.6，技术领域涉及：G06F16/43；该发明授权一种跨模态检索方法以及检索系统是由强保华;孙苹苹;杨先一;席广勇;陈锐东设计研发完成，并于2022-10-27向国家知识产权局提交的专利申请。

本一种跨模态检索方法以及检索系统在说明书摘要公布了：本发明提供了一种跨模态检索方法以及检索系统，所述检索方法包括：采用CLIP预训练模型对特征进行编码，获得包括原始图像以及文本的原始模态特征；将所述原始模态特征进行注意力对齐处理得到模态对齐数据以实现原始模态互相之间的语义相关；将上述步骤形成的所述模态数据通过权重共享的多层感知机以保持模态的不变性；利用Arc4cmr损失函数将最终得到的特征数据分布到归一化超球面上进行类别边界约束。本发明的跨模态检索方法使得成对的图像与文本的公共表示尽可能相近，实现同时增强类内紧性和类间差异性。

本发明授权一种跨模态检索方法以及检索系统在权利要求书中公布了：1.一种跨模态检索方法，其特征在于，包括如下步骤： 采用CLIP预训练模型对特征进行编码，获得包括原始图像以及文本的原始模态特征； 将所述原始模态特征进行注意力对齐处理得到模态对齐数据以实现原始模态互相之间的语义相关； 将上述步骤形成的所述模态对齐数据通过权重共享的多层感知机以保持模态的不变性； 利用Arc4cmr损失函数将最终得到的模态数据分布到归一化超球面上进行类别边界约束； 所述注意力对齐的处理方法包括： 通过DecomposableAttention机制，将模态1中所包含的原始图像文本的每条样本，用batch内的所有模态2样本所包含的文本图像进行分解注意力的重新调整，即用模态2数据重新表示模态1数据； 注意力对齐处理之后，还包括： 将经过模态对齐的输出特征与原始模态的特征进行Add操作，再到LayerNormalization进行归一化处理以加速模型的收敛，得到最终特征的图像模态特征数据为文本模态特征数据为 所述模态对齐的方法包括：当模态1为原始图像，模态2为原始文本时，以批batch内的图像原始特征作为查询Q每一个图像与批batch内的所有文本原始特征K计算相似性，得到注意力权重，然后用注意力权重与文本原始特征具体特征取值V相乘得到经过所述经过模态对齐的输出特征； 利用Arc4cmr损失函数将最终得到的模态数据分布到归一化超球面上进行类别边界约束的方法包括： 将特征xi和对应权重Wyi进行L2正则化，使得||Wyi||＝1，然后将标准化处理后的特征乘以一个重缩放rescale参数s，使得||xi||＝s，即使得嵌入特征分布在半径为s的超球上； 在特征xi和目标权重之间添加自定义的加性角度边距m用cosθyi+m来代替原来的cosθyi。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人桂林电子科技大学，其通讯地址为：541004 广西壮族自治区桂林市金鸡路1号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。