买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国科学技术大学申请的专利一种大模型增强的跨模态检索方法、系统及相关设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119719451B 。

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510220410.5，技术领域涉及：G06F16/907；该发明授权一种大模型增强的跨模态检索方法、系统及相关设备是由何向南;宋方舟;郝艳宾;王硕设计研发完成，并于2025-02-27向国家知识产权局提交的专利申请。

本一种大模型增强的跨模态检索方法、系统及相关设备在说明书摘要公布了：本发明公开了一种大模型增强的跨模态检索方法、系统及相关设备，所述跨模态检索方法包括：获取图像‑文本对；基于所述图像‑文本对，获取图像‑文本对的大模型增强信息，结合原始图像、文本和增强信息，采用预训练CLIP模型的多分支编码器以得到多个特征向量，构建多级协同对齐损失函数，在公共语义空间对图像模态和文本模态进行协同对齐；通过所述多级协同对齐损失函数以及预构建的训练数据库对模型进行训练，通过训练后的模型进行检索。本发明通过对编码器得到的图文特征进行协同学习，通过加入辅助的语义增强信息，在公共语义空间对图像模态和文本模态进行协同对齐，以训练出更好的检索网络从而提升图像‑文本检索的准确性。

本发明授权一种大模型增强的跨模态检索方法、系统及相关设备在权利要求书中公布了：1.一种大模型增强的跨模态检索方法，其特征在于，所述跨模态检索方法包括：获取图像-文本对；基于图像-文本对，获取图像-文本对的大模型增强信息，包括使用SAM分割模型对图像进行细粒度语义分割，选出其中的语义实体；使用大语言模型获取文本的总结摘要，提取关键的语义片段；结合原始图像、文本和增强信息，采用预训练CLIP模型的多分支编码器以得到多个特征向量，多个特征向量包括图像特征、文本特征、细粒度图像实体特征和文本摘要特征；预训练CLIP模型的多分支编码器构建包括：在CLIP模型的文本编码器以及图像编码器中的Transformer结构中加入适配层；适配层通过下采样投影和上采样投影以及一个残差连接得到；依据带适配层的CLIP模型的编码器，构建不同输入信息的特征编码器；特征编码器包括图像编码器、文本编码器、实例编码器以及文本摘要编码器；构建多级协同对齐损失函数，在公共语义空间对图像模态和文本模态进行协同对齐，包括：将匹配的图像和文本定义为正样本对，不匹配的定义为负样本对，采用余弦相似度作为衡量样本对间关系的标准；利用圆环损失函数拉大正样本对间的相似度，减小负样本对间的相似度；基于多个特征向量构建对齐损失，对齐损失包括图像和文本间的语义对齐损失、文本与图像细粒度分割间的语义对齐损失、图像和文本摘要间的语义对齐损失和长文本内部的语义对齐损失；将对齐损失加权求和得到多级协同对齐损失函数；通过多级协同对齐损失函数以及预构建的训练数据库对模型进行训练，通过训练后的模型进行检索。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学技术大学，其通讯地址为：230026 安徽省合肥市包河区金寨路96号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。