买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜东南大学申请的专利一种基于深度学习的跨模态图像文本检索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119311911B 。

龙图腾网通过国家知识产权局官网在2025-06-06发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411675311.8，技术领域涉及：G06F16/583；该发明授权一种基于深度学习的跨模态图像文本检索方法是由何子恒;倪庆剑设计研发完成，并于2024-11-21向国家知识产权局提交的专利申请。

本一种基于深度学习的跨模态图像文本检索方法在说明书摘要公布了：本发明公开了一种基于深度学习的跨模态图像文本检索方法，提出了一种新颖的跨模态特征提取与对齐框架，通过学习图像和文本在共同特征空间中的语义表示来进行高效的跨模态检索,该框架包含多个模块，在特征提取阶段，文本编码采用BERTTokenizer和BERTEmbedding，图像特征提取结合FasterR‑CNN与ResNet‑101模型，确保图像与文本特征的维度一致性。在特征对齐阶段，通过I2TAttention和T2IAttention模块实现图像与文本特征的细粒度语义对齐，显著提升跨模态匹配的精度在相关性评分阶段，通过计算图像特征与文本特征之间的相似度得分，生成相关性评分矩阵，进一步通过归一化与注意力重新分配优化特征对齐效果。在优化阶段，本系统创新性地采用共享语义与排序损失策略，并集成OpenCLIP模型框架，通过对比学习从未标注的大规模数据中高效挖掘图像与文本的语义关系，显现出强大的迁移学习能力和推断精度。

本发明授权一种基于深度学习的跨模态图像文本检索方法在权利要求书中公布了：1.一种基于深度学习的跨模态图像文本检索方法，其特征在于：所述方法包括如下步骤：步骤1：特征提取阶段，从图像和文本中提取深层次特征，确保跨模态数据在统一特征空间中实现语义对齐；步骤2：相关性评分阶段，基于细粒度的注意力机制评估图像与文本之间的相关性；步骤3：优化阶段，通过特定损失函数与模型策略优化检索性能，所述特征提取阶段，旨在从图像和文本中提取深层次的特征表示，以便在后续处理中实现有效的跨模态语义对齐，通过BERT模型对文本进行编码，获取其丰富的语义特征，同时利用FasterR-CNN和ResNet-101对图像进行分析，提取图像的视觉特征，确保两种模态的特征能够在一个统一的特征空间中进行比较和对齐；所述相关性评分阶段，旨在评估和量化图像特征与文本特征之间的相似度，生成相关性评分矩阵，通过I2TAttention和T2IAttention机制，模型能够识别图像和文本之间的细粒度关联，捕捉图像中与文本最相关的部分以及文本中与图像最相关的词语，从而为每个图像-文本对计算出一个相似度得分，为最终的检索结果提供依据；所述优化阶段，旨在通过相似度评分和排序损失对模型进行微调，以优化跨模态检索的性能，模型参数根据查询图像或文本的数据进行调整，确保模型能够捕捉到跨模态数据分布的独特特征，并最大化相关图像和文本对的相似度，同时最小化不相关对的相似度；所述优化阶段包括损失函数的定义与计算、损失的计算与反向传播；所述损失函数的定义与计算，基于TripletLoss原则，通过计算正样本和负样本之间的距离差来引导模型学习；所述损失的计算与反向传播，通过compute_loss方法来计算损失L，L的计算公式如下： 其中，表示第i行的对角线元素，row_maxi和col_maxi分别表示第i行和第i列的最大值，margin是预定义的边界值，用于控制正负样本间的距离；首先提取对角线上的元素，然后找到每行和每列的最大值，并计算损失，最后对损失函数进行反向传播，以更新模型参数；所述优化阶段还包括快慢模型策略，快模型用于快速筛选出潜在的相关图像或文本，慢模型用于精细化调整和优化模型参数，以提高检索的准确性和相关性。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东南大学，其通讯地址为：211102 江苏省南京市江宁区东南大学路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。