买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安徽大学

摘要：本发明公开了一种全局‑局部信息交互注意的遥感图像文本检索方法，包括：1、通过基于FasterR‑CNN模型的特征提取网络得到遥感图像的区域级特征表示；2、通过基于BERT模型的特征提取网络得到具有上下文信息的文本词级特征表示；3、构建基于注意力机制的全局‑局部注意力模块，得到包含全局‑局部信息的遥感图像特征；4、通过特征聚合网络得到遥感图像以及文本的整体特征；5、通过双向的三元组排序损失函数约束正样本与负样本之间的特征距离，以此训练得到最优检索模型。本发明通过获取全局‑局部信息交互注意的遥感图像特征和包含上下文信息的文本特征，从而大大提高了遥感图像文本检索的准确率。

主权项：1.一种全局-局部信息交互注意的遥感图像文本检索方法，其特征在于，包括如下步骤：步骤1、搭建基于FasterR-CNN模型的图像区域特征提取网络，包括：遥感图像对象框检测模块和遥感图像区域级特征提取模块；步骤1.1、所述遥感图像对象框检测模块获取遥感图像数据集及其对应的文本数据集后，使用FasterR-CNN模型对所述遥感图像数据集中任意一张遥感图像pic进行处理，获得置信度得分最高的q个对象框；步骤1.2、使用BUTD模型从遥感图像pic的q个对象框中进行特征提取，获得遥感图像pic的一组区域特征P＝{p1,…,pi,…,pq}，pi表示遥感图像pic的第i个对象框所对应的区域特征，Dv表示特征的维度，q表示区域特征的总数；i＝1,…,q；步骤2、搭建基于BERT模型的文本词级特征提取网络，并用于对遥感图像pic对应的文本进行处理，得到一组词级特征E；步骤3、搭建全局-局部注意力处理模块，并用于对P进行处理，得到遥感图像pic的一组信息交互注意的特征向量F；步骤4、搭建空间注意力聚合模块，并用于对F和E进行处理，得到遥感图像pic的特征v及其对应文本的特征t；步骤5、构建由遥感图像区域级特征提取网络、文本词级特征提取网络、全局-局部注意力处理模块、空间注意力聚合模块构成的遥感图像文本检索网络，并建立损失函数L用于训练网络，从而得到最优的遥感图像文本检索网络，用于对遥感图像和文本进行检索：步骤5.1、利用式1构建网络的损失函数L； 式1中，v,t表示任意一组匹配的遥感图像-文本特征对；δ是预定义的裕度参数，s·是余弦距离函数；v-,t表示任意一组文本特征t及其不匹配遥感图像特征v-的遥感图像-文本特征对，v,t-表示任意一组遥感图像特征v及其不匹配文本特征t-的遥感图像-文本特征对；步骤5.2、将遥感图像数据集及其对应的文本数据集输入到所述图文检索网络中，并通过Adam优化器不断优化损失函数L，以调整网络参数，从而得到最优的遥感图像文本检索网络。

全文数据：

权利要求：

百度查询： 安徽大学 全局-局部信息交互注意的遥感图像文本检索方法