买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南通大学

摘要：本发明公开了一种基于高维度特征映射和特征聚合的跨模态地点识别方法，包括将RGB图像和红外图像输入SCHAL‑Net网络模型提取各自模态所特有的特征，并在ResNet50中添加浅层特征增强模块，在ResNet50第三阶段输出的特征分别经过高维度特征映射模块及图像块处理，将处理后的特征进行整体和局部特征协同约束，直至训练结束。本发明基于整体和局部特征协同约束的跨模态模型SCHAL‑Net，以减少跨模态视觉地点识别任务中的跨模态差异和模态内部差异，来提高地点识别的准确率。

主权项：1.一种基于高维度特征映射和特征聚合的跨模态地点识别方法，其特征在于，包括如下步骤：步骤1：在SCHAL-Net网络模型中分别输入RGB图像和红外图像，进入步骤2；步骤2：将RGB图像和红外图像两种模态的图像分别通过ResNet50的Conv1卷积层，提取各自模态所特有的特征，进入步骤3；步骤3：将共享参数的ResNet50网络的特征映射分为四个阶段，分别在前两个阶段的特征映射之后添加浅层特征增强模块，进入步骤4；步骤3具体包括：步骤3-1：将F输入到两个不同的自适应平均池化层分别得到2个特征一样的F1和2个特征一样的F4，输入浅层特征增强模块的特征记作步骤3-2：将F输入到两个不同的取均值以及最大值操作，分别得到特征F2，F3，F5，F6；步骤3-3：将自适应平均池化层、取均值以及最大值操作得到的特征进行拼接，分别得到FH∈R4×C×W和FW∈R4×C×H，并按最后一维进行拼接得到特征FHW∈R4×C×H+W；步骤3-4：对输出特征FHW进行unfold操作，将三维特征转成二维特征，使用Conv1d卷积，通过fold操作将维度还原到三维，得到细节、位置信息更多的浅层特征Fshallow∈R1×C×H+W；步骤3-5：将学习到的浅层特征Fshallow经过Sigmoid激活函数与F相乘获得最终输出和步骤4：在ResNet50第三阶段输出的特征经过高维度特征映射模块作为最终整体特征的输出，进入步骤5；步骤5：对ResNet50第三阶段输出的特征进行图像块处理，提取局部特征，在经过注意力模块作为最终局部特征的输出，进入步骤6；步骤6：基于高维度模态内特征聚合模块，将步骤4输出的最终整体特征和ResNet50第四阶段的特征进行融合，得到融合后的特征，从而对整体特征进行约束，进入步骤7；步骤6具体包括：步骤6-1：将经过ResNet50第四阶段输出的特征f4和最终的整体特征ffinal-Global输入部分特征加权模块；步骤6-2：对f4进行池化操作，并在维度上进行相应的改变得到x4；步骤6-3：将x4分别经过三个1×1的卷积层得到特征vx4，ux4，zx4；步骤6-4：计算注意力图并用Softmax函数进行归一化得到α；步骤6-5：将步骤4得到的结果与zx4做内积操作得到y；步骤6-6：初始化一个可学习的注意力增强部分特征的权重w，构造一个判别性的部分聚合特征的表示；步骤6-7：进行Softmax操作；步骤6-8：将步骤7得到的结果与步骤5得到的结果做内积得到F″；步骤6-9：将ffinal-Global与F″进行相加操作，让整体特征ffinal-Global能够拥有更深层次的特征，输出特征步骤7：对步骤4输出的最终整体特征、步骤5输出的最终局部特征以及步骤6融合后的特征进行整体和局部特征协同约束，进入步骤8；步骤8：若达到指定的训练轮数，则进行步骤9，否则继续完成训练，返回步骤1；步骤9：得到训练完成的SCHAL-Net网络模型，并基于SCHAL-Net网络模型，实现跨模态地点识别。

全文数据：

权利要求：

百度查询： 南通大学 基于高维度特征映射和特征聚合的跨模态地点识别方法