买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：电子科技大学

摘要：本发明公开了一种基于视觉选择性状态空间网络的多光谱遥感图像目标检测方法，先构建一个基于选择性状态空间的跨模态融合检测网络，该网络含有两个特征提取分支，专门用于各自模态的图像特征提取；然后将提取的特征通过跨模态的信息融合模块进行处理，生成高质量的融合特征，再将这些融合特征随后被送入特征金字塔模块，实现高级特征与低级特征的有效互动，最终，再将这些特征传递到检测头以产生预测结果。

主权项：1.一种基于视觉选择性状态空间网络的多光谱遥感图像目标检测方法，其特征在于，包括以下步骤：1、构建训练数据集；在不同场景的相同视角下分别采用RGB传感器和红外传感器捕捉遥感图像，其中，RGB传感器捕捉到的遥感图像集合记为红外传感B捕捉到的遥感图像集合记为和分别表示第i个场景下RGB传感器和红外传感器捕捉遥感图像；2、构建基于选择性状态空间的跨模态融合检测网络；基于选择性状态空间的跨模态融合检测网络包括可见光图像特征提取分支和红外图像特征提取分支，两分支的结构相同，均包括包含一个主干stem模块、四个视觉选择性状态空间VSS模块，以及位于两VSS模块之间的下采样层；其中，主干模块将输入遥感图像投影到高维度隐空间，随后经过第一级VSS模块提取初步特征，初步特征通过下采样层减半特征图尺寸，然后作为第二级VSS模块的输入，并以此类推；另外，可见光图像特征提取分支和红外图像特征提取分支中同级别的VSS模块将提取的特征同时输入至同级别的融合模块中，通过特征融合后输入至金字塔特征网络FPN模块；最终，利用金字塔特征网络FPN模块对四个融合模块输入的四组融合特征进行多尺度特征的整合，最后通过检测头检测出目标类别并标记目标位置；3、训练跨模态融合检测网络；3.1、从图像集合中随机取样一组遥感图像和然后将遥感图像输入至可见光图像特征提取分支，将遥感图像输入至红外图像特征提取分支；3.2、遥感图像通过可见光图像特征提取分支后，在四级VSS模块的输出端提取四层特征图遥感图像通过至红外图像特征提取分支后，在四级VSS模块的输出端提取四层特征图j＝1,2,3,4代表四级VSS模块；3.3、将同一同级别提取的特征图和特征图输入至同级别的融合模块中，得到四层融合后的高质量特征图3.4、利用金字塔特征网络FPN模块对四层融合后的高质量特征图进行多尺度特征的整合，得到充分完成信息交互的五层特征图k＝1,2,3,4,5；3.5、将五层特征图输入至检测头，预测出每个目标的分类概率和回归向量其中，分类向量表示第i个场景中第h个目标的类别预测概率向量，表示第i个场景中第h个目标属于第c个类别的概率；表示第i个场景中第h个目标对应的目标框位置的预测值，表示第i个场景中第h个目标对应的目标框的中心点坐标，表示第i个场景中第h个目标对应的目标框的宽高，表示第i个场景中第h个目标对应的目标框相对于水平轴的旋转角度；3.6、计算本轮训练后的损失函数值Loss； 其中，H表示场景中的目标数目，表示第i个场景中第h个目标的真实类别概率，表示第i个场景中第h个目标对应的目标框的真实位置；3.7、根据损失函数值Loss，使用梯度下降法更新跨模态融合检测网络的参数，然后按照步骤3.1-3.7重复训练，直至跨模态融合检测网络收敛；4、利用跨模态融合检测网络检测目标；在某一场景的相同视角下分别采用RGB传感器和红外传感器捕捉遥感图像，然后输入至训练完成的跨模态融合检测网络，从而检测出遥感图像中各目标类别并标记目标位置。

全文数据：

权利要求：

百度查询： 电子科技大学 基于视觉选择性状态空间网络的遥感图像目标检测方法