买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京大学

摘要：本发明公开了基于图像无锚框检测的中尺度对流系统MesoscaleConvectiveSystem，MCS识别与追踪方法，包括如下步骤：步骤1，原始静止卫星红外亮温数据预处理，对处理后得到的红外云图进行中尺度对流系统标注，然后进行训练集、验证集以及测试集的随机划分；步骤2，构建基于无锚框的实例分割网络，该网络用于提取图像特征、检测中尺度对流系统以及分割出具体实例；步骤3，训练集图像增强，并使用迁移学习监督训练实例分割卷积神经网络，自动学习网络参数；步骤4，利用训练后的模型来对相邻时刻的静止卫星红外云图进行中尺度对流系统检测与分割；步骤5，根据相关目标匹配原则来实现中尺度对流系统的追踪。

主权项：1.基于图像无锚框检测的中尺度对流系统识别与追踪方法，其特征在于，包括以下步骤：步骤1，根据卫星数据的相关说明对原始红外亮温数据文件进行预处理：包括原始卫星数据资料裁剪、图像多边形实例标记、以及训练集、验证集以及测试集的随机划分；步骤2，构建基于无锚框的中尺度对流系统实例分割卷积神经网络：分为用于特征提取的主干网络、融合多尺度特征的特征金字塔网络、用于分类、距离边框回归、预测中心度的预测边框网络头部、生成掩码Mask网络头部以及预测MaskIoU的网络头部；步骤3，对训练集进行多尺度图像增强，使用迁移学习监督训练步骤2构建好的中尺度对流系统实例分割卷积神经网络来自动学习网络参数：采用小批量随机梯度下降法进行训练，并设置预测边框、生成掩码Mask以及预测MaskIoU这三个网络头部的损失函数；步骤4，使用训练完成后的网络来对相邻时刻的静止卫星红外云图进行中尺度对流系统实例分割，得到连续时刻的中尺度对流系统相关记录；步骤5，在步骤4的基础上根据相关目标匹配原则来实现中尺度对流系统的追踪；步骤2包括：步骤2-1，构建用于特征提取的骨干网络：实例分割网络中的骨干网络采用的是一共99层的卷积神经网络VoVNetV2-99，卷积神经网络VoVNetV2-99中的卷积层都是Conv-BN-ReLU的形式，即依次是卷积层与批量归一化层BN以及线性整流函数ReLU的组合；同时卷积神经网络VoVNetV2-99结构块中采用了跨层连接来实现恒等映射，包含了恒等映射的残差块定义为：Y＝FX,{Wi}+X其中X和Y分别表示每个结构块输入特征图和输出特征图，FX,{Wi}为需要进行学习的残差映射函数；同时网络残差块中还引入了通道注意力eSE机制，具体实现方式为：AeSEXdiv＝σWCgapXdiv 其中Xdiv为网络特征图级联后降维所得到的多样化特征图，为通道级全局平均池化，W和H分别为特征图X的宽度和高度，Xi,j为特征图X在i,j处的特征值，WC为全连接层权重，σ表示为Sigmoid激活函数，AeSEXdiv为计算所得的通道注意力的特征描述器，所述特征描述器与Xdiv进行元素级相乘最终得到提炼后的特征图Xrefine；卷积神经网络VoVNetV2-99的具体搭建步骤包括：步骤2-1-1，构建网络茎干Stem阶段1：该阶段包含三个卷积层：首先是卷积核大小为3×3、步长为2、填充padding为1、输出通道数为64的卷积层用于对输入图像进行降采样，再连接一个卷积核大小都为3×3、输出通道数为64的卷积层以及一个卷积核大小为3×3、步长为2、输出通道数为128的卷积层；输入图像经过该阶段后生成第一尺度特征图C1，特征图C1相较于输入图像尺度缩放比例OutputStride为4；步骤2-1-2，构建网络单次聚合模块阶段2，本阶段包含一个残差块，所述残差块包含5个卷积核大小为3×3、输出通道为128的卷积层；输入图像经过卷积操作后5个卷积层各自都得到通道数为128的多样化特征图，并在最后一个卷积层上将该层的特征图与前4层特征图以及输入的第一尺度特征图C1进行级联操作得到包含128*6＝768个通道数的特征图，然后再通过卷积核大小为1×1、步长为1、padding为0、输出通道数为256的卷积层来进行降维得到多样化的特征图Xdiv，再结合所述通道注意力eSE机制得到最终的Xrefine，Xrefine还需要与输入特征图进行元素级相加来实现恒等映射，最终该阶段得到通道数为256的第二尺度特征图C2，特征图C2相较与输入图像尺度缩放比例OutputStride为4；步骤2-1-3，构建网络单次聚合模块阶段3：使用步长为2、padding为0的3×3的最大池化层来进行2倍降采样，且在残差块中采用了3×3可调节的变形卷积，可调节的变形卷积定义为： 其中K为卷积核采样位置总数，wk为卷积核权重，pk为预定义的第k各位置相对于感受野中心位置的偏移量，xp和yp分别为输入特征图x在p位置的特征值和输出特征图y在p位置的特征值，Δpk为可学习的第k个位置的偏移量，Δmk∈[0,1]为第k个位置的调节数；可调节的变形卷积实现方式是在常规卷积中额外添加一个与常规卷积相同空间分辨率和扩张率的卷积层来学习特征图每个位置在二维平面x与y方向上的偏移量以及调节数；OSA模块阶段3包含3个残差块，每个残差块包含5个卷积核大小为3×3、输出通道为160的可调节的变形卷积层，与步骤2-1-2中网络单次聚合模块阶段2一样也是在最后一个卷积层上将该层特征图与前4层特征图以及输入的第二尺度特征图C2进行级联操作得到包含256+160*5＝1056个通道数的多样化特征图，此为第一个残差块的多样化特征图，则第二个以及第三个残差块级联操作后得到的多样化特征图通道数为512+160*5＝1312，且用于特征图级联后降维的步长为1、padding为0的1×1的常规卷积层的输出通道数为512，同样也包含通道注意力机制；经过OSA模块阶段3操作后最终获得通道数为512的第三尺度特征图C3，特征图C3相较于输入图像尺度缩放比例OutputStride为8；步骤2-1-4，构建网络单次聚合模块阶段4：该阶段包含9个残差块，每个残差块包含5个卷积核大小为3×3、输出通道为192的可调节的变形卷积层，与网络单次聚合模块阶段2和网络单次聚合模块阶段3一样也是在最后一个卷积层上将该层特征图与前4层特征图以及输入的第三尺度特征图C3进行级联操作得到包含512+192*5＝1472个通道数的多样化特征图，此为第一个残差块的多样化特征图，第二个至第九个残差块级联操作后得到的多样化特征图通道数为768+192*5＝1728，且用于特征图级联后降维的步长为1、padding为0的1×1的常规卷积层输出通道数为768，同样也包含通道注意力机制；经过网络单次聚合模块阶段4后最终得到第四尺度特征图C4，特征图C4相较于输入图像尺度缩放比例OutputStride为16；步骤2-1-5，构建骨干网络最后一个结构，网络单次聚合模块阶段5：该阶段包含3个残差块，每个残差块包含5个卷积核大小为3×3、输出通道为224的可调节的变形卷积层，与网络单次聚合模块阶段2和网络单次聚合模块阶段3一样也是在最后一个卷积层上将该层特征图与前4层特征图以及输入的第四尺度特征图C4进行级联操作得到包含768+224*5＝1888个通道数的多样化特征图，此为第一个残差块的多样化特征图，第二个以及第三个残差块级联操作后得到的多样化特征图通道数为1024+224*5＝2144，且用于特征图级联后降维的步长为1、padding为0的1×1的常规卷积层输出通道数为1024，同样也包含通道注意力机制；经过该阶段后最终得到特征图C5，特征图C5相较于输入图像尺度缩放比例OutputStride为32；步骤2-2，结合特征金字塔网络FPN融合多尺度特征：特征金字塔网络FPN对步骤2-1得到的不同尺度特征{C3,C4,C5}进行自顶向下并结合横向连接来融合特征得到{M3,M4,M5}，其中M5是由特征图C5通过1×1卷积层来获得，M4由M5进行最近邻2倍上采样后与特征图C4经过1×1卷积后得到的特征图进行元素级相加所得，M3由M4进行最近邻2倍上采样后与特征图C3经过1×1卷积后得到的特征图进行元素级相加所得；最后对{M3,M4,M5}中的每层都通过卷积核大小为3×3、输出通道数为256的卷积，得到特征层{P3,P4,P5}；在实例分割网络中额外添加P6特征层与P7特征层，P6特征层和P7特征层分别是由P5与P6通过1个步长为2的3×3卷积层来进行2倍降采样所得，最终得到特征层{P3,P4,P5,P6,P7}；步骤2-3，构建实例分割边框预测头部，该部分共包含2个分支，分别为一个分类分支，以及一个中心度与距离边框回归并行的多任务分支，具体包括：步骤2-3-1，构建分类分支：在特征金字塔网络FPN中的每个特征层后都依次连接输入通道数与输出通道数都为256、卷积核大小都为3×3的三个常规卷积层以及一个可调节的变形卷积层，这四个卷积层不再采用批量归一化BN而是使用组归一化GN；在分类分支的最后再添加一个预测分类的卷积层，其输入通道数为256,、输出通道数为1、卷积核大小为3×3；步骤2-3-2，构建中心度与距离边框回归并行的多任务分支：该部分在各个尺度的特征金字塔网络FPN特征层后依次连接与分类分支相同结构的三个常规卷积层以及一个可调节的变形卷积层，这四层卷积层之后连接的是一个包含两个分支并行的卷积层：用于边框回归的输出通道数为4的3×3卷积层，该分支输出的四个维度值分别表示当前位置到所属边框四条边的距离；用于预测中心度的输出通道数为1的3×3卷积层，该分支输出为一个维度表示中心度值；设特征图F上一个样本点x,y距离该点所属目标边框的四条边的距离为d＝l,t,r,b，其中l、t、r、b分别表示样本点x,y到矩形边框左边、上边、右边以及下边的距离，则中心度centerness定义为： 其中min和max分别为取最小和取最大函数；步骤2-4，构建基于无锚框的实例分割网络RoI头部，具体包括：步骤2-4-1，构建感兴趣区域对齐RoIAlign层：RoIAlign层首先根据感兴趣区域RoI的尺寸大小将RoI映射到相应的特征金字塔网络FPN特征层Pk上，实现方式为：k＝Ceilkmax-log2AinputARoI其中Ainput与ARoI分别表示输入图像的面积和RoI的面积；kmax为骨干网络的最后一层数，设置为5；Ceil为向上取整函数，k为RoI所映射的特征金字塔网络FPN特征层数；RoIAlign层将所映射的特征图上对应位置区域划分为14×14＝196个同等大小的小区域，对这些区域进行自适应地采样，每一份取其中心点位置，再使用双线性插值法进行计算，最终得到14×14固定大小的特征图；步骤2-4-2，构建包含空间注意力机制的Mask头部：Mask头部包含四个连续的卷积核大小为3×3、输入输出通道数都为256的卷积层，在第四个卷积层后引入空间注意力模块，实现机制为： 其中Xi为输入特征图，AsagXi空间注意力特征描述器，Pmax与Pavg分别表示通道维度上的最大池化的特征图和平均池化的特征图，代表级联操作，F3×3为3×3卷积层，σ为Sigmoid函数，为元素级相乘，Xsag为最终结合空间注意力的特征图；然后Xsag通过卷积核大小为2×2、步长为2的反卷积层进行升采样得到大小为28×28、通道数相同的特征图；Mask头部的最后层卷积层是一个具体到各个类别的Mask预测层，由于检测目标为中尺度对流系统这一个类别，因此Mask预测层的卷积核大小为1×1、步长为1、输出通道数为1；步骤2-4-3，构建MaskIoU头部，使用掩码分数MaskScoring来重新表示Mask质量；步骤2-4-3包括：在步骤2-4-2的基础上将Mask预测层的输出特征图采用2×2最大池化层进行2倍降采样后与RoIAlign层输出的大小为14×14、通道数为256的RoI特征图进行级联得到大小为28×28、通道数为257的特征图；MaskIoU头部包含四个连续的卷积核大小为为3×3、输出通道数为256的卷积层，其中最后一个卷积层的步长为2，随后还连接2个输出通道数为1024以及1个输出通道数为1的全连接层。

全文数据：

权利要求：

百度查询： 南京大学 基于图像无锚框检测的中尺度对流系统识别与追踪方法