买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学

摘要：本发明公开了一种基于可变形卷积的多帧红外小目标超分方法，所述方法提出了一个适用于多帧红外小目标超分变率的DCUNet网络，融合多帧红外小目标图像的多尺度信息，并恢复目标的空间细节信息；提出了多帧对齐的TADCM模块，隐式的将帧间运动状态复杂、形态和能量时序变化的目标对齐，从而充分利用帧间信息以进行互相补充，提升暗弱目标的空间显著性；提出了利用特征监督引导可变形卷积学习的方法，即在网络最后两层特征层输出目标分割结果，并用带像素级标记的目标分割真值作为监督，对编码和上采样过程进行约束，提升可变形卷积的准确性，使目标的边缘和形态能够被充分恢复。

主权项：1.一种基于可变形卷积的多帧红外小目标超分方法，其特征在于所述方法包括如下步骤：步骤一：构建基于UNet改进的DCUNet网络DCUNet网络框架由编码结构、跳跃连接、解码结构、超分辨率头和特征监督的目标分割头组成；所述编码结构采用UNet网络，包括六层编码结构，其中：第一层编码结构：首先将维度为k×c×h×w的图像通过一个卷积核大小为7×7的二维卷积层，再通过批归一化层和激活层，输出维度为k×64×h×w的特征图，最后利用TADCM模块处理特征图，通过跳跃连接将编码特征与上采样后的解码特征进行拼接；第二层编码结构：对第一层编码结构输出的维度为k×64×h×w的特征图进行最大池化，得到维度为的下采样特征，将该下采样特征作为第二层编码结构的输入，利用三个级联的瓶颈结构挖掘表征图像全局特征的高级语义信息，最后对瓶颈结构输出的特征图进行最大池化下采样和多帧特征增强，最大池化下采样的输出特征输入第三层编码结构，多帧特征增强使用卷积核为3×3的二维卷积层将输出通道数加倍，再利用TADCM模块将多帧特征聚合为一帧输出；第三层编码结构：对第二层编码结构输出的维度为的特征图进行最大池化，得到维度为的下采样特征，将该下采样特征作为第三层编码结构的输入，利用三个级联的瓶颈结构挖掘表征图像全局特征的高级语义信息，最后对瓶颈结构输出的特征图进行最大池化下采样和多帧特征增强，最大池化下采样的输出特征输入第四层编码结构，多帧特征增强使用卷积核为3×3的二维卷积层将输出通道数加倍，再利用TADCM模块将多帧特征聚合为一帧输出；第四层编码结构：对第三层编码结构输出的维度为的特征图进行最大池化，得到维度为的下采样特征，将该下采样特征作为第四层编码结构的输入，利用三个级联的瓶颈结构挖掘表征图像全局特征的高级语义信息，最后对瓶颈结构输出的特征图进行最大池化下采样和多帧特征增强，最大池化下采样的输出特征输入第五层编码结构，多帧特征增强使用卷积核为3×3的二维卷积层将输出通道数加倍，再利用TADCM模块将多帧特征聚合为一帧输出；第五层编码结构：对第四层编码结构输出的维度为的特征图进行最大池化，得到维度为的下采样特征，将该下采样特征作为第五层编码结构的输入，利用两个级联的瓶颈结构挖掘表征图像全局特征的高级语义信息，最后对瓶颈结构输出的特征图进行最大池化下采样和多帧特征增强，最大池化下采样的输出特征输入第六层编码结构，多帧特征增强使用卷积核为3×3的二维卷积层将输出通道数加倍，再利用TADCM模块将多帧特征聚合为一帧输出；第六层编码结构：将维度为的特征图输入第六层编码结构，通过两个卷积核为3×3的二维卷积层和激活函数层，得到维度为的深度特征，最后通过TADCM模块聚合多帧特征；所述跳跃连接将同一层的编码特征与上采样的解码特征进行拼接以增强解码过程中的目标细节，即：对第i层编码特征以及第i+1层解码特征进行跳跃连接，i＝[1,2,3,4,5]，跳跃连接后的特征表述如下： 式中，表示第i层编码特征，表示第i+1层解码特征，cat表示通道维拼接操作，SP为subpixelconvolution算法；所述解码结构将第i+1层解码结构输出的解码特征和第i层编码结构跳跃连接的特征拼接，作为第i层解码结构的输入，第i+1层解码结构的通道数是第i层解码结构的2倍；所述目标分割头结构对最后两层解码结构输出的中间特征进行分割，再分别与原始高分辨率图像和目标分割真值计算DCUNet损失，进而优化网络权重；所述超分辨率头结构接收解码结构最后一层的输出，输出超分辨率的图像，即：将特征图映射为最终输出的高分辨率图像；步骤二：训练阶段，首先加载原始高分辨率多帧红外小目标图像，对图像进行降采样生成低分辨率图像，对降采样图像叠加高斯随机模糊，最后采用双三次插值的方式进行上采样作为DCUNet网络的输入；推理阶段则将原始图像直接利用双三次插值上采样后作为训练好的DCUNet网络输入；步骤三：利用DCUNet网络融合多帧红外小目标图像的多尺度信息，并恢复目标的空间细节信息，最终输出高分辨率图像。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 一种基于可变形卷积的多帧红外小目标超分方法