买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国民航大学

摘要：本发明属于图像识别技术领域，公开了城市低空复杂背景下无人机图像全天候检测方法及系统，该方法根据输入图像灰度值判断是可见光图像或红外图像；将训练集图像输入设定的全天候检测网络模型进行训练，得到基于深度学习的全天候无人机目标检测模型；将待检测的可见光图像输入到可见光检测模型，得到包含目标信息的特征图；将待检测的红外图像输入到红外检测模型，得到包含多层目标信息的特征图；通过预测结构处理包含无人机信息的可见光和红外图像的特征图，分别获取无人机的类别和位置信息并生成每个无人机对应的目标框，从而在图像中显示无人机信息和置信度。本发明易于部署在硬件设备，模型操作简单，准确率高，且易训练。

主权项：1.一种城市低空复杂背景下无人机图像全天候检测方法，其特征在于，该方法包括：S1，根据输入图像灰度值判断是可见光图像还是红外图像；采用图像的均值以及图像的方差特征进行图片类别的辨别和图片种类的判断，将图像的均值与图像的方差的乘积作为不同模式选择的依据，乘积大于阈值则为可见光模式，小于阈值则为红外模式；S2，设定全天候检测网络模型初始参数，将训练集图像输入设定的全天候检测网络模型进行训练，得到基于深度学习的全天候无人机目标检测模型，其中全天候检测网络模型包括两种算法，分别应用于白天可见光图像检测以及夜晚红外图像检测；S3，将待检测的可见光图像输入到可见光检测模型，结合去雾网络的目标检测模型提取特征，得到包含目标信息的特征图；S4，将待检测的红外图像输入到红外检测模型，经过融合注意力机制的红外检测主干网对低分辨率图像获取特征信息，得到包含多层目标信息的特征图；S5，通过预测结构处理包含目标信息的可见光图像和红外图像的特征图，分别获取无人机的类别和位置信息并生成每个无人机对应的目标框，在输出结果图像中显示无人机信息和置信度；在步骤S3中，所述可见光检测模型由去雾模型和检测模型两部分构成，去雾模型在主干模块中实现基于注意力的多尺度估计；在主干网络中采用三行六列的网格结构，每行对应不同的比例，由五个残差密集块组成，保持特征图的数量不变，每一列被视为通过使用卷积进行采样模块连接不同尺度的桥梁；在每个采样块中，特征图的大小以比例为2进行变化，特征图的数量随之变化；每个残差密集块块由五个卷积层组成，前四个卷积层步长为1，用于增加特征图的数量，而最后一个步长为2的卷积层融合所有特征图统一输出；在特征融合阶段，引入Transformer注意力机制，调节不同尺度信息的权重，将水平残差密集块的输出和竖直残差密集块的输出进行融合，融合机制如下所示： 式中，为i通道融合后的结果，为当前融合水平输入的第i个通道的融合权重，为当前融合水平输入的第i个通道，为当前融合竖直输入的第i的通道的融合权重，为当前融合竖直输入的第i个通道；在步骤S3中，所述目标检测模型采用YOLOv7网络模型，YOLOv7网络模型由输入端、主干网络、颈部和头部四个模块构成，对输入图片进行大小的统一尺度缩放和特征提取，将多层特征信息进行融合；在YOLOv7网络模型中，输入任意大小的待检测图像，将图像缩放至640×640像素的统一大小输入到主干网络当中；主干网络由批量归一化卷积BConv、高效聚合网络ELAN和最大池化批量归一化卷积MPConv构成，用于提取不同的特征信息，其中BConv由卷积层、批归一化层和激活函数构成，ELAN通过控制最短或最长梯度路径实现网络的学习和收敛，MPconv包含池化层和卷积层；颈部加入融合跨阶段局部网络的空间金字塔池化模块SPPCSPC和上采样模块UPSample，SPPCSPC模块在卷积中添加多次池化操作；头部采用大、中、小三个检测头，将颈部信息进行解耦操作，通过RepConv模块对输出的不同尺寸特征调整通道数，并生成边界框并且预测目标的种类和置信度；所述YOLOv7网络模型中的MPconv模块对检测网络进行改进，分别在主干网络中融合SE注意力机制形成MPConv-SE模块，在通道维度上进行特征提取，在小目标检测头加入空间-深度转化SPD-Conv模块；MPConv-SE模块对卷积得到的特征图进行全局信息嵌入，将一个通道上的所有空间特征编码压缩为一个全局特征，利用全局平均池化得到通道级的全局特征，表达式为： 式中，Fsquc为使用通道的平均池化，uc为特征图u的第c个元素，H和W分别为特征图的高和宽，uci，j为特征图u的第c个元素的长，i和j为宽度；将获得的不同通道的权重与原特征图乘积输出特征，通过权重矩阵在通道维度上赋予输入图像不同的位置的不同权重，实现自适应重新校正，表达式为：Fexz，W＝σW2ReLUW1z式中，Fexz，W为对特征图z的宽度W进行自适应重新校正，σ为sigmoid函数，ReLU为激活函数，W1为第一线性层，W2为第二线性层；所述在小目标检测头加入空间-深度转化SPD-Conv模块，包括：在空间-深度层中，输入的特征图X尺寸为S×S×C1，当比例因子scale＝2时，按照比例为2将原始特征图X切分成4个带有特征鉴别信息子特征图，尺寸为：S2×S2×C1；将子特征图沿着信道维度进行连接，得到尺寸为S2×S2×4C1特征图X′；连接stride＝1的非跨步卷积层，非跨步卷积层具有C2个滤波器，其中C2scaleC12将特征图X′进行转换，具体计算公式为：fscale-1，scale-1＝X[scale-1：S：scale,scale-1：S：scale]式中，scale为自变量，取值范围为大于等于1的自然数；X为特征图，S为特征图尺寸。

全文数据：

权利要求：

百度查询： 中国民航大学 一种城市低空复杂背景下无人机图像全天候检测方法及系统