买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明涉及一种基于多层特征融合的多光谱行人检测方法，属于目标检测领域，S1：对数据集进行预处理，划分为训练集和测试集，并扩充训练图像；S2：采用卷积神经网络构建多层特征融合的特征提取模型，采用通道注意力机制对可见光与红外特征进行多层特征融合，根据多层融合特征构建特征金字塔；S3：引用自适应融合机制对待检测特征层的特征图尺度进行调整，通过多尺度检测获得行人边界框；S4：通过非极大值抑制算法进行筛选，去除置信度较低的边界框并输出最终的检测结果。本发明能够提取到更多细节信息，检测性能得以进一步提升，模型在全天候场景下行人检测的准确率得到大幅度提升。

主权项：1.一种基于多层特征融合的多光谱行人检测方法，其特征在于：包括以下步骤：S1：对数据集进行预处理，划分为训练集和测试集，并扩充训练图像；具体包括以下步骤：S11：将数据集分类为训练集和测试集，并划分为全天候场景、白天场景和夜间场景三个部分；S12：对训练图像进行随机比例的缩放，若图像尺寸小于预设尺寸则使用灰度像素点进行填充，若其尺寸大于预设尺寸则对边缘进行裁剪，同时对边界框标签进行位置修正；S13：对训练图像进行随机的水平翻转，同时修正边界框坐标，扩充训练图像；S14：将可见光图像从RGB颜色空间转换至HSV或SHL颜色空间后对图像的亮度分量进行随机调整，然后将三个分量结合并转换回RGB颜色空间；S15：根据标签信息计算获得中心点坐标x,y，使用二维高斯函数G·依据边界框宽和高的标准差{σw,σh}生成中心点掩膜M 其中，Mi,j表示中心点掩膜，i,j表示像素点坐标，x,y表示目标中心点坐标，xk和yk分别表示第k个目标序列的中心点坐标，σw和σh分别表示目标边界框宽和高的标准差；S2：采用卷积神经网络构建多层特征融合的特征提取模型，采用通道注意力机制对可见光与红外特征进行多层特征融合，根据多层融合特征构建特征金字塔；具体包括以下步骤：S21：使用模型的主干网络对预处理后的可见光图像与红外图像进行特征提取，分别获得三层具有不同分辨率的特征图{xv1,xv2,xv3}和{xi1,xi2,xi3}；S22：采用通道注意力机制对特征提取获得的可见光图像特征图{xv1,xv2,xv3}与红外图像特征图{xi1,xi2,xi3}进行同尺度间的特征融合从而获得三层融合特征图{xvi1,xvi2,xvi3}；特征表示如下： 其中，F'表示注意力机制的输出特征，Ωchn表示特征通道注意力向量，F表示注意力机制的输入特征，σ表示Sigmoid函数操作，MLPavgpoolF表示对输入特征进行平均池化操作，MLPmaxpoolF表示对输入特征进行最大池化操作，和表示分别两个全连接层参数，δ表示ReLU函数，和表示平均池化和最大池化的特征通道描述符；Fv'i表示经过注意力机制处理后获得的红外与可见光加权融合特征，ρ1和ρ2分别表示可见光特征和红外特征的权重参数，Ωchn_v和Ωchn_i分别表示可见光特征通道注意力向量和红外特征通道注意力向量，Fv和Fi分别表示可见光图像特征和红外图像特征，Fv'和Fi'分别表示经过注意力机制处理后获得的可见光图像特征和红外图像特征；S23：根据融合特征图{xvi1,xvi2,xvi3}构建特征金字塔网络，特征金字塔网络输出三层特征图{yvi1,yvi2,yvi3}；S3：引用自适应融合机制对待检测特征层的特征图尺度进行调整，通过多尺度检测获得行人边界框；具体包括以下步骤：S31：引用自适应特征融合机制对特征金字塔的三层输出特征图{yvi1,yvi2,yvi3}进行尺度调整，获得尺度调整后的三个检测特征层{y'vi1,y'vi2,y'vi3}；S32：采用三个检测特征层{y'vi1,y'vi2,y'vi3}对图像进行进行多尺度行人检测，对模型检测出的行人生成检测边界框B＝{x1,y1,x2,y2}，其中{x1,y1}表示边界框的左上角点，{x2,y2}表示边界框的右下角点；S4：通过非极大值抑制算法进行筛选，去除置信度较低的边界框并输出最终的检测结果。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种基于多层特征融合的多光谱行人检测方法