买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于多尺度融合与分布匹配的人群计数方法及系统，所述方法包括：获取人群图像并进行预处理，建立数据集；以VGG为主干网络、引入注意力机制和多尺度特征融合模块构建多尺度分支预测模型，并基于数据集进行预训练；将预待测人群图像输入预训练的多尺度分支预测模型，生成密度图并进行人群计数。本发明可以对人群图像进行不同尺度的特征提取和融合，得到各种尺度的高级语义特征图，将前端输出的不同尺度的特征图进行通道融合生成密度图，可以兼顾不同人群密集尺度的差异，提高了人群计数的准确度。

主权项：1.一种基于多尺度融合与分布匹配的人群计数方法，其特征在于，所述方法包括：获取人群图像并进行预处理，建立数据集；以VGG为主干网络、引入注意力机制和多尺度特征融合模块构建多尺度分支预测模型，并基于数据集对多尺度分支预测模型进行预训练；将预待测人群图像输入预训练的多尺度分支预测模型，生成密度图并进行人群计数；所述预处理包括：对每一批次的人群图像进行数据增强和裁剪缩放处理；所述多尺度分支预测模型包括前端网络和后端网络；所述前端网络包括依次连接的VGG主干网络、多尺度特征融合模块和特征增强模块；所述VGG主干网络用于对输入的人群图像进行不同尺度的特征提取；所述多尺度特征融合模块用于将VGG主干网络不同尺度的输出进行自下而上的特征融合，并分别将不同尺度的特征融合结果输入特征增强模块；所述特征增强模块，包括依次连接的CA注意力模块和卷积层，用于通过CA注意力模块对每个尺度的横向和纵向的位置进行信息编码，并经过卷积操作后输出对应尺度的特征预测图；所述后端网络用于对对应尺度的特征预测图进行自下而上的特征融合，输出密度图；所述VGG主干网络包括依次连接的输入层、第一尺度特征提取模块、第二尺度特征提取模块、第三尺度特征提取模块、第四尺度特征提取模块和第五尺度特征提取模块；所述第一尺度特征提取模块包括2层通道数为64的卷积层和一层池化层；所述第二尺度特征提取模块包括2层通道数为128的卷积层和一层池化层；所述第三尺度特征提取模块包括4层通道数为256的卷积层和一层池化层；所述第四尺度特征提取模块包括4层通道数为512的卷积层和一层池化层；所述第五尺度特征提取模块包括4层通道数为512的卷积层；所述多尺度特征融合模块包括依次连接的第一尺度特征融合模块、第二尺度特征融合模块和第三尺度特征融合模块；所述第一尺度特征融合模块用于将第五尺度特征提取模块的输出依次经过卷积操作和上采样处理后的结果与第三尺度特征提取模块的输出经过卷积操作后的结果拼接，并将拼接结果经过上采样处理后输出至第二尺度特征融合模块和特征增强模块；所述第二尺度特征融合模块用于将第二尺度特征提取模块的输出经过卷积操作后的结果与第一尺度特征融合模块的输出结果拼接，并将拼接结果经过上采样处理后输出至第三尺度特征融合模块和特征增强模块；所述第三尺度特征融合模块用于将第一尺度特征提取模块的输出经过卷积操作后的结果与第二尺度特征融合模块的输出结果拼接，并将拼接结果经过上采样处理后输出至特征增强模块；所述前端网络分别输出第一尺度的特征预测图、第二尺度的特征预测图、第三尺度的特征预测图和第四尺度的特征预测图；所述后端网络包括依次连接的第一后端融合模块、第二后端融合模块和第三后端融合模块；所述第一后端融合模块用于将第四尺度的特征预测图经过卷积注意力单元和上采样处理后与第三尺度的特征预测图拼接，并将拼接结果输出至第二后端融合模块；所述卷积注意力单元包括第一分支单元、第二分支单元和拼接单元，所述第一分支单元包括一个卷积层，所述第二分支单元包括依次连接的卷积层和CBAM注意力模块，所述拼接单元用于将第一分支单元和第二分支单元的拼接结果输出；所述第二后端融合模块用于将第一后端融合模块的输出结果经过卷积注意力单元和上采样处理后与第二尺度的特征预测图拼接，并将拼接结果输出至第三后端融合模块；所述第三后端融合模块用于将第二后端融合模块的输出结果经过卷积注意力单元和上采样处理后与第一尺度的特征预测图拼接，并将拼接结果经过卷积操作后输出密度图；所述多尺度分支预测模型的整体损失函数为： 其中，z、分别代表向量化的实际密度图和预测密度图，为整体损失函数，λ为权重系数，为计数损失： 为最优传输损失： W·代表预测密度图与实际密度图之间的相似性函数。

全文数据：

权利要求：

百度查询： 中南民族大学 基于多尺度融合与分布匹配的人群计数方法及系统