买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

摘要：本发明公开了基于双路多尺度融合网络的人群计数方法、系统，该方法包括获取人群图像数据集并进行预处理，将预处理后的数据集划分成训练集、验证集和测试集；利用标注图获得真实人群密度图；构建双路多尺度融合网络，该网络包括特征提取网络、自注意力特征增强模块、空间注意力多尺度特征融合模块、残差注意力特征融合模块和密度图生成模块；利用训练集和验证集对双路多尺度融合网络进行训练，获得训练后的双路多尺度融合网络；将测试集输入到训练后的双路多尺度融合网络，得到人群图像计数结果。本发明加强特征在通道层面上的偏好，并利用残差链接进行特征重用，充分利用各个阶段的特征，提高人群图像的计数准确性。

主权项：1.基于双路多尺度融合网络的人群计数方法，其特征在于，包括：S1、获取人群图像数据集并进行预处理，将预处理后的数据集划分成训练集、验证集和测试集；利用标注图获得真实人群密度图；S2、构建双路多尺度融合网络，该网络包括特征提取网络、自注意力特征增强模块、空间注意力多尺度特征融合模块、残差注意力特征融合模块和密度图生成模块；特征提取网络包括VGG-16网络的前13个卷积层和前4个池化层，特征提取网络的第10个卷积层和第13个卷积层的输出传输到自注意力特征增强模块中，第7个卷积层、第10个卷积层和第13个卷积层的输出传输到空间注意力多尺度特征融合模块中，自注意力特征增强模块和空间注意力多尺度特征融合模块的输出传输到残差注意力特征融合模块中，残差注意力特征融合模块的输出传输到密度图生成模块中；其中，自注意力特征增强模块包括浅层特征自注意力分支和深浅层特征融合分支，空间注意力多尺度特征融合模块包括浅层空间注意力分支和深层特征融合分支，残差注意力特征融合模块包括自注意力特征增强分支和残差注意力特征融合分支，密度图生成模块包括依次连接的三个3×3卷积和一个1×1卷积；具体内容为：S201、将预处理后的人群图像输入到VGG-16网络的前13个卷积层和前4个池化层中进行特征提取，得到第7个卷积层输出的第一特征图F1、第10个卷积层输出的第二特征图F2和第13个卷积层输出的第三特征图F3；S202、将步骤S201中得到的F2和F3依次输入到自注意力特征增强模块中，输出第四特征图S；将步骤S201中得到的特征图F1、F3和F2依次输入到空间注意力多尺度特征融合模块中，输出第五特征图M；具体内容为：将第二特征图F2输入自注意力特征增强模块后，经过浅层特征自注意力分支，使用3×3卷积降低第二特征图F2的通道数，得到第七特征图T1，将T1分别通过三个1×1卷积生成特征图Q、K、V，将特征图Q进行转置后与特征图K做点乘，通过Softmax函数激活后得到注意力权重，将注意力权重与特征图V做点乘，再通过一个1×1卷积，得到第八特征图T2，将T1与T2相加，得到自注意力特征图；将第三特征图F3输入自注意力特征增强模块后，经过深浅层特征融合分支，对第三特征图F3进行上采样后与第二特征图F2进行串联拼接，再通过一个1×1卷积，得到第九特征图T3，将T3与自注意力特征图进行点乘，得到第四特征图S；将第一特征图F1输入空间注意力多尺度特征融合模块后，经过浅层空间注意力分支，将F1分别进行平均池化和最大池化，得到第十特征图T4和第十一特征图T5，将T4和T5相加后，经过一个7×7卷积，再使用Sigmoid函数进行激活，得到空间注意力权重，将F1与空间注意力权重进行点乘，再进行下采样，得到第十二特征图T6；将第二特征图F2和第三特征图F3输入空间注意力多尺度特征融合模块后，经过深层特征融合分支，对F3进行上采样后与F2进行串联拼接，再通过一个1×1卷积，获得第十三特征图T7；将T6与T7进行串联拼接，再经过一个1×1卷积，得到第五特征图M；S203、将步骤S202中得到的S和M依次输入到残差注意力特征融合模块中，输出第六特征图R；具体内容为：将第四特征图S输入残差注意力特征融合模块后，经过自注意力特征增强分支，使用全局平均池化捕获S的上下文信息，上下文信息经过一个1×1卷积和一个归一化层，得到第十四特征图T8，将T8用Sigmoid函数激活，得到权重，将权重与S相乘，得到第十五特征图T9；将第五特征图M输入残差注意力特征融合模块后，经过残差注意力特征融合分支，将M与T9进行串联拼接，再通过一个3×3卷积，得到第十六特征图T10，将T10依次经过全局平均池化、1×1卷积、Relu激活、1×1卷积和Sigmoid函数激活得到融合后的通道注意力权重，将该权重与T10进行点乘，再与T10相加，得到第六特征图R；S204、将步骤S203中得到的R输入到密度图生成模块中，得到与输入图像相同尺寸的预测人群密度图；具体内容为：第六特征图R输入到密度图生成模块中，依次通过三个3×3卷积减少R的通道数，再使用通道数为1的1×1卷积生成预测的人群密度图；S3、利用步骤S1中的训练集和验证集对双路多尺度融合网络进行训练，获得训练后的双路多尺度融合网络；S4、将步骤S1中的测试集输入到训练后的双路多尺度融合网络，得到人群图像计数结果。

全文数据：

权利要求：

百度查询： 南京信息工程大学 基于双路多尺度融合网络的人群计数方法、系统