买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：武汉大学

摘要：本发明提出了一种视频中密集人群分布检测与计数方法。首先获取大量含不同密度人群的视频构建数据集；然后构建多尺度特征融合和注意力机制的深度神经网络，将训练集输入至网络，输出对应的人群密度图和注意力图的预测结果，结合真实密度图和注意力图构建损失函数模型进行训练，生成优化后的网络；通过优化后的多尺度特征融合和注意力机制的深度神经网络预测得到人群视频图像的密度图，进一步用基于网格的分层次密度空间聚类方法对估计密度图进行点聚类来识别组群，快速得到组群的人数和位置信息。本发明能解决摄像机透视失真、尺度变化和背景噪声影响的问题，提高了计数精度和稳定性；同时，对人群进行组群划分，可以直观显示出人群的分布情况。

主权项：1.一种视频中密集人群分布检测与计数方法，其特征在于，包括以下步骤：步骤1：获取大量含不同密度人群的视频构建数据集；步骤1所述获取大量含不同密度人群的视频构建数据集的具体实现方式如下：步骤1.1：标注人群图像；视频切割成K帧图像，在第k帧图像中，记第i个人头的中心点像素坐标为xk,i,yk,i，在第k帧图像中将xk,i,yk,i处的像素值标注为1，用脉冲函数δxk-xk,i表示，k∈[1,K]，i∈[1,Nk]，K表示视频中图像的帧数，Nk表示第k帧图像中人的数量,xk表示第k帧图像中的像素点，xk,i第k帧图像中第i个人头的中心点像素坐标的X轴坐标，yk,i第k帧图像中第i个人头的中心点像素坐标的Y轴坐标；第k帧图像中除xk,i,yk,i外其余像素坐标上的像素值标注为0；在标注后的K帧图像中随机挑选2K3帧图像作为训练样本集，剩余K3帧图像作为测试样本集；步骤1.2：将带标签的人群图像转换为人群密度图；将带标签的人群图像与几何自适应高斯核进行卷积，生成人群密度图作为真实密度图；其中，是第k帧图像对应的高斯核的方差，是第k帧图像中人头中心点xk,i与其最邻近的m个人头中心点之间的距离的均值，表示第k帧图像中点xk,i与其最邻近的第j个点之间的距离；步骤1.3：将步骤1.2生成的真实密度图Fxk中像素值小于像素阈值的点的像素值置0，其余点的像素值置1，生成真实注意力图；步骤2：构建多尺度特征融合和注意力机制的深度神经网络，将步骤1.1中构建的训练样本集依次输入至多尺度特征融合和注意力机制的深度神经网络，输出训练样本集对应的人群密度图和注意力图的预测结果，进一步结合步骤1.2中训练样本集对应的真实密度图和步骤1.3中训练样本集对应的真实注意力图构建损失函数模型，利用损失函数模型进行训练，直至损失函数模型的损失减小到一定程度且训练达到迭代最大次数，生成优化后多尺度特征融合和注意力机制的深度神经网络；步骤3：对于人群视频图像，通过步骤2中优化后的多尺度特征融合和注意力机制的深度神经网络预测得到人群密度图，进一步用基于网格的分层次密度空间聚类方法对输出的估计人群密度图进行点聚类来识别组群，快速得到组群的人数和位置信息；步骤2所述多尺度特征融合和注意力机制的深度神经网络由多尺度特征图提取器、多尺度特征融合模块、注意力模块依次串联级联构成；所述多尺度特征图提取器，用于从人群图像中提取出深层的、大尺度的特征图和浅层的、小尺度的特征图，作为所述多尺度特征融合模块的输入；所述多尺度特征融合模块，用于融合深层的、大尺度的特征图和浅层的、小尺度的特征图，并生成一幅包含多尺度特征信息和多层次语义信息的特征图F；所述注意力模块，用于区分特征图F中的人群区域与背景区域，生成一幅注意力图Matt，用注意力图Matt优化特征图F，得到由注意力约束的特征图Frefine；最后由特征图Frefine回归高分辨率、高质量的密度图Ffinal；所述多尺度特征图提取器具体构建方法为：使用VGG16_bn的前13层卷积结构以及4层池化层组成；所述多尺度特征图提取器由第一组卷积层、第一池化层、第二组卷积层、第二池化层、第三组卷积层、第三池化层、第四组卷积层、第四池化层、第五组卷积层依次串联级联构成；所述第一组卷积层由两个卷积核大小为3×3、卷积核个数为64的卷积层串联组成；所述第二组卷积层由两个卷积核大小为3×3、卷积核个数为128的卷积层串联组成；所述第三组卷积层由三个卷积核大小为3×3、卷积核个数为256的卷积层串联组成；所述第四组卷积层、第五组卷积层均由三个卷积核大小为3×3、卷积核个数为512的卷积层串联组成；所述多尺度特征图提取器具体的网络结构是：C64,3×2-P-C128,3×2-P-C256,3×3-P-C512,3×3-P-C512,3×3其中，Cn,3表示卷积核大小为3×3、卷积核个数为n的卷积层，P表示窗口大小为2×2的最大池化层；将多尺度特征图提取器在每次池化操作前划分为1个阶段，共划分为5个阶段：Conv1_2、Conv2_2、Conv3_3、Conv4_3和Conv5_3，每个阶段分别获得大小为1、12、14、18、116的特征图；Conv2_2-Conv5_3这四个阶段的输出特征图输入多尺度特征融合模块的对应阶段；所述多尺度特征融合模块，具体构建方法为：所述多尺度特征融合模块由第一上采样层、第一组卷积层、第二上采样层、第二组卷积层、第三上采样层、第三组卷积层依次串联级联构成，具体的网络结构是：U-C256,1-C256,3-U-C128,1-C128,3-U-C64,1-C64,3-C32,3其中，Cn,m表示卷积核大小为m×m、卷积核个数为n的卷积层，U代表采样率为2的双线性上采样层；该模块在每次上采样操作前划分为1个阶段，共划分为3个阶段；在每个阶段，输入特征图经过上采样后与多尺度特征图提取器对应阶段输出的低层特征图在通道维度上连接，然后通过卷积层组，接着输入下一阶段；模块顶层输出一幅包含多尺度特征信息和多层次语义信息的特征图F，输入注意力模块；所述注意力模块具体构建方法为:所述注意力模块生成一幅注意力图Matt，公式为：Matt＝SigmoidW⊙F+b其中，W是1×1×1卷积层的权重矩阵，b是1×1×1卷积层的偏置，⊙表示对应元素相乘，Sigmoid表示sigmoid激活函数；用注意力图Matt优化特征图F，公式为： 其中，表示两个矩阵对应元素相乘；将由注意力约束的特征图Frefine通过一个1×1×1的卷积层生成高质量、高分辨率的人群密度图Ffinal；步骤2所述构建损失函数模型为：对于人群密度图的生成，使用欧氏距离监督网络输出的估计密度图和步骤1.2中生成的对应的真实密度图之间的差异，密度图损失函数表示为： 其中D和D分别表示步骤1.2生成的真实密度图集合和网络输出的估计密度图集合，Di是第i张估计密度图的所有像素的值，Di是第i张真实密度图的所有像素的值，N是训练集的图像数量；对于注意力图的生成，使用二分类交叉熵监督注意力模块生成的估计注意力图和步骤1.3中生成的对应的真实注意力图之间的差异，注意力图损失函数表示为： 其中M和M分别表示步骤1.3生成的真实注意力图集合和注意力模块生成的估计注意力图集合，Mi是第i张真实注意力图中所有像素的值，Mi是第i张估计注意力图中所有像素的值，N是训练集的图像数量；网络的总损失函数为：L＝LD,D+λLM,M步骤2中所述生成多尺度特征融合和注意力机制的深度神经网络的具体实现方式如下：步骤2.1：将步骤1构建的训练样本集依次进行统一短边长度并随机缩放处理、随机裁剪图像块处理、随机水平翻转处理、gamma对比变换操作；对于有灰度图像的数据集，还要将彩色图像随机变化成灰度图；步骤2.2：设置网络初始权重参数和训练参数，包括训练样本输入批量、优化算法、学习率、动量、迭代周期；步骤2.4：对步骤2的多尺度特征融合和注意力机制的深度神经网络进行训练；在每个迭代周期内，将步骤2.1中处理后的训练样本集输入到多尺度特征融合和注意力机制的深度神经网络中，计算步骤2中所述的损失函数L，更新网络的权重参数，直至完成所有迭代周期后训练结束；当损失函数L的值随着迭代周期的增加呈减小趋势时说明训练有效；步骤3中聚类方法的具体实现方式如下：步骤3.1：对第k帧图像，其人群密度图二维空间为Ωk，将像素值不为0的点的集合表示为样本集Xk＝{xk，1，xk，2，...，xk,n}，其中xk，i是二维向量，失函数模型xk，i＝{xk,i1，xk,i2}；设置参数s，将Ωk在每个维度上划分为s个区间，从而把Ωk划分为s2个不相交的矩形单元{uk，11，...，uk，1s，...，uk，ss}；步骤3.2：对第k帧图像，遍历其样本集Xk，将每个单元格中的样本作为一类，得到每个单元格包含的样本集合{ck，11，ck，12...，ck,ss}，计算每个单元格的密度；步骤3.3：设置密度阈值τ，将单元密度大于阈值的网格标记为稠密，得到稠密网格集合Uk＝{uk，1，...，uk，2，...，uk，n}；设置类集合步骤3.4：从Uk＝{uk，1，...，uk，2，...，uk，n}中任选一个网格uk，i开始，初始化一个集合Ck，j为uk，i对应的样本集合ck,pq，即Ck，j＝Ck,pq；步骤3.5：对与uk，i相邻的稠密网格进行广度优先遍历，将遍历到的网格标记为“已访问”，并将其对应的样本集合加入到集合Ck，j中；广度遍历结束后将集合Ck，j加入到类集合Ck中；步骤3.6：若Uk中还有元素未访问，转到步骤3.4，否则进行下一步；步骤3.7：对于集合Ck，j中的样本点pk,i，将其与第l个最近邻样本点的距离称为核心距离，表示为：corelpk，i＝dx，Nlpk，i两个样本点pk，i和pk，j之间的互达距离表示为：dmreach-lpk，i，pk,j＝max{corelpk，i，corelpk，j，dpk，i，pk,j}d·表示两个样本点之间的直线距离；步骤3.8：用互达距离表示两个样本点之间的距离，通过Prim算法构建一个最小生成树；步骤3.9：构建聚类层次结构；将树中的所有边按照升序排列，然后依次选取每条边，将边链接的两个子图进行合并，生成聚类树；步骤3.10：确定聚类最小簇大小；步骤3.5得到的某个集合Ck，j中包含m个网格，每个网格样本点数的集合记为Nk＝{nk，1，nk，2，...，nk，m}，网格中人群密度图积分为Dk＝{dk，1，dk,2，...，dk，m}，则对于网格i，其密度记为假设最少K人为一个组群，则对于网格i，最小组群包含的样本点个数应为取人群密度最小的网格的最小组群样本点个数作为聚类最小簇大小Bk，表示为： 步骤3.11：压缩聚类树；自上而下遍历聚类树，在每个节点分裂时，比较左右两个子节点样本数与最小簇样本数的大小关系；如果两个子节点中有一个的样本数少于最小簇样本数，直接删除该子节点，并且用另一个子节点保留父节点的身份；如果两个子节点中的样本数都小于最小簇样本数，则将两个子节点都删除，即当前节点不再向下分裂；如果两个子节点中的样本数都大于最小簇样本数，则进行正常分裂，即保持原聚类树不变；步骤3.12：提取簇；对于树中的每个节点，定义两个变量：λbirth代表分裂产生当前节点时断开边的长度的倒数，λdeath代表当前节点分裂成两个子节点时断开边的长度的倒数；对每个节点中的每个样本点ak，i，定义为样本点ak，i因分裂离开该节点时断开边的长度的倒数，则节点的稳定性表示为： 将聚类树的每个叶节点都选定为某个簇，自下而上遍历整棵树，并比较当前节点稳定性和其两个子节点稳定性和的大小；如果当前节点的稳定性小于其两个子节点稳定性和，则将两个子节点的稳定性之和设置为当前节点的稳定性；反之，将当前节点定为某个簇，并删除所有子节点；步骤3.13：根据聚类结果划分组群，对每一个组群内的密度图进行积分得到该组群的人数，根据密度图聚类的位置在原图上框出组群位置。

全文数据：

权利要求：

百度查询： 武汉大学 一种视频中密集人群分布检测与计数方法