买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京理工大学

摘要：本发明涉及一种基于生成尺度自适应真值图的目标计数方法，属于数字图像处理和深度学习技术领域。包括：1针对所给目标计数任务，设计计数神经网络；2制作目标计数数据集，并划分为测试集和训练集两部分；3对目标计数数据集中的每一个样本，生成尺度自适应真值密度图；4分别利用目标计数数据集的训练集和测试集及其真值密度图，对计数神经网络进行训练和测试。所述方法具有自适应性，没有因为输入图像尺度变化改变网络模型和训练方法，即没有增加网络的复杂度和训练难度；基于数字图像处理方法生成包含尺度信息的真值图，不涉及神经网络的训练，故复杂度低、易操作；生成的真值图不仅标示了每个目标的具体位置，还体现了每个目标的尺度信息。

主权项：1.一种基于生成尺度自适应真值图的目标计数方法，其特征在于：包括如下步骤：步骤1：针对要解决的目标计数任务，设计计数神经网络；其中，计数神经网络的输入是一张包含待计数目标的图像，输出是相应的估计密度图和估计目标总数；步骤2：制作目标计数数据集，并将该计数数据集划分为测试集和训练集两个部分；其中，目标计数数据集，用于对步骤1输出的神经网络进行训练、测试与评估，训练集中的样本数目要比测试集的多；所述目标计数数据集包括一定数目的样本，每个样本包括两部分内容：1样本图像：即含待计数目标的图像；2样本目标坐标集：由样本图像所含目标中心的坐标组成的有序二维数组；步骤2中制作目标计数数据集，包括如下两种方式：方式1根据目标计数任务，下载相应的现有数据集作为目标计数数据集；方式2自主设计并制作目标计数数据集；其中，方式2，具体包含如下几个步骤：步骤2.1拍摄或从网络上下载一定数量的含待计数目标的图像；步骤2.2对步骤2.1中每一张含待计数目标的图像，生成对应的目标中心坐标集，共同构成目标计数数据集的一个样本；其中，对图像生成相应目标中心坐标集，具体包括如下子步骤：步骤2.2.1手动为图像中每一个目标的中心添加标记；步骤2.2.2获取步骤2.2.1输出的全部标记在图像中的坐标，形成目标中心坐标集；步骤2.3整合步骤2.2输出的所有样本，形成目标计数数据集；步骤3：对步骤2输出的目标计数数据集中的每一个样本，生成对应的尺度自适应真值密度图；基于样本生成尺度自适应真值密度图，具体包括如下子步骤：步骤3.1对样本图像进行灰度化、直方图均衡化、降噪及纹理分割，输出边缘检测结果；步骤3.2对步骤3.1输出的边缘检测结果进行阈值分割，生成目标边缘标记图；其中，目标边缘标记图标记了样本图像中所有目标的轮廓边缘，其点值具体为：目标边缘所在点值为1，其他点值为0；步骤3.3基于样本目标坐标集，生成目标散点图；其中，目标散点图反映了目标在样本图像中的位置分布；步骤3.4将步骤3.2输出的目标边缘标记图和步骤3.3输出的坐标散点图相加，得到目标位置轮廓标记图；步骤3.5提取步骤3.4输出的目标位置轮廓标记图中所有非零点的坐标，形成目标位置轮廓坐标集；其中，目标位置轮廓标记图中的非零点，具体由目标中心点和目标轮廓点组成；具体的，目标中心点指的是样本图像中所有目标的中心点；目标轮廓点指的是样本图像中所有目标的轮廓所在的点；步骤3.6对样本目标坐标集中的每一个元素，找出步骤3.5输出的目标位置轮廓坐标集中与其相等的元素的索引，形成目标坐标索引集；步骤3.7对步骤3.5输出的目标位置轮廓坐标集，使用k近邻算法，找出该坐标集中每个坐标的k个最近邻，并得到相应的距离矩阵；其中，某坐标点的k个最近邻，指的是在所给坐标集中，按照与该坐标点距离由近到远的顺序，依次找出的k个点；步骤3.8按照步骤3.6输出的目标坐标索引集中索引号的排列顺序，依次将步骤3.7输出的距离矩阵中相应的索引行提取出来，组成目标尺寸矩阵；步骤3.9对步骤3.8输出的目标尺寸矩阵按行求和，并将结果除以k-1，再向上取整，形成目标尺寸集；步骤3.10基于样本目标坐标集和步骤3.9输出的目标尺寸集，生成样本真值密度图；步骤3.10，具体包括如下子步骤：步骤3.10.1对样本目标坐标集中的每一个标记坐标，依次单独生成散点图，形成散点图集；其中，散点图集中的每一个散点图，都是与样本图像同尺寸的含有0,1两种值的二值矩阵，并且只有一个点值为1，即对应标记坐标处的点；步骤3.10.2对步骤3.10.1输出的散点图集中的每一个散点图，依次进行变高斯核尺寸的高斯滤波，生成单目标密度图集；其中，高斯核的大小为g×g，g依次取步骤3.9输出的目标尺寸集的元素，即对每个散点图进行滤波时，高斯核的大小与散点图标记的目标的尺寸相同；每一个散点图的高斯滤波结果，为同尺寸的单目标密度图，包含对应散点图所标记的目标的位置和尺度信息，其点值具体为：在以散点图的1值点为中心，以该点标记的目标的尺寸为半径的范围内，从中心点的最高值，按高斯分布，逐渐减小到0；此外，对单目标密度图中的所有点值求和，结果为1；步骤3.10.3将步骤3.10.2输出的单目标密度图集中的所有单目标密度图相加，得到样本真值密度图；其中，对真值密度图的所有点值求和，结果为样本图像中含有的目标总数的真值；步骤4：对步骤1输出的计数神经网络进行初始化；其中，计数神经网络的初始化，具体指为神经网络的每一个参数赋初值；步骤5：对计数神经网络的训练进行设置，具体包括如下几项：a训练的轮数，epoch；b训练集的训练批次大小，batchsize；c损失函数；d神经网络的优化方法；步骤6：基于步骤5对神经网络训练的设置，将步骤2输出的目标计数数据集的训练集，输入步骤4输出的初始化后的计数神经网络中，对网络进行训练，得到训练好的计数神经网络；其中，对计数神经网络的训练，具体包括如下子步骤：步骤6.1每次从步骤2输出的目标计数数据集的训练集中，取出batchsize个样本，将其样本图像依次输入计数神经网络进行计算，依次输出估计密度图；步骤6.2基于步骤6.1输出的估计密度图和所取样本在步骤3中输出的真值密度图，按步骤5设置的损失函数公式，计算损失函数；步骤6.3基于步骤6.2输出的损失函数，利用步骤5设置的优化方法，更新计数神经网络的各个参数；步骤6.4对步骤6.1到步骤6.3的过程进行循环，直到对步骤2输出的计数数据集的训练集遍历完epoch次；步骤7：将步骤2输出的计数数据集的测试集，输入步骤6输的训练好的计数神经网络中，测试网络的性能；其中，性能的测试，具体包括如下两部分内容：7.1测试损失：对输入的测试集样本图像，计数神经网络输出的估计密度图与真值密度图的差距，用损失函数来衡量；7.2测试精度：对测试集样本计数结果的准确度；步骤7，具体包括如下几个子步骤：步骤7.1将步骤2输出的计数数据集的测试集中的每一个样本，输入步骤6训练好的计数神经网络中，输出相应的估计密度图；步骤7.2按照步骤5设置的损失函数，计算步骤7.1输出的每一个样本的估计密度图与对应真值图的损失函数值，观察其数量级，从而评估模型的测试损失；步骤7.3对步骤7.1输出的每一个样本的估计密度图的所有点值进行求和，得到对应样本的目标计数结果的估计值；步骤7.4基于步骤7.3输出的每个样本计数结果的估计值，评估模型的测试精度。

全文数据：

权利要求：

百度查询： 北京理工大学 一种基于生成尺度自适应真值图的目标计数方法