买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南通大学

摘要：本发明公开了一种交叉协作融合的轻量化跨模态人群计数方法，本发明主要针对现有人群计数方法存在模型庞大，推理速度很慢两个问题，设计一种改进的人群计数方法。将RGB图像和热成像两种模态的图像经过预处理输入模型，首先为五层权重共享编码器提取特征，然后由跨策略增强编码器重新分配通道注意力，通过交叉注意力重新加权特征反应，将输出的三、四、五层特征扩大其感受野，并对其进行跨尺度跨模态解码，最后将特征总和经过回归器回归密度图生成预测人数，通过不断缩小与实际人数之间的差距，以提高人群计数的精度。

主权项：1.一种交叉协作融合的轻量化跨模态人群计数方法，其特征在于，针对人群图像，执行如下步骤S1-步骤S8，完成图像中的人群计数：步骤S1：采集人群图像构建数据集，将数据集划分为训练集、验证集、测试集，并对数据集进行预处理，包括将人群图像转换成Numpy文件存储，同时将数据集中的图像随机裁剪为预设尺寸，进入步骤S2；步骤S2：从训练集中选取N对人群图像，每对人群图像包括RGB图像和相应的热成像，RGB图像和热成像分别输入相同的五层编码器进行特征提取，输出RGB图像和热成像的多级特征表示，构成一组两种模态的特征，进入步骤S3；步骤S3：将步骤S2中提取的一组两种模态的特征分别输入跨策略增强编码网络，得到自适应重新加权后的每层特征，进入步骤S4；步骤S3的具体步骤如下：步骤S3.1：针对步骤S2中提取的一组两种模态的特征使用1*1卷积，将RGB图像特征转换为矩阵表示其中为查询、为键，为数值，对应的将热成像特征转换为矩阵表示进入步骤S3.2；步骤S3.2：采用如下公式对矩阵表示的分辨率进行缩减，然后进入步骤S3.3： 其中，r表示缩减率，表示r具有的核大小和步长的下采样卷积层以及第l层中的批处理归一化；步骤S3.3：针对步骤S3.2所获得的进行交叉协作操作，对于Ql进行转置后输入softmax函数，与Kl的转置和Vl依次相乘得到RGB图像和热成像交叉协作特征，公式如下，然后进入步骤S3.4： 其中，和分别是RGB图像和热成像的交叉协作特征，softmax是softmax函数； 其中，γ和δ是可学习因子，初始值设置为1，和分别是RGB图像和热成像的交叉协作特征，与和通过剩余连接促进网络训练；步骤S3.4：得到交叉协作特征后，分别计算RGB图像和热成像特征响应的重要性和公式如下，然后进入步骤S3.5； 其中，H、W分别为图像的高和宽，u,v是位置坐标，表示跨空间维度的第c通道的统计值，代表特征响应的重要性；步骤S3.5：分别针对步骤S3.4中所获得RGB图像和热成像的特征响应的重要性，通过可学习增强层进行相互增强，可学习增强层通过全连接层、RELU激活函数和串联操作，得到每个通道对RGB图像和热成像的重要性和公式如下，然后进入步骤S3.6； 其中，FC、RELU和C分别指全连接层、ReLU激活函数和串联操作；步骤S3.6：将步骤S3.5中得到的每个通道对RGB图像和热成像的重要性重新加权，同时利用剩余连接与原模态特征相加，得到增强后的特征被传递到编码器的下一层；步骤S4：在得到步骤S3的自适应重新加权后的每层特征后，合并第三层、第四层、第五层特征输入跨尺度跨模态解码器模块，经过回归层以生成显著性预测图，进入步骤S5；步骤S4的具体步骤如下：步骤S4.1：分别将步骤S3中得到的后三层输出的RGB图像和热成像特征进行3*3卷积，将它们的通道均匀转换为32，得到第三层特征D3、第四层D4、第五层特征D5，进入步骤S4.2；步骤S4.2：将得到的D3、D4、D5，采用不同扩张率的深度可分离卷积来捕获层内多尺度信息，同时跳过连接至原模态信息，对其进行张量相加得到Di，进入步骤S4.3；采用不同扩张率的深度可分离卷积计算过程如下式： 其中，DWi表示扩张速率为i的3×3深度可分卷积，公式中i分别取1、2和3，表示扩张卷积层数；步骤S4.3：将步骤S4.2得到的RGB图像和热成像后三层感受野扩大后的特征信息，进行跨级别聚合，通过上采样、卷积和串联操作，最后将RGB图像和热成像聚合为显著性预测图D；跨级别聚合的计算过程如下式： 其中，C表示串联操作，Ui表示具有上采样因子i的上采样操作，Conv是具有ReLU激活函数的3×3卷积层，DR和DT分别为RGB图像和热成像的显著性预测图；步骤S5：将步骤S4中得到的显著性预测图与标签数据中的点列表和空间尺寸的列表密度图采用贝叶斯损失进行计算，通过计算目标计数和预测计数之间的差异，将其累计到损失之中，进入步骤S6；步骤S6：检查训练集中的训练轮数是否达到设定的轮数，若未达到设定的轮数则返回步骤S2，否则进入步骤S7；步骤S7：当训练轮数大于30小于设定的训练轮数，且当前训练轮数为5的倍数时进入验证流程和测试流程，如果等于设定的训练轮数则进入步骤S8，否则返回步骤S2；验证流程中根据指标评价当前模型参数，若评价为当前最优模型参数，则进入测试流程，完成测试流程后，进入步骤S8；步骤S8：输出最优模型参数，结束。

全文数据：

权利要求：

百度查询： 南通大学 一种交叉协作融合的轻量化跨模态人群计数方法