买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安邮电大学

摘要：本发明公开了基于跨模态的密度与亮度自适应的人群计数模型及方法，通过区域密度分布状态自适应地调整预测权重，以降低预测密度图估计不均衡度的影响，确保不同密度区域都能得到相对精确的计数结果，提高人群计数的准确性；通过亮度动态调整RGB图像与红外图像特征的融合比例，能够根据当前图像的亮度自适应地调整RGB和红外图像特征的权重，从而在亮度较低时抑制RGB特征的影响，以提高在各种光照条件下的人群计数性能，以应对不同光照条件下的计数需求。本发明大大提高了人群计数的准确性和鲁棒性，使其能够适应各种复杂环境。

主权项：1.一种基于跨模态的密度与亮度自适应的人群计数模型的人群计数方法，其特征在于，包括以下操作：S1：获取进行模型训练和测试的数据集，数据集中包括训练集、验证集和测试集；数据集中每幅RGB图像，都有对应的红外图像；S2：构建基于跨模态的密度与亮度自适应的人群计数模型；其包括特征提取主干网络、FRGV模块和预测回归网络；所述特征提取主干网络包括多个卷积块，卷积块通过卷积层和池化层，分别从输入的RGB图像和红外图像中提取RGB特征和红外特征；卷积块中融合有CSCA模块进行融合处理，其通过注意力机制生成所提取特征的上下文信息，并利用全连接网络和softmax函数将RGB特征和红外特征拼接，通过学习权向量获取融合特征；CSCA模块末端设有BAF模块，BAF模块根据输入图像各区域的亮度水平，获取亮度权重；CSCA模块获取融合特征时，基于亮度权重对卷积层中的RGB特征、红外特征进行亮度自适应调整，并传递至下一卷积块；最末端的CSCA模块将最终的RGB特征和红外特征相融合，生成融合特征图；所述FRGV模块，接收数据集和融合特征图，并分别获取全局密度方差和融合特征图的方差，根据融合特征图的方差在全局密度方差中的位置，识别并划分融合特征图中的不同密度区域，为各区域设定密度预测权重，生成并输出精细特征图；所述预测回归网络接收FRGV模块传递的精细特征图，生成映射计数的密度图；S3：训练基于跨模态的密度与亮度自适应的人群计数模型：S3.1：将训练集中的图片作为输入；S3.2：BAF模块根据当前输入图像的亮度水平进行灰度计算，根据不同区域内的灰度值，获取其对应的亮度权重： 其中，M和N为当前输入图像的高度和宽度，为图像像素高度位置，为图像像素宽度位置；Igrayi,j为当前输入图像的灰度图像中位置i,j像素点的像素值，λ为亮度调整尺度；S3.3：卷积块通过卷积层和池化层，从输入的RGB图像和红外图像中提取特征；并计算RGB图像和红外图像的Query值、Key值和Value值；S3.4：CSCA模块利用多头注意力机制交换RGB图像和红外图像中的Query值，计算Query值和Key值之间的相似度，并使用Softmax函数得到两者的注意力权重，提取特征的上下文信息C；CSCA模块通道特征聚合模块利用MLP层和softmax函数，基于多头注意力机制计算得到的结果获取学习权向量并对每一层的RGB特征和红外特征进行拼接，获取该层的融合特征其中，为第层的RGB特征，为第层的红外特征；每次融合特征时，使用亮度权重对每一层RGB特征进行自适应加权：其中，为自适应加权后的RGB特征，为该层的融合特征,为该层的红外特征；S3.5：FRGV模块采用K-Means聚类算法将整个数据集划分为多个具有不同方差特性的子区域，基于方差确定输入图像其所在类簇的位置，基于所在类簇获取缩放因子FRGV模块利用Sigmoid函数对获取的方差值进行非线性变换、结合缩放因子为各区域设定密度预测权重：其中，为Sigmoid函数，为精细特征图，为融合特征图，i为处理数据对应的类簇类别，为第k个类簇；为数据集内的最大值方差，为数据集内的最小方差，为特征图的方差；S4：在训练基于跨模态的密度与亮度自适应的人群计数模型的过程中，不断更新模型的亮度权重和密度预测权重，并保存权重文件；S5：将测试集图像或来源于摄像装置的实时图像输入到训练后的基于跨模态的密度与亮度自适应的人群计数模型中进行测试，加载保存的权重文件，得到预测密度图及预测人群结果。

全文数据：

权利要求：

百度查询： 西安邮电大学 基于跨模态的密度与亮度自适应的人群计数模型及方法