买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京联合大学

摘要：本发明提出一种融合语义信息行人流量计数方法，包括：采集行人流量的数据信息；对所述数据信息进行目标检测，并记录目标检测信息；基于所述目标检测信息，通过RMOT和ByteTrack进行目标跟踪；对目标跟踪结果进行阈值分组，并基于所述目标跟踪结果对目标在当前帧的位置进行预测，获取目标轨道；将分组后的所述目标跟踪结果与所述目标轨道进行轨迹关联，基于关联结果进行计数。本发明能在目标检测框获得低置信度时也对其进行轨迹匹配操作，去除掉低置信度检测框中真正的背景信息，并根据准确的跟踪结果进行计数工作。

主权项：1.一种融合语义信息行人流量计数方法，其特征在于，包括：采集行人流量的数据信息；对所述数据信息进行目标检测，并记录目标检测信息；记录所述目标检测信息包括：记录目标位置信息、目标尺寸信息和边界框置信度；记录所述目标位置信息包括：记录目标的像素坐标、边界框位置和中心点位置；记录所述目标尺寸信息包括：记录目标的宽度和高度；记录所述边界框置信度包括：为检测到的每个目标分配一个边界框，并为每个边界框分配一个置信度得分；基于所述目标检测信息，通过RMOT和ByteTrack进行目标跟踪；通过RMOT和ByteTrack进行目标跟踪包括：利用RMOT进行目标跟踪，获取目标的位置和运动状态；在RMOT中使用早期融合模块来整合可变形编码器层之前的视觉和语言特征，给定第i层特征图使用1×1卷积将其通道数减少到d＝128，并将其展平为二维张量Wi和Hi分别为第i层特征图的宽和高；并使用全连接层将语言特征投影到中，三个独立的全连接层将视觉和语言特征转换为Q、K和V，其表示如下： 其中W是权重，PV和PL是视觉和语言特征的位置嵌入；在K和V上做矩阵积，并使用生成的相似度矩阵对语言特征进行加权，即d为特征维数，然后将原始的视觉特征与语言特征相加，形成融合特征 在融合两个模态后使用一堆可变形的编码器层来促进跨模态交互： 其中编码为跨模态嵌入，便于后续解码器的引用预测；设表示第t-1帧的解码器嵌入，利用自注意前馈网络将其进一步转化为第t帧的轨迹查询，即部分N解码器嵌入对应于空目标或退出的目标，因此过滤掉他们并仅保留N个真实嵌入，以根据其类分数生成跟踪查询令表示检测查询，该查询是为检测新出现目标而随机初始化；将这两种查询被连接在一起并输入到解码器中以学习目标表示Dt： 其中，输出嵌入次数为Nt，包括跟踪对象和检测对象，得到目标的位置和运动状态；将目标的位置和运动状态输入所述ByteTrack，使用ByteTrack算法对视频中的目标进行实时跟踪，以获得目标的位置和运动信息；对目标跟踪结果进行阈值分组，并基于所述目标跟踪结果对目标在当前帧的位置进行预测，获取目标轨道；对目标跟踪结果进行阈值分组包括：预设置信度阈值τ；基于所述边界框置信度对所述数据信息中的每一帧所有的检测框进行划分，检测框的置信度大于等于阈值τ的，将检测框存入到高分检测框Dhigh中，检测框的置信度小于阈值τ的，将检测框存入低分检测框Dlow中；将分组后的所述目标跟踪结果与所述目标轨道进行轨迹关联，基于关联结果进行计数；将分组后的所述目标跟踪结果与所述目标轨道进行轨迹关联包括：在所述高分检测框Dhigh和所有轨道T之间进行第一次关联，并将不匹配的轨迹保留；在所述低分检测框Dlow和保留的不匹配的轨迹之间进行第二次关联；基于两次关联结果完成所述轨迹关联；在所述高分检测框Dhigh和所有轨道T之间进行第一次关联包括：检测所述高分检测框Dhigh和轨迹T的预测框之间的IoU；所述IoU： 其中，area_inter表示预测框与真实框的交集，area_union表示预测框与真实框的并集；使用匈牙利算法根据所述IoU，完成匹配，将不匹配的检测保留在Dremain中，在Tremain中保留不匹配的轨迹；在所述低分检测框Dlow和保留的不匹配的轨迹之间进行第二次关联包括：检测所述低分检测框Dlow和保留的不匹配的轨迹的预测框之间的所述IoU；使用匈牙利算法根据所述IoU，完成匹配，将仍然未匹配到检测框的轨迹保留在Tre-remain中，对于Tre-remain中的每个轨迹，当轨迹存在超过预设帧数时，从轨迹中删除，并删除仍未匹配到轨迹的低分检测框Dlow。

全文数据：

权利要求：

百度查询： 北京联合大学 一种融合语义信息行人流量计数方法