买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于双分支时空交互网络的视频人群计数方法，包括步骤：通过随机剪裁和水平翻转，对连续的训练视频帧进行数据增强；构建由编码器、解码器和融合网络组成的双分支时空交互网络；编码器包括一个ConvNeXt‑2D模型、一个ConvNeXt‑3D模型和一个时空全连接聚合；解码器通过集成多个通道交叉注意力模块和转置卷积在多个尺度上实现2D空间特征和3D时空特征的交互，并分别生成ConvNeXt‑2D模型和ConvNeXt‑3D模型的人群密度图；融合网络通过融合两模型的人群密度图来输出最终融合的人群密度图；对双分支时空交互网络进行训练后，保存最优模型。本发明能够更准确地估计视频帧包含的人数。

主权项：1.一种基于双分支时空交互网络的视频人群计数方法，其特征在于，包括如下步骤：S1，通过对训练集的每T个连续视频帧统一进行随机剪裁和水平翻转实现数据增强，得到扩展后的训练集；S2，构建由编码器、解码器和融合网络组成的双分支时空交互网络；所述编码器包括一个ConvNeXt-2D模型、一个ConvNeXt-3D模型和一个时空全连接聚合；解码器通过集成多个通道交叉注意力模块和转置卷积在多个尺度上实现2D空间特征和3D时空特征的交互，并生成ConvNeXt-2D模型和ConvNeXt-3D模型对于连续T帧图像的人群密度图；所述融合网络融合ConvNeXt-2D模型和ConvNeXt-3D模型对应的每一帧的人群密度图，实现同时对T个训练帧进行人群计数；S3，对双分支时空交互网络进行训练后，保存最优双分支时空交互网络模型用于测试；S4，将测试集的所有视频帧按照每连续T帧为一组进行划分，分别输入到最优双分支时空交互网络模型中，估计出测试集所有的视频帧所包含的人数；步骤S2中，所述编码器通过ConvNeXt-2D模型和ConvNeXt-3D模型分别获得输入帧的空间特征和时空特征；在编码的过程中，通过时空全连接聚合将ConvNeXt-2D模型的多尺度特征融入到ConvNeXt-3D模型的各个阶段；所述时空全连接聚合是通过转换模块将ConvNeXt-2D模型中4个阶段的特征进行转换后，累加到ConvNeXt-3D模型每个下采样层之后，累加后的特征再将经过两个堆叠的3DConvNeXt块进行时空相关性学习并得到ConvNeXt-3D模型在第n阶段输出的特征图Un，Un的计算表达式如下： 其中，n＝1,2,3,4；Ln表示ConvNeXt-2D模型在第n阶段输出的特征图；transforma，b表示转换模块，将a的维度、通道和大小转换成与b一致；Down3Da表示a经过ConvNeXt-3D下采样层的处理；Block3D2a表示a经过两个连续3DConvNeXt块的处理；当n＝1时，U0表示通过转置操作把RGB视频帧的通道维度和时间维度交换得到的特征；所述转换模块由变形、转置、1×1卷积和双线性插值组成，变形和转置用于调整ConvNeXt-2D模型空间特征的维度与ConvNeXt-3D模型时空特征一致；1×1卷积、双线性插值分别用于调整ConvNeXt-2D模型空间特征的通道数和大小，确保与ConvNeXt-3D模型时空特征一致；步骤S2中，所述解码器对由编码器提取的ConvNeXt-2D模型输出的空间特征L4和ConvNeXt-3D模型输出的时空特征U4分别经过三个通道交叉注意力模块；在每相邻两个交叉注意力模块中还嵌入了转置卷积，用于对特征图的分辨率上采样2倍；每个通道交叉注意力模块之后都采用残差连接；然后，对两个分支分别应用1×1卷积，生成ConvNeXt-2D模型对连续T帧密度图的估计Ld和ConvNeXt-3D模型对连续T帧密度图的估计Ud；所述通道交叉注意力模块的实现过程如下：将ConvNeXt-2D模型输出的空间特征L4输入第一个通道交叉注意力模块，首先采用转置和变形操作将ConvNeXt-3D模型的输出特征U4的维度转换为ConvNeXt-2D模型的输出特征L4的维度，得到将展平为1D序列并作为线性交叉注意力的键K和值V；同时，对空间特征L4采用全局平均池化得到其全局特征表示Lv，随后将Lv展平为1D序列并作为线性交叉注意力的查询Q；最后，根据通道重要性重构ConvNeXt-2D空间特征为： 其中，Sigmoid表示激活函数；Wc表示ConvNeXt-2D模型空间特征的通道权重；⊙表示逐元素乘法；CAl表示第l个头的线性交叉注意力；Wp表示重投影矩阵，用于融合l个头的线性交叉注意力；ConcatCA1，…，CAl表示把CA1到CAl按照通道维度拼接；表示矩阵乘法；所述线性交叉注意力的表达式为： 其中，Wq、Wk和Wv都是可学习的参数矩阵，用于增强模型的拟合能力；FLLv表示将Lv展平为1D序列；Softmax表示激活函数；d表示Q,K,V共同的维度；Tm表示矩阵转置；CAQ，K，V表示根据查询Q、键K和值V计算出的线性交叉注意力；将ConvNeXt-3D模型输出的时空特征U4输入第一个通道交叉注意力模块：首先利用转置和变形操作将ConvNeXt-3D模型的输出特征U4的维度转换为ConvNeXt-2D模型的输出特征L4的维度得到然后对采用全局平均池化得到其全局特征表示Uv，再将Uv展平为1D序列并作为线性交叉注意力的查询Q；同时，将L4展平为1D序列并作为线性交叉注意力的键K和值V；接着，利用所述通道重要性重构和线性交叉注意力的公式，得到对U4重构后的时空特征最后，将通过变形和转置操作恢复为输入时的特征维度。

全文数据：

权利要求：

百度查询： 南京信息工程大学 一种基于双分支时空交互网络的视频人群计数方法