买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉哈尔滨工程大学申请的专利一种基于空间和时序双通道融合模型的人体行为识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116580453B 。

龙图腾网通过国家知识产权局官网在2026-01-16发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310463831.1，技术领域涉及：G06V40/20；该发明授权一种基于空间和时序双通道融合模型的人体行为识别方法是由王宇华;焦培元;徐悦竹;刘世友设计研发完成，并于2023-04-26向国家知识产权局提交的专利申请。

本一种基于空间和时序双通道融合模型的人体行为识别方法在说明书摘要公布了：本发明公开了一种基于空间和时序双通道融合模型的人体行为识别方法，构建融合ER3D模型和Space‑TimeTransformer模型的深度学习网络架构，并通过对公开人体行为识别数据集进行端到端的预训练，得到初始化网络，接着读取人体行为训练视频，对训练视频做固定间隔采样和数据增强，将数据增强后的视频帧送入经过预训练的网络架构进行训练，生成人体行为识别模型。在测试阶段，读取测试集中的人体行为视频，对其进行采样和裁剪后送入训练好的识别模型进行识别，整个过程实现端到端的检测视频中的人体行为。本发明根据ER3D模型和Space‑TimeTransformer模型可以分别对视频帧中包含的空间信息和时序信息有效建模的特点，从而构建并训练出一种可以准确识别人体行为的深度学习网络架构。

本发明授权一种基于空间和时序双通道融合模型的人体行为识别方法在权利要求书中公布了：1.一种基于空间和时序双通道融合模型的人体行为识别方法，其特征在于，包括以下步骤： 步骤1、搭建空间和时序双通道融合模型： 搭建的空间和时序双通道融合模型由ER3D模型和Space-TimeTransformer模型共同组成： ER3D模型对传统的残差网络ResNet-52进行优化和改进，使用深度可分离卷积和反向瓶颈结构来减少模型的计算参数量，增加基础通道数和卷积核尺寸，同时减少了激活函数和归一化层的使用，接着把卷积核的尺寸从二维扩展到三维以适应视频数据，最后输出特征尺寸为1×768，损失函数选择了在多分类任务中经常使用的交叉熵损失函数，其表达式为： 式中N代表样本数量，C表示类别个数，表示第i个样本的标记值，当该样本属于类别c时为1，否则为0，表示模型将第i个样本预测为类别c的概率； Space-TimeTransformer模型采用VisionTransformer作为特征提取的主干网络，提出顺序分块和压缩分块两种视频帧分块方式，并使用多头注意力机制提取视频帧之间的时序动作特征，最后用于分类的特征向量尺寸为1×768，Space-TimeTransformer模型中注意力机制的运算过程为： 式中Q、K、V这三个向量是由对输入序列特征编码后和三个参数可学习矩阵相乘得到的结果，l＝1,2,…,L表示编码器的个数，a＝1,2,…,A表示多头注意力机制中头的个数，Dh＝DA表示多头注意力机制中每个头的维度，K0,0和V0,0被单独提出来是因为在经过线性映射生成序列中的第一个位置加上用于分类的Z0,0只参与了一次注意力机制的点积运算； 步骤2、读取人体行为数据训练集中的视频数据； 步骤3、针对所述步骤2读取的视频数据进行固定间隔采样与数据增强操作，得到视频帧序列；所述步骤3具体包括以下过程： 由于训练集中每段视频的时长不固定，因此需要先从每段视频中随机裁剪出16秒的连续视频片段，接着对16秒的视频片段以每0.5秒抽一帧的方式生成32张视频帧，然后对32张视频帧按照固定间隔d1＝8和d2＝4进行采样，采样后保留下的4张视频帧后续会送入ER3D模型，保留下的8张视频帧后续会送入Space-TimeTransformer模型； 把固定间隔采样后保留的所有视频帧中的短边长度resize到[256,320]中的一个随机值，长边长度也按相同比例进行缩放，接着从中随机裁剪出尺寸为224×224的图片，为了做数据增广还会再对图片做水平翻转处理； 步骤4、将所述步骤3中得到的视频帧序列输入到已通过预训练的空间和时序双通道融合模型中，进行模型训练； 步骤5、读取测试数据集中的人体行为视频数据； 步骤6、将所述步骤5读取的视频数据进行采样、裁剪，所述步骤6具体包括以下过程： 对测试数据集中的视频沿着时间轴均匀采样出5段16秒连续视频片段，对视频片段的剩余操作同步骤3； 视频帧的缩放过程同步骤3，接着使用中心裁剪的方式得到尺寸为224×224的图片； 步骤7、将所述步骤6得到的5组视频帧序列依次作为所述步骤4训练完成后模型的输入，平均每次预测的结果得到测试视频中人体行为的所属类别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人哈尔滨工程大学，其通讯地址为：150000 黑龙江省哈尔滨市南岗区南通大街145号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。