买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南农业大学

摘要：本发明公开了一种基于Multi‑YOWO的人体行为识别方法，该方法包括：通过采集得到的RGB视频数据生成骨骼热图组，根据骨骼热图组的活动区域对RGB关键帧进行裁剪；将获取得到的骨骼热图组和RGB关键帧输入到Multi‑YOWO模型中获得人体行为识别结果。Multi‑YOWO模型具体指将YOWO的3D主干网络3D‑ResNet替换为DC‑PoseC3D网络，其中DC‑PoseC3D网络是通过将ResNet模块中的1×1×1conv、1×3×3conv、1×1×1conv依次替换为1×1×1GSconv、1×3×3DC‑GSconv、1×1×1GSconv，并且在1×1×1GSconv之后增加SA注意力模块所得，其中DC‑GSconv是通过将GSconv中的普通卷积替换为分组且空洞率不同的空洞卷积所得。

主权项：1.一种基于Multi-YOWO的人体行为识别方法，其特征在于：步骤一：生成骨骼热图组和抽取RGB关键帧：所述的生成骨骼热图组，是指将获取得到的RGB视频数据按每8帧进行分段，将分段后的RGB视频段通过Top-Down姿态提取器处理得到对应段的骨骼热图序列，将热图序列按帧堆叠生成紧凑的3D骨骼热图组，将3D骨骼热图组作为3D主干网的输入；所述的抽取RGB关键帧，是指抽取每段RGB视频数据的第4帧作为关键帧，输入到2D主干网进行处理；步骤二：根据骨骼热图组的活动区域对RGB关键帧进行裁剪；步骤三：将YOWO中3D主干网络3D-ResNet替换为DC-PoseC3D网络；步骤四：将骨骼热图组和裁剪后的RGB关键帧输入Multi-YOWO模型获得行为识别结果：所述的将骨骼热图组和裁剪后的RGB关键帧输入Multi-YOWO模型获得行为识别结果，是指将生成的骨骼热图组输入到Multi-YOWO的DC-PoseC3D网络中提取时空特征得到特征图A，将裁剪后的关键帧输入到Multi-YOWO的2D主干网络Darknet-19网络中提取空间特征得到特征图B，然后将特征图A和B在Multi-YOWO模型的CFAM模块ChannelFusionAttentionModule进行通道融合，最后将融合得到的特征图通过一层全连接层获得人体行为识别结果。

全文数据：

权利要求：

百度查询： 华南农业大学 一种基于Multi-YOWO的人体行为识别方法