买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华中师范大学

摘要：本发明属于人体行为动作识别技术领域，具体涉及基于多维骨骼时空关系图网络的人体行为快速识别方法及系统。方法包括：构建教师网络模型，采用多维骨骼时空关系图网络MM‑STGCN构建教师网络模型，MM‑STGCN包括多个基本块，每个基本块均包含两种建模类型：多维自适应空间拓扑动态建模MDAST和多维时域特征建模MLTF；MDAST：构建特殊的多维自适应空间拓扑图从不同层次提取空间特征，并增强语义特征表示；构建识别模型，通过教师网络模型提供的损失函数，基于知识蒸馏策略，对学生网络模型提供额外的监督训练；采用识别函数计算学生网络模型的蒸馏损失；将训练完成后的学生网络模型作为识别模型进行人体行为快速识别。

主权项：1.基于多维骨骼时空关系图网络的人体行为快速识别方法，其特征在于，包括：构建教师网络模型，采用多维骨骼时空关系图网络MM-STGCN构建教师网络模型，MM-STGCN包括N个基本块，N为正整数，每个基本块均包含两种建模类型：多维自适应空间拓扑动态建模MDAST和多维时域特征建模MLTF；多维自适应空间拓扑动态建模MDAST：构建多维自适应空间拓扑图Xmdgc从不同层次提取空间特征，并增强语义特征表示，定义为： 式中，σ·表示激活函数，Wi为权重矩阵，为输入的人体运动骨架序列，N为批次、Ci'为通道、T为帧、V为关节，K为邻边集合；Ai+Bi+βCi为邻接矩阵；Ai为初始标准的邻接矩阵，用于表示人体骨骼的自连通图；Bi为参数化邻接矩阵；Ci为多粒度邻接矩阵，用于挖掘关节间上下文关系；参数β初始化为0，参数β在训练过程中不断更新，负责调整Ci的权重以适应不同的动作；多粒度邻接矩阵Ci定义为： Ghp＝diagAi⊙W 式中，函数vm,v'表示两个关节；表示关节vm,v'之间的关系特征函数，k为迭代次数，经k-1次迭代，由多层感知器MLP·映射并拼接关节之间特征计算得出；r为阶数，取值为0、1、2；W为对应Ai的多阶可训练权重矩阵；diag·表示对角矩阵变换；表示特征规则；构建识别模型，通过教师网络模型提供的损失函数，基于知识蒸馏策略，对学生网络模型提供额外的监督指导训练；采用如下识别函数计算学生网络模型的蒸馏损失： 式中，和分别表示由预训练的教师网络模型和训练的学生网络模型预测的第c个类别的置信度，T’是蒸馏温度参数；学生网络模型使用教师网络模型损失函数LTL从实际样本中学习，并用LSL学习去匹配教师网络模型的预测结构，将训练完成后的学生网络模型作为识别模型进行人体行为快速识别。

全文数据：

权利要求：

百度查询： 华中师范大学 基于多维骨骼时空关系图网络的人体行为快速识别方法及系统