买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西北工业大学

摘要：本发明公开了一种人体行为识别方法，涉及计算机视觉技术领域，该方法包括：获取待处理视频中预设数量个视频帧以及各视频帧中人体关节点位置数据，将视频帧输入预先训练好的行为识别模型，以使行为识别模型在生成预设数量个视频帧对应的时空特征图和注意力热图后，获得人体关节点特征，以确定包含语义信息的人体关节点特征，并在获得每个包含语义信息的人体关节点特征的局部决策结果后，融合局部决策结果，得到视频帧的人体行为识别结果。本发明将人体骨骼区域视为注意力区域，在极大程度上摒除了目标的无用信息，进而提取更有判别力的时空特征，通过结合关节点语义信息，有效增强了关节点特征的表征能力，进而提高人体行为识别模型的准确性。

主权项：1.一种人体行为识别方法，其特征在于，包括：获取待处理视频中预设数量个视频帧以及各视频帧中人体关节点位置数据；将所述预设数量个视频帧输入预先训练好的行为识别模型，所述行为识别模型包括特征流、注意力流、局部决策模块和决策融合模块，以使所述行为识别模型在生成所述预设数量个视频帧对应的时空特征图和注意力热图后，获得所述视频帧中的人体关节点特征，以确定包含语义信息的人体关节点特征，并在获得每个所述包含语义信息的人体关节点特征的局部决策结果后，融合局部决策结果，得到所述视频帧的人体行为识别结果；该步骤包括：将所述预设数量个视频帧输入预先训练好的行为识别模型，以使所述特征流提取所述视频帧的时空特征图、并使所述注意力流根据所述人体关节点位置数据生成对应的注意力热图；对所述时空特征图及所述注意力热图进行双线性操作，得到所述视频帧中所有的人体关节点特征；根据各视频帧中人体关节点位置数据以及所述人体关节点特征，获得包含语义信息的人体关节点特征；将所述包含语义信息的人体关节点特征输入所述局部决策模块，获得每个包含语义信息的人体关节点特征的局部决策结果；将各个局部决策结果输入所述决策融合模块，得到所述视频帧的人体行为识别结果；其中，所述根据各视频帧中人体关节点位置数据以及所述人体关节点特征，获得包含语义信息的人体关节点特征的步骤，包括：按照如下公式对每一所述视频帧中的关节点类型进行编码，得到关节点类型编码： 其中，表示类型为的关节点编码向量，其维度为，R表示实数；按照如下公式对每一所述视频帧中的关节点进行帧索引编码，得到关节点帧索引编码： 其中，表示第个视频帧中人体关节点的帧索引编码向量，其维度为；按照如下公式融合所述关节点类型编码及所述关节点帧索引编码，获得包含语义信息的人体关节点特征： 其中，⊕表示拼接操作，表示第个视频帧中，类型为的关节点的语义信息，且维度为。

全文数据：

权利要求：

百度查询： 西北工业大学 人体行为识别方法