买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆文理学院

摘要：本发明涉及计算机视觉时序动作检测技术领域，公开了一种基于YOLO‑TSM的二阶段工序动作检测方法，包括以下步骤：S1、获取原始工序动作视频流并进行预处理；S2、构建YOLO网络对工序动作视频流进行推理，获取人体的空间分布信息和动作特征信息；S3、构建TSM网络并输入从YOLO网络得到的人体空间分布信息，通过获取人体动作的时间特征进行推理，得到动作特征信息；S4、结合阈值以及通过YOLO网络得到的动作特征信息和TSM网络得到的动作特征信息推理出具体动作。本发明通过融合多个算法模型，在低算力下的硬件条件下提高了实时推理速率和动作检测的准确率。

主权项：1.一种基于YOLO-TSM的二阶段工序动作检测方法，其特征在于，包括以下步骤：S1、获取原始工序动作视频流并进行预处理；S2、构建YOLO网络对工序动作视频流进行推理，获取人体的空间分布信息和动作特征信息；S3、构建TSM网络并输入从YOLO网络得到的人体空间分布信息，通过获取人体动作的时间特征进行推理，得到动作特征信息；S4、结合阈值以及通过YOLO网络得到的动作特征信息和TSM网络得到的动作特征信息推理出具体动作；所述步骤S2具体包括以下步骤：S21、构建YOLO-tiny网络结构；S22、图像通过所述YOLO-tiny网络结构后根据人体的动作特征输出一个初步分类结果及其置信度和一个目标框位置坐标；所述YOLO-tiny网络结构包括13个卷积层、6个池化层和两个分支YOLO层，所述13个卷积层和所述6个池化层都会接一个批标准化函数BatchNorm和激活函数层LeakRelu；所述初步分类结果及置信度为当前动作的索引序号以及当前动作的相似概率；所述步骤S3具体包括以下步骤：S31、构建以ResNet50为主干网络的TSM网络；S32、通过从YOLO网络获取的目标框位置坐标对原始输入图像进行裁剪，连续等待八次YOLO的检测结果，将八个目标框位置坐标对应原图进行裁剪，保留人物动作区域，去除多余的无关背景信息；S33、将八次裁剪得到的图像帧组合成B，N，C，H，W大小的张量，其中B为批量大小，N一个批量大小图像帧数量，C为图像通道数，H和W为图像帧宽高，具体转化为8,8,3,224,224大小的张量；S34、将转化后的张量送入TSM网络进行检测，TSM网络在时序的维度上提取动作的特征得到当前八个图像帧代表的动作以及其相似概率；所述步骤S4具体包括以下步骤：S41、设置合理的阈值对所述步骤S2、S3两个阶段的相似概率进行过滤，从而过滤掉相似程度较低的动作；S42、对过滤后的动作进行判断，当S2、S3两个阶段的检测结果相同时将其作为当前状态的最终分类结果并且得到人体动作的空间定位信息。

全文数据：

权利要求：

百度查询： 重庆文理学院 一种基于YOLO-TSM的二阶段工序动作检测方法