买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学

摘要：本发明公开了基于智能物联的盲板抽堵作业人员操作动作规范性检测方法及系统，该方法首先通过终端设备进行视频录制，使用改进的人体关键点识别算法对录制的视频中的人员进行检测，得到人体关键点信息。其次通过YOLO进行物体识别，检测视频中的扳手和盲板状态。然后根据人体关键点信息，画出人体手部关键点对应的时间序列图，进行盲板抽堵操作中动作识别判断。最后将人员操作盲板抽堵时是否按照正确顺序拆除或者安装螺栓，人员是否正确设置盲板状态，得出检测结果。本发明很大程度提升测评执行效率，提高对工人作业的操作动作规范性检测的准确率，大大减少安全事故的发生的风险。

主权项：1.基于智能物联的盲板抽堵作业人员操作动作规范性检测方法，其特征在于，包括以下步骤：步骤S1、通过终端设备对作业人员进行视频录制，使用改进的人体关键点识别算法对录制的视频中的人员进行检测，得到人体关键点信息；具体实现过程如下：步骤S11、根据YOLO算法检测视频的首帧是否出现人物，如果首帧中有人物出现，则对整个视频进行识别和检测，如果首帧中没有人物出现，则判定该视频无效，不进行后续的检测；步骤S12、当首帧中有人物出现，将视频逐帧划分为图片，并使用改进后的提取人体骨架模型，对每一帧的图片进行人体关键点信息的检测，将人体关键点描绘在图片上，同时保存人体的位置、帧数数据；所述改进后的提取人体骨架模型具体实现为：通过改进原有人体骨架模型的特征提取网络backbone，将SwinTransformer模型不同阶段的特征图进行融合，设F1、F2、F3、F4分别为SwinTransformer模型每个阶段的特征输出，将每个阶段的输出，经过双线性插值降采样为相同的目标大小，再进行整合，最后进入卷积神经网络进行通道数转变，得到输出特征；步骤S2、通过YOLO进行物体识别，检测视频中的扳手和盲板状态，如果每帧识别的结果是实心盲板，则管道处于关闭堵塞状态，如果每帧识别的结果是节流环为空心状态，则表明管道处于打开状态；根据视频中每帧图片中是否存在扳手，得出人员使用扳手操作盲板的时间序列；根据盲板空心和实心的状态，判断人员是否正确将盲板设为关闭堵塞状态，或者将盲板设为节流打开状态；具体物体识别实现过程如下：步骤S21、对得到的视频进行YOLO物体识别，分别识别扳手和盲板空心、实心的状态；步骤S22、根据每帧图片中是否存在扳手，将视频分段，分成拧松螺栓阶段、更换盲板阶段、拧上螺栓阶段；步骤S23、先对更换盲板阶段进行处理，然后对拧松螺栓和拧上螺栓阶段处理，由S21步骤得到的人员操作视频中每帧图片中盲板的空心、实心状态，得出操作人员是否正确将盲板设为关闭堵塞状态，或者将盲板设为节流打开状态；步骤S3、根据人体关键点信息，画出人体手部关键点对应的时间序列图，结合扳手和盲板状态，进行盲板抽堵操作中动作识别判断；具体实现过程如下：步骤S31、提取左手关键点的坐标变化信息，将左手关键点对应的时间序列先进行滤波和求导，通过处理求导后的时间序列，使用递推平均滤波算法对所述人体关键点的时间序列进行降噪处理，公式如下： 式中，x为滤波处理前的关键点信息值，y为均值滤波处理后的关键点信息值，N为递推平均滤波算法窗口的大小；滤波完后，采用滑动窗口的方式求时间序列对应的梯度，公式如下所示： 式中，xjoint为手部关键点信息值，Ndection为窗口的大小，kjoint为梯度值；步骤S32、对拧螺栓阶段视频进行判断，在拧松螺栓阶段，一段人体骨架视频中，操作人员在用扳手拆除螺栓时，其左手是固定不动的，然后另一个手来回旋转螺栓；首先提取左手关键点的坐标变化信息，将左手关键点对应的时间序列先进行滤波和求导，通过处理求导后的时间序列，在设定阈值判断操作人员左手在拆除某一个螺栓的帧数集合，然后，得到操作每个螺栓时左手对应的坐标信息的平均值，从而得出人员在拆除螺栓时手部节点的四次坐标变化，使用机器学习支持向量机SVM判断是否对角地拆除螺栓；步骤S33、在拧上螺栓阶段，采用步骤S32相同的操作，根据人体左手关键点的坐标变化信息，得出操作每个螺栓时左手和右手对应的坐标信息的平均值，从而得出作业人员在拆除螺栓时手部节点的四次坐标变化，通过SVM判断是否对角地拧上螺栓；步骤S34、视频中，作业人员在拧四个螺栓时是否对角着拧并且将盲板更换，若是，说明作业人员正确操作盲板抽堵作业；若否，说明人员错误操作盲板抽堵作业；保存最终的作业人员操作的对错；步骤S4、根据作业人员操作盲板抽堵时是否按照正确顺序拆除或者安装螺栓，作业人员是否正确设置盲板状态，得出检测结果，生成检测报告。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 基于智能物联的盲板抽堵作业人员操作动作规范性检测方法及系统