买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东鲁软数字科技有限公司

摘要：本发明提供一种基于双目视觉及人工智能技术对吊臂下站人的违规行为检测方法、系统及终端，依据起重机的位置设置两个相机；拍摄施工现场视频，并对进行解码获取待检图像；将两张图像输入到训练好的起重机关键点检测模型中，得到起重机关键点在两张图片上像素坐标系的坐标值；左右两幅图像输入到训练好的人体关键点检测模型中，检测图像中人体的多个关键点；将起重机的关键点坐标，输入到双目视觉定位模块中，得到起重机关键点的坐标值，并建立起重机坐标系；将人体关键点在像素坐标系中的坐标值，输入到双目视觉定位模块中，得到均值坐标；根据坐标关系，进行合规性判断。本发明对施工现场的起重机作业的规范性进行监督，减少因违规作业。

主权项：1.一种对吊臂下站人的违规行为检测方法，其特征在于，方法包括：步骤一：依据起重机的位置设置两个相机，以使起重机处于两个相机的公共视场内，通过两个相机的视场交汇形成的双目视觉模型；步骤二：利用双目相机拍摄施工现场视频，并对视频流进行解码，分别获取两个相机解码后的待检图像；步骤三：将双目相机拍摄的左右两张图像输入到训练好的起重机关键点检测模型中，对两张图片进行检测，分别得到起重机关键点在两张图片上像素坐标系的坐标值；步骤四：将双目相机拍摄的左右两幅图像输入到训练好的人体关键点检测模型中，所述人体关键点检测模型以人体作为检测目标，检测图像中人体的多个关键点；步骤五：将步骤三中得到的起重机的关键点坐标，输入到步骤一的双目视觉定位模块中，得到起重机的8个关键点在世界坐标系中的坐标值；通过最小二乘法原理拟合出这8个坐标点的最小逼近平面，然后根据最小逼近平面建立起重机坐标系；步骤六：将步骤四中得到的左右相机拍摄图片的人体关键点在像素坐标系中的坐标值，输入到步骤一所述的双目视觉定位模块中，得到人体的关键点在世界坐标系中的坐标值，并计算关键点的均值坐标；步骤七：计算步骤六中得出的点距离步骤五得出的逼近平面的距离；距离的计算方式如下： 步骤八：根据如下公式计算步骤六得出的点在起重机坐标系中的坐标位置； 其中R是3×3的正交单位矩阵，平移向量t是一个3×1维的向量，为所述步骤六中得出的人体关键点的均值坐标，为人体关键点的均值坐标映射到起重机坐标系下的点的值；步骤九：根据起重机坐标系中的坐标位置与人体关键点的均值坐标之间关系，进行合规性判断，输出合规性判断结果；当起重机关键点检测模型未检测出起重机关键点时，合规性判断输出结果为“正常”；当起重机关键点检测模型检测出起重机关键点，且人体关键点检测模型未检测出人体关键点时，合规性判断输出结果为“正常”；设定的阈值a对合规性进行判断；当起重机关键点检测模型检测出起重机关键点，人体关键点检测模型检测出人体关键点，且人体关键点在世界坐标系中的均值P距离起重机关键点的逼近平面的距离大于设定的阈值a时，合规性判断输出结果为“正常”；当起重机关键点检测模型检测出起重机关键点，人体关键点检测模型检测出人体关键点，人体关键点的均值距离起重机关键点的逼近平面的距离小于设定的阈值a，且步骤八中的小于0时，合规性判断输出结果为“正常”；当起重机关键点检测模型检测出起重机关键点，人体关键点检测模型检测出人体关键点，人体关键点的均值距离起重机关键点的逼近平面的距离小于设定的阈值a，且步骤八中的大于0时，则合规性判断输出结果为“违规”。

全文数据：

权利要求：

百度查询： 山东鲁软数字科技有限公司 一种对吊臂下站人的违规行为检测方法、系统及终端