买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川泓宝润业工程技术有限公司;重庆泓宝科技股份有限公司

摘要：本申请揭示了一种钻杆与液压钳间人员穿行检测方法及装置，其中，所述方法包括：S100：获取钻探作业现场输入图像；S200：对所述输入图像进行数据增强处理，以获得数据增强处理后的输入图像；S300：构建钻探作业现场检测模型，并对模型进行训练；S400：将数据增强处理后的输入图像输入训练好的钻探作业现场检测模型，以识别所述输入图像中是否存在钻杆和液压钳，以及是否有作业人员位于钻杆和液压钳间的危险区域。本申请能够准确识别出输入图像中目标的关键点信息，从而提高图像的检测精度。

主权项：1.一种钻杆与液压钳间人员穿行检测方法，其特征在于，所述方法包括以下步骤：S100：获取钻探作业现场输入图像；S200：对所述输入图像进行数据增强处理，以获得数据增强处理后的输入图像；步骤S200中，对所述输入图像进行数据增强处理包括以下步骤：S201：对输入图像进行包括旋转、缩放、模糊、拼接、偏色和添加噪声在内的初步增强处理；S202：对初步增强处理后的输入图像通过Mixup算法进行混类或通过Mosaic算法进行拼接；S300：构建钻探作业现场检测模型，并对模型进行训练；其中，所述钻探作业现场检测模型包括主干网络，所述主干网络由5个基础模块组成；所述钻探作业现场检测模型还包括特征融合网络，所述特征融合网络由3个叠加的转置卷积层组成，且在叠加的转置卷积层前引入了注意力机制层；具体的，所述主干网络由上至下包括依次连接的：第一基础模块State0；第二基础模块State1；第三基础模块State2；第四基础模块State3；第五基础模块State4；其中，第一基础模块State0包括一个7×7卷积层Conv和一个最大池化层Maxpool；第二基础模块State1包括依次连接的Black1层、Black2层和Black2层；第三基础模块State2包括依次连接的Black1层、Black2层、Black2层和Black2层；第四基础模块State3包括依次连接的Black1层、Black2层、Black2层、Black2层、Black2层和Black2层；第五基础模块State4包括依次连接的Black1层、Black2层和Black2层；其中，Black1层采用残差结构，包括两个分支，其中一个分支由3个CBR层堆叠而成，另一个分支只有一个CBR层来调整通道，两个分支的输出相加连接；Black2层由3个CBR层堆叠而成；CBR层由一个普通卷积层Conv、一个批归一化层BN和一个RELU激活函数构成；所述主干网络由5个基础模块构成，共计包含53层卷积神经网络；所述特征融合网络由下至上依次包括：注意力机制层CBAM；第一转置卷积层TConv1；第二转置卷积层TConv2；第三转置卷积层TConv3；注意力机制层CBAM采用的是通过使用两个残差结构层将通道注意力模块和空间注意力模块连接起来组成的混合注意力模块；其中，通道注意力模块包括残差结构层，残差结构层的输出包括两个分支，第一分支包括依次连接的最大池化层、全连接层FC、ReLU激活函数层和Sigmoid激活函数层；第二分支包括依次连接的平均池化层、全连接层FC、ReLU激活函数层和Sigmoid激活函数层；第一分支的Sigmoid激活函数层和第二分支的Sigmoid激活函数层的输出共同输入矩阵全乘操作层Scale，矩阵全乘操作层的输出和注意力机制层CBAM的输入叠加后输出并作为空间注意力模块的输入；空间注意力模块包括残差结构层，残差结构层的输出分别通过最大池化层和平均池化层后依次输入拼接层、卷积层Conv和Sigmoid激活函数层；所述第一至第三转置卷积层对由主干网络提取的特征图依次进行反卷积处理，输出目标检测特征图和关键点检测特征图；所述钻探作业现场检测模型还包括预测输出网络，预测输出网络包括并列的5个卷积层，即第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；所述目标检测特征图经过预测输出网络的第一至第三卷积层卷积处理后，分别输出第一热力图、第一中心点坐标的偏移量和目标框的宽高尺寸；所述关键点检测特征图经过预测输出网络的第四和第五卷积层处理后，分别输出第二热力图和第二中心点坐标的偏移量；从热力图解析出来的液压钳关键点1和关键点2与钻杆关键点连接所形成的区域即为危险区域，也是需要预警的区域；人员与预警界限相交的判定，根据检测到的人员目标框与预警界限进行判定，若模型输出的人员目标框的最底边与预警区域相交，说明人员站在钻杆与液压钳之间，钻探作业期间存在较大风险；步骤S300中，所述钻探作业现场检测模型通过以下步骤进行训练：S301：收集多张包含钻杆和液压钳以及作业人员位于钻杆和液压钳间危险区域的钻探作业现场图像，对每张图像中的钻杆、钻杆关键点和液压钳、液压钳的关键点以及作业人员进行标注，以获得多张标注好的作业现场图像；S302：对多张标注好的作业现场图像进行数据增强处理，以获得多张数据增强处理后的作业现场图像；S303：将多张数据增强处理后的作业现场图像按一定比例划分为训练集和测试集；S304：设置训练参数，利用训练集对钻探作业现场检测模型进行训练，在训练过程中，根据损失函数计算模型预测值与标注的实际值之间的损失，当损失函数收敛，则模型训练完成；若损失函数不收敛，则通过调整训练参数或调整检测数据标签对模型重新训练；所述损失函数采用三种损失函数，包括用于计算热力图heatmap的损失、用于计算中心点偏移的损失和用于计算目标框长宽尺寸的损失，总的损失函数计算如下： =++0.1*;中心点及关键点检测采用的是热力图方式，将标注的目标框以高斯核的方式将关键点分布到特征图上： ;其中，表示检测到一个物体，表示对类别c来说，x,y这个位置检测到了c类目标；表示标注中心点的x坐标，表示标注中心点y坐标；x、y分别表示特征图的横、纵坐标；是一个目标大小相关的标准差，也可以看作是高斯圆的半径相关参数，由于标注框与预测框的IOU（交并比）大于等于0.7，这些预测框的中心点出现的位置汇聚起来可以看作是高斯圆的半径； 损失是在FocalLoss的基础上进行改进的，其中的与是两个超参数，用来均衡难易样本，具体表示如下： ;其中，N表示关键点个数，与的值分别为2和4；表示一个关键点样本的标签值，是一个样本的预测值，x、y分别表示关键点热力图的横坐标和纵坐标，c表示所属的类别；当：当前坐标刚好位于标签框的中心点上，坐标点为正样本，目标是让越大越好；当时，，损失为0，这是最理想的状态；当时，值越大，权重越小，损失越小，即会鼓励的值增大；其他情况：当时，表示当前坐标点为负样本，目标是让越小越好； 的作用：当越小越大，权重也越小越大，即让损失减小增大，减小增大惩罚； 的作用：当关键点远离标签中心点，，此时，对关键点损失没有影响；当关键点处于标注中心点的高斯范围内时，，此时，即让关键点损失减小；所以是用于弱化标注中心点高斯圆范围内的负样本损失，而惩罚远离标注中心点的预测关键点； 损失表示如下： ;其中，N表示关键点个数；P表示标注的关键点坐标；表示预测的关键点坐标；表示预测的关键点坐标偏移；R表示下采样因子，R=4； 损失表示如下： ；其中，N表示关键点个数；表示每个关键点预测的宽高；表示标注的关键点的宽高；pk表示预测的点所代表的目标，k表示实际目标；S305：利用测试集对训练后的模型进行测试，在测试过程中，以平均精准度AP作为指标对模型进行评价，若平均精准度AP满足阈值，则模型测试通过；否则调整训练参数对模型重新进行训练，直至模型测试通过；S400：将数据增强处理后的输入图像输入训练好的钻探作业现场检测模型，以识别所述输入图像中是否存在钻杆和液压钳，以及是否有作业人员位于钻杆和液压钳间的危险区域。

全文数据：

权利要求：

百度查询： 四川泓宝润业工程技术有限公司 重庆泓宝科技股份有限公司 一种钻杆与液压钳间人员穿行检测方法及装置