买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华中科技大学;北京洛斯达科技发展有限公司

摘要：本发明公开了一种电力铁塔地脚螺栓安装不规范智能识别方法，所属技术领域为图像智能识别，包括：获取地脚螺栓照片并进行预处理；构建图像实例分割模型，采用图像实例分割模型对预处理后的地脚螺栓照片进行分割，获得实例分割图像；基于实例分割图像中各部件的空间分布关系对部件实例进行分组，获得多组实例分割结果；基于多组实例分割结果对原始图像进行裁剪，获得多组地脚螺栓套件图像；遍历多组地脚螺栓套件图像，对每一张地脚螺栓套件图像进行判别，判别地脚螺栓安装是否规范，直至遍历结束，将全部地脚螺栓套件的判别结果进行组装和输出，实现智能识别。本发明可以辅助现场施工验收，提升架空线路建设质量，降低人为因素引发的安全风险。

主权项：1.一种电力铁塔地脚螺栓安装不规范智能识别方法，其特征在于，包括以下步骤：获取地脚螺栓照片并进行预处理；构建图像实例分割模型，采用所述图像实例分割模型对预处理后的地脚螺栓照片进行分割，获得实例分割图像；基于MaskR-CNN实例分割算法构建图像实例分割模型，所述图像实例分割模型包括多尺度特征融合模块与实例目标特征信息增强模块；所述图像实例分割模型对预处理后的地脚螺栓照片进行分割的过程包括：所述图像实例分割模型对预处理后的地脚螺栓照片提取多尺度特征图，所述多尺度特征图通过多尺度特征融合模块处理获得融合特征图；将所述融合特征图作为区域候选网络的输入，计算得到全部可能包含目标实例的局部特征图；通过实例目标特征信息增强模块对局部特征图进行增强；将不同尺寸的目标实例局部特征图变换为统一大小，通过MaskR-CNN的MASK语义分割预测头对变换后的目标特征图进行处理，获得全部目标的实例分割掩膜位图；同时，采用若干个卷积层获得目标实例的最大外接矩形框坐标与类别；通过在路径聚合网络嵌入全局注意力特征融合模块获得所述多尺度特征融合模块，所述全局注意力特征融合模块以多尺度特征图的最上层特征作为输入，通过多个TransformerBlock层处理后，经过一个卷积层与一个ReLU层获得处理后的最上层特征，将处理后的最上层特征和输入的最上层特征进行拼接，完成后通过RepVGGBlock组件获得最终的最上层特征；所述实例目标特征信息增强模块中将所述局部特征图通过多个TransformerBlock层处理后，经过一个卷积层与一个ReLU层进行特征整合，将整合结果与全部可能包含目标实例的目标区域共同输入一个残差层处理，经过卷积与批量归一化处理，获得目标实例的特征；基于实例分割图像中各部件的空间分布关系对部件实例进行分组，获得多组实例分割结果；获得多组实例分割结果的过程包括：基于实例分割图像获取所有类型为螺栓的部件实例的边框范围并计算几何中心点坐标，将所述几何中心点坐标作为各分组的基准坐标，获得分组的基准坐标集合；基于实例分割图像获取所有类型为螺母或垫板类型的部件实例的边框范围并计算几何中心点坐标，获得螺母及垫板的坐标集合；遍历螺母及垫板的坐标集合，计算集合中坐标与各分组的基准坐标的欧氏距离，计算得到与集合中坐标距离最近的分组基准坐标；将基准分组坐标更新为所有类型为螺栓的部件实例的边框范围与所有类型为螺母或垫板类型的部件实例的边框范围的并集的几何中心点的坐标，直至遍历完成；基于多组实例分割结果对原始图像进行裁剪，获得多组地脚螺栓套件图像；遍历所述多组地脚螺栓套件图像，对每一张地脚螺栓套件图像进行判别，判别地脚螺栓安装是否规范，直至遍历结束，将全部地脚螺栓套件的判别结果进行组装和输出，实现智能识别；判别地脚螺栓安装是否规范的判别指标包括：地脚螺栓型号是否匹配、地脚螺栓部件是否齐全、地脚螺栓是否采取防卸措施、地脚螺栓是否紧固；判别地脚螺栓安装是否规范的过程包括：遍历所述多组地脚螺栓套件图像，根据各分组内实例坐标范围，采用矩形裁剪方式对地脚螺栓套件图像进行处理，获得螺母及垫板区域图像；根据实例分割图像剔除螺母及垫板区域图像中的背景部分，并以黑色填充，获得新的区域图像，对新的区域图像进行语义分割，识别锈蚀区域并剔除，获得无干扰图像，对所述无干扰图像进行色标分类，获得色标类别，将所述色标类别与标准类别进行对比，判断是否一致，若不一致，则判定为不合格并进行记录；若合格，则基于实例分割及部件分组的结果，分别统计当前分组内各部件实例的数量，若数量不符合标准，则判定为不合格并进行记录；若合格，则获取分组内螺栓区域的缓冲区，以缓冲区的外包矩形为边界对原始图像进行裁剪，剔除缓冲区域外的背景并使用黑色进行填充，对填充后的图像进行分类，判别是否具有防卸措施，若判别未检测到防卸措施，则判定为不合格并进行记录；若合格则对套件范围进行矩形裁剪，使用MobileNetv3对裁剪得到的图像进行分类，判定是否紧固，若判别为未紧固，则判定为不合格。

全文数据：

权利要求：

百度查询： 华中科技大学 北京洛斯达科技发展有限公司 一种电力铁塔地脚螺栓安装不规范智能识别方法