买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜南京大学申请的专利一种面向交通设施巡检的视觉缺陷在线检测方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114549401B 。

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210001738.4，技术领域涉及：G06T7/00；该发明授权一种面向交通设施巡检的视觉缺陷在线检测方法是由孙正兴;张胜;朱毅欢;张巍设计研发完成，并于2022-01-04向国家知识产权局提交的专利申请。

本一种面向交通设施巡检的视觉缺陷在线检测方法在说明书摘要公布了：本发明公开了一种面向交通设施巡检的视觉缺陷在线检测方法，包括离线训练和在线巡检两部分。离线训练时采用带有包围框和类别标注的缺陷数据集作为训练数据，训练CrackDet检测模型，结合深度学习算法和传统算法的优势；同时裁剪出不同种类的缺陷图像块，使用度量学习模型进行训练。在线巡检时，对于输入的视频帧，使用检测模型检测得到缺陷类别和位置；使用卡尔曼滤波器计算检测框的运动特征；使用度量学习模型计算缺陷的外观特征；对检测到的缺陷进行跟踪并统计；根据跟踪轨迹中检测得到的类别进行投票确定其缺陷种类；最终实现在线巡检，得到交通设施巡检时所出现的缺陷的种类、大小、位置以及数量。

本发明授权一种面向交通设施巡检的视觉缺陷在线检测方法在权利要求书中公布了：1.一种面向交通设施巡检的视觉缺陷在线检测方法，其特征在于，包括以下步骤：步骤1，离线训练得到缺陷检测模型：构建缺陷检测模型和度量学习模型；使用缺陷数据集及标注训练得到交通设施巡检图像中的缺陷的种类和位置；使用局部二值模式算子提取特征，以注意力机制形式将特征嵌入检测模型，检测图像中的缺陷的种类和位置，将深度学习算法和局部二值模式算子进行融合，得到缺陷检测模型；按照标注将缺陷图像块进行剪切，使用剪切后的不同种类的缺陷图像块及标注，训练度量学习模型，用以提取缺陷的外观特征；步骤2，缺陷的在线巡检：对于输入的视频帧，使用步骤1中训练后的缺陷检测模型检测缺陷；依据缺陷的运动特征和度量学习模型得到的外观特征进行缺陷轨迹的匹配和更新；统计得到实时巡检结果；其中，步骤1包括以下步骤：步骤1-1，训练缺陷检测模型：改进缺陷检测模型，将通用目标检测的物体定义为高层次的抽象概念，高层次的抽象概念重语义信息、轻纹理信息、局部和整体的关系明确并有明确的语义边界；将视觉缺陷定义为低层次的抽象概念，低层次的抽象概念轻语义信息、重纹理信息且没有明确的语义边界；增强底层特征在最后检测特征图中的占比；使用密集连接将底层特征复用，使用局部二值模式算子提取特征，以注意力机制嵌入深度网络中，并融合深度学习算法和局部二值模式算子；使用K均值聚类算法聚类锚框尺寸，加入马赛克数据增强，改进损失函数，使用缺陷数据集及其标注训练改进后的缺陷检测模型，检测得到输入图像中的缺陷的种类和位置；步骤1-2，剪切数据集中的缺陷得到缺陷图像块：依据数据集中的缺陷标注将图像中的缺陷剪切下来，附上类别标签作为度量学习模型的训练数据集；步骤1-3，训练度量学习模型：使用步骤1-2得到的训练数据集训练度量学习模型，去掉最后的分类层后，将该模型作为外观特征提取器；步骤2包括以下步骤：步骤2-1，缺陷检测：使用步骤1中训练完成后的检测模型对巡检过程中的视频帧进行检测，获取其中所有缺陷的位置、标签与置信度；其中缺陷位置是一个矩形包围框，表示缺陷在图像中的位置；缺陷标签是一个字符串，表示缺陷类别；缺陷置信度是一个0到1范围的小数，是由检测模型得到的对于该检测结果的确信程度；步骤2-2，计算检测到缺陷的外观特征：使用步骤2-1中检测到的缺陷位置在输入视频帧进行裁剪，得到检测到的裁剪缺陷图像块，使用步骤1中的训练的度量学习模型对裁剪的缺陷图像块进行计算，获取缺陷的外观特征；步骤2-3，缺陷运动特征计算：对已经跟踪到的缺陷轨迹使用卡尔曼滤波进行运动预测；根据前一个时刻的运动信息来预测当前时刻的运动信息，得到该轨迹的预测运动特征；步骤2-4，轨迹匹配：通过步骤2-2和步骤2-3得到的外观特征和卡尔曼滤波预测的运动特征对跟踪轨迹和检测结果进行匹配；使用马氏距离来评估跟踪轨迹和检测结果的运动匹配度；同时计算跟踪轨迹和检测结果的外观特征的最小余弦距离；融合上述两个特征作为匹配的代价矩阵，使用匈牙利算法进行级联匹配；用仅有一帧匹配的轨迹计算与检测结果的交并比距离进行匈牙利算法的匹配，得到最终的匹配结果；步骤2-5，更新轨迹的状态：对于匹配成功的轨迹，使用其对应的检测结果进行卡尔曼滤波的更新，对于未匹配成功的轨迹，将其标记为丢失，对于没有匹配成功的检测结果，将其初始化为新的轨迹段；步骤2-6，统计输出：对实时输入的视频帧，根据每个轨迹中占多数的缺陷类别来确定整个轨迹的缺陷类型，统计当前出现的轨迹段种类以及数量，输出当前视频到目前已经出现的所有缺陷的种类以及数量；步骤2-3中，缺陷运动特征计算如下：每个缺陷轨迹有两个状态，均值和协方差；均值表示目标的位置信息，由包围框的中心坐标cx,cy，宽高比r，高h，以及各自的速度变化值组成8维向量，表示为x＝[cx,cy,r,h,vx,vy,vr,vh]，其中vx为x轴速度变化值，vy为y轴速度变化值，vr为宽高比速度变化值，vh为高度速度变化值，各个速度值初始化为0；协方差矩阵则表示目标位置的不确定性；在进行运动预测时，每个缺陷轨迹根据其前一个时刻的状态来预测下一个时刻的状态：x′＝FxP′＝FPFT+Q其中，x是轨迹在前一时刻的均值，F是状态转移矩阵，x′是预测时刻的均值，所述均值预测是一个匀速模型，其中，F为： P为轨迹在前一时刻的协方差矩阵，Q为系统的噪声矩阵，代表整个系统的可靠程度，P′为预测时刻的协方差矩阵，dt为时间变化量；步骤2-4中，通过步骤2-2和步骤2-3得到的外观特征和卡尔曼滤波预测的运动特征，对跟踪轨迹和检测结果进行匹配；使用马氏距离来评估跟踪轨迹和检测结果的运动匹配度： 其中，d1i,j表示第j个检测结果和第i个轨迹之间的运动匹配度，zj是第j个检测结果的运动状态，xi是第i个轨迹当前时刻的预测的运动均值向量，Pi是第i个轨迹当前时刻预测空间的运动信息的协方差矩阵；计算第i个轨迹和第j个检测结果的外观特征的最小余弦距离： 其中，d2i,j表示第j个检测结果和第i个轨迹之间的余弦距离，rj是第j个检测结果的外观特征，Ri为第i个轨迹中存下的外观特征集合，接着，将这两个特征融合为：ci,j＝λd1i,j+1-λd2i,j其中，ci,j表示第j个检测结果和第i个轨迹之间的匹配代价，λ是平衡系数；根据轨迹和检测结果的匹配代价矩阵进行匹配过程：首先是级联匹配，级联匹配优先对最近出现的轨迹使用匈牙利算法进行匹配，得到初步的匹配结果；然后是交并比匹配，将只有一帧匹配的轨迹段作为候选者，计算其与剩余未匹配的检测结果之间的交并比距离；再次使用匈牙利算法进行匹配，得到最终的匹配结果。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京大学，其通讯地址为：210046 江苏省南京市栖霞区仙林大道163号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。