买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：一种铁轨异常扣件多源信息融合的智能检测方法，包括设备准备；数据收集；对左右斜视角图像数据矫正；目标物检测框选；目标框选对齐；图像处理；异物检测；表面位置数据截取映射；数据整合；采用多源特征融合智能检测方法提取特征；轻量化部署；实时预警机制。本发明利用轨道扣件多视角采集设备采集到的多视角数据，应用多特征融合的智能算法对异常扣件进行检测，多源信息融合提高了异常扣件检出的准确性，并建立了针对异常情况的实时预警机制，从而可以及时通知维修工人进行紧急处理，保障铁路行车的安全性。

主权项：1.一种铁轨异常扣件多源信息融合的智能检测方法，其特征为：步骤S1、设备准备：包括双目相机、电子探测设备和线激光扫描设备：步骤S11、双目相机多视角采集：铁路自动巡检小车在每条铁轨正上方架设一个采样相机，相对于两铁轨平面45°左右各架设一个采样相机，实现对铁轨扣件的多视角覆盖；步骤S12、电磁探测设备：将电磁探测设备安装在铁路自动巡检小车的上方，确保在通过铁轨时能够与扣件进行有效交互，用于探测扣件的病害特征；步骤S13、线激光扫描设备：将线激光扫描设备安装在铁路自动巡检小车的上方，确保能够覆盖扣件的整个表面；利用线激光扫描设备进行铁轨扣件的高精度表面位置信息获取；步骤S2、数据收集：多视角图片数据、电磁数据、线激光位置距离数据：步骤S21、通过多视角双目相机从三种不同角度捕获铁轨扣件的图像数据，包括正视角图像、左斜视角图像和右斜视角图像；步骤S22、通过电磁探测设备检测铁轨扣件的电磁特性，识别扣件的病害特征获取电磁信号数据，并确保检测范围与正视角图像照射的范围一致；步骤S23、通过线激光扫描设备获取铁轨扣件的高精度表面位置数据，其获取的表面位置范围与正视角图像照射的范围一致；步骤S24、将收集到的数据通过网络传输到中央处理器，进行数据处理；步骤S3、对左右斜视角图像数据矫正：由于是相对于两铁轨平面45°拍摄的图像，会存在一定程度的畸变，通过霍夫矫正变换将左右斜视角图像的畸变消除，变为左视角图像和右视角图像；步骤S4、目标物检测框选：对正视角图像、左视角图像和右视角图像分别进行铁轨扣件检测，得到正视角铁轨扣件目标框、左视角铁轨扣件目标框和右视角铁轨扣件目标框；步骤S5、目标物框选对齐：由于相机位置和角度是固定的，各角度相机拍摄同一物体时存在重叠的部分，两个视角图像中重叠部分的像素点是对齐的，结合不同视角的铁轨扣件目标框，对目标框进行二次对齐；针对正视角图像，将左视角铁轨扣件目标框和右视角铁轨扣件目标框通过像素对齐映射到正视角图像中，得到正视角左映射铁轨扣件目标框和正视角右映射铁轨扣件目标框，再加上已有的正视角铁轨扣件目标框，取三者框的平均值作为正视角铁轨扣件对齐目标框；同理得到左视角铁轨扣件对齐目标框和右视角铁轨扣件对齐目标框；步骤S6、图像处理：将正左右三个视角的图像按照各视角铁轨扣件对齐目标框裁剪，去除无关背景；为了方便进行特征提取，将裁剪后的图像统一放缩为416*416像素大小，得到正视角目标图像image1_norm，左视角目标图像image1_left和右视角目标图像image1_right；步骤S7、异物检测：在正视角目标图像，左视角目标图像和右视角目标图像中分别进行异物检测，框选出异物，并将异物框以外的像素点置0，得到正视角异物图像image2_norm，左视角异物图像image2_left和右视角异物图像image2_right，图像大小同样是416*416；步骤S8、电磁数据截取映射：电磁信号数据范围与正视角图像照射的范围一致，根据正视角铁轨扣件目标框相对于正视角图片的位置比例，截取相应长度的电磁数据，得到铁轨扣件的电磁信号，通过信号处理和深度学习网络映射成图片相同大小的数据；具体步骤如下：步骤S81、电磁信号数据截取：根据正视角铁轨扣件目标框的位置，从电磁信号数据中截取与图像对应的数据段；步骤S82、数据预处理：对截取的电磁信号进行预处理，包括滤波去除噪声和可能的基线校正；步骤S83、信号处理：对预处理后的电磁信号进行小波变换，以提取电磁特征E，维度为[E1,E2,E3];步骤S84、特征映射：使用深度学习网络将电磁特征E映射到与图像相同的尺寸，公式如下：Er=Flatten12E其中Er为E的第一维度第二维度展平后的特征，维度为[E1×E2,E3]，Flatten12代表展平操作;En=actWEr其中En为经过映射后的电磁特征，维度为[416,416,E3]，act为激活函数，W为三维映射矩阵，维度为[416,416,E1×E2]；步骤S9、表面位置数据截取映射：通过线激光扫描设备获取铁轨扣件的高精度表面位置数据，范围与正视角图像照射的范围一致，根据正视角铁轨扣件目标框相对于正视角图片的位置比例，截取相应的铁轨扣件表面位置数据，通过两层前馈网络映射成图片相同大小的数据，具体步骤如下：步骤S91、表面位置数据截取：根据正视角铁轨扣件目标框的位置和尺寸，从线激光扫描设备获取的原始数据中截取相应的表面位置数据段；步骤S92、数据归一化：对截取的表面位置数据进行归一化处理，使其值域适合后续的网络映射，得到处理好的表面位置数据R，维度为[R1,R2]；步骤S93、特征映射：使用深度学习网络将表面位置数据R映射到与图像相同的尺寸，公式如下：Rr=Flatten12R其中Rr为R的第一维度第二维度展平后的特征，维度为[R1×R2]，Flatten12代表展平操作;Rn=actMRr其中Rn为经过映射后的表面位置特征，维度为[416,416]，act为激活函数，M为三维映射矩阵，维度为[416,416,R1×R2]；步骤S10、数据整合：将步骤S6-S9的所有数据按照第三维度整合到一起，作为多源特征融合智能检测方法的输入X，X=[image1_norm,image1_left,image1_right,image2_norm,image2_left,image2_right,En,Rn]；其中X为多源特征融合智能检测方法的输入，维度为[416,416,C]，所有图片为3通道图片，C为所有特征的第三维度的和；步骤S11、采用多源特征融合智能检测方法提取特征；步骤S12、轻量化部署：为了提高实时监测的效率，将模型进行int8量化，在保证一定初检率的情况下，显著减少模型的存储空间和计算复杂度，实现对扣件状态的实时监测和异常检测；步骤S13、实时预警机制：根据模型检测结果，建立针对异常情况的预警机制，设定相应的阈值p，当模型检测铁轨异常后，及时通知相关人员进行紧急处理。

全文数据：

权利要求：

百度查询： 北京建筑大学 北京智弘通达科技有限公司 一种铁轨异常扣件多源信息融合的智能检测方法