买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南昌工程学院

摘要：本发明公开了一种二维图像和三维点云融合的弹条扣件松紧检测方法，涉及机器视觉缺陷检测及大数据处理技术领域。其包括：利用线激光传感器扫描轨道获得轨道轮廓，根据轮廓构造三维点云图像和RGB深度图像，建立语义分割模型Unet网络，利用Unet网络分割RGB深度图像中的弹条，并对弹条进行骨架提取；将二维图像中的弹条骨架映射至三维点云图像，获得弹条的初始骨架，利用初始骨架及法向量拟合弹条横截面圆，利用圆心代替初始骨架点，提高扣件检测的速度和鲁棒性；提取三维点云弹条骨架前颚点及特征点，弹条前颚点距离接触面的距离，根据距离分布快速检测弹条松紧状态。

主权项：1.一种二维图像和三维点云融合的弹条扣件松紧检测方法，其特征在于，包括：获取包含弹条扣件的轨道三维点云图像和RGB深度图像；从RGB深度图像中分割出弹条扣件图像，并从弹条扣件图像中提取出弹条扣件二维骨架图像及骨架法向量；将弹条扣件二维骨架图像及骨架法向量映射至三维点云图像中得到初始三维骨架图像；并利用初始三维骨架图像及其每个骨架点的法向量拟合形成三维弹条扣件的横截面圆，以圆心作为三维弹条扣件横截面的骨架点，更新初始骨架图像得到弹条扣件三维点云骨架图像；确定弹条扣件三维点云骨架的前颚点，并从弹条扣件三维点云骨架图像中不同位置处提取出多个特征点；根据多个特征点拟合形成弹条扣件与轨道弹性垫块的接触平面，计算前颚点与接触面的距离；并根据前颚点与接触面的距离大小，判断弹条扣件的松紧状态；所述确定弹条扣件三维点云骨架的前颚点，包括：弹条扣件的前额均朝向轨道，计算弹条扣件三维点云骨架中心点所在的垂线Xcenter,Ycenter，且Xcenter＝maxSkeleton_Pc.X-minSkeleton_Pc.X2Ycenter＝maxSkeleton_Pc.Y-minSkeleton_Pc.Y2其中，Skeleton_Pc.X，Skeleton_Pc.Y分别表示Skeleton_Pc骨架点的X，Y坐标值；判断是否存在骨架点落在平面y＝Ycenter上，若存在则表示骨架点与弹条中心面存在交点，该交点作为弹条扣件三维点云骨架前颚中心点A；若不存在，则在平面y＝Ycenter两侧分别搜索距离平面最近的一个骨架点，设这两个点分别为PC1XC1,YC1,ZC1，PC2XC2,YC2,ZC2，用这两点构造直线，以直线与平面的交点作为弹条扣件三维点云骨架前颚中心点A，设A点表示为PAXA,YA,ZA；所述从弹条扣件三维点云骨架图像中提取特征点，包括：根据弹条扣件三维点云骨架前颚点A和骨架的中心面X＝Xcenter及Y＝Ycenter，利用下式将弹条扣件三维点云骨架分成四个部分： 其中，Skeleton_Pc.X、Skeleton_Pc.Y分别表示各骨架点的X,Y坐标；依据下式在四个部分的骨架点中各选一个初始特征点B、C、D、E，各特征点分别表示为PBXB,YB,YB，PCXC,YC,YC、PDXD,YD,YD、PEXE,YE,YE； 其中，max和min分别表示求最大值和最小值；分别建立前颚点A及四个初始特征点B,C,D,E的邻域，在各点的邻域内取Z方向最小值的点或者邻域内Z方向平均值更新原特征点坐标；所述判断弹条扣件的松紧状态，包括：已知特征点D,E的坐标PD、PE，求点D,E线段的中点F，其坐标表示为PFXF,YF,YF；利用特征点B、C及中点F，构建一个平面，设该平面为弹条扣件与轨道弹性垫块的接触平面，已知三点B、C、F的坐标PB,PC,PF，构建出BCF平面，表示为：αX+βY+χZ+δ＝0其中，α，β，χ，δ分别为平面参数；计算前颚中心点A到BCF平面的距离： 其中，用Deviation值表示弹条扣件的松紧状态，计算全部待检弹条扣件的Deviation值，设置上下阈值t1,t2,当Deviation小于t1，则扣件扣压力过大，当Deviation值大于t2，扣件过松。

全文数据：

权利要求：

百度查询： 南昌工程学院 一种二维图像和三维点云融合的弹条扣件松紧检测方法