买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津新松智能科技有限公司

摘要：本发明是一种多模态相机与4D毫米波雷达数据融合的车厢测距方法，包括感知传感器组，通过感知传感器组输出前方火车车厢的距离数据，辅助货运站场的火车连挂作业，感知传感器组包括多模态相机和4D毫米波雷达，多模态相机包括可见光相机、热成像相机；多模态相机采集前方图像，对前方目标进行检测，4D毫米波雷达探照前方环境，感知前方物体的距离信息。本发明采用多模态相机与4D毫米波雷达数据融合的方式，可以解决单相机在夜间等极端环境下失效的问题，视觉传感器距离感知不准确的问题，以及目标高度不明确导致的安全问题。

主权项：1.多模态相机与4D毫米波雷达数据融合的车厢测距方法，其特征在于，包括感知传感器组，通过感知传感器组输出前方火车车厢的距离数据，辅助货运站场的火车连挂作业，感知传感器组包括多模态相机和4D毫米波雷达，多模态相机包括可见光相机、热成像相机；多模态相机采集前方图像，对前方目标进行检测，4D毫米波雷达探照前方环境，感知前方物体的距离信息；测距方法步骤如下：S1、对感知传感器组采集的数据进行时间同步；应用多线程技术，实时将采集的最新数据存入缓存区，以帧率最慢的4D毫米波雷达数据为基准，获取最新可见光和热成像数据，完成可见光图像数据、热成像图像数据、4D毫米波雷达的点云数据的时间同步；S2、通过特制热成像标定板，应用自优化标定算法，完成可见光相机和热成像相机的标定；S21、制作热成像标定板，标定板采用铝板，且铝板上加工多排方孔，背面固定黑色树脂板，呈现状态为镂空处为黑色，其他位置为铝制色；S22、数据时间同步后，对标定板进行加热，可见光相机和热成像相机采集加热后的标定板，多次移动小型标定板的位置，采集多对不同距离和角度的可见光和热成像图像数据；S23、应用角点检测算法，分别检测出可见光和热成像中的角点，促成角点对数据；S24、应用随机参数对回归网络进行初始化，训练热成型图像到可见光图像的变换网络；S25、训练多次网络，计算热成像图像到可见光图像的重投影误差，选取最优转换网络，通过此转换关系将热成像图像映射到可见光图像，形成多模态图像，图像标定完成；S3、通过特制标定棒，完成4D毫米波雷达和可见光相机的角度标定；S31、制作标定棒，标定棒为不锈钢材质，两侧设有悬挂孔，并垂直悬挂在对应的固定架上，固定架为塑料材质，4D毫米波雷达对标定棒采集时，雷达点云数据均为标定棒返回点，无固定架返回点；S32、将标定棒垂直悬挂，采集多组不同距离和横向位置的可见光相机图像和雷达点云数据；S33、应用目标检测网络检测目标，得到目标在图像中的位置，根据相机的内参求得目标的横向偏转角度；S34、应用横向距离、纵向距离、高度三个参数对点云进行滤波，得到图像目标的点云信息；S35、图像角度与点云角度组成横向角度对数据；S36、将标定棒横向安装并采集相应数据，得到多组纵向角度对数据；S37、剔除角度对中雷达数据为空的角度对，然后分别计算可见光图像横向角度、纵向角度到毫米波雷达的单应性变换关系，至此角度标定完成；S4、标定完成后，通过深度学习目标检测网络检测图像中的车厢；S41、应用深度学习目标检测网络，对多模态图像进行车厢检测，对检测到的目标分别计算左侧偏转角度、右侧偏转角度、上方偏转角度、下方偏转角度、单目距离估计；S42、采用多帧雷达点云叠加处理的方法，即进行5帧雷达数据滑窗处理，避免毫米波雷达目标漏检问题，雷达数据采用队列数据结构，保持处理数据始终为最新5帧数据；S5、通过多模态图像与雷达点云融合算法，确定车厢的距离信息；S51、根据S41提供的参数，对雷达原始数据进行一级滤波；S52、用固定区域动态权值方法进行二级滤波；S53、对二级滤波后得到的区间雷达点云数据进行DBSCAN聚类，得到目标信息，完成前方火车车厢的测距。

全文数据：

权利要求：

百度查询： 天津新松智能科技有限公司 多模态相机与4D毫米波雷达数据融合的车厢测距方法