买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院)

摘要：本发明提供的基于图像特征学习的雷视空间自动配准方法、系统及终端，具体涉及智能交通技术领域，方案包括：采集相同时刻下雷达的点云数据和视觉相机的平面图像；初始化雷达到视觉相机之间的刚体变换矩阵，基于刚体变换矩阵，将点云数据投影到平面图像所在的平面坐标系中，获得投影图像；基于投影图像和平面图像的相似度，对投影图像进行修正，以调整点云数据和优化后的投影图像之间的映射关系，获得优化后的刚体变换矩阵，从而对点云数据和平面图像进行自动配准，输出配准结果。该方案通过优化刚体变换矩阵来调整雷达和视觉相机的相对位置和姿态关系，实现将点云数据和平面图像精准地自动配准，结构设计简单，能降低系统维护成本和难度。

主权项：1.一种基于图像特征学习的雷视空间自动配准方法，其特征在于，应用于智能交通中的目标检测和追踪的场景，包括：采集相同时刻下毫米波雷达的点云数据和视觉相机的平面图像；初始化所述雷达到所述视觉相机之间的刚体变换矩阵，基于所述刚体变换矩阵，将所述点云数据投影到所述平面图像所在的平面坐标系中，获得投影图像；基于所述投影图像和所述平面图像的相似度，对所述投影图像进行修正，获得优化后的投影图像；基于所述点云数据和所述优化后的投影图像之间的映射关系，获得优化后的刚体变换矩阵；基于所述优化后的刚体变换矩阵，对所述点云数据和所述平面图像进行自动配准，输出配准结果；所述基于所述刚体变换矩阵，将所述点云数据投影到所述平面图像所在的平面坐标系中，获得投影图像，包括：获取目标物体到所述平面坐标系的直线距离，获得投影像素的深度；获取所述视觉相机的内参矩阵，基于所述内参矩阵、所述投影像素的深度和所述刚体变换矩阵，建立所述点云数据的单个像素与所述平面坐标系的映射关系，获得投影方程；基于所述投影方程，将所述点云数据投影到所述平面坐标系中，获得投影图像；所述基于所述投影图像和所述平面图像的相似度，对所述投影图像进行修正，获得优化后的投影图像，包括：基于所述投影图像和所述平面图像的相似度，构建代价函数；基于所述代价函数，对所述投影图像进行修正，获得优化后的相似度；重复执行对所述投影图像进行修正的步骤，直至所述优化后的相似度满足预设的相似度阈值，获得优化后的投影图像；所述基于所述投影图像和所述平面图像的相似度，构建代价函数，包括：分别对所述投影图像和所述平面图像进行特征提取，获得投影特征图和平面特征图；将所述投影特征图和所述平面特征图进行扁平化处理，分别获得投影特征向量和平面特征向量；基于所述投影特征向量和所述平面特征向量在预设的像素范围内各像素的位置向量之间的相似度，构建代价函数。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于图像特征学习的雷视空间自动配准方法、系统及终端