买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江工业大学申请的专利基于可见光、红外和激光雷达数据融合的目标跟踪方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116258744B 。

龙图腾网通过国家知识产权局官网在2025-12-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211686033.7，技术领域涉及：G06T7/246；该发明授权基于可见光、红外和激光雷达数据融合的目标跟踪方法是由叶蕾;陈家琪;谭永钦;王艺霖设计研发完成，并于2022-12-27向国家知识产权局提交的专利申请。

本基于可见光、红外和激光雷达数据融合的目标跟踪方法在说明书摘要公布了：本发明公开了一种基于可见光、红外和激光雷达数据融合的目标跟踪方法，通过获取车辆的可见光相机数据、红外摄像机数据、激光雷达数据；根据所述可见光相机和红外摄像机获取二维图像数据，对可见光图像和红外图像进行融合，增强图像目标信息，提高目标检测的检测率及准确性；利用检测算法分别从融合后的图像和激光雷达的点云数据中检测提取出二维、三维目标信息；将点云目标投影到图像上，然后根据点云目标检测框以及运动状态等信息，对不同时间的目标进行数据关联进行目标状态滤波，同时通过图像检测目标进行补充，完成对图像目标和点云目标的融合跟踪。

本发明授权基于可见光、红外和激光雷达数据融合的目标跟踪方法在权利要求书中公布了：1.一种基于可见光、红外和激光雷达数据融合的目标跟踪方法，其特征在于，所述方法包括以下步骤： 步骤1：通过残差网络和自编码器对获取的可见光图像和红外图像进行特征提取-融合-特征重构实现图像的融合； 所述步骤1包括以下步骤： 步骤1.1，对可将光图像和红外图像进行空间配准，通过相机的平移矩阵和旋转矩阵，以可见光图像的坐标作为参考坐标，将红外图像数据转换到可见光坐标上进行统一；如无法获取坐标系信息，通过数学形态学方法分别提取红外与可见光图像的边缘，得到粗边缘图像；然后通过SURF算法提取两幅边缘图像的特征点，根据正确的匹配点对之间斜率一致性的先验知识，进行特征点匹配；最后通过最小二乘法求得仿射变换模型参数并实现两幅图像的配准； 步骤1.2，训练自编码器：将可见光和红外图像分别输入自编码器进行训练；编码器有3个卷积层，在每一个卷积层都有一个输出进行融合，同时作为解码器的输入；自编码器单独训练，损失函数如下： Lauto＝Lpixel+λLssim1 Lssim＝1-SSIMOutput,Input3 其中： Lpixel：像素损耗；输出图像和输入图像的Frobenius范数，即对应元素的平方和再开方；Lssim：结构相似度损耗；SSIM：结构相似度度量；μ：平均值；σ：方差； 步骤1.3，融合网络使用残差网络，以编码器的输出作为输入，分别对输入的可见光特征和红外特征进行卷积、拼接，然后再进行三层卷积得到Conv5；同时，对输入可见光特征和红外特征进行拼接、卷积，将这层卷积与Conv5进行一个全连接层的拼接，最后输出融合特征，作为解码器的输入； 步骤1.4，红外与可见光整体融合模型：将融合网络放到编码器和解码器中间，对模型进行训练，以可见光图像和红外图像作为输入，以融合图像作为输出，模型损失函数如下： Lfusion＝αLvi+1-αLir5 Lvi＝1-SSIMO,Ivi6 其中： vi和ir分别表示可见光图像和红外图像，L是损失函数；O是输出的融合图像；M是深度特征数量；Bm是平衡损失函数向量，初设为1,10,100,1000；w是相对权重矩阵，Φ是特征矩阵； 步骤2：使用检测算法对融合后的图像进行目标检测，提取出图像上的二维目标信息，使用针对点云的检测算法对获取的激光雷达点云数据进行目标检测，获取三维目标信息； 步骤3：对融合图像和点云数据进行融合跟踪，首先对目标进行状态预测，对不同时间的三维目标进行数据关联与状态滤波； 所述步骤3包括以下步骤： 步骤3.1，对目标进行状态预测，将物体轨迹的状态表示为11维向量T＝x,y,z,θ,l,w,h,s,vx,vy,vz，其中vx,vy,vz表示物体在三维空间中的速度；预测的轨迹基于等速模型xt＝xt-1+vx，yt＝yt-1+vy，zt＝zt-1+vz，因此， 步骤3.2，将检测到的三维目标与预测目标进行数据关联，匹配规则如下： 其中：表示三维目标的位置及尺寸信息；是第i帧各目标和第j帧各目标间的欧几里得距离；表示绕相机y轴旋转角度；是和方向向量之间的余弦距离； 步骤3.3，根据关联规则，构建三维检测目标Dt与预测轨迹的亲和矩阵，得到Tmatch、Tunmatch、分别为匹配到的轨迹目标和检测目标、未匹配到的轨迹目标和检测目标； 步骤3.4，对于匹配的三维检测目标根据贝叶斯法则，将其视作新的轨迹点，对轨迹T的状态进行更新； 步骤4：通过二维目标进行二次数据关联，对三维目标遗漏的部分进行补充，再通过状态更新及轨迹的生命周期管理完成对二维目标和三维目标的融合跟踪。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江工业大学，其通讯地址为：310014 浙江省杭州市拱墅区潮王路18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。