恭喜浙江大学丁勇获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜浙江大学申请的专利一种基于时空融合的多模态自动驾驶三维目标跟踪方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119274167B 。
龙图腾网通过国家知识产权局官网在2025-04-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411810003.1,技术领域涉及:G06V20/58;该发明授权一种基于时空融合的多模态自动驾驶三维目标跟踪方法是由丁勇;程华元;孙瑀;黄函;王宏宇;何越设计研发完成,并于2024-12-10向国家知识产权局提交的专利申请。
本一种基于时空融合的多模态自动驾驶三维目标跟踪方法在说明书摘要公布了:本发明公开了一种基于时空融合的多模态自动驾驶三维目标跟踪方法,属于自动驾驶技术领域。本发明主要包括以下步骤:时空融合特征的生成;多模态融合的BEV特征的生成;单帧三维目标检测结果的生成;目标检测与目标跟踪的匹配;单帧三维目标跟踪结果的生成。基于本发明所提出的三维目标跟踪方法可以将时空特征进行融合用于三维目标跟踪任务,同时可将不同的传感器数据融合为统一的鸟瞰图特征。相较于单独处理时间维度特征和空间维度特征的模型,本模型可以更有效融合时间和空间特征,同时多模态的融合可以进一步提高目标跟踪的精度和鲁棒性,提升自动驾驶系统的安全性。
本发明授权一种基于时空融合的多模态自动驾驶三维目标跟踪方法在权利要求书中公布了:1.一种基于时空融合的多模态自动驾驶三维目标跟踪方法,其特征在于,包括以下步骤:S1:通过布置在自动驾驶车辆上的激光雷达和摄像机实时获取当前帧及其前二帧的点云模态数据和图像模态数据,分别提取点云模态和图像模态的多帧BEV特征;S2:将点云模态和图像模态的多帧BEV特征进行特征融合,得到当前帧多模态融合的BEV特征;所述的S2包括:2.1.利用多层卷积神经网络,通过对点云模态的多帧BEV特征进行降采样和升采样生成一个与之具有相同感受野的点云模态BEV特征的自适应融合权重;2.2.利用多层卷积神经网络,通过对图像模态的多帧BEV特征进行降采样和升采样生成一个与之具有相同感受野的图像模态BEV特征的自适应融合权重;2.3.将2.1和2.2生成的自适应融合权重进行归一化,得到归一化的自适应融合权重;2.4.采用归一化的自适应融合权重,将点云模态的BEV特征和对应帧图像模态的进行加权求和,生成三帧初步融合的BEV特征,其中和分别表示点云模态最近第1、2和3帧初步融合的BEV特征;利用多层卷积神经网络,通过对三帧初步融合的BEV特征进行降采样和升采样生成一个与之具有相同感受野的自适应融合权重;2.5.将自适应融合权重归一化,根据归一化的自适应融合权重与当前帧初步融合的BEV特征得到当前帧多模态融合的BEV特征: ;其中表示当前帧多模态融合的BEV特征;S3:根据当前帧多模态融合的BEV特征,采用候选区域生成网络对当前帧的三维目标进行检测,得到的三维目标检测结果包括一系列当前帧的三维候选框;S4:将当前帧的三维目标检测结果与上一帧的三维目标跟踪结果进行感兴趣区域池化操作,得到对应的特征向量;将当前帧的三维目标检测结果的特征向量和上一帧的三维目标跟踪结果的特征向量拼接后得到匹配矩阵,基于匹配矩阵,采用自注意力机制得到匹配结果;S5:根据S4得到的匹配结果,更新当前帧的三维目标跟踪结果;S6:重复S1-S5不断迭代三维目标跟踪结果,实现对自动驾驶过程中车周三维目标的跟踪。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。