买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:合肥工业大学
申请日:2024-12-20
公开(公告)日:2025-01-21
公开(公告)号:CN119339355A
专利技术分类:...识别移动物体或障碍物,例如 车辆或行人; 识别交通对象,例如 交通标志、交通灯或道路[2022.01]
专利摘要:本发明公开一种基于多视角的多模态信息融合目标检测方法,将相机、激光点云与毫米波点云的前视图与鸟瞰图作为感知系统的输入,设计多尺度融合模块融合多传感器的前视图与鸟瞰图特征,充分提取语义与空间信息,并利用自注意力机制自适应分配前视图与鸟瞰图特征的权重系数。相比于在单视角下进行目标检测,本发明在多视角下的目标检测任务充分提取了语义信息与空间位置信息。因此,本发明有效结合多传感器前视图与鸟瞰图的特征进一步提升了在复杂道路环境下的目标检测精度。
专利权项:1.一种基于多视角的多模态信息融合目标检测方法,其特征在于,包括以下步骤:步骤1、接收摄像头、激光雷达与毫米波雷达的原始数据;步骤2、将摄像头、激光雷达与毫米波雷达采集的原始数据进行处理,利用逆透视映射法将摄像头前视图转化为鸟瞰图;利用投影法将激光雷达点云与毫米波点云转化为前视图与鸟瞰图;步骤3、通过特征提取模块对摄像头的前视图与鸟瞰图、激光雷达的前视图与鸟瞰图、毫米波雷达的鸟瞰图进行特征提取,得到摄像头前视图特征与鸟瞰图特征、激光雷达前视图特征与鸟瞰图特征、毫米波雷达鸟瞰图特征;步骤4、对不同传感器的前视图与鸟瞰图特征进行融合处理,获得语义信息与空间位置信息;步骤5、对步骤4融合后得到的前视图融合特征、鸟瞰图融合特征和包含语义与空间信息的特征,进行各自多尺度特征进行融合得到、、,再将这3个融合多尺度的特征输送进检测头进行数据推理;在数据推理阶段,检测头将依次对融合多尺度特征的、、进行预测交通参与者位置置信度和类别信息。
百度查询: 合肥工业大学 一种基于多视角的多模态信息融合目标检测方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。