买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:浙江大学
摘要:本发明公开了一种基于多模态实例融合的在线矢量化高精度地图构建方法。本发明包括以下步骤:首先,根据相机获取的环视视角图片生成几何信息增强的相机鸟瞰视角特征,以及根据激光雷达获取的三维点云生成雷达鸟瞰视角特征;接着,在多模态的鸟瞰视角特征上获取多模态热力图,从而初始化实例查询,输入到各模态地图解码器中,从而融合鸟瞰视角特征并更新对应查询;之后,实例融合解码器将相机与雷达模态的实例查询统一,再次解码并预测出高精度地图元素的几何形状与标签。本发明实现了利用多传感器数据的高精度地图在线构建,具备高精度与高鲁棒性的特点,适用于自动驾驶,机器人感知等领域,能够有效地在特征与实例层级融合多模态传感器的信息。
主权项:1.一种基于多模态实例融合的在线矢量化高精度地图构建方法,其特征在于,包括以下步骤:S1:根据相机获取的环视视角图片生成几何信息增强的相机鸟瞰视角特征,以及根据激光雷达获取的三维点云生成雷达鸟瞰视角特征;S2:将几何信息增强的相机鸟瞰视角特征与雷达鸟瞰视角特征连接后再输入到卷积网络后,得到融合的鸟瞰视角特征;S3:几何信息增强的相机鸟瞰视角特征与雷达鸟瞰视角特征分别经过卷积网络后,得到相机的地图实例热力图和激光雷达的地图实例热力图,并与随机生成的层级查询结合,得到相机模态和激光雷达模态对应的初始查询;S4:将融合的鸟瞰视角特征作为键和值,分别利用对应的第一解码层对相机模态的查询和激光雷达模态的查询进行更新后,最终获得相机实例特征与激光雷达实例特征;S5:将相机的实例特征与激光雷达的实例特征输入到实例融合解码器中后,分别得到每个地图元素的几何坐标与分类标签,完成地图的构建。
全文数据:
权利要求:
百度查询: 浙江大学 基于多模态实例融合的在线矢量化高精度地图构建方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。