买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉广东工业大学申请的专利自动驾驶多模态数据更新融合方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117173527B 。

龙图腾网通过国家知识产权局官网在2025-09-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202311200408.9，技术领域涉及：G06V10/80；该发明授权自动驾驶多模态数据更新融合方法、装置、设备及介质是由邓润荣;李贺;许俊鹏;谭北海;陈钰琳;陈品同;黄泽茵设计研发完成，并于2023-09-15向国家知识产权局提交的专利申请。

本自动驾驶多模态数据更新融合方法、装置、设备及介质在说明书摘要公布了：本申请涉及自动驾驶多模态数据更新融合方法、装置、设备及介质，所述方法包括：获取目标物体相对应的点云数据以及图像数据；将目标物体相对应的图像数据输入至AI大模型中，更新目标物体相对应的图像数据类别；基于变换器神经网络模型对目标物体相对应的点云数据进行三维检测，确定目标物体相对应的三维点云数据；基于单阶段单目三维物体检测模型对更新后的目标物体相对应的图像数据进行目标检测，确定目标物体相对应的三维图像数据；基于预设的目标检测多模态融合模型对目标物体相对应的三维点云数据以及三维图像数据进行数据融合，确定其相对应的共享的三维环境表示，以完成更新融合。本申请能够避免因单一模态引起的漏测问题，降低计算复杂度。

本发明授权自动驾驶多模态数据更新融合方法、装置、设备及介质在权利要求书中公布了：1.一种自动驾驶多模态数据更新融合方法，其特征在于，包括： 响应多模态数据更新融合指令，获取自动驾驶车辆的多个传感器中的目标物体相对应的点云数据以及图像数据； 将所述目标物体相对应的图像数据输入至预设的AI大模型中，基于图像文本的检索方式对所述目标物体相对应的图像数据进行特征提取处理，以更新所述目标物体相对应的图像数据类别； 将目标物体相对应的点云数据基于标准的稀疏体素化网络编码成鸟瞰视图特征；基于多尺度中心提议网络对所述鸟瞰视图特征进行尺度转换确定不同尺度的所述鸟瞰视图特征，并预测目标物体中心的位置；在变换器神经网络模型的变换器以及解码器中，采用自注意力层和交叉注意力层聚合来自其他中心以及多尺度特征图的特征；采用多帧模式，将前几帧的鸟瞰视图特征与当前帧的鸟瞰视图特征在中心头和交叉注意力层中进行融合，基于空间感知的融合模块来根据当前帧的所述鸟瞰视图特征计算像素级别的注意力权重，并添加时间嵌入来区分不同帧，根据所述注意力权重以及添加时间确定所述目标物体相对应的三维点云数据； 将所述更新后的所述目标物体相对应的图像数据输入至单阶段单目三维物体检测模型中预训练的卷积神经网络以提取目标物体特征，并构建多尺度的特征金字塔；在所述特征金字塔的每个特征层上，采用一个共享的检测头来预测物体的类别、属性、中心度以及三维回归目标；根据目标物体在图像上的二维尺寸，将不同大小的物体分配至不同层级的特征图上，并根据物体中心与特征点之间的距离来确定正负样本；将所述特征金字塔对所有层级的预测结果进行汇总，并使用旋转目标检测模型去除重叠的框；根据预测的三维回归目标以及相机内参，将2.5D中心转换为三维空间中的坐标，并计算出所述目标物体的三维包围框，确定目标物体相对应的三维位置以及形状信息，以确定所述目标物体相对应的三维图像数据； 将目标物体的三维空间划分成规则的体素，基于体素坐标转换算法将所述三维空间中的点转换为体素坐标；对于每个输入的所述目标物体相对应的三维点云数据以及三维图像数据，将所述三维点云数据以及三维图像数据的点转换成其相对应的体素坐标，将其转换后的所述点云数据或图像数据的点相对应的体素坐标与所述体素网格进行融合；当融合新的点时，根据点的距离和法向量信息来更新体素的状态，以进行所述目标物体相对应的三维点云数据以及三维图像数据进行数据融合，确定所述三维点云数据以及三维图像数据相对应的共享的三维环境表示，以完成自动驾驶多模态数据的更新融合。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人广东工业大学，其通讯地址为：510000 广东省广州市越秀区东风东路729号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。