买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉张家港港务集团有限公司港埠分公司;北京主线科技有限公司申请的专利基于多模态的场景感知方法、装置、电子设备和存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120219905B 。

龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510714686.9，技术领域涉及：G06V10/80；该发明授权基于多模态的场景感知方法、装置、电子设备和存储介质是由俞锋;石亚飞;周一帆;褚佳鑫;白云飞;张健;张天雷;邢加伟设计研发完成，并于2025-05-30向国家知识产权局提交的专利申请。

本基于多模态的场景感知方法、装置、电子设备和存储介质在说明书摘要公布了：本公开提供了一种基于多模态的场景感知方法、装置、电子设备和存储介质。本公开实施例提供的方法中，先提取多视角图像序列的图像特征和4D雷达数据序列获的雷达特征，使用历史雷达特征和当前雷达特征在BEV空间与体素空间建模动态场景与静态场景的时空演化以得到动态场景特征和静态场景特征，再针对图像特征、动态场景特征和静态场景特征进行跨模态交互融合得到多模态融合特征，该多模态融合特征可直接用于3D目标检测、语义占用预测和或运动状态估计。本公开能够在复杂环境下实现高精度、高效率的场景理解。

本发明授权基于多模态的场景感知方法、装置、电子设备和存储介质在权利要求书中公布了：1.一种基于多模态的场景感知方法，其特征在于，所述方法包括： 从车辆上装载的多视角相机阵列和4D成像雷达组获取当前多视角图像序列和当前4D雷达数据序列，所述4D雷达数据序列中的4D雷达数据包括目标的空间位置、速度、反射强度、信噪比，所述速度是指目标相对于雷达的径向速度，通过所述速度能够区分静止与移动物体，所述目标是指所述4D成像雷达组探测到的物理实体； 利用所述当前多视角图像序列得到当前图像特征； 利用所述当前4D雷达数据序列获取当前的雷达特征，所述雷达特征包括雷达体素特征与雷达BEV特征； 基于先前缓存的历史雷达特征和当前的雷达特征，在BEV空间与体素空间建模动态场景与静态场景的时空演化以得到当前动态场景特征和当前静态场景特征，所述动态场景特征用于表征车辆四周环境中动态物体的时空演化状况，所述静态场景特征用于表征车辆四周环境中静态物体的时空演化状况； 针对所述当前图像特征、当前动态场景特征和当前静态场景特征进行跨模态交互融合以得到多模态融合特征，所述多模态融合特征用于执行关于车辆四周环境的3D目标检测、语义占用预测和或运动状态估计； 其中，所述基于先前缓存的历史雷达特征和当前的雷达特征，在BEV空间与体素空间建模动态场景与静态场景的时空演化以得到当前动态场景特征和当前静态场景特征，包括：从缓冲区读取先前缓存的历史雷达特征，所述历史雷达特征包括历史雷达体素特征和历史雷达BEV特征；使用多尺度空洞时序融合网络基于所述历史雷达特征和所述当前雷达特征获得动态场景特征和静态场景特征，所述多尺度空洞时序融合网络包括空洞时序卷积网络，所述空洞时序卷积网络包括多个连续的空洞卷积层，所述多个连续的空洞卷积层的空洞率按层级指数增长且卷积核尺寸相同；使用多目标卡尔曼滤波追踪的方式对所述动态场景特征进行动态目标补偿； 其中，所述针对所述当前图像特征、当前动态场景特征和当前静态场景特征进行跨模态交互融合以得到多模态融合特征，包括：融合所述当前图像特征和所述当前静态场景特征以获得图像体素特征；使用门控交叉注意力模块动态融合所述动态场景特征和所述图像体素特征以获得跨模态交互特征；在几何一致性约束下融合所述动态场景特征与所述图像体素特征以获得几何对齐特征；通过多尺度金字塔池化整合所述几何对齐特征和所述跨模态交互特征以获得所述多模态融合特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人张家港港务集团有限公司港埠分公司;北京主线科技有限公司，其通讯地址为：215633 江苏省苏州市金港镇香山北路100号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。