买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉电子科技大学(深圳)高等研究院;电子科技大学申请的专利一种面向自动驾驶的多模态融合方法、设备及存储介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120451728B 。

龙图腾网通过国家知识产权局官网在2025-09-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510951173.X，技术领域涉及：G06V10/80；该发明授权一种面向自动驾驶的多模态融合方法、设备及存储介质是由马欣;万少华;蔡旭奇;段立新;李文;许新操设计研发完成，并于2025-07-10向国家知识产权局提交的专利申请。

本一种面向自动驾驶的多模态融合方法、设备及存储介质在说明书摘要公布了：本发明公开了一种面向自动驾驶的多模态融合方法、设备及存储介质，涉及多模态特征融合的技术领域，解决了目前的多模态融合方法在模态缺失场景下，缺失模态特征生成无效的技术问题。该方法包括通过最优传输理论获取完整多模态特征间的对齐矩阵，并对完整多模态特征进行特征融合，得到完整融合特征；获取缺失多模态特征，根据对齐矩阵对缺失多模态特征进行补全，得到补充特征；对补充特征进行特征融合，得到补充融合特征；分别采用完整融合特征和补充融合特征对神经网络进行训练，得到多模态融合模型；将特征缺失的图像输入多模态融合模型，得到图像的多模态融合特征。本发明能够有效生成缺失模态特征，增加模型的适用场景。

本发明授权一种面向自动驾驶的多模态融合方法、设备及存储介质在权利要求书中公布了：1.一种面向自动驾驶的多模态融合方法，其特征在于，包括以下步骤： 获取完整多模态特征； 通过最优传输理论获取所述完整多模态特征间的对齐矩阵，并对所述完整多模态特征进行特征融合，得到完整融合特征； 获取缺失多模态特征，根据所述对齐矩阵对所述缺失多模态特征进行补全，得到补充特征； 对所述补充特征进行特征融合，得到补充融合特征； 分别采用所述完整融合特征和所述补充融合特征对神经网络进行训练，得到多模态融合模型； 将特征缺失的图像输入所述多模态融合模型，得到所述图像的多模态融合特征； 获取所述完整多模态特征包括： 从激光雷达点云和多视角图像中提取激光雷达体素特征和多视角图像特征； 通过投影操作将所述激光雷达体素特征和多视角图像特征进行统一，得到各模态点特征； 通过将所述激光雷达体素特征和多视角图像特征分别与对应的分布矩阵相乘，得到各模态类别语义特征；其中，所述完整多模态特征包括所述各模态点特征和所述各模态类别语义特征； 所述通过最优传输理论获取所述完整多模态特征间的对齐矩阵，包括： 通过注意力机制将所述各模态点特征和所述各模态类别语义特征聚合为模态点-类别语义嵌入特征； 通过最优传输理论计算所述模态点-类别语义嵌入特征模态间对齐矩阵的真实值，并通过Transformer解码器得到所述对齐矩阵的预测值； 通过均方差损失对所述真实值和预测值进行拟合，得到所述对齐矩阵； 所述获取缺失多模态特征，包括： 随机选择所述多视角图像特征进行局部掩蔽，得到剩余视角图像点特征和剩余视角类别语义特征；所述缺失多模态特征包括激光雷达点特征、激光雷达类别语义特征、所述剩余视角图像点特征以及所述剩余视角类别语义特征； 所述根据所述对齐矩阵对所述缺失多模态特征进行补全，得到补充特征，包括： 通过所述对齐矩阵与所述激光雷达点特征的线性组合，得到缺失视角图像点特征，将所述剩余视角图像点特征与所述缺失视角图像点特征连接得到，补全的多视角图像点特征； 通过所述对齐矩阵与所述激光雷达类别语义特征的线性组合，得到缺失视角图像类别语义特征，将所述剩余视角类别语义特征与所述缺失视角图像类别语义特征连接，得到补全的多视角图像类别语义特征；其中，所述补充特征包括所述补全的多视角图像点特征和所述补全的多视角图像类别语义特征。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人电子科技大学(深圳)高等研究院;电子科技大学，其通讯地址为：518110 广东省深圳市龙华区观澜街道新澜社区观光路1301-78号银星智界二期2号楼；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。