买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明涉及一种基于多智能体强化学习的碰撞预测方法及系统，其中，该方法采集目标区域交叉路口路况的雷达数据、视频数据、当前车辆的车辆状态数据和驾驶员的疲劳状态数据，根据雷达数据和视频数据得到突发事件，将雷达数据和视频数据进行融合得到多模态融合数据，将多模态融合数据、突发事件以及疲劳状态数据输入到通过深度强化学习得到的多智能体协作系统中，多智能体协作系统基于马尔科夫博弈将目标区域内每一辆车辆和每一个行人视为一个智能体，根据疲劳状态数据和突发事件动态调整每一个智能体的惩罚因子，从而进行在线碰撞预测。由此，本发明对目标区域交叉路口路况进行在线碰撞预测，降低交通事故的发生，提高安全性。

主权项：1.一种基于多智能体强化学习的碰撞预测方法，其特征在于，包括：采集目标区域交叉路口路况的雷达数据和视频数据，同时采集当前车辆的车辆状态数据和驾驶员的疲劳状态数据；根据所述雷达数据和所述视频数据得到突发事件，将所述雷达数据和所述视频数据进行融合，得到多模态融合数据，所述多模态融合数据中标记有所述目标区域的车辆和行人；将所述多模态融合数据、所述突发事件以及所述疲劳状态数据输入到通过深度强化学习得到的多智能体协作系统中，得到当前碰撞决策结果，所述多智能体协作系统基于马尔科夫博弈将目标区域内每一辆车辆和每一个行人视为一个智能体，根据所述疲劳状态数据和所述突发事件动态调整每一个智能体的惩罚因子，从而进行在线碰撞预测；所述将所述雷达数据和所述视频数据进行融合，得到多模态融合数据包括：在融合过程中引入时间序列模型，通过所述时间序列模型对所述雷达数据和所述视频数据分别进行时序编码，得到时序编码后的雷达数据和时序编码后的视频数据；将时序编码后的雷达数据和时序编码后的视频数据进行融合，得到多模态融合数据；同时所述将所述雷达数据和所述视频数据进行融合，得到多模态融合数据包括：在融合过程中引入自注意力机制，使得所述自注意力机制在不同环境场景下根据所述雷达数据的雷达重要度和所述视频数据的视频重要度对所述雷达数据的注意力权重和所述视频数据的注意力权重进行自适应调整，得到自适应调整后的雷达数据和自适应调整后的视频数据；将自适应调整后的雷达数据和自适应调整后的视频数据进行融合，得到多模态融合数据。

全文数据：

权利要求：

百度查询： 厦门路桥信息股份有限公司 一种基于多智能体强化学习的碰撞预测方法及系统