买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国人民解放军国防科技大学申请的专利基于深度强化学习的无人车编队避障控制方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119396162B 。

龙图腾网通过国家知识产权局官网在2025-04-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411993319.9，技术领域涉及：G05D1/43；该发明授权基于深度强化学习的无人车编队避障控制方法和装置是由黄杰;丁磊;洪华杰;王楠设计研发完成，并于2024-12-31向国家知识产权局提交的专利申请。

本基于深度强化学习的无人车编队避障控制方法和装置在说明书摘要公布了：本申请涉及一种基于深度强化学习的无人车编队避障控制方法和装置，该方法未采用SLAM对环境进行显式地图构建，无人车可以在未知环境中实时地感知、决策和行动，无需事先获取环境地图，可实现更高的实时性和适应性。深度强化学习方法通过与环境交互来学习环境的动态特性和障碍物形状特征，从而实现对无人车在面对不同相似环境中可以精确的决策，无人车可以根据学习到的策略自主做出决策，同时能够适应不同的环境和场景，该方法具有一定的自主性和鲁棒性；通过不断地学习优化无人车的决策能力，做到快速部署，持续进步；基于图论的编队控制方式通过分布式控制协议实现队形的动态调整和变换，使编队能快速适应环境变化和任务需求。

本发明授权基于深度强化学习的无人车编队避障控制方法和装置在权利要求书中公布了：1.一种基于深度强化学习的无人车编队避障控制方法，其特征在于，所述方法包括：构建用于描述多智能体系统的结构的图模型；其中，每个无人车是多智能体系统中的一个智能体，图模型中的一个节点对应一个智能体，图模型中的边是指智能体之间的相互作用和通信关系；根据所述图模型构建基于图论的编队队形模型，根据所述编队队形模型，计算每个智能体的编队势场力；构建多智能体系统的初始状态空间；构建无人车在强化学习障碍物势场时的奖励函数为： ；其中，分别为当前机器人编队状态和当前机器人动作，为到达目的地的奖励，为碰撞时奖励，为单个机器人的速度，为角速度，为机器人与目的地的距离，为安全距离；根据所述初始状态空间和所述奖励函数，采用深度强化学习方法与环境的交互来学习环境的动态特性和障碍物形状特征，不断优化无人车的移动策略，实现移动物体在复杂环境中的避障导航并实现对移动障碍物的避障；其中，根据所述初始状态空间和所述奖励函数，采用深度强化学习方法与环境的交互来学习环境的动态特性和障碍物形状特征，不断优化无人车的移动策略，实现移动物体在复杂环境中的避障导航并实现对移动障碍物的避障，包括：构建智能体，每个无人车部署一个智能体，所述智能体包括Actor网络和Critic网络，所述Actor网络用于在所述初始状态空间下学习一个策略，所述Critic网络用于估计不同状态下采取不同动作的价值；在训练环境中，将初始状态空间输入到Actor网络中，生成一个动作值，通过与环境进行交互收集经验和奖励，并在Critic网络价值函数的指导下用策略梯度学习一个更好的策略网络，将经验数据存储到回放缓冲区中，并定期从中采集批次数据进行学习，在训练过程中，通过不断地与环境交互并根据反馈调整值函数的估计，智能体逐步提高其决策能力，实现移动物体在复杂环境中的避障导航并实现对移动障碍物的避障；根据所述图模型构建基于图论的编队队形模型，根据所述编队队形模型，计算每个智能体的编队势场力，包括：每个无人车通过里程计感知编队中其他无人车相对于参考坐标系的位置；每个无人车是n为空间中的一个系统，每个无人车的动力学特征为： ；其中，表示无人车现在的位置，，表示无人车现在所受的势场力；系统中共有N个无人车，多无人车编队问题定义为： ；其中，、分别表示第个无人车和第个无人车的位置，表示第个无人车和第个无人车之间的期望位置，N为大于0的整数；根据窗体的相对位置控制器来计算每个无人车所受到的编队势场力： ；其中，为编队控制增益，为无人车所受到的编队势场力；根据无人车受到的编队势场力，利用拉普拉斯矩阵的特性，确定无人车的编队势场函数为： ；其中，为无人车的编队势场函数，为无人车偏置参数，为群体相互作用拓扑图的拉普拉斯矩阵，为一个由1组成的N维向量，为一个实值常数；构建多智能体系统的初始状态空间，包括：获取无人车感知系统接收到的外部环境的观测数据，所述观测数据包括前向激光雷达数据、无人车里程计信息以及目标点位置；根据所述观测数据，确定当前无人车与目的地的距离、当前无人车方向角和无人车与目的地的连线的夹角，当前小车的线速度、当前小车的角速度；将无人车正前方提取的180°数据每9°划分为一个区间；选择该区间上最大的值作为一个20维度的数据，得到初始状态空间为：[distance,theta,action[0],action[1]，laserdat[0],…laserdat[19]]其中，Distance为无人车与目标点的距离，Theta为无人车朝向与目标点连线的夹角、action[0]、action[1]分别为无人车的线速度，角速度，laserdat[0]、…、laserdat[19]为19个雷达数据。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国人民解放军国防科技大学，其通讯地址为：410073 湖南省长沙市开福区德雅路109号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。