买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广东海洋大学

摘要：本发明属于水下机器人技术领域，本发明公开了基于人工智能的水下机器人集群路径规划与控制方法；包括：基于物理引擎进行环境建模，定义水下机器人物理模型；设置水下机器人的形状大小与质量分布；定义水下机器人状态与环境状态；水下机器人状态包括三维位置、朝向、速度与电池电量；基于水下机器人状态与环境状态定义状态空间并设计奖励函数；将水下机器人状态和环境状态组合成一个完整的状态向量，多组状态向量构成状态空间；奖励函数的设计过程包括：移动奖励、碰撞惩罚、能效奖励与终点奖励；基于状态空间和奖励函数，训练强化学习模型完成路径规划策略；将训练好的水下路径规划策略应用于实际的水下机器人集群。

主权项：1.基于人工智能的水下机器人集群路径规划与控制方法，其特征在于，包括：步骤一：基于物理引擎进行环境建模；步骤二：基于物理引擎定义水下机器人物理模型；包括：设置水下机器人的形状大小与质量分布；步骤三：基于物理引擎定义水下机器人状态与环境状态；水下机器人状态包括三维位置、朝向、速度与电池电量；环境状态包括障碍物状态与水状态；步骤四：基于水下机器人状态与环境状态定义状态空间并设计奖励函数；将水下机器人状态和环境状态组合成一个完整的状态向量，多组状态向量构成状态空间；奖励函数的设计过程包括：移动奖励、碰撞惩罚、能效奖励与终点奖励；奖励函数的设计过程包括：移动奖励；水下机器人每移动1米，奖励+1分；距离奖励；使用欧几里得距离计算水下机器人与目标之间的距离，标记为剩余距离，剩余距离每减少1米，额外奖励+2分；碰撞惩罚；与障碍物发生轻微碰撞，-5分；与障碍物发生严重碰撞，-20分；轻微碰撞是指水下机器人在遭遇碰撞后，水下机器人速度低于0.2ms但高于0.1ms，严重碰撞是指水下机器人与障碍物发生碰撞后，水下机器人速度小于等于0.1ms；能效奖励；设置能效评估值E=；为上一步长中剩余距离与本步长中剩余距离相减得到的差值，为上一步长中电量与本步长电量相减的差值，为步长时间；若E，奖励+10分;若E=，奖励+5分；终点奖励；当水下机器人成功到达目标位置，奖励+50分；时间折扣因子γ设为0.95，时间步t表示从初始状态开始经过的连续的步长数为t；奖励函数r_t=移动奖励+距离奖励+碰撞惩罚+能效奖励+终点奖励；r_t为时间步为t时的即时奖励值；累积奖励R_t=r_t+γr_{t+1}+γ^2r_{t+2}+…+γ^T-tr_T；式中：R_t为当前时间步t开始到终止时间步T的所有即时奖励的累积和，r_{t+1}为时间步为t+1时的即时奖励值；步骤五：基于状态空间和奖励函数，通过Actor-Critic算法训练强化学习模型完成路径规划策略；步骤六，将训练好的水下路径规划策略应用于实际的水下机器人集群。

全文数据：

权利要求：

百度查询： 广东海洋大学 基于人工智能的水下机器人集群路径规划与控制方法