买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：徐州市近距离智能科技有限公司

摘要：本发明公开了一种智能机器人路径规划方法，方法包括数据采集、数据预处理、设计Q‑learn网络、设计奖励函数和路径规划。本发明属于路径规划技术领域，具体是指一种智能机器人路径规划方法，本方案使用神经网络进行近似动作值函数，具有更强的非线性逼近能力、更强适应性和优越的泛化能力；设计了安全区域和禁止区域，在奖励函数中引入了平滑项和最大训练次数，减少训练过程中的抖动及控制训练的时长；使用贝塞尔曲线对初始路径进行平滑处理，减少了路径上的抖动，提高了路径规划的效果；初始化多组不同的参数并自适应调整参数，使得参数更新更具有全局性；从而使得路径规划方法更具有鲁棒性和适应性。

主权项：1.一种智能机器人路径规划方法，其特征在于：该方法包括以下步骤：步骤S1：数据采集；步骤S2：数据预处理；步骤S3：设计动作值函数；步骤S4：设计奖励函数，设计安全区域和禁止区域，在奖励函数中引入了平滑项和最大训练次数；步骤S5：路径规划，使用贝塞尔曲线对初始路径进行平滑处理，初始化多组不同的参数并自适应调整参数，最终实现机器人路径规划；在步骤S4中包括步骤S43：设计奖励函数；当机器人的位置是障碍物时，将获得负奖励；当机器人到达目标点时，将获得大的正奖励；当机器人靠近目标点时，将获得1作为奖励；当机器人停留在原地时，将获得-1作为奖励；在其他情况下，将获得-2作为奖励；所用公式如下： ； ；其中，dt和dt-1分别表示当前时间步和上一时间步机器人与目标点之间的距离；do表示障碍物的安全距离，如果机器人和目标点的距离小于do，则表示遇到了障碍物；dg表示距离目标点的阈值，如果机器人和目标点的距离小于dg，则视为到达目标点；dn表示靠近目标点的距离，当达到这个范围时，将给予正奖励；是预奖励；R是最终奖励；ra是权重值；noP0-P1是基于人工势场方法得到的机器人下一位置P0和更新环境时获取机器人的实际位置P1的归一化距离；T是最大训练次数；是平滑项；在步骤S3中，所述设计动作值函数是基于神经网络构建Q-learn网络结构；具体包括以下步骤：步骤S31：网络结构设计，所建立的神经网络是一个三层静态前向网络，包括一个输入层、一个隐藏层和一个输出层；步骤S32：输入层设计，输入层由信号源节点组成，其输入由状态变量和一个动作变量a组成；输入数量为M=N+1，输入向量表示为：；其中，s1、s2和sN分别是第1个、第2个和第N个状态变量；N是总状态变量数；X是输入向量；M是输入数量；步骤S33：隐藏层设计，隐藏层使用径向基函数；表示如下： ； ； ；式中，是输入向量X在第k个径向基函数节点的响应值；μi和σi分别是第i个隐藏神经元对应的高斯函数聚类中心和方差；μM和σM分别是第M个隐藏神经元对应的高斯函数聚类中心和方差；demax是机器人当前位置和目标点位置之间所能经历的最大距离；步骤S34：输出层设计，输出层用于近似动作值函数，并且仅包含一个输出节点；动作值函数表示如下： ；式中，Q·是动作值函数；st和at分别是t时间步的状态和选择动作；de是机器人当前位置和目标位置之间的距离；在步骤S5中，所述路径规划具体包括以下步骤：步骤S51：平滑初始路径，基于贝塞尔曲线来平滑初始路径，将计算得到的贝塞尔曲线上的点取代原始路径上的点作为新的路径点；所用公式如下： ；式中，、、和表示初始控制点；Bt1是贝塞尔曲线方程；t1是曲线参数；步骤S52：路径规划，预先设有准确性阈值；初始化参数，同时设置组不同的参数；基于步骤S51平滑初始路径；基于步骤S3设计的Q-learn网络和步骤S4设计的奖励函数；利用Q-learning来选择最优的动作，从而实现路径规划；当机器人实现的路径规划准确性高于准确性阈值时，路径规划完成；当机器人实现的路径规划准确性不高于准确性阈值时，对参数进行更新；当达到最大训练次数时，重新初始化参数；对参数进行更新所用公式如下： ；式中，和分别是更新后和更新前第组第d个参数的位置；是学习率；和分别是第组参数的准确性和组参数的平均准确性；XBd、和分别是最优组参数、随机组参数和第个组参数经验最优的位置；是移动权重；在步骤S4中，所述设计奖励函数具体包括以下步骤：步骤S41：设计安全区域，引入安全阈值ρ；表示如下： ； ；式中，L是机器人长度；x0和y0分别是安全区域的横纵中心坐标；x和y分别是机器人的横纵坐标；r是区域半径步骤S42：设计禁止区域；表示如下： ；式中，yt是机器人当前位置的纵坐标；yn1t、yn2t、yn3t和yn4t分别是第1条边界线、第2条边界线、第3条边界线和第4条边界线在时间t的纵坐标；步骤S43：设计奖励函数。

全文数据：

权利要求：

百度查询： 徐州市近距离智能科技有限公司 一种智能机器人路径规划方法