买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中南大学申请的专利一种基于深度强化学习的移动机器人自主探索方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119200601B 。

龙图腾网通过国家知识产权局官网在2025-03-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411312042.9，技术领域涉及：G05D1/43；该发明授权一种基于深度强化学习的移动机器人自主探索方法是由张驰洲;陈明松;蔺永诚;王冠强;李泽浩;王秋;申礼瑞设计研发完成，并于2024-09-20向国家知识产权局提交的专利申请。

本一种基于深度强化学习的移动机器人自主探索方法在说明书摘要公布了：本发明公开了一种基于深度强化学习的移动机器人自主探索方法，所述方法包括在未知的环境中，开启激光雷达设备，计算单元以及机器人本体电源，通过激光雷达采集当前环境的点云数据；基于互补孔洞结构存储点云数据；基于二维占栅地图构建信息图，并对信息图进行稀疏化；构建强化学习策略网络，设计强化学习策略网络的目标函数；局部规划器根据无碰撞路径生成当前机器人的速度值；机器人的运动控制器根据速度值生成运动命令，重复以上步骤直到完成基于深度强化学习的机器人自主探索任务；本发明的优点在于：采用无模型深度强化学习技术在仿真系统中学习探索策略，可无缝移植到真实物理环境中，能够实现更高效率的自主探索。

本发明授权一种基于深度强化学习的移动机器人自主探索方法在权利要求书中公布了：1.一种基于深度强化学习的移动机器人自主探索方法，其特征在于，包括以下步骤：步骤S1：在未知的环境中，开启激光雷达设备、计算单元以及移动机器人本体电源，通过激光雷达采集当前环境的点云数据；步骤S2：基于互补孔洞结构存储点云数据，构建三维点云地图并进行投影后构建二维占栅地图；步骤S3：基于二维占栅地图构建信息图，并采用双向A*算法对信息图进行稀疏化形成稀疏信息图；步骤S4：构建强化学习网络，设计强化学习网络的奖励函数，所述强化学习网络的输入为稀疏信息图，输出为下一时刻的目标路径点；其中强化深度学习网络由actor网络和critic网络组成，两者都具有编码器和解码器，actor网络使用pointer层，输出注意权重作为邻居节点的策略，从邻居节点中选择一个作为下一个导航目标点，此外，在编码器中使用长短期记忆LSTM单元来确保网络还考虑先前的移动机器人状态特征，以做出更好的决策；编码器和解码器分别由三个图注意力层和一个图注意力层构建，其中图注意力层通过以下方式计算更新后的特征： 其中WQ,WK,表示可学习矩阵，softmax·表示激活函数；其中强化学习网络的奖励函数，用如下式表示：rzt,at＝wDrDzt,at+wΛrΛzt,at+wFrFzt,at+wCrCzt,at+rEzt,at其中wD、wΛ、wF和wC是每个子奖励的权重参数，奖励函数分为五个部分，其中，奖励rD,rΛ,rF和rE可视为外在奖励，而奖励rC可视为内在奖励；步骤S5：路径规划器根据目标路径点生成无碰撞的路径，局部规划器根据无碰撞路径生成当前机器人的线速度和角速度值；步骤S6：机器人的运动控制器根据速度值生成运动命令，控制移动机器人到达目标路径点，重复以上步骤直到完成基于深度强化学习的机器人自主探索任务。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中南大学，其通讯地址为：410083 湖南省长沙市麓山南路932号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。