龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：电子科技大学
摘要：本发明公开了一种策略正则化提升探索效率的机器人控制方法，涉及机器学习技术领域。包括：构建策略网络、多个Q值网络和缓冲池；机器人使用策略网络产生动作与环境进行交互，并记录所述交互轨迹存储到缓冲池；从缓冲池中采样状态数据构建策略正则化值；根据所述缓冲池数据更新所述Q值网络和策略网络；重复策略与环境的交互并进行Q值网络和策略网络的更新至策略性能满足预设要求；根据最终的策略网络控制机器人进行任务。本发明通过构建策略正则化项去鼓励在更多的区域进行探索，进而解决强化学习中Q值被低估导致的样本探索利用效率低。
主权项：1.一种策略正则化提升探索效率的机器人控制方法，其特征在于，该方法包括：步骤1：维护策略网络、多个Q值网络和缓冲池；步骤2：机器人使用策略网络产生动作与环境进行交互，并记录所述交互轨迹存储到缓冲池；步骤3：从缓冲池中采样状态数据构建策略正则化值；从缓冲池中随机采样状态数据，并为这些被采样的状态数据添加来自正态分布的随机噪声，表示为下式： 式中为噪声状态分布的方差，表示噪声状态，仍然属于机器人对环境的可观测范围，确保状态的可使用性；根据所述的噪声状态与状态数据，策略模型分别产生对应的策略和；根据所述的噪声状态和噪声动作，得到对应的动作值，即下式： 式中表示贝尔曼操作，表示在噪声状态下产生的策略，表示下一时刻在噪声状态下的动作值函数，表示下一时刻在噪声状态下的状态值函数，表示折扣因子，表示即时回报，表示下一时刻的噪声状态，表示下一时刻噪声状态对应的动作值，表示当前时刻的状态，表示当前时刻在噪声状态下的动作值函数；采用正常状态带来的状态值和噪声状态带来的状态值之间的差距，计算评估策略探索能力的差异，即下式 式中，表示当前时刻的状态值函数，表示当前时刻的噪声状态值函数，表示正常策略与噪声策略之间的总差异距离，为与策略无关的常数；步骤4：根据所述缓冲池数据更新Q值网络和策略网络；步骤5：重复策略与环境的交互并进行Q值网络和策略网络的更新至策略性能满足预设要求；步骤6：根据最终的策略网络控制机器人进行任务。
全文数据：
权利要求：
百度查询： 电子科技大学 一种策略正则化提升探索效率的机器人控制方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号