买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明公开了一种无人机防撞自主决策方法,本发明基于碰撞物和无人机的三自由度质点运动模型搭建了更困难且具有随机性的无人机防撞仿真场景,并且从马尔科夫决策过程的角度建模了标准的强化学习环境,针对环境特点引入了周期重启,充分探索了无人机的状态和动作空间,提升了无人机在复杂环境下自主决策防撞的成功率。
主权项:1.一种无人机防撞自主决策方法,其特征在于,包括以下步骤:S1、获取环境状态;其中真实环境状态包括无人机的当前状态和碰撞物的当前状态;S2、分别基于无人机的当前状态和碰撞物的当前状态构建无人机质点模型和碰撞物质点模型;S3、通过马尔科夫决策过程对无人机防撞强化学习仿真环境进行建模,得到防撞模型;S4、将当前真实环境状态作为智能体的输入,获取智能体输出的动作并将其作为无人机的控制动作;S5、基于智能体输出的动作、无人机质点模型和碰撞物质点模型,通过防撞模型推演得到下一个状态,并获取智能体当前动作对应的奖励;S6、通过防撞模型推演得到的下一个状态和智能体当前动作对应的奖励更新智能体参数;S7、判断是否继续进行防撞自主决策,若是则返回步骤S4;否则结束;其中智能体包括策略网络和价值网络;价值网络基于智能体当前动作对应的奖励和对状态和动作的价值估计来更新自身参数;策略网络通过价值网络反馈的价值估计更新自身参数;价值网络输出价值估计;策略网络输出动作。
全文数据:
权利要求:
百度查询: 电子科技大学 一种无人机防撞自主决策方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。