买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国人民解放军国防科技大学

摘要：本申请公开了一种无人机收集数据的轨迹规划方法、装置、设备及介质，涉及无人机通信技术领域，包括：建立用于针对无人机从若干数量个物联网设备中收集数据的问题模型，并基于所述问题模型构建约束马尔科夫决策问题；针对所述约束马尔科夫决策问题搭建基于SAC算法的深度强化学习框架，并对所述无人机进行训练以得到最优策略网络；获取当前环境状态特征，并将所述当前环境状态特征输入至所述最优策略网络以得到所述无人机的当前待执行动作。本申请基于实际的问题模型构建约束马尔科夫决策问题，并搭建深度强化学习框架对无人机进行训练得到最优策略网络，然后将当前环境状态特征输入该最优策略网络以得到当前待执行动作，实现了无人机实时轨迹规划。

主权项：1.一种无人机收集数据的轨迹规划方法，其特征在于，包括：建立用于针对无人机从若干数量个物联网设备中收集数据的问题模型，并基于所述问题模型构建约束马尔科夫决策问题；针对所述约束马尔科夫决策问题搭建基于SAC算法的深度强化学习框架，并对所述无人机进行训练以得到最优策略网络；获取当前环境状态特征，并将所述当前环境状态特征输入至所述最优策略网络以得到所述无人机的当前待执行动作；其中，所述基于所述问题模型构建约束马尔科夫决策问题，包括：构建包括所述无人机的当前位置信息、当前物联网设备的位置信息、所述当前物联网设备的剩余数据量和所述无人机的剩余能量的环境状态特征；构建包括所述无人机的飞行方向和飞行速率的动作决策变量；设计所述无人机的奖励函数和代价函数；基于所述环境状态特征、所述动作决策变量、所述奖励函数和所述代价函数构建约束马尔科夫决策问题；其中，所述环境状态特征的关系式为：；所述动作决策变量的关系式为：；所述奖励函数的关系式为：，所述代价函数包括第一代价函数和第二代价函数，所述第一代价函数的关系式为：；所述第二代价函数的关系式为；所述约束马尔科夫决策问题的目标为求解最优的策略网络，所述策略网络能够在满足长期代价约束的条件下最大化长期奖励；式中，表示当前时隙的编号，表示所述无人机的当前位置信息，和分别表示所述无人机在空间坐标系中的横坐标和纵坐标，为常数，表示所述无人机的高度，表示所述当前物联网设备的剩余数据量，表示所述当前物联网设备的编号，表示所述无人机的剩余能量；表示物联网设备的总数；表示所述无人机的飞行方向，表示所述无人机的飞行速率，表示范数；表示单个时隙的长度，表示当前时隙所述无人机的能量消耗总量；表示折扣因子，表示每个所述代价函数对应的阈值，表示所述代价函数的编号，表示求取数学期望；所述基于所述环境状态特征、所述动作决策变量、所述奖励函数和所述代价函数构建约束马尔科夫决策问题，包括：基于SAC算法构建熵正则项；基于拉格朗日松弛技术构建包括所述环境状态特征、所述动作决策变量、所述奖励函数、所述代价函数和所述熵正则项的约束马尔科夫决策问题；其中，所述熵正则项的关系式为： ；所述约束马尔科夫决策问题为： ；式中，表示条件概率密度分布，表示B到A之间的映射；表示拉格朗日惩罚收益，与表示拉格朗日惩罚系数，表示最小期望熵。

全文数据：

权利要求：

百度查询： 中国人民解放军国防科技大学 一种无人机收集数据的轨迹规划方法、装置、设备及介质