买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国人民解放军国防科技大学

摘要：本申请公开一种基于跨尺度深度强化学习的旅行商问题求解方法与装置，该方法包括获取无人机的待监测地信息；将所述无人机的待监测地路径规划问题转换为TSP问题；根据所述待监测地信息，基于各待监测地路径规划实例通过BHH定理确定最佳路径长度与待监测地数量之间的比率关系；根据所述比率关系调整奖励函数；根据调整后的奖励函数和改进后的REINFORCE算法得到训练后的DRL模型，并通过所述训练后的DRL模型求解所述待监测地路径规划问题。通过本申请的方案能够同时求解得到不同尺度下最优的路径规划策略，高效地完成无人机的大规模监测。

主权项：1.一种基于跨尺度深度强化学习的旅行商问题求解方法，其特征在于，包括：获取无人机的待监测地信息；将所述无人机的待监测地路径规划问题转换为TSP问题；根据所述待监测地信息，在所述TSP问题的DRL模型训练中，基于各待监测地路径规划实例通过BHH定理确定最佳路径长度与待监测地数量之间的比率关系；根据所述比率关系调整奖励函数；根据调整后的奖励函数和改进后的REINFORCE算法得到训练后的DRL模型，并通过所述训练后的DRL模型求解所述待监测地路径规划问题；其中将所述无人机的待监测地路径规划问题转换为TSP问题包括：获取所述待监测地路径规划问题的数学表示，其中，将所述待监测地路径规划的过程表示为无向完整图，并获得所述待监测地点间的欧几里得距离，以及所述待监测地路径规划对应解的总长度，其中，表示待监测地集，表示所述待监测地之间路径的集合，表示所述待监测地路径规划的解，表示的总长度，表达式如下：；其中，表示上的第个待监测地，是的待监测地数量；将所述待监测地路径规划问题转化为马尔可夫决策过程，获取待监测地路径规划问题生成解的策略和所述奖励函数；构建神经网络模型实现所述马尔可夫决策过程；所述待监测地路径规划问题生成解的策略表达式如下： 其中，表示待监测地路径规划实例；所述奖励函数的表达式如下： 其中，，并且表示所有得到的路径的奖励值的期望，表示模型在参数为时，在给定问题实例的情况下，给出这个路径作为解的概率；所述根据所述待监测地信息，在所述TSP问题的DRL模型训练中，基于各待监测地路径规划实例通过BHH定理确定最佳路径长度与待监测地数量之间的比率关系，包括：在所述待监测地路径规划实例中的点在单位平方内随机均匀分布的条件下，所述最佳路径长度与涉及的待监测地数量之间存在关系表达式： ；其中，表示所述单位平方内的点，表示所述待监测地数量，是贯穿所有点的最短路径长度，和为常数；确定所述各待监测地路径规划实例的所述最佳路径长度与所述待监测地数量之间的比率关系的范围，公式如下： ；所述根据所述比率关系调整奖励函数，包括：根据所述比率关系中的缩减对DRL中的奖励函数进行调整，调整后的奖励函数表达式如下： ；其中，表示的待监测地数量；所述改进后的REINFORCE算法的计算公式如下： ；其中，b表示每个批次里的所述待监测地路径规划实例的数量。

全文数据：

权利要求：

百度查询： 中国人民解放军国防科技大学 基于跨尺度深度强化学习的旅行商问题求解方法与装置