买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜中国科学院空天信息创新研究院申请的专利基于深度强化学习的架空线路规划方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118297255B 。

龙图腾网通过国家知识产权局官网在2025-04-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410684632.8，技术领域涉及：G06Q10/047；该发明授权基于深度强化学习的架空线路规划方法是由陈嘉辉;彭玲;杨颐;杨丽娜;张雯悦设计研发完成，并于2024-05-30向国家知识产权局提交的专利申请。

本基于深度强化学习的架空线路规划方法在说明书摘要公布了：本发明提供了一种基于深度强化学习的架空线路规划方法，属于智慧电网领域。所述方法包括，步骤1、将智能体在连续状态空间的路径规划过程建模为马尔科夫决策过程，设计双目标路径规划模型；步骤2、为双目标路径规划模型设计奖励函数；步骤3、利用经验四元组检测智能体的行进路线是否违规；步骤4、基于深度强化学习对双目标路径规划模型进行优化。所述方法能够快速准确规划出多条选线结果，大幅提高规划人员工作效率。

本发明授权基于深度强化学习的架空线路规划方法在权利要求书中公布了：1.一种基于深度强化学习的架空线路规划方法，其特征在于，包括如下步骤：步骤1、将智能体在连续状态空间的路径规划过程建模为马尔科夫决策过程，设计双目标路径规划模型，其中，在所述马尔科夫决策过程中，所述智能体的状态表示包括以高斯分布热力图对智能体进行位置表示；步骤2、为双目标路径规划模型设计奖励函数；步骤3、利用经验四元组检测智能体的行进路线是否违规；步骤4、基于深度强化学习对双目标路径规划模型进行优化；所述步骤1包括：设置架空线路规划问题的输入和输出，其中，所述输入为预先配置的地图，并给出地图上的起始点与目的地点坐标，所述输出为在地图中规划出智能体从起始点到目的地点的路径τ，设计双目标路径规划模型并使双目标的线性组合最大化，所述双目标包括主目标和子目标，主目标为最小化规划路径距离，子目标为最小化规划路径的中间点个数；其中，，是对子目标进行加权的超参数，表示规划路径的距离，表示规划路径的中间点个数；所述步骤2包括，设计奖励函数如下式： ，其中，表示与规划路径的距离相关的主目标奖励，表示子目标奖励，为预设的用于权衡主目标和子目标的超参数，表示终止奖励，当智能体到达目的地点时，中间参数为1，反之为0；基于下式计算与规划路径的距离相关的主目标奖励，以使得智能体的新位置比上一个位置靠近目的地点： ，其中，表示智能体的上一个位置，表示智能体的当前位置，表示目的地点的位置；所述步骤3包括：设置经验四元组用来记录学习过程，t为当前步，分别表示智能体的当前状态，智能体的当前动作，智能体根据策略π执行智能体的当前动作后的即时奖励，智能体的下一状态，智能体的当前状态对智能体的行进路线进行如下检测：是否跨越或走入，是否走入，是否走出预先配置的地图以及是否到目的地点，若其中之一发生则结束此次路径规划，表示不可跨越也不可安置杆塔类的障碍，表示可跨越不可安置杆塔的障碍，将每一步的检测过程记录为一组经验四元组后重新从起点开启新一轮检测及检测结果的收集，记录的经验四元组被收集用于进行Q网络结构的训练，所述Q网络结构用于衡量在状态s下采取行为a的策略的质量；对于探索空间，智能体以概率随机选择一个动作，或者使用神经网络学习结果生成的新动作，其中： ，其中，表示策略对应的期望值； ，式中，，[0,1]为折扣因子，用于衡 量未来步骤产生的奖励的重要性。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中国科学院空天信息创新研究院，其通讯地址为：100190 北京市海淀区北四环西路19号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。