买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东新一代信息产业技术研究院有限公司

摘要：本发明公开了基于启发式Q‑learning算法的无人机协同搜索方法及系统，属于无人机协同搜索领域，本发明要解决的技术问题为现有无人机搜索方法效率低下、可靠性低，技术方案为：该方法具体如下：S1、建立无人机动力模型和搜索环境感知地图；S2、建立无人机搜索奖励和启发式奖励机制：基于步骤S1中建立的无人机动力模型、环境感知地图以及无人状态，设计优秀的无人机搜索奖励机制；S3、无人机采用启发式Q‑learning算法，利用步骤S2建立的无人机搜索奖励机制对搜索区域进行探索，并规划搜索路径，实现无人机最优的搜索；S4、无人机根据步骤S3的搜索结果，更新搜索环境感知地图；S5、多无人机环境感知地图的属性值融合；S6、重复步骤S3‑步骤S5，至到搜索到全部目标。

主权项：1.一种基于启发式Q-learning算法的无人机协同搜索方法，其特征在于，该方法具体如下：S1、建立无人机动力学模型和搜索环境感知地图；S2、建立无人机搜索奖励和启发式奖励机制：基于步骤S1中建立的无人机动力模型、环境感知地图以及无人状态，设计无人机搜索奖励机制；S3、无人机采用启发式Q-learning算法，利用步骤S2建立的无人机搜索奖励机制对搜索区域进行探索，并规划搜索路径，实现无人机最优的搜索；S4、无人机根据步骤S3的搜索结果，更新搜索环境感知地图；S5、多无人机环境感知地图的属性值融合：无人机与通信范围内的无人机进行信息互通，交换并融合搜索环境地图感知信息；S6、重复步骤S3-步骤S5，至到搜索到全部目标；其中，无人机搜索奖励和启发式奖励机制具体如下：S201、搜索奖励r由rA，rB，rC，rD四个部分组成，公式如下：r＝w1rA+w2rB+w3rC+w4rD；其中，rA表示目标存在概率值奖励；rB表示不确定值奖励；rC表示飞行代价奖励；rD表示期望搜索奖励；S202、目标存在概率值奖励rA的设置具体如下：rA＝1-σx,y,k*px,y,k； 其中，σx,y,k表示无人机是否认为x,y存在目标；当px,y,kp_max,无人机认为x,y处存在目标；S203、不确定值奖励rB的设置具体如下：rB＝χx,y,k+1-χx,y,k；S204、飞行代价奖励rC的设置具体如下： S205、期望探索代价rD的设置具体如下： S206、启发式奖励机制设置：启发式奖励机制，吸引无人机朝全局目标存在概率值最大的地方移动，并远离地图边界；S207、启发式奖励与搜索奖励共同构成了启发式强化学习的奖励机制，公式如下： 其中，D和F表示启发因子；D表示地图任意位置到全局地图目标存在概率值最大位置的距离；F表示地图无人机位置到地图4条边的距离最小值；c和d表示调节系数；启发式Q-learning算法具体如下：S301、建立Q表，初始化设置Qs,a为任意值，初始化设置跟踪迹es,a＝0；S302、循环:初始化无人机状态s；循环对回合内的每一步：依据深度学习Q表，依据启发式动作选择策略选择动作a；采取动作a，获得启发式奖励r与下一个状态s’，形式如下： es，a←1；s←s′；式中，es，a为无人机在s状态下采取动作a的资格迹；γ为折扣因子；δ为Q的增量；对无人机所有的状态s’进行价值函数和资格迹更新，形式如下：Qs，a←Qs，a+αδes，a；es，a←γλes，a；式中，α为学习率；λ为学习步长；直到回合步数结束；直到所有的Qs，a收敛；S303、输出最终策略，公式如下： 式中，π*为无人机最优策略；Qs，a为无人机在状态s执行a动作的动作价值函数值；设置启发式动作选择机制，利用调和函数Es，a的启发式信息来改善动作选择策略，使得无人机驶向目标存在概率值最大区域的倾向，公式如下： 式中，Es，a为无人机在s状态执行a动作的调和函数值；ε∈0，1为随机概率值；arandom为动作集随机选择选择一个动作；当智能体在s状态下进行动作选择时，有ε概率选择该状态下价值函数和调和函数之和最大的动作，有1-ε概率随机选择动作，公式如下： 其中，pk表示无人机在k时刻所在位置；pp_max表示目标存在概率值最大的位置；η表示正系数，用于调节调和函数Es，a的大小。

全文数据：

权利要求：

百度查询： 山东新一代信息产业技术研究院有限公司 基于启发式Q-learning算法的无人机协同搜索方法及系统