买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

摘要：本发明公开了一种云边端合作的边缘计算方法，使用基站、无人机和任务处理设备协作帮助移动设备处理计算任务，采用DDQN深度强化学习求解卸载策略，使用拉格朗日对偶法求解无人机的总资源分配，使用遗传算法求解无人机的部署。本发明综合考虑了网络内的所有可利用的计算设备，有效地降低计算任务的系统处理能耗，提高用户的服务质量，具有一定灵活性。本发明采用DDQN深度强化学习计算得到最优卸载策略，能够以较低的复杂度获得大量移动设备的卸载动作，能够适应动态的环境变化。降低复杂度后一是可以节约计算资源，降低移系统的功耗，二是节约计算时间，可以提高系统的实时性，三是高效利用太阳能清洁能源。

主权项：1.一种云边端合作的边缘计算方法，其特征在于：针对基站所对应的目标区域，由基站、各移动设备、各无人机、各任务处理设备构成的云边端系统，基于各移动设备产生的计算任务，执行以下步骤，获得云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载策略，无人机的计算资源分配策略，以及各无人机在目标区域内的位置部署策略：步骤A：基于目标区域内的各移动设备与基站通信，各移动设备将产生的计算任务的数据量和产生计算任务时各移动设备的位置数据传输给基站；步骤B：初始化各无人机位置部署，检查无人机自身电量状况；步骤C:针对云边端系统，基于移动设备的计算任务卸载到基站、无人机或任务处理设备计算分别对应的能耗，以降低云边端系统总能耗为目标构建云边端系统的优化问题；步骤D:基于云边端系统构建的优化问题，针对步骤A中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，循环执行步骤D1至步骤D3，直到结果收敛或者达到最大循环迭代次数，获得云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载策略，无人机的计算资源分配策略，以及各无人机在目标区域内的位置部署策略：步骤D1:基于云边端系统构建的优化问题，根据各无人机位置部署，针对步骤A中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，采用深度强化学习方法求解云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载决策；上述步骤D1的具体过程如下：基于云边端系统构建的优化问题，根据各无人机位置，针对步骤A中基站接收到各移动设备传输的计算任务的数据量与产生计算任务时各移动设备的位置数据，采用DDQN的深度强化学习方法循环执行步骤D1.1至步骤D1.5,直到达到最大循环次数或者损失函数的绝对值小于预设阈值，得到云边端系统中移动设备的计算任务卸载到基站、无人机或任务处理设备的卸载决策；步骤D1.1：获得t时隙下云边端系统的状态，即t时隙下云边端系统中所有移动设备的计算任务的数据量Dt和位置数据Lt，状态表示为St＝Dt,Lt；步骤D1.2：DDQN网络内有包括移动设备的卸载决策动作的动作空间At，移动设备的卸载决策动作包括卸载到基站、无人机或任务处理设备；步骤D1.3：将t时隙下云边端系统的状态St输入进DDQN网络中，基于输出动作空间At中各个动作的价值，再结合∈-greddy准则选择生成的动作at，并计算出云边端系统能耗的负值作为DDQN的奖励，记为rt；并更新t+1时隙的状态St+1，步骤D1.4：将步骤D1.1和步骤D1.3生成的St,at,rt,St+1,存入到记忆库中，若记忆库中的数据已经满了，则用新的数据逐个覆盖旧的数据；步骤D1.5：当记忆库中的数据达到预设数量后，抽取记忆库中预设数量的数据训练DDQN网络；DDQN网络内包含预测网络、目标网络，所述损失函数L为：L＝Q预测-Q目标2Q预测＝QSt,atQ目标＝rt+dQSt+1,at+1式中，Q预测为基于St、at输入到DDQN的预测网络中得到的预测输出值，Q目标为基于rt、St+1、at+1输入到DDQN的目标网络得到的目标输出值；步骤D2:基于步骤D1中求解的云边端系统卸载策略，以及各无人机位置部署，采用拉格朗日对偶法求解承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源；上述步骤D2的具体过程如下：步骤D2.1：步骤D2:基于步骤D1中求解的云边端系统卸载策略，以及各无人机位置部署，将云边端系统的优化问题重塑为： s.t.约束1：T1TQoS约束4：约束5：式中，F表示无人机资源分配矩阵；H表示卸载动作为卸载给无人机的移动设备集合，E1表示卸载给无人机的卸载动作所对应的系统总能耗；T1表示卸载给无人机的卸载动作所对应的系统总时间，约束1表示每个任务的处理时间不能超过自身的服务质量时间TQoS；约束4表示当第j个无人机为第i个移动设备服务时，无人机的剩余能量EUt应该大于此次任务处理所需要的能量表示第j个无人机计算第i个移动设备的计算任务的计算能耗；约束5表示无人机分配给移动设备计算资源不能超过无人机的计算资源上限fmax；步骤D2.2：引入广义拉格朗日函数，步骤D2.1的问题变化为 其中，αj、βj、γj是拉格朗日算子，j指代第j个无人机，是关于αj，βj，γj的函数；步骤D2.3：定义函数 若约束有一个不满足，将趋近于无穷，得出 综上，在满足约束的情况下，步骤D2.4：定义关于αj，βj，γj的函数 步骤D2.5：定义重塑问题的对偶问题 求解对偶问题的解即可求解重塑问题的解，得到承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源；步骤D3:基于步骤D1中求解的云边端系统卸载策略，以及步骤D2中求解的无承载了计算任务的各无人机分别为其所对应的计算任务分配的计算资源，采用遗传方法求解各无人机在目标区域内的位置部署，进而实现无人机群中各无人机位置的更新；上述步骤D3的具体过程如下：步骤D3.1：将各个无人机的位置均采用预设长度的二进制表示，位数不够的在前面补0；步骤D3.2：基于各个采用预设长度的二进制表示位置的无人机，生成一个无人机种群，其中无人机的总个数为I，每个无人机都是一个无人机个体，无人机种群公式可以表示为： 步骤D3.3：从种群I中随机抽取K个无人机个体作为父本，再随机抽取K个无人机个体作为母本，构成一组；步骤D3.4，对于每一组父本和母本，确定两个十进制随机数，两个随机数之和小于无人机个体长度对应的十进制数；将母本前端到第一个随机数长度的DNA和母本后端到第二个随机数长度的DNA替换掉父本中对应的部分，得到新的个体；步骤D3.5，对于新的个体每个位数都以预设概率变异，即1变为0，0变为1，若新个体满足无人机位置的约束即保留；步骤D3.6，将新的个体与对应的父体分别代入目标函数中进行比较，保留能耗较少的一方；步骤D3.7，反复迭代步骤D3.3至步骤D3.6，直到达到设定的迭代次数，得到筛选后的无人机种群；步骤D3.8，从筛选后的无人机种群中，抽取预设无人机个数的无人机位置部署，作为当前无人机在目标区域的位置部署。

全文数据：

权利要求：

百度查询： 南京信息工程大学 一种云边端合作的边缘计算方法