买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川轻化工大学

摘要：本发明公开了一种在多接入边缘计算中具有隐私保护的计算卸载方法，属于多接入边缘计算领域，该方法包括获取包括N个用户设备和M个边缘服务器的多接入边缘计算环境，并根据多接入边缘计算环境，获取计算卸载过程中的延迟、能耗、任务丢弃量和隐私熵；权衡各用户设备的卸载决策，权衡隐私熵、延迟、能耗和任务丢弃量，搭建计算卸载过程中的QoS服务模型；采用双延迟深度确定性策略梯度算法求解计算卸载过程中的QoS服务模型，获得最优计算卸载策略；基于最优计算卸载策略进行计算卸载。本发明解决了现有方法忽略了样本的重要性差异，导致学习率低下，训练不稳定的问题。

主权项：1.一种在多接入边缘计算中具有隐私保护的计算卸载方法，其特征在于，包括以下步骤：S1、获取包括个用户设备和个边缘服务器的多接入边缘计算环境，并根据多接入边缘计算环境，获取计算卸载过程中的延迟、能耗、任务丢弃量和隐私熵；S2、权衡卸载过程中的延迟、能耗、任务丢弃量和隐私熵，得到计算卸载过程中的QoS服务模型；S3、采用双延迟深度确定性策略梯度算法求解计算卸载过程中的QoS服务模型，获得最优计算卸载策略；所述步骤S3具体为：S301、获取第个用户设备在时隙的初始状态向量： 其中，为第个用户设备在时隙的初始状态向量；为第个用户设备的计算任务；为第个用户设备的横坐标；为第个用户设备的纵坐标；S302、根据第个用户设备在时隙的初始状态向量，分别对任务特征和坐标特征进行归一化，得到归一化后的任务特征和坐标特征： 其中，为归一化后的任务特征；为任务特征的最小值；为任务特征的最大值；为归一化后的第个用户设备的横坐标；为横坐标的最小值；为横坐标的最大值；为归一化后的第个用户设备的纵坐标；为纵坐标的最小值；为纵坐标的最大值；S303、根据归一化后的任务特征和坐标特征，得到第个用户设备的当前状态；S304、根据第个用户设备的当前状态以及基于当前状态，利用目标actor网络得到的当前策略，选择动作： 其中，为第时隙选择的动作；为第个用户设备卸载至第1个边缘服务器处理的任务；为第个用户设备卸载至第2个边缘服务器处理的任务；为第个用户设备本地处理的任务；为第个用户设备卸载至第个边缘服务器处理的任务；为第个用户设备将任务卸载到第1个边缘服务器的传输功率；为第个用户设备将任务卸载到第2个边缘服务器的传输功率；为第个用户设备的计算功率；为第个用户设备将任务卸载到第个边缘服务器的传输功率；S305、执行动作后，观察奖励和下一时隙的初始状态向量，对下一时隙的初始状态向量进行归一化处理，得到下一时隙的状态，并将样本储存到优先经验回放池；所述奖励的表达式为： 其中，为计算卸载过程中的QoS模型；为隐私熵的权衡因子；为第个用户设备计算卸载过程中的隐私熵；为延迟的权衡因子；为第个用户设备计算卸载过程中的延迟；为能耗的权衡因子；为第个用户设备的计算卸载过程中的能耗；为任务丢弃率的权衡因子；为第个用户设备计算卸载过程中的任务丢弃量；S306、重复步骤S301-S305获取不同时隙的样本，直至优先经验回放池中样本数达到初始设定值；S307、以优先经验回放的形式从优先经验回放池中抽取样本集；所述步骤S307具体为基于样本重要性以优先经验回放的形式从优先经验回放池中抽取样本集；所述样本重要性的表达式为： 其中，为优先经验回放池中第个样本的样本重要性；为优先经验回放池中的样本总数；为优先经验回放池中第个样本的采样概率；为优先经验回放池中样本编号；为用于控制权重的变化幅度的参数；为优先级参数；为上一轮迭代中样本的优先级；S308、对样本集中各样本，分别利用目标actor网络和目标critic网络，得到若干个与样本一一对应的目标价值： 其中，为样本集中第个样本的目标价值；为样本集中样本编号；为样本集中第个样本对应的奖励；为用于计算未来奖励的当前价值的折扣因子；为最小值函数；为第1个目标critic网络对第个样本对应的新状态和动作的输出；为加入噪声的动作；为第1个目标critic网络的参数；为第2个目标critic网络对第个样本对应的新状态和动作的输出；为第2个目标critic网络的参数；为目标actor网络对第个样本对应的新状态的输出动作；为限制噪声值范围的函数；为用于目标策略平滑的噪声；为噪声限制值；S309、根据样本集中各样本及各样本对应的目标价值，以最小化损失函数为目标更新两个critic网络；S3010、在各所述critic网络的更新次数达到阈值后，更新actor网络；所述actor网络的更新公式为： 其中，为actor网络的更新公式；为从优先经验回放池中采样状态的期望；为样本集中第个样本对应的状态；为样本集中样本编号；为动作的梯度；为样本集中第个样本对应的动作；为第1个critic网络和第2个critic网络中对状态和动作的输出的较小值；为选定的critic网络的参数；为表示在等于的情况下的符号；为由actor网络基于状态得到的策略；为actor网络输出关于的梯度；为actor网络的输出；为actor网络的参数；S3011、采用目标软更新的方式，分别更新目标actor网络和两个目标critic网络；S3012、获取当前迭代轮次产生的新样本，并将新样本储存到优先经验回放池；S3013、更新优先经验回放池中各样本的优先级： 其中，为第轮迭代中优先经验回放池中第个样本的优先级；为优先经验回放池中样本编号；为最大值函数；为第轮迭代中第1个critic网络计算的第个样本的TD误差；为第轮迭代中第2个critic网络计算的第个样本的TD误差；为调节参数，为正数；为绝对值；为当前第1个critic网络对第个样本的状态和动作的输出函数；为当前第2个critic网络对第个样本的状态和动作的输出函数；为利用当前目标actor网络和当前目标critic网络，得到的第个样本的目标价值；S3014、重复步骤S307-S3013，直至目标actor网络和两个目标critic网络均收敛到稳定值，获得最优计算卸载策略；S4、基于最优计算卸载策略进行计算卸载，实现多接入边缘计算中具有隐私保护的计算卸载。

全文数据：

权利要求：

百度查询： 四川轻化工大学 一种在多接入边缘计算中具有隐私保护的计算卸载方法