买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳泓越信息科技有限公司

摘要：本发明涉及一种基于MADDPG算法的低轨卫星物联网任务卸载方法，属于无线通信领域。该方法包括：S1：建模系统模型；S2：建模物联网设备任务模型；S3：建模任务卸载模型；S4：建模任务队列模型；S5：建模任务成本模型；S6：建模系统效用模型；S7：建模系统效用优化限制条件；S8：建模马尔可夫决策过程；S9：基于MADDPG算法确定任务卸载及功率分配策略。本发明通过引入MADDPG算法对低轨卫星物联网设计任务卸载及功率分配策略，实现系统效用最大化。

主权项：1.基于MADDPG算法的低轨卫星物联网任务卸载方法，其特征在于：该方法包括以下步骤：S1：建模系统模型；S2：建模物联网设备任务模型；S3：建模任务卸载模型；S4：建模任务队列模型；S5：建模任务成本模型；S6：建模系统效用模型；S7：建模系统效用优化限制条件；S8：建模马尔可夫决策过程；S9：基于MADDPG算法确定任务卸载及功率分配策略；所述S1中，建立系统模型具体为：网络中有M个卫星，定义Sm表示第m个卫星，Sm部署有移动边缘计算MEC服务器，服务器缓存区大小为计算能力为网络中有N个物联网设备，定义Dn表示第n个物联网设备，设备的任务缓存区大小为计算能力为Dn采用正交频分多址模式将任务卸载至卫星的MEC服务器，令Bm表示Sm的可用带宽，关联Sm的物联网设备可获得的带宽为其中K表示单个卫星所能关联的最大用户数量；系统时间划分为T个时隙，每个时隙长度为τ；所述S2中，建立物联网设备任务模型具体为：每个时隙Dn至多产生一个计算任务；令on,j表示Dn在时隙j产生的任务，建模on,j为其中wn,j表示任务权值，In,j表示on,j所携带的数据量大小，数据量In,j与完成任务所需的计算资源量θn,j之间的关系满足θn,j＝ξIn,j，其中ξ为常数；表示任务最大容忍时延；所述S3中，建模任务卸载模型具体为：定义任务卸载变量xn,m,i,j∈{0,1}，若Dn在时隙i将时隙j到达的任务卸载到Sm，则xn,m,i,j＝1，否则xn,m,i,j＝0，1≤m≤M；令xn,0,i,j表示任务本地执行变量，xn,0,i,j＝1表示Dn在时隙i本地执行时隙j到达的任务，否则xn,0,i,j＝0；定义任务拆分变量ηn,m,i,j∈[0,1]表示Dn在时隙i将时隙j到达的任务卸载至Sm时，所卸载任务量占原数据量的比例，1≤m≤M；令ηn,0,i,j∈[0,1]表示Dn在时隙i本地执行时隙j到达任务的数据量比例；所述S4中，建模任务队列模型具体为：物联网设备和卫星均设置任务缓冲队列，物联网设备将各时隙到达的任务缓存在任务队列中，在相应的任务调度时隙将任务传输至卫星执行或进行本地执行；定义表示Dn在时隙i的任务队列长度，队列更新公式建模为： 定义表示Sm在时隙i的任务队列长度，队列更新公式建模为： 其中，yn,m,i,j∈{0,1}为星上任务执行变量，若yn,m,i,j＝1表示Sm在时隙i开始执行时隙j到达的Dn的任务，否则yn,m,i,j＝0；所述S5中，建模任务执行成本模型具体为：Cn,j表示执行任务on,j对应的任务成本函数，建模为：Cn,j＝αTn,j+βEn,j，其中α，β是常数，Tn,j及En,j分别表示执行任务on,j所需时延及能耗，建模Tn,j为其中表示任务on,j在本地执行前的排队时延，表示任务on,j本地执行时延，表示为： 表示任务on,j卸载至卫星执行前的本地排队时延，表示Dn将任务on,j卸载至卫星所需总时延，包括任务传输、星上排队及执行时延，具体为： 其中表示Dn将任务on,j卸载至Sm所需传输时延，建模为： 其中Rn,m,i,j表示时隙i，Dn与Sm之间的星地链路传输速率，建模为： 其中σ2是噪声功率，是Dn的最大传输功率，zn,m,i,j∈[0,1]表示Dn在时隙i传输任务on,j至Sm时的功率分配比例，hn,m,i是时隙i，Dn与Sm之间信道增益，表示为其中和分别是Dn的发射天线增益和Sm的接收天线增益，Lpt表示星地链路的雨衰，Ln,m,i表示Dn在时隙i传输任务至Sm的链路自由空间损耗，表示为：其中c表示光速，dn,m,i表示Dn在时隙i与Sm之间的距离；f0表示载波频率；表示任务on,j在Sm缓存队列中的排队时延；表示Sm在时隙i开始执行任务on,j所需执行时延，表示为： En,j建模为其中表示本地执行任务on,j的能耗，表示为： 其中表示Dn的能耗系数；表示Dn传输任务on,j至卫星所需传输能耗，表示为： 表示卫星执行任务on,j所需能耗，表示为： 其中，表示Sm的能耗系数；所述S6中，建模系统效用模型具体为： 其中Un,j表示系统执行任务on,j获得的效用，建模为：Un,j＝δn,jwn,j-γCn,j其中γ为权值，δn,j表示任务收益变量，若则δn,j＝1，否则，δn,j＝0，也即：所述S7中，建模系统效用优化限制条件具体为：建模任务卸载变量约束条件为： 若xn,m,i,j＝1，满足1≤m≤M，则其中为任务on,j传输速率阈值；若xn,0,i,j＝1，则： 建模任务拆分变量约束条件为：0≤ηn,m,i,j≤1；若则当m＞0时，当m＝0时，建模功率分配变量约束条件为：0≤zn,m,i,j≤1；建模星上任务调度约束条件为：若则若则： 所述S8中，建模马尔可夫决策过程具体为：将优化问题转化为马尔可夫决策过程，该过程包含状态空间、动作空间以及奖励三部分，具体如下：建模Dn在时隙i的状态空间其中表示Dn在时隙i任务队列长度，hn,i＝{hn,1,i,hn,2,i,…,hn,M,i}为Dn与卫星之间的信道增益集合，为队列中的任务需求集合，为卫星的任务队列长度，则系统在时隙i联合状态空间表示为建模Dn在时隙i的动作空间其中xn,i＝{xn,0,i,…,xn,M,i}表示Dn任务卸载策略集合，xn,m,i＝{xn,m,i,1,…xn,m,i,i}；yn,i＝{yn,1,i…yn,M,i}表示卫星执行Dn的任务调度策略的集合，yn,m,i＝{yn,m,i,1…yn,m,i,i}；zn,i＝{zn,1,i,…,zn,M,i}表示传输功率分配策略集合，zn,m,i＝{zn,m,i,1…zn,m,i,i}；ηn,i＝{ηn,0,i…ηn,M,i}表示任务拆分策略集合，ηn,m,i＝{ηn,m,i,1…ηn,m,i,i}；系统在时隙i联合动作空间表示为建模系统在时隙i获得的奖励为所述S9中，采用MADDPG算法确定任务卸载策略和功率分配策略具体为：将N个物联网设备视为N个智能体，每个智能体包括四个神经网络，分别为演员网络、评论家网络、目标演员网络、目标评论家网络；对于Dn，Dn的演员网络表示为其中，θn是Dn的演员网络的参数；Dn的评论家网络表示为其中为所有物联网设备的联合状态观测值集合，ωn为评论家网络的参数；Dn的目标演员网络表示为θ′n为目标演员网络的参数；Dn的目标评论家网络表示为ω′n为目标评论家网络的参数；Dn从初始状态到终止状态的期望回报写为：其中，pμ是状态的分布，γ∈[0,1]是折扣因子；建模策略梯度计算公式用于演员网络的更新，对θn求梯度，得到： 其中，表示经验回放池，将转移样本存放在其中，在更新演员网络参数时进行采样更新；表示所有物联网设备在状态采取动作到达的新状态的观测值集合；建模损失函数用于评论家网络的更新： 其中，yn是目标网络的估计值，表示如下： 在每个回合，Dn的目标演员网络参数θ′n更新公式为：θ′n←εθn+1-εθ′n；Dn的目标评论家网络参数ω′n更新公式为：ω′n←εωn+1-εω′n；给定系统初始状态，运行MADDPG算法，迭代更新演员网络和评论家网络参数，直至算法收敛，利用训练完成的演员网络确定低轨卫星物联网任务卸载及功率分配策略。

全文数据：

权利要求：

百度查询： 深圳泓越信息科技有限公司 基于MADDPG算法的低轨卫星物联网任务卸载方法