买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京科技大学

摘要：本发明提供一种针对智能窃听者的安全计算卸载方法和系统，包括：构建存在智能窃听者的多无人机辅助的移动边缘计算网络的系统模型和计算任务的两阶段卸载模型；计算系统的总延迟和能耗，设计最大最小的优化问题并分解为两个子问题，对于合法无人机和窃听无人机，优化目标分别是最大化和最小化计算任务的执行效率；以MAPPO算法为基础算法，结合零和博弈思想，将两个子问题转化为两个部分可观测的马尔可夫博弈，进行对抗多智能体强化学习，合法无人机和窃听无人机交替作为MAPPO的智能体与环境交互，分别以最大化和最小化计算任务的执行效率为目标优化各自的策略，直至收敛，得到最优的安全计算卸载方案。本发明在对抗智能窃听无人机时有显著的优势。

主权项：1.一种针对智能窃听者的安全计算卸载方法，其特征在于，所述方法包括：S1、构建存在智能窃听者的多无人机辅助的移动边缘计算网络的系统模型和计算任务的两阶段卸载模型；S2、根据所述系统模型和两阶段卸载模型，计算系统的总延迟和能耗，并设计最大最小的优化问题，所述最大最小的优化问题的目标是使计算任务的最小执行效率最大化；S3、将所述最大最小的优化问题分解为合法无人机优化和窃听无人机优化两个子问题，对于合法无人机，优化目标是最大化计算任务的执行效率，对于窃听无人机，优化目标是最小化计算任务的执行效率；S4、以多智能体近端策略优化MAPPO算法为基础算法，结合零和博弈思想，将所述两个子问题转化为两个部分可观测的马尔可夫博弈，进行对抗多智能体强化学习，合法无人机和窃听无人机交替作为MAPPO的智能体与环境交互，分别以最大化和最小化计算任务的执行效率为目标优化各自的策略，直至收敛，得到最优的安全计算卸载方案；所述S1的构建存在智能窃听者的多无人机辅助的移动边缘计算网络的系统模型和计算任务的两阶段卸载模型，具体包括：S11、构建系统模型，包括：一个基站、多个合法无人机、多个非法的窃听无人机以及多个终端设备，在所述系统中，终端设备生成计算任务，然后将部分或全部任务卸载给基站或合法无人机，在计算任务卸载过程中，窃听无人机会根据周围环境动态调整自己的飞行轨迹，执行任务窃听；S12、将持续秒的时间离散为个相等的时隙，每个时隙持续秒，在每个时隙中，终端设备生成一个计算任务，其中是数据的大小，是执行计算任务所需的CPU转数，是计算任务的最大延迟约束，计算任务在最大延迟约束内完成，要完成,终端设备将卸载到基站或合法的无人机进行处理；S13、定义一个矩阵来编码终端设备的安全计算卸载方案，是一个维的向量，其中所有元素都是二进制的，表示卸载到基站，而表示卸载到合法无人机，终端设备在每个时隙中最多选择一个位置来卸载计算任务，，并且在每个时隙中选择相同的合法无人机进行计算卸载的终端设备的数量不能超过预设值，；S14、构建计算任务的两阶段卸载模型；在第一阶段，如果终端设备在合法无人机的通信范围内，则将全部或部分计算任务卸载到合法无人机，，卸载率为，否则将计算任务全部或部分卸载到基站，，卸载率为，然后，在第二阶段，合法无人机接收卸载的计算任务，并将接收的计算任务中一部分卸载到基站，卸载率为；在卸载任务时，数据通信发生在终端设备、合法无人机、基站和窃听无人机之间，终端设备将计算任务卸载给合法的无人机，通信链路为或基站，通信链路为，在此期间窃听无人机窃听数据，通信链路为，合法无人机接收到计算任务后，将部分计算任务转发给基站，通信链路为，在此期间窃听无人机对数据，通信链路为，进行窃听，通信链路的集合表示为；引入三维笛卡尔坐标系统CCS来编码设备之间的距离，对于每个时隙，使基站位于CCS的原点，用表示，终端设备的位置为，窃听者无人机的位置为，合法无人机的位置为，合法无人机和窃听无人机在边长为的方形目标区域上方最小距离到最大距离的高度范围内飞行，由于通信无人机的覆盖范围有限，终端设备要将计算任务卸载到合法无人机,两者的水平距离需要满足以下条件： ；其中，，为合法无人机的天线的仰角；所述S2中根据所述系统模型和两阶段卸载模型，计算系统的总延迟和能耗，具体包括：S21、计算在中每个通信链路的信道增益；给定两个设备的位置和，通信链路的信道增益计算函数定义为： ；其中，上面的的公式用于视距LoS链路，下面的的公式用于非视距NLoS链路，其中为参考距离为1米时的信道功率增益，为LoS的路径损耗指数，为NLoS的路径损耗指数，为小尺度衰落，假设为均值为零、单位方差为零的瑞利衰落；假设仅终端设备和基站的数据传播类型为NLoS，其他的数据传播类型均为LoS，所以通信链路的集合中的通信链路的信道增益为： , , , , ；S22、在得到信道增益后，根据香农公式计算出中每个通信链路中的数据传输速率，它是有关信道带宽、信号功率、噪声功率的函数： ；则通信链路的数据传输速率表示为： ；其中,，是通信无人机使用两根天线同时接收和发射信号引起的自干扰噪声，是自干扰系数，是通信无人机发出的人工噪声的功率，是通信无人机分配给终端设备的信道带宽占可用信道总带宽的比例，合法的无人机和基站共享总信道带宽的频谱资源，是终端设备将计算任务卸载到合法无人机时的传输功率，是合法无人机收到的选择不同位置进行计算卸载的终端设备的干扰噪声，为高斯噪声功率；则通信链路的数据传输速率表示为： ；其中，，，是基站分配给终端设备的信道带宽占可用信道总带宽的比例，是基站收到的选择合法无人机进行计算卸载的终端设备的干扰噪声；则通信链路的数据传输速率表示为： ；其中 ； 是窃听无人机收到合法无人机的人工干扰噪声，是窃听无人机收到选择不同位置进行计算卸载的其他终端设备的干扰噪声；则通信链路的数据传输速率表示为： ；其中,，，是基站分配给合法无人机的信道带宽占可用信道总带宽的比例,是合法无人机将计算任务转发给基站时的发射功率；则通信链路的数据传输速率表示为： ；其中,，；S23、计算通信时延和能耗；终端设备将计算任务卸载到合法无人机和基站，链路和的通信延迟为： 和,其中为终端设备将计算任务卸载到合法无人机时所能达到的安全数据传输速率，为终端设备将计算任务卸载到基站时所能达到的安全数据传输速率，定义为；这个过程中对应的通信能耗为和；合法无人机向基站，链路转发计算任务的通信延迟为： ；其中为选择合法无人机进行计算任务卸载的终端设备索引的集合，为合法无人机将计算任务转发给基站时所能达到的安全数据传输速率；这个过程中对应的通信能耗为；合法无人机发送干扰窃听人工干扰噪声的能耗为；S24、计算终端设备和合法无人机的计算延迟和能耗；如果将计算任务卸载到合法无人机，则终端设备处理的计算任务为，如果将计算任务卸载到基站，则为，则终端设备的计算延迟和能耗为： ,和,其中是终端设备的CPU主频，为终端设备的芯片架构相关常数；合法无人机处理的工作量为，因此合法无人机的计算延迟和能耗为： ,和,其中为合法无人机的芯片架构相关常数,为合法无人机分配给终端设备卸载的任务的CPU频率；S25、计算总延迟和能耗；一个任务通过卸载到基站或者卸载到合法无人机这两条路径完成，相应地，分别计算总延迟，基于计算延迟和通信延迟，完成终端设备的计算任务的总延迟表示为： ；考虑计算能耗和通信能耗，终端设备处理计算任务的总能耗为： ；额外考虑飞行能耗，假设它与飞行距离成正比，，其中是一个大于零的常数，因此合法无人机总能耗为，对于合法无人机，必须始终满足一个约束条件:能量消耗不大于其剩余能量；所述S2中设计最大最小的优化问题，具体包括：合法无人机集群对决策进行优化，智能窃听无人机集群根据周围环境对其轨迹规划决策进行优化，对于基站的决策，做如下假设:假设基站的信道带宽平等地分配给终端设备和合法无人机，，其中和分别是将计算任务卸载到基站的终端设备和合法无人机的数量；假设终端设备只将无法在延迟限制内独立完成的部分计算任务卸载给基站，；假设当终端设备选择将计算任务卸载给基站时，以最大功率进行传输，，其中为终端设备的最大传输功率；设计最大最小优化的优化问题，在对抗使用不同策略的窃听无人机时，使终端设备计算任务的最小执行效率最大化，表示为： ；其中为终端设备计算任务的执行效率，定义为,式中为指标函数，当为真时其值为1，否则为0，为所有终端设备从时隙1到时隙计算任务的执行成功率，表示为；所述S3，具体包括：对于合法无人机，优化目标是最大化终端设备计算任务的执行效率，因此对于任意给定的窃听无人机和基站的优化变量和，合法无人机的优化子问题表示为： ；对于窃听无人机，优化目标是最小化终端设备计算任务的执行效率，因此对于任意给定合法无人机和基站的优化变量和，窃听无人机的优化子问题表示为： ；所述S4中以多智能体近端策略优化MAPPO算法为基础算法，结合零和博弈思想，将所述两个子问题转化为两个部分可观测的马尔可夫博弈，具体包括：将合法无人机集群与窃听无人机集群之间的竞争问题转化为两个无人机集群的零和博弈，视为合法无人机集群通过优化子问题P2的决策来最大化终端设备计算任务的长期执行效率，而窃听无人机集群通过优化子问题P3的决策来最小化终端设备计算任务的长期执行效率；将子问题P2和P3，转化为两个部分可观测的马尔可夫博弈，其中分别包含和个智能体，每架无人机都是一个智能体，根据自己的不完全观测信息独立做出决策，两个部分可观测的马尔可夫博弈都包含一个共享的全局状态，一组观测，一组动作，以及一组奖励，其中状态：系统的全局共享状态表示观测：合法无人机和窃听无人机都只能获得不完全观测信息，合法无人机获得的观测信息包括自身位置、剩余能量、通信覆盖范围内最近的个终端设备位置以及生成的计算任务，窃听无人机获得的观测信息包括自身位置，此外，合法无人机和窃听无人机都获得其他无人机的位置，因此合法无人机n和窃听无人机k的观测值和表示为： ； ；其中为合法无人机n通信覆盖范围内最近的个终端设备的索引；动作：根据子问题P2和P3中的优化变量和，则合法无人机n和窃听无人机k的动作和表示为： ；奖励：根据子问题P2和P3，合法无人机集群和窃听无人机集群的优化目标分别是终端设备计算任务执行效率最大化和最小化，所以合法无人机n和窃听无人机k的奖励和表示为： ,；所述S4中进行对抗多智能体强化学习，合法无人机和窃听无人机交替作为MAPPO的智能体与环境交互，分别以最大化和最小化计算任务的执行效率为目标优化各自的策略，直至收敛，得到最优的安全计算卸载方案，具体包括：对合法无人机的策略和窃听无人机的策略进行交替优化，在第一阶段，优化合法无人机的策略，同时保持窃听无人机的策略固定，在第二阶段，固定合法无人机的策略，优化窃听无人机的策略，然后重复第一阶段和第二阶段，直到收敛，得到最优的安全计算卸载方案，包括：初始化所有合法无人机和窃听无人机的策略的参数,评论家网络的参数；在每个迭代中，执行一个两步交替优化过程：在每次迭代中，合法无人机和窃听无人机分别使用各自的策略和与环境交互以收集数据，并将收集的数据存入经验回放池中，然后固定窃听无人机的网络参数，同时利用重要性采样技术对所有合法无人机的网络参数进行多次更新：对于每个合法无人机，基于评论家网络计算广义估计优势，策略通过最小化截断目标函数来更新参数： ；其中将截断到和之间,是策略概率比，，为合法无人机与环境交互生成中的经验元组时策略网络的参数；评论家网络则通过最小化均方误差来更新参数：,其中表示从状态开始的累计折扣奖励；与当前的合法无人机的策略在环境中进行对抗，评估策略集中的所有窃听无人机的历史策略相应的计算任务的执行效率，并基于评估的结果计算策略集中所有窃听无人机的历史策略抽样概率，然后基于所计算抽样概率为窃听无人机选择策略，其中，为窃听无人机策略集中的策略数量；每次迭代中，合法无人机的网络参数固定，并利用重要性采样技术对所有窃听无人机的网络参数进行多次更新；将更新完的窃听无人机的策略放入策略集中。

全文数据：

权利要求：

百度查询： 北京科技大学 一种针对智能窃听者的安全计算卸载方法和系统