买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安交通大学

摘要：本发明公开了一种基于多目标强化学习的车联网计算卸载方法及系统，采用RMDDQN‑Learning方法根据车辆计算卸载过程的成本对成本模型进行多目标优化，得到多目标优化的帕累托最优解，满足车辆在计算卸载过程中涉及的多个优化目标同时得到优化，基于RBF神经网络的学习方法来学习每个目标的决策价值，从而更好动态调整每个目标的权重。多目标优化的目的是通过联合考虑卸载决策和计算资源的分配，实现能量消耗、任务延迟、RSU的负载均衡以及卸载任务的隐私安全，通过优化计算卸载的多个指标，使得车联网中的车辆卸载时延和能耗保持在较低的基础水平，令资源受限的设备能够将计算密集型任务卸载到边缘设备，从而为广泛的业务提供独特的延迟限制服务质量保证。

主权项：1.一种基于多目标强化学习的车联网计算卸载方法，其特征在于，包括以下步骤：S1，根据车辆计算卸载过程的成本建立成本模型，车辆计算卸载过程的成本包括时延、能耗、隐私熵、负载均衡和车辆的移动性；设在某一时刻t0，RSU服务范围内的N个移动设备MD，表示为N＝{1,2,...,N}，每个移动设备MD可向服务范围内的路边单元RSU发送卸载请求，MDn的卸载任务为Γn＝bn,cn,dn，其中bn表示任务的输入数据量大小，cn为完成任务所需要的总的CPU周期数，dn表示MDn可容忍的最大时延；车辆计算卸载过程任务Γn的执行的总时间T和总能耗E分别为： In为卸载变量，w为MUn的带宽，fn为分配给MUn的计算资源，分别为本地和卸载模式下的执行的总时延；RSU的设备的负载均衡表示为 Loadit0表示RSUi在t0期间所有资源的综合负载，lb表示负载均衡的指标个数；S2，采用RMDDQN-Learning方法根据车辆计算卸载过程的成本对成本模型进行多目标优化，得到多目标优化的帕累托最优解；S3，利用切比雪夫尺度化方法将车辆计算卸载过程的成本的多个目标的奖励标量化，从而逼近帕累托最优解；S4，采用RBF神经网络学习多个目标间的价值动态调整权重，从而得到多个目标间的最优解，根据多个目标间的最优解进行车联网计算卸载；将车联网场景下的计算卸载建模为一个有约束的多目标优化： 其中，I,f分别为卸载变量和计算资源变量，约束C1表示保证所有任务都在截止时间dn之前完成；约束C2表示任务要么在本地执行要么卸载到RSU执行；约束C3表示每个卸载任务都可以得到RSU分配的计算资源从而保障任务的顺利执行；约束C4表示分配给每个MD的计算资源不超过RSU的总计算资源量，C5为时延和服务范围约束，即任务Γn应满足执行总时间不超过最大容忍时间tp；采用Tchebycheff来尺度化q向量，测量多目标解x到每个目标函数f的距离值，即 其中，对于状态s和动作a，将目标函数值f替换为得到标量化的SQ值SQ-value: 在多目标强化学习目标间的权重RBF网络中使用的高斯函数为： 其中，||x-c||表示欧氏距离，χ代表宽度形状参数，第二层实现加权求和；网络输出形式如下 其中，M为RBF的个数，Wi表示RBFφi的权重，Si代表RBFφi的参数向量。

全文数据：

权利要求：

百度查询： 西安交通大学 一种基于多目标强化学习的车联网计算卸载方法及系统