买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华东交通大学

摘要：本发明提供一种基于深度强化学习的基站休眠和功率分配方法，本发明以频谱效率和能量效率为优化目标，建立能耗优化模型，并将能耗优化模型的求解问提拆分为两个子问题，分别为基站休眠决策问题和功率分配决策问题，并确定基站休眠决策问题的优化目标和约束条件，以及功率分配决策问题的优化目标和约束条件，然后使用两个深度强化学习网络分别对基站休眠决策问题和功率分配决策问题进行求解，本发明能够解决现有技术忽略了用户在现实世界中的速率要求，数据集的偏差可能导致结果与实际情况大相径庭的问题。

主权项：1.一种基于深度强化学习的基站休眠和功率分配方法，其特征在于，包括：步骤S1，建立由多个重叠覆盖的基站组成、且使用正交频分复用技术的超密集网络场景，在超密集网络场景中建立超密集网络多基站部署的系统模型；步骤S2，根据建立的系统模型，以频谱效率和能量效率为优化目标，建立能耗优化模型；步骤S3，将能耗优化模型的求解问题拆分为两个子问题，分别为基站休眠决策问题和功率分配决策问题，并确定基站休眠决策问题的优化目标和约束条件，以及功率分配决策问题的优化目标和约束条件；步骤S4，基于基站休眠决策问题的优化目标和约束条件，使用第一深度强化学习网络，并设置第一状态空间、第一动作空间与第一奖励函数，对基站休眠决策问题进行求解，得到基站休眠决策；基于功率分配决策问题的优化目标和约束条件，使用第二深度强化学习网络，并设置第二状态空间、第二动作空间与第二奖励函数，对功率分配决策问题进行求解，得到功率分配决策；步骤S1中，在所述系统模型中，存在M个用户均匀分布在超密集网络场景中，基站总数为N，每个基站为其覆盖范围内的用户提供服务，将系统模型的总带宽Btotal分为K个子正交信道，同时将总时间划分为T个时隙，只考虑基站与用户之间的下行链路通信，用表示在第t时隙时第i个基站和第j个用户之间的连接状态，其中，；；；若第i个基站和第j个用户之间已经建立连接，则=1；若第i个基站和第j个用户之间未建立连接，则=0；所述系统模型满足条件式：；步骤S2中，频谱效率的表达式为： ；其中，表示系统模型的总吞吐量，表示系统模型的总带宽，表示在第t个时隙时第i个基站的状态，表示在第t个时隙时第i个基站向在第l个信道上的第j个用户提供的传输速率，K表示信道总数；步骤S2中，能量效率的表达式为： ；其中，表示系统模型的总能耗，和分别表示基站在活跃和关闭状态下的功耗；表示在第t个时隙时是否将第l个信道分配给与第i个基站相连的第j个用户的状态值，当=1时，表示在第t个时隙时将第l个信道分配给与第i个基站相连的第j个用户，当=0时，表示在第t个时隙时未将第l个信道分配给与第i个基站相连的第j个用户；表示在第t个时隙时第i个基站向在第l个信道上的第j个用户传输的功率；步骤S3中：基站休眠决策问题的优化目标为最大化能量效率；基站休眠决策问题的约束条件为： ； ； ；其中，表示在第t个时隙时与第i个基站相关联的用户总数，表示基站的最大负载量，表示与第j个用户相连的第i个基站的最小传输速率；功率分配决策问题的优化目标为最大化能量效率和频谱效率；功率分配决策问题的约束条件为： ； ； ； ； ； ；其中，表示与第j个用户相连的第i个基站的最大传输功率；步骤S4中：第一状态空间中存在第一状态集合，，其中，是第i个基站的活动和休眠状态，是第i个基站覆盖范围内的用户负载，是第i个基站覆盖范围内的传输速率之和，是第i个基站覆盖范围内的能耗之和；第一动作空间中存在第一动作集合，；第一奖励函数的长期奖励值的表达式为： ；其中，表示衰减因子，表示基站在下执行后所获得的即时奖励；第二状态空间中存在第二状态集合，，其中，是第i个基站的传输功率等级，是第i个基站与在第l个信道上的第j个用户的信噪比，是当前的任务负载，是剩余的任务传输时间；第二动作空间中存在第二动作集合，；第二奖励函数的长期奖励值的表达式为： ；其中，表示基站在下执行后所获得的即时奖励。

全文数据：

权利要求：

百度查询： 华东交通大学 一种基于深度强化学习的基站休眠和功率分配方法