买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国电子科技集团公司第五十四研究所

摘要：本发明提出一种基于强化学习的GEO卫星多波束功率分配方法，属于通信技术领域。该方法构建了GEO卫星多波束功率分配的强化学习模型，定义了其状态空间、行动空间，并设置状态‑行动值回馈值函数，其中，状态‑行动值回馈值函数定义为通信覆盖面积和通信质量的函数，当回馈值不断提升时表征着通信覆盖面积和通信质量均在提升。利用基于模型的强化学习架构，采用随机探索结合最优值演进的方式探索GEO卫星多波束功率分配最优模型。本发明可在不同波束之间对星载受限功率资源进行灵活分配和调度，实现通信质量和通信覆盖区域的同时提升。

主权项：1.一种基于强化学习的GEO卫星多波束功率分配方法，所述GEO卫星具有N个波束，星载波束总功率载荷为Ptotal，其特征在于，包括以下步骤：步骤1，将星载波束总功率载荷Ptotal平均分给N个波束；定义t时刻的系统状态为St＝p1,p2,…,pN，pi为波束i的功率，i＝1,2,...,N；定义星载多波束功率调整行动aij，i≠j，表示在波束i中降低1个单位的功率，并在波束j中增加1个单位的功率，从而形成行动空间A＝[aij]；定义回馈值函数Rwaij|St，Rwaij|St的定义方式为：在系统状态St下，采用行动aij后，在地面绘制多个不同的等效全向辐射功率等高线，计算不同的等高线所覆盖区域的面积；为各区域的面积分配权值，使得等效全向辐射功率越大则权值越大；根据所分配的权值，计算所有区域的面积的加权和，即为Rwaij|St的值；步骤2，在当前系统状态St下，利用随机数产生下一步行动类型，行动类型包括随机探索行动和最优回馈值行动；若下一步行动类型为随机探索行动，则随机选择一个动作作为下一步行动，然后重复步骤2；否则，计算在当前系统状态下采用不同行动所获得的回馈值数列[Rwaij|St]，根据回馈值数列选取具有最优回馈值的动作aSt，继续步骤3；步骤3，依据所获得的回馈值RwaSt|St，判断当前优化行为是否已经结束，若RwaSt|St-RwaSt-1|St-1≤Rwth，即采用某动作后，奖励值增益低于阈值Rwth，则停止优化过程，得到最终的多波束功率分配方案。

全文数据：

权利要求：

百度查询： 中国电子科技集团公司第五十四研究所 一种基于强化学习的GEO卫星多波束功率分配方法