买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉长春理工大学申请的专利面向TCP协议的基于Q-learning的卫星网络拥塞控制方法及控制系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118740739B 。

龙图腾网通过国家知识产权局官网在2025-04-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410775053.4，技术领域涉及：H04L47/12；该发明授权面向TCP协议的基于Q-learning的卫星网络拥塞控制方法及控制系统是由祁晖;刘晋尧;底晓强;王春波;马洪鑫;李锦青;丁强;解男男;毕琳设计研发完成，并于2024-06-17向国家知识产权局提交的专利申请。

本面向TCP协议的基于Q-learning的卫星网络拥塞控制方法及控制系统在说明书摘要公布了：面向TCP协议的基于Q‑learning的卫星网络拥塞控制方法及控制系统，涉及网络传输拥塞控制领域，解决目前已有强化学习的拥塞控制方法不适用于卫星网络场景应用的问题，本发明方法通过控制系统实现，所述控制系统包括执行器、转发器和功能模块；该方法实现了适用于强化学习算法的用户态接口与对应的openAIGym的标准强化学习环境，并提供卫星网络仿真训练环境和基于动态可视化组件。同时考虑到卫星端上算力有限，卫星网络高延迟的特点，进一步设计并实现了基于Q‑learning与瓦片编码的轻量化数据驱动TCP拥塞控制方法。该方法设计了全新的离散动作空间，在保障算法收敛性的同时实现了模型轻量化。

本发明授权面向TCP协议的基于Q-learning的卫星网络拥塞控制方法及控制系统在权利要求书中公布了：1.面向TCP协议的基于Q-learning的卫星网络拥塞控制方法，其特征是：该方法由以下步骤实现：步骤一、启动TCP流，执行器根据当前确认数据包的长度增加拥塞窗口，并进入强化学习状态；步骤二、执行器获取卫星网络环境状态，并通过netlink将网络环境状态值传递至转发器；步骤三、所述转发器将接收的状态值通过消息中间件传递至训练模块；步骤四、所述训练模块的Q-learning算法根据所述状态值以及Q表按∈贪心原则选择当前状态下q值最大的动作，根据q值最大的动作确定拥塞窗口的改变方向，并将所述拥塞窗口的改变方向及窗口动作调节大小传递至转发器；根据q值最大的动作确定拥塞窗口的改变方向，具体过程为：步骤四一、根据q值最大的动作判断拥塞窗口cwnd是否增加，如果是，则执行步骤四二；否则，执行步骤四三；步骤四二、通过指数移动平均EMA公式更新uc,us,dc，并计算要执行的拥塞窗口调节动作大小cwndchange；uc＝EMA10,uc,16；us＝EMA0.2,us,16；dc＝EMA5,dc,4； 式中，uc为增大拥塞窗口的控制变量，us为增大拥塞窗口的平滑因子，dc为减小拥塞窗口的控制变量；步骤四三、判断拥塞窗口cwnd是否减小，如果是，执行步骤四四；否则，执行步骤四五；步骤四四、通过指数移动平均EMA公式更新dc,ds,uc，并计算要执行的拥塞窗口调节动作大小cwndchange；dc＝EMA10,dc,16；ds＝EMA0.2,ds,16；uc＝EMA5,uc,4；cwndchange＝-dcds；式中，ds为减小拥塞窗口的平滑因子；步骤四五、通过指数移动平均EMA公式更新uc,us,dc,ds，并计算要执行的拥塞窗口调节动作大小cwndchange；uc＝EMA5,uc,4；us＝EMA5,us,4；dc＝EMA5,dc,4；ds＝EMA5,ds,4；cwndchange＝0；步骤五、转发器通过netlink将相应的信息传递至空间执行器，执行器根据拥塞窗口的变化方向及窗口动作调节大小在下个采样周期采样网络环境状态变化，并将状态信息通过netlink传递至转发器；步骤六、所述转发器通过消息中间件将状态信息传递给训练模块；步骤七、所述训练模块根据接收的状态信息计算奖励值R，根据奖励值R对上个状态和动作对应的q值依据Q-learning算法进行更新；步骤八、判断最小往返时延RTTmin更新时间是否大于10s，如果是，进入RTTmin探索状态，将拥塞窗口大小置为4进行RTT测量，探索到RTTmin后结束此状态；否则，返回步骤二。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人长春理工大学，其通讯地址为：130000 吉林省长春市朝阳区卫星路7089号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。