买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉昆明理工大学申请的专利一种基于异质多智能体强化学习的复杂交通协同控制方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120071623B 。

龙图腾网通过国家知识产权局官网在2025-07-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510446830.5，技术领域涉及：G08G1/01；该发明授权一种基于异质多智能体强化学习的复杂交通协同控制方法是由陈峥;陈博闻;夏雪磊;张景;李春宇;沈世全;郭凤香;申江卫;魏福星设计研发完成，并于2025-04-10向国家知识产权局提交的专利申请。

本一种基于异质多智能体强化学习的复杂交通协同控制方法在说明书摘要公布了：本发明公开了一种基于异质多智能体强化学习的复杂交通协同控制方法，属于智能交通技术领域，包括：针对人类驾驶车辆、自动驾驶车辆和信号灯三类异质智能体设计基于异质图结构的异质混合交通场景抽象建模方法，实现各物体之间的高效通信机制；设计适用于异质图结构的编码器，能够实现异质物体观测特征的高效嵌入整合；通过共享异质图编码器，建立基于异质图卷积深度网络的多智能体动作生成网络和价值评估网络，用于各智能体的动作生成以及针对所生成动作的价值评估；构建适用于异质多智能体的深度强化学习方法进行模型训练后输入各异质多智能体的环境观测数据输出所有被控对象的控制量，实现在混合交通流场景下的异质多智能体协同控制。

本发明授权一种基于异质多智能体强化学习的复杂交通协同控制方法在权利要求书中公布了：1.一种基于异质多智能体强化学习的复杂交通协同控制方法，其特征在于，包括以下步骤： S1、基于包括自动驾驶车辆、人类驾驶车辆和信号灯在内的异质图结构构建异质多智能体的环境观测数据； S2、基于步骤S1中的异质多智能体图结构，设计自动驾驶车辆和信号灯的异质观测编码器，输入异质多智能体的环境观测数据，输出经过编码后的环境观测数据； S3、设计异质多智能体的动作生成网络和对应的价值评估网络，通过动作生成网络根据编码后的环境观测数据输出异质多智能体的动作，价值评估网络基于异质多智能体的动作，预测对应的价值； 所述步骤S3具体过程如下： S3.1、设计一个异质图卷积层用于将编码后的异质图特征进行进一步融合，使得步骤S2中异质观测编码器在动作生成网络和价值评估网络之间共享使用，异质图卷积层的异质图卷积过程表示如下： hi～k＝HeteroGraphConZi～k 式中，HeteroGraphCon·表示异质图卷积过程，hi～k表示经过异质图卷积后的共享高维特征表示； S3.2、设计自动驾驶汽车和信号灯的动作生成网络，具体可表述为：对于自动驾驶车辆：动作包括加速度和换道的动作概率分布；对于信号灯：动作可为下一阶段的信号配时，采用多层感知机作为动作生成模型如下： 式中，表示第i辆自动驾驶汽车的动作，具体包括第i辆自动驾驶汽车的换道动作以及第i辆自动驾驶汽车的加速度动作其中是一个概率分布量，且其中每个元素分别表示策略集合{LCL,LK,LCR}每一种策略的概率，策略集合中的LCL、LK、LCR分别表示左换道、不换道和右换道；表示第i辆自动驾驶汽车的动作生成网络映射过程，φi是第i辆自动驾驶汽车动作生成网络的权重参数；为第k个信号灯下一阶段的信号配时的集合；表示k个信号灯的动作生成网络映射过程，φk是第k个信号灯的动作生成网络的权重参数； S3.3、将所有智能体的动作以及状态观测输入至价值评估网络，得到各智能体对应的动作价值，其表达式如下： 式中，Qi～k表示每一辆自动驾驶汽车和信号灯所作动作带来的价值；Qψ·表示输入当前经过二次编码后的全局共享特征hi～k、所有自动驾驶车辆的动作以及所有信号灯的动作从而输出每一个智能体的动作价值的映射过程；ψ为价值评估网络的权重参数； S4、构建适用于异质多智能体的动作的多级探索与利用策略，所输出的探索值作用于步骤S3中的动作生成网络所生成的动作进行探索正则化； S5、针对自动驾驶车辆和信号灯设计两个经验池，将智能体的环境观测数据、动作和奖励进行存储，每个异质智能体根据其动作生成网络输出动作，环境执行该动作后，得到新的观测数据以及对应的奖励，并将第t时刻的四元组信息存储至经验池； S6、建立异质多智能体深度强化学习框架，在学习过程中，采集异质多智能体的经验数据，输入至步骤S3所设计的动作生成网络并通过对应的价值评估网络获取动作价值，根据价值评估的准确与否更新价值评估网络，根据动作生成网络所生成动作的价值大与否更新动作生成网络，从而不断迭代实现网络的更新即异质多智能体的动作学习； S7、保存学习完成的模型参数，加载并部署异质多智能体协同控制模型，输入各异质多智能体的环境观测数据输出所有被控对象的控制量，实现在混合交通流场景下的异质多智能体协同控制。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人昆明理工大学，其通讯地址为：650500 云南省昆明市呈贡区景明南路727号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。