买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉东南大学申请的专利一种基于离线强化学习的交叉口车辆轨迹优化方法、系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116580556B 。

龙图腾网通过国家知识产权局官网在2025-12-02发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310535715.6，技术领域涉及：G08G1/01；该发明授权一种基于离线强化学习的交叉口车辆轨迹优化方法、系统是由张健;史晓宇;姜夏;张海燕;王博;钱品政设计研发完成，并于2023-05-12向国家知识产权局提交的专利申请。

本一种基于离线强化学习的交叉口车辆轨迹优化方法、系统在说明书摘要公布了：本发明公开了一种基于离线强化学习的交叉口车辆轨迹优化方法、系统，具体步骤如下：搭建智能网联环境下交叉口信号灯与网联车辆的通信场景，设定场景内车辆与信号灯的通信距离阈值，当车辆行驶至信号灯的控制区域时，双方可进行信息交互。收集信号交叉口网联车辆的运行轨迹和信号相位配时数据，将车辆在交叉口的行驶过程抽象为马尔科夫决策过程，将车辆旅行时间、车辆能耗、碰撞时间等作为马尔科夫决策奖励函数的参数，构建适用的数据集，在离线状态下通过强化学习方法训练车辆智能体得到适用的交叉口通行策略。本发明可应用于交叉口的车辆控制，通过控制车辆加速度使车辆按照最优轨迹行驶，实现车辆的节能减排和安全性能提升。

本发明授权一种基于离线强化学习的交叉口车辆轨迹优化方法、系统在权利要求书中公布了：1.一种基于离线强化学习的交叉口车辆轨迹优化方法，其特征在于，包括如下步骤： S1、搭建智能网联环境下交叉口信号灯与网联车辆的通信场景，设定车辆与信号灯的通信距离阈值，当车辆进入信号灯的控制范围时，双方可进行信息交互； S2、收集信号交叉口网联车辆的运行数据和信号灯的SPaT信息，构建静态数据集； S3、将车辆在信号交叉口的行驶过程模拟成马尔科夫决策过程，在步骤S2的静态数据集中在离线状态下通过强化学习方法训练车辆智能体，得到信号交叉口通行策略；具体为： S301、将车辆通过信号交叉口的行驶过程模拟成马尔科夫决策过程，马尔科夫决策过程用五元组S,A,R,P,γ来描述，其中：S和A为环境状态和智能体动作的集合；R为奖励函数；P是状态转移函数；γ是折扣因子； S302、将网联车辆作为智能体，通过四维向量定义状态S，具体公式为： st＝[drt,vrt,φt,Gt]T； 其中，drt代表车辆所处的位置；vrt代表车辆速度；φt代表绿灯剩余时间，若车辆行进方向处于红灯状态，φt值为0；Gt为红灯剩余时间； S303、智能体动作A表示车辆的加速度控制，即加速度限值at∈[dm,um]范围内的连续动作空间；其中dm为加速度的下限值，um为加速度的上限值； S304、将车辆通过信号交叉口的时长、车辆通过信号交叉口的能量消耗以及TTC作为奖励函数R的指标，TTC表示前车与后车保持当前速度差时，后车追上前车发生碰撞需要的时间： 其中，TTCit表示第i辆车在第t秒的碰撞时间，xi表示第i辆车的位置，v表示第i辆车的速度，l表示i车前车的车身长度； 定义奖励函数： rt＝ω1xt-xt-1+ω2Ft+ω3TTCit； 其中，xt-xt-1表示单个时间步内车辆的运动距离，Ft表示车辆的瞬时油耗，ω1表示单个时间步内通行距离的权重，ω2表示车辆油耗的权重，ω3表示TTC在奖励函数中的权重； S305、基于无模型的强化学习方法定义状态转移函数P，车辆通过对静态数据集进行学习得到最佳策略π*，具体公式为： 其中，Θ表示策略空间；根据前述的环境状态、智能体动作与奖励函数，通过车辆的轨迹数据与信号灯历史数据计算得到； S306、折扣因子γ的取值范围为[0,1，从t时刻到终止状态时，所有奖励的衰减总和为回报： S307、使用CQL离线强化学习算法消除部分外推误差Q值为给定策略π下的状态价值函数： S308、CQL对高Q值进行惩罚，在训练次数范围内，每一步都需更新熵正则系数α，具体公式为： S309、更新函数Q，具体公式为： 其中，为实际计算时策略π的贝尔曼算子； S310、更新策略πφ，得到信号交叉口车辆控制的策略，具体公式为： S4、将训练后的策略应用于信号交叉口的车辆控制，通过控制车辆加速度使车辆按照最优化的轨迹运行。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人东南大学，其通讯地址为：210096 江苏省南京市玄武区四牌楼2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。