买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜北京交通大学;山东高速集团有限公司创新研究院申请的专利一种基于深度强化学习的智能网联车辆入匝道协同控制方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117315955B 。

龙图腾网通过国家知识产权局官网在2024-09-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310851340.4，技术领域涉及：G08G1/08；该发明授权一种基于深度强化学习的智能网联车辆入匝道协同控制方法是由谢东繁;栗剑;王孜健;么新鹏;张涵;荣文;韦凯;赵小梅;毕军设计研发完成，并于2023-07-12向国家知识产权局提交的专利申请。

本一种基于深度强化学习的智能网联车辆入匝道协同控制方法在说明书摘要公布了：本发明涉及一种基于深度强化学习的智能网联车辆入匝道协同控制方法，涉及智能交通系统技术领域；车辆在主路与匝道入口形成的合流区，入匝道车辆的频繁汇入往往会影响干道交通流的稳定状态，对驾驶员驾驶技术要求较高，不当的换道行为对主车道后方车辆的影响较大，从而影响合流区以及上游车辆的正常行驶；本发明结合智能网联车的性能优势和深度强化学习对决策空间的探索能力，针对入匝道车辆从快速路汇入干道并驶出合流区这一过程建模，通过深度强化学习中的智能体在模拟环境中的不断探索训练模型，为合流区通行效率的提升和保障车辆驾驶的安全性提出合理化建议。

本发明授权一种基于深度强化学习的智能网联车辆入匝道协同控制方法在权利要求书中公布了：1.一种基于深度强化学习的智能网联车辆入匝道协同控制方法，其特征在于，所述车辆入匝道协同控制方法涉及的合流区场景由一条入口匝道、一条平行式加速车道和一条主车道构成，入匝道车辆从入口匝道进入快速路后，为汇入主车道，需要在加速车道上加速行驶到合适的速度区间并完成车辆换道；包括以下步骤：步骤1：智能网联车状态信息获取；步骤2：通过智能网联车的车载传感器、定位系统和V2X系统实时获取周边环境信息；步骤3：基于柔性动作-评价算法设计入匝道车辆的控制策略，分别定义模型的状态空间、动作空间和奖励函数；步骤4：定义防碰撞策略；步骤5：定义算法流程；步骤3具体包括：步骤3.1：定义模型的状态空间；所述模型的状态空间如下：Se＝{Δx,Δy,v,Δxtp,Δvtp,Δxtl,Δvtl}其中，Se为智能网联车的状态空间；Δx为智能网联车与匝道尽头的间距；Δy为智能网联车与主车道中线的横向间距；v为智能网联车的速度；Δxtp为智能网联车与目标车道前车的纵向间距，Δvtp为智能网联车与目标车道前车的速度差；Δxtl为智能网联车与目标车道后车的纵向间距，Δvtl为智能网联车与目标车道后车的速度差；步骤3.2：定义模型的动作空间；所述模型的动作空间包括车辆的转向角和加速度值，如下：A＝{θ,a}其中，A为智能网联车的动作空间；θ为智能网联车转向角；a为智能网联车的纵向加速度；步骤3.3：定义模型的奖励函数；总奖惩函数包含安全性、高效性、舒适性三部分，如下：R＝wsafeRsafe+wefficiencyRefficiency+wcomfortRcomfort其中，wsafe为与安全性相关的子奖励对应的权重系数；Rsafe为安全性的惩罚函数；wefficiency为与高效性相关的子奖励对应的权重系数；Refficiency是与换道效率相关的子奖励函数；wcomfort为与舒适性相关的子奖励对应的权重系数；Rcomfort是与舒适性相关的子奖励函数； 安全性的惩罚函数是为了避免智能网联车与其他车辆发生碰撞和保持安全距离，当智能网联车与周围车辆碰撞时间不满足安全约束时，智能体将会被将赋予一个负的惩罚值Rsafe，具体定义如下： 其中，t表示时间；n表示跟驰车辆；n-1表示前车辆；xn-1t表示前车的位置；vn-1t表示前车的速度；l表示车的长度；TTC表示车辆碰撞时间；xnt表示后车位置；vnt表示后车速度；与换道效率相关的子奖励函数Refficiency具体定义如下：Refficiency＝wlaneRlane+wspeedRspeed 其中，Rlane是与横向坐标相关的子奖励函数；Rspeed是与纵向速度相关的子奖励函数；y*为目标车道的中心位置，即智能网联车的期望位置；Rlane是与智能网联车换道相关的子奖励；v*为车辆的期望速度；Rspeed是与智能网联车速度相关的子奖励；Refficiency为总效率奖励，包含上述两个与换道相关和与速度相关的子奖励；wlane和wspeed为权重系数；y为车辆横向位置；v为车辆速度；与舒适性相关的子奖励函数Rcomfort具体定义如下： 其中，jerk为加速度的导数；jerkmax为最大舒适加速度变化率；步骤4具体包括：当智能网联车满足不安全约束时，安全层将会生效，会拒绝采用模型的输出结果，以更安全的方式控制车辆；智能网联车的安全约束包括最小安全距离约束和车道约束；最小安全距离约束是指当智能网联车的车速大于前车，且与前车的间距小于最小安全距离时，则使智能网联车以最大的减速度减速行驶，最小安全距离的定义如下： dmin＝vn-vn-1×tmin其中，vn为智能网联车速度；vn-1为智能网联车前车速度；admax为最大减速度；tmin为最小安全时间；dmin为最小安全距离；车道约束是指当由于不当的决策使得智能网联车将驶离道路撞向车道两侧时，防碰撞策略应及时纠正这种危险驾驶行为，车道约束定义如下： 其中，θ为智能网联车的转向角；θsteer为车辆可运行的转向角度，为[-30°,30°]步骤5具体包括：在进行模型训练前，首先需要初始化所有参数，包括最大时间步M、策略网络参数φ、Q值函数参数θ1和θ2、V值函数参数ψ、经验回放池D，然后智能体根据环境状态和策略网络选择一个动作st，智能体执行动作at会使环境更新到新的状态st+1，并产生奖励rt；在每个步骤中产生的经验st,at,st+1,rt会被存储到经验回放池中，当经验回放池中有足够的经验时，学习过程开始；在学习过程中会在经验回放池中进行随机采样，通过算法的损失函数来更新网络，最后对目标网络进行更新。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京交通大学;山东高速集团有限公司创新研究院，其通讯地址为：100044 北京市海淀区上园村3号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。