买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉江苏大学申请的专利一种基于人类偏好强化学习的端到端自动驾驶控制系统及设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119018181B 。

龙图腾网通过国家知识产权局官网在2025-10-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411114237.2，技术领域涉及：B60W60/00；该发明授权一种基于人类偏好强化学习的端到端自动驾驶控制系统及设备是由蔡英凤;曹吴鸿;陆思凯;陈龙;孙晓强设计研发完成，并于2024-08-14向国家知识产权局提交的专利申请。

本一种基于人类偏好强化学习的端到端自动驾驶控制系统及设备在说明书摘要公布了：本发明公开了一种基于人类偏好强化学习的端到端自动驾驶控制系统及设备，在预训练阶段，使用CARLA模拟器中采集的数据，基于横摆角速度和现有奖励函数真值进行奖励函数的神经网络模型预训练，为奖励函数模型提供一定的先验知识，有助于加速模型的收敛过程。在奖励函数学习阶段，采用人类偏好以修正和优化奖励函数，通过奖励预测值和实际偏好的交叉熵损失并在损失函数中加入L2正则化，以确保学习行为更贴近人类决策，并防止奖励黑客现象，从而实现自动驾驶系统的决策与人类价值观的对齐。在智能体学习阶段，利用PPO算法和多通道BEV作为环境输入，结合油门开度与转角的向量输出进行实时训练，确保了自动驾驶系统的实时响应性和安全性。

本发明授权一种基于人类偏好强化学习的端到端自动驾驶控制系统及设备在权利要求书中公布了：1.一种基于人类偏好强化学习的端到端自动驾驶系统，其特征在于，包括：预训练部分、奖励函数学习部分以及智能体学习部分； 所述预训练部分，将预先采集的数据作为输入，将奖励函数输出的真值和横摆角速度作响应比作为目标值，对奖励函数的神经网络模型进行预训练；通过使用预先采集到的数据进行预训练，奖励函数的神经网络模型在学习之前就能获得关于任务的一定的先验知识； 所述预训练部分，预先采集的数据是利用ROACH模型在CARLA模拟器中进行数据集预采集，并保存为.h5文件；具体包括： 1语义分割后的多通道BEV； 2自车油门、转向、刹车、速度，其中，转向控制的取值范围定义为[‑1,1]，表示车辆左右转向的程度；油门控制和刹车控制的取值范围均设定为[0,1]，代表油门和刹车踏板应用的力道，0代表无力道，1代表全力道； 3ROACH模型的奖励真实值rb； 4自车的横摆角速度，单位为°s，输出为强化学习奖励值的预测值Vst，用于更新神经网络的权重； 对于神经网络模型的损失函数，利用时间差分学习的方法，以在奖励预测模型中实现顺序敏感性；损失函数中引入一个序列衰减系数λ，适用于奖励函数预测模型的损失计算，具体来说，对每一步采取的行动的奖励预测Vst更新如下： Vst←Vst+β[Rt'+γVst+1‑Vst]其中Vst是在时间t状态st的奖励值预测；β是学习率参数，用于调整步长；R′t是在时间t观察到的实际综合奖励；γ是未来奖励的折扣因子，是一个介于0和1之间的值，用于衡量未来奖励相对于即时奖励的重要性；st+1表示下一个时刻的状态； 考虑到动作序列中的顺序效应，定义如下的泛化顺序依赖损失函数此处，表示了整体的顺序依赖损失函数，其在每个时刻都会考虑未来奖励，并通过系数λ进行加权，从而对距现时刻更近的预测赋以更高的权重，反映顺序敏感性，而平方项则强化了预测的准确性，确保模型在偏差大的预测上受到更大的惩罚，促进更准确的长期奖励预测； 所述奖励函数学习部分，利用奖励函数的神经网络模型的预测值得出奖励函数模型预测的偏好，与真实偏好做交叉熵，并获取此状态下不同动作的奖励分布并加入L2正则化项，其通过添加权重的平方和作为惩罚项，减少模型复杂度并防止过拟合，提高模型的泛化能力，奖励函数学习通过引入人类偏好，借助偏好预测模型与交叉熵损失函数使得模型的学习行为更加接近人类决策； 所述智能体学习部分，以语义分割后的多通道BEV作为输入，以向量形式的油门开度与转角作为输出，进行实时训练，智能体学习采用PPO算法，通过实时采集的车端与路端信息进行训练。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人江苏大学，其通讯地址为：212013 江苏省镇江市京口区学府路301号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。