买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：吉林大学

摘要：本发明提供一种改进深度强化学习的智能汽车类人跟驰行为控制方法，包括第一步、采集真实驾驶员跟驰行驶时的制动踏板和油门踏板开度数据、与前车的距离数据、自车的速度数据及前车的速度数据；第二步、获得真实驾驶员跟驰行为数据集的离散制动踏板和油门踏板开度的动作概率分布p；第三步，构建跟驰行为策略模型；第四步，训练模型。本发明复合奖励函数的设置及通过奖励评估器动态调节复合奖励函数的权重的设置能够保障本发明类人跟驰行为策略模型具有良好的类人特性，在降低人机差异的同时，提高了智能汽车的用户接受度、信任度和社会认同度，减少了本发明类人跟驰行为策略模型的训练时间，并提高了最终训练完成的模型的输出效果。

主权项：1.一种改进深度强化学习的智能汽车类人跟驰行为控制方法，其特征在于：包括以下步骤：第一步、采集真实驾驶员跟驰行驶时的制动踏板和油门踏板开度数据、与前车的距离数据、自车的速度数据及前车的速度数据；第二步、获得真实驾驶员跟驰行为数据集的离散制动踏板和油门踏板开度的动作概率分布p；第三步，构建跟驰行为策略模型，包括：步骤1：构建深度确定策略梯度算法DDPG跟驰行为策略模型的状态输入；模型的状态空间S以自车与前车的间距s_rel、自车的速度v0、前车的速度vf作为状态空间的输入：S＝{s_rel，v0，vf}步骤2：构建跟驰行为策略模型的复合奖励函数r：r＝w1·r1+w2·r2r1为相似奖励函数，r2为多目标奖励函数，w1为相似奖励函数的权重，w2为多目标奖励函数的权重，w1+w2＝1,w1＞0,w2＞0；步骤3：构建奖励评估器TR：根据建立的多目标奖励函数r2的表达式，分别计算真实驾驶员跟驰行为的制动踏板或油门踏板开度的动作的平均奖励值R2与当前深度强化学习策略给出的动作的平均奖励R'2，当R'2≥R2时，减小w1的值，增大w2的值；步骤4：构建DDPG框架，包括：构建DDPG的Actor网络μω1及其目标网络targetActor网络构建DDPG的Critic网络及其目标网络targetCritic网络ω1、为神经网络参数；Actor网络μω1根据当前的状态，输出一个制动踏板或油门踏板开度动作；步骤5：建立Replaybuffer经验回放缓存区；将状态-动作-奖励-状态转移的四元组{st,at,r2,t,st+1}存入Replaybuffer经验回放缓存区中，直至Replaybuffer经验回放缓存区收集N0个状态-动作-奖励-状态转移的四元组{st,at,r2,t,st+1}，其中下标t为时间步，st代表t时刻的状态，at代表t时刻做出的动作，r2,t代表t时刻多目标奖励函数给出的奖励，st+1代表下一个时间t+1的状态；第四步，训练模型，包括：步骤1：从Replaybuffer经验回放缓存区中采样n个四元组{si,ai,r2,i,si+1}i＝1,....n，下标i表示该四元组是第i个被采样的四元组；步骤2：计算DDPG网络给出的离散制动踏板或油门踏板开度的动作概率分布q；步骤3：计算所有采样的四元组的相似奖励函数r1；步骤4：计算每个四元组的复合奖励函数ri；步骤5：对每个元组，用目标网络targetCritic网络计算预测价值；步骤6：更新当前的Actor网络和当前的Critic网络；步骤7：奖励评估器TR计算真实驾驶员跟驰行为的制动踏板或油门踏板开度的动作的平均奖励值R2，与当前深度强化学习策略给出的动作的平均奖励R’2；步骤8：更新目标网络；重复上述步骤，直至训练收敛。

全文数据：

权利要求：

百度查询： 吉林大学 一种改进深度强化学习的智能汽车类人跟驰行为控制方法