买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉同济大学申请的专利一种基于强化学习的车辆域控制器EOL测试程序生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119621568B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411717812.8，技术领域涉及：G06F11/3668；该发明授权一种基于强化学习的车辆域控制器EOL测试程序生成方法是由王成;张军旗;党寅;刘钦源;程大伟;王利莹;朱航宇;王朝栋设计研发完成，并于2024-11-27向国家知识产权局提交的专利申请。

本一种基于强化学习的车辆域控制器EOL测试程序生成方法在说明书摘要公布了：本发明属于EOL下线测试程序自动生成领域，具体涉及一种基于强化学习的车辆域控制器EOL测试程序生成方法。包括以下步骤：S1：从原理图中获取的元器件原始数据，将原始电路及元器件连接属性进行数据处理，组合成最小电路组合数据；S2：在步骤S1得到的二维向量数据集上构建一个最优EOL下线测试用例选择模型；S3：基于S2模型，利用Q‑Learning算法生成当前优先级最高的EOL测试程序；S4：根据评判标准来选择出最优的测试用例。本发明方法解决了测试结果施加奖励方法的缺陷是检测失效率低，难以收敛；测试反馈时间长的问题。

本发明授权一种基于强化学习的车辆域控制器EOL测试程序生成方法在权利要求书中公布了：1.一种基于强化学习的车辆域控制器EOL测试程序生成方法，其特征在于，包括以下步骤： S1：根据某汽车前区域控制器的元器件清单表获取元器件原始数据，并根据原理图各个元器件之间的连接方式参数获取元器件连接属性数据，将原始电路及元器件连接属性进行数据处理，组合成最小电路组合数据； S2：在步骤S1得到的二维向量数据集上构建一个最优EOL下线测试用例选择模型； S3：基于S2模型，利用Q-Learning算法构建Q-table类型的智能体Agent，根据最小电路组合数据，通过初始化更新算法进行初始化，并根据模型更新算法对Q-table进行更新；S4：在待测电路模型上执行测试用例进行测试，基于奖励函数及状态转移策略生成高优先级的测试用例，并根据已拟定的评判标准选择出最优的测试用例； 步骤S2具体如下： 使用强化学习模型来构建最优EOL下线测试用例选择模型，强化学习中的状态State、动作Action、智能体Agent、策略Policy以及奖励函数Rewardfunction分别做如下定义： 状态：S1步骤中数据处理部分生成的向量组{}为n*m维，其中，的第1行，第1列和第n行，第m列中非零的参数定义为强化学习模型中State，所有的State组成状态空间，该参数表示最小电路各个接口的类型； 动作：将从状态当前接口类型跳转到下一个接口类型的抽象的动作定义为强化学习模型中Action；所有的Action组成动作空间； 智能体Agent：步骤S1中生成的二维测试向量集； 策略Policy：强化学习ε-greedy策略； 奖励函数Rewardfunction：公式如下： Rt＋ 其中，y是测试用例t的总的历史执行次数，是测试用例t的第i次被执行的测试结果，用1或者0表示，其中1表示测试失效，0表示测试通过；j表示第j个测试周期，T是当前周期的测试用例集合，是测试用例经过优先排序后的集合，是当前测试周期中执行失效的测试用例的数量； 步骤S3具体如下： 智能体将生成测试程序后，环境执行测试程序，并收集测试结果，依据奖励函数计算奖励值并提供给智能体，智能体根据奖励值进行更新；更新智能体后，智能体生成下一轮测试程序，循环迭代直至满足终止条件； 智能体更新过程具体如下： 使用的模型更新算法是蒙特卡洛更新算法：Q,←Q,+θ-Q, 其中为该回合中状态的奖励值； 蒙特卡洛更新算法的伪代码如下： Step1：给定步长参数θ、初始ε值、以及最大测试用例状态数L； 初始化后的Qs,a；测试用例状态最大值为maxL；单个测试用例状态长度计数器len；测试用例条数计数器co=0； Step2：当co=L时，跳转至Step3；否则跳转至Step9； Step3：给定初始状态； Step4：若非终止状态且lenmaxL，跳转至Step5；否则，co=co+1，得到测试用例T，并跳转至Step8； Step5：利用ε-greedy策略根据Qs,a值表格选取动作； Step6：采取动作，得到下一个状态+1； Step7：使←,跳转至Step4； Step8：依据奖励函数公式Rt计算整个测试用例T中各个状态的奖励值，并利用公式Q,←Q,+θ-Q,更新Qs,a；更新完成后跳转至Step2； Step9：输出Qs,a； 其中，终止状态即状态S的所有子状态被跳转完成，比如S一共有4个子状态，S0,S1,S2,S3，当这四个状态S被跳转完成，即到达终止状态； 状态转移策略是ε-greedy策略，公式表示是： 其中，以1-ε的概率选择q值大的动作，以ε的概率选择随机动作。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人同济大学，其通讯地址为：200092 上海市杨浦区上海市四平路1239号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。