买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉湘南学院申请的专利基于Q-Learning的车间刀具调度规则生成方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119356242B 。

龙图腾网通过国家知识产权局官网在2025-08-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411456664.9，技术领域涉及：G05B19/418；该发明授权基于Q-Learning的车间刀具调度规则生成方法是由廖芳芳;林安平;谷玉;李翔;廖勇;廖云靖;卿前缘设计研发完成，并于2024-10-18向国家知识产权局提交的专利申请。

本基于Q-Learning的车间刀具调度规则生成方法在说明书摘要公布了：本发明公开了一种基于Q‑Learning的车间刀具调度规则生成方法，属于数据处理技术领域，包括：构建关于最小化最大完工时间和最小化换刀次数的加权和的调度模型；根据机器优先级启发式规则获取各机器优先级；按初始刀配的刀具编号的启发式规则和换刀的刀具编号的启发式规则为各机器分配刀具；输出各机器加工任务集的刀具分配组合；建立状态特征；对状态特征划分成多个状态空间；通过状态空间并生成Q‑Learning模型，通过Q‑Learning模型输出车间刀具调度方案。所述基于Q‑Learning的车间刀具调度规则生成方法解决了现有的刀具配置优化的生成算法难以应用在复杂生产场景的问题。

本发明授权基于Q-Learning的车间刀具调度规则生成方法在权利要求书中公布了：1.一种基于Q-Learning的车间刀具调度规则生成方法，其特征在于：包括以下步骤： S1：利用机器中的工件集合Jm、工件集合的工序集合工件jm的工序的加工时间工序数量w、机器编号m、刀具编号k、刀具的副刀数量h和刀具的寿命lifekd，构建关于最小化最大完工时间和最小化换刀次数的加权和的调度模型； S2：根据机器优先级启发式规则获取各机器优先级Um； S3：按初始刀配的刀具编号的启发式规则和换刀的刀具编号的启发式规则为各机器分配刀具； S4：输出各机器加工任务集的刀具分配组合； S5：根据根据机器数量v、工件数量n、单工件工序数量k、单品种副刀数量h、单工序总加工时间与可用刀具寿命比例r建立状态特征；对状态特征划分成多个状态空间s，其包括以下分步骤： S51：所述状态特征包括工件流特征f1、刀具流特征f2和工件流与刀具流间的联系特征f3；根据机器数量v、工件数量n、单工件工序数量k、单品种副刀数量h、单工序总加工时间与可用刀具寿命比例r划分成工件流特征f1、刀具流特征f2和工件流与刀具流间的联系特征f3，其中工件流特征f1为机器数量v、工件数量n、单工件工序数量k三者归一化表示的和，刀具流特征f2为单品种副刀数量h的归一化表示，工件流与刀具流间的联系特征f3为单工序总加工时间与可用刀具寿命比例r的归一化表示； S52：将工件流特征f1划分为5个状态空间，将刀具流特征f2划分成4个状态空间，将工件流与刀具流间的联系特征f3划分成4个状态空间； S6：通过状态空间s并利用Q-Learning算法生成Q-Learning模型，通过Q-Learning模型输出车间刀具调度方案，其包括以下分步骤： S61：初始化各类学习参数，并进入当前学习周期内的生产环境学习； S62：进入状态空间s-并计算当前状态空间s-和动作a-的最大完工时间Cmax和换刀次数E；其中每一个动作为步骤S4输出的一个机器加工任务集的刀具分配组合； S63：根据奖赏函数计算reward奖励值，奖赏函数为reward＝ω1×reward1+ω2×reward2， 其中ω1和ω2为奖赏函数的奖赏权重，和Es,a分别为智能体在状态空间s选择动作a所获得的最大完工时间Cmax和换刀次数E，和分别为所有动作在状态s中获得的最小的Cmax值和E值； 然后更新Q-Learning算法的 其中A为所有动作所组成的集合，s-是当前状态空间，a-为当前动作，s为下一个的状态空间，a是下一个动作，α‘是学习率，rewards|s-,a-是当前状态下采用a-动作对应的奖励值，γ是奖励的折扣系数； S64：根据从动作集合A中选择一个动作a，以使当δε时选取状态空间s最大Q值对应的动作a，当δ≥ε时对Q值向量[Qs,a1,Qs,a2,...,Qs,a32]中每个Q值对应的动作概率Ps,a，得到一个动作概率分布，然后根据动作概率分布进行轮盘赌roulette选择得到动作a；其中δ表示从0到1的随机小数，ε为ε-greedy动作抉择策略中的参数，动作概率e为欧拉常数，g为Q值向量里的元素序号； S65：更新s-＝s，a-＝a； S66：判断是否完成所有环境的学习，若是则跳转步骤S67，反之则跳转步骤S61； S67：判断是否完成所有的学习周期，若是则跳转步骤S68，反之则跳转步骤S61； S68：学习结束，输出Q-Learning模型，并通过Q-Learning模型输出车间刀具调度方案。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人湘南学院，其通讯地址为：423000 湖南省郴州市城东王仙岭北麓；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。