买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉清华大学申请的专利一种大模型计算集群服务可靠性评估与优化方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119806973B 。

龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411743095.6，技术领域涉及：G06F11/34；该发明授权一种大模型计算集群服务可靠性评估与优化方法及装置是由李彦夫;王英东;张晨设计研发完成，并于2024-11-29向国家知识产权局提交的专利申请。

本一种大模型计算集群服务可靠性评估与优化方法及装置在说明书摘要公布了：本发明涉及大模型计算集群技术领域，尤其是指一种基于并行策略调度的大模型计算集群服务可靠性评估与优化方法、装置、设备及计算机存储介质。本发明所述的大模型计算集群服务可靠性评估与优化方法，以流水线并行为核心，综合考虑了训练过程中不同GPU之间性能差异、数据传递时间，以及不确定性因素对训练时间的影响，结合现有的交错式和非交错式流水线并行策略，建立了充分考虑训练时间的不一致性和结合各种流水线并行策略的模型，并针对大模型训练的具体特点，给出了训练过程的具体约束，并通过整数规划对模型进行求解，以实现大模型计算集群的高效和可靠训练。

本发明授权一种大模型计算集群服务可靠性评估与优化方法及装置在权利要求书中公布了：1.一种大模型计算集群服务可靠性评估与优化方法，其特征在于，包括： 对大模型计算集群进行数学建模，并定义基本参数和训练任务； 对训练时间进行建模，所述训练时间包括由GPU进行数据传递导致的通信时间和由GPU间的网络结构引起的时延； 基于所述训练时间，定义大模型计算集群服务第一可靠性指标为所有微批次数据在规定时间内完成训练任务的概率，即每个微批次数据在规定时间内完成单个任务的概率的积； 基于所述大模型计算集群服务第一可靠性指标建立目标函数，并对相关约束进行了建模，构建大模型计算集群并行策略调度的确定性优化模型： 定义每组微批次数据的数据量相同； 定义GPU放置Transformer模型时，仅考虑存储Transformer模型所产生的内存占用，并且，所述Transformer模型所产生的内存占用不超过GPU的内存上限； 定义GPU能够同时进行前向或后向计算和数据传输； 定义对于同一微批次的训练任务，前向计算和后向计算须在同一个GPU上进行； 定义GPU同一时间只能进行一个前向或后向计算任务的计算工作； 定义每组微批次数据的数据量一定时，前向和后向计算所需的时间仅与Transformer层数和GPU有关，与微批次次序无关； 定义微批次数据在不同GPU间完成不同Transformer层的训练时，会进行数据传输，且数据传输产生的时间消耗分为通信时间和时延； 定义任何一个训练任务，在前一层Transformer的前向计算结束后才能进行后一层Transformer的前向计算，所有前向计算结束后才能进行后向计算，后一层Transformer后向计算结束后才能进行前一层Transformer的后向计算； 基于所述确定性优化模型，利用混合整数规划方法获取调度策略的初始解。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人清华大学，其通讯地址为：100084 北京市海淀区清华园；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。