买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京亿安天下科技股份有限公司申请的专利多节点异构环境下的大模型推理调度方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121116653B 。

龙图腾网通过国家知识产权局官网在2026-03-10发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511662362.1，技术领域涉及：G06F9/50；该发明授权多节点异构环境下的大模型推理调度方法及系统是由王雪芳;杨珍豪设计研发完成，并于2025-11-13向国家知识产权局提交的专利申请。

本多节点异构环境下的大模型推理调度方法及系统在说明书摘要公布了：本发明涉及多节点任务数据处理技术领域，具体涉及一种多节点异构环境下的大模型推理调度方法及系统。该方法对于每个计算节点提取了已推理任务两个阶段下的阶段向量，进一步确定功耗特征差异和超额延迟。基于两个特征训练两个独立的预测器。构建每个计算节点的状态转换有向图，边权值的设置同时由状态节点之间的阶段向量差异，以及由预测器得到的附加风险进行确定。在确定待推理任务在状态转换有向图中对应的节点之后，确定每个计算节点对于该待推理任务的最优路径，进而筛选出最优执行计算节点。本发明通过确定最优执行计算节点，避免因为盲目选择执行的计算节点导致硬件性能不稳，进而影响任务的执行。

本发明授权多节点异构环境下的大模型推理调度方法及系统在权利要求书中公布了：1.一种多节点异构环境下的大模型推理调度方法，其特征在于，所述方法包括： 对于每个计算节点，统计每个已推理任务中提示词处理阶段和令牌生成阶段下的功耗和负载，获得每个阶段的阶段向量；获得每个已推理任务中两个阶段之间的功耗特征差异，以及已推理任务的超额延迟； 将每个已推理任务的阶段向量作为输入，功耗特征差异作为标签，训练得到任务内降载风险预测器；将时序上由令牌生成阶段到提示词处理阶段之间的两个阶段向量作为输入，提示词处理阶段对应的超额延迟作为标签，训练得到跨任务增载延迟预测器； 对于每个计算节点，将已推理任务作为状态节点，构建状态转换有向图；节点状态转换有向图中相邻状态节点之间的每条双向边的边权值由状态节点之间的阶段向量差异，以及附加风险获得；所述附加风险由两个状态节点的特征向量输入至任务内降载风险预测器，或者跨任务增载延迟预测器进行获得； 对于每个计算节点，将待推理任务与已推理任务进行匹配，根据匹配的已推理任务对应的状态节点，以及计算节点的初始状态，确定状态转换有向图中的最优路径；根据所述最优路径和每个计算节点的硬件状态筛选出待推理任务的最优执行计算节点； 所述状态节点包括偏向提示词处理节点和偏向令牌生成节点；对于一个状态节点而言，若提示词处理阶段的计算负载大于令牌生成阶段的访存负载，则状态节点为偏向提示词处理节点；否则为令牌生成节点； 所述最优路径的获取方法包括： 将待推理任务的计算负载总量与状态转换有向图中的所有偏向提示词处理节点进行匹配，获得提示词处理阶段锚点；将待推理任务的访存负载总量与状态有向图中的所有偏向令牌生成节点进行匹配，获得令牌生成阶段锚点；将所述计算节点的初始状态与状态转换有向图中的偏向令牌生成节点进行匹配，获得初始状态锚点； 在状态转换有向图中，利用路径寻优算法，获取初始状态锚点到所述提示词处理阶段锚点之间的第一子最优路径，获取提示词处理机阶段锚点到令牌生成阶段锚点之间的第二子最优路径；将第一子最优路径和第二子最优路径合并作为所述最优路径。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京亿安天下科技股份有限公司，其通讯地址为：102299 北京市昌平区超前路17号1幢1至11层101-901；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。