买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京亿安天下科技股份有限公司申请的专利支持大模型推理的计算图优化方法、系统及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN121390320B 。

龙图腾网通过国家知识产权局官网在2026-04-03发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511928255.9，技术领域涉及：G06N5/04；该发明授权支持大模型推理的计算图优化方法、系统及装置是由李红明;苏浩;孙德宝;杨珍豪设计研发完成，并于2025-12-19向国家知识产权局提交的专利申请。

本支持大模型推理的计算图优化方法、系统及装置在说明书摘要公布了：本申请涉及计算图优化技术领域，具体涉及支持大模型推理的计算图优化方法、系统及装置，该方法包括：在各执行周期下，监控计算图中任意两个节点在所有次模型推理的通信频率、数据传输量，以及两个节点的瓶颈带宽和往返延迟，确定所述任意两个节点的亲和度；生成多个初始的分配方案，确定分配方案的最大执行时间；确定分配方案的跨设备通信时间，结合最大执行时间构建目标函数，获取最优分配方案；确定各执行周期的累积节省延迟、迁移成本开销，对比其与累积节省延迟的大小，对计算图中节点的迁移进行评估以优化计算图。本申请能够降低推理延迟且避免盲目迁移导致的资源浪费和性能下降，能够全面、动态地优化计算图的分配。

本发明授权支持大模型推理的计算图优化方法、系统及装置在权利要求书中公布了：1.支持大模型推理的计算图优化方法，其特征在于，该方法包括以下步骤： 在各执行周期下，监控计算图中任意两个节点在所有次模型推理的通信频率、数据传输量，以及两个节点的瓶颈带宽和往返延迟，通过评估两个节点部署在同一计算设备所节省的通信成本，确定所述任意两个节点的亲和度； 对所有节点以及所有计算设备进行随机分配，生成多个初始的分配方案，分析计算设备的计算能力以及节点的数据处理量，评估分配方案中分配在同一计算设备下不同节点的数据被处理的耗时，确定分配方案的最大执行时间； 根据分配方案中所述任意两个节点被分配到同一计算设备的情况以及亲和度，确定分配方案的跨设备通信时间，结合最大执行时间构建目标函数，对分配方案进行分层迭代剪枝，获取最优分配方案； 预估各执行周期在当前的分配方案切换至最优分配方案所产生的延迟节省情况，结合等待被处理的请求排队数量，确定各执行周期的累积节省延迟； 通过计算图中每条边对应的两个节点在最优分配方案中分配的计算设备被改变的情况，评估需要迁移的数据量被迁移传输的时间情况，得到各执行周期的迁移成本开销，对比其与累积节省延迟的大小，对计算图中节点的迁移进行评估以优化计算图； 所述确定各执行周期的累积节省延迟，包括： 测量各执行周期下所有次模型推理从开始到结束的耗时的均值，作为各执行周期的单次实际延迟； 获取最优分配方案下所述任意两个节点的通信系数；计算所述任意两个节点的亲和度与瓶颈带宽的比值，作为所述任意两个节点的传输延迟；将所述传输延迟与往返延迟的和，作为所述任意两个节点的通信延迟估计； 计算所述计算图中所有边对应连接的两个节点的通信系数与通信延迟估计的乘积的累加和，将最优分配方案的最大执行时间与累加和的和，作为各执行周期对应的预估延迟； 将单次实际延迟与预估延迟的差值，作为各执行周期的预估节省延迟； 获取多个执行周期的请求到达速率并进行平滑，将平滑值作为各执行周期的瞬时QPS；通过查询调度器，获取等待被处理的请求Batch的数量，作为期望生命周期； 计算所述瞬时QPS与所述期望生命周期的乘积的向下取整到预设数值的倍数，作为剩余推理次数； 所述累积节省延迟为预估节省延迟与剩余推理次数的乘积； 所述得到各执行周期的迁移成本开销，包括： 将计算图中每条边对应的两个节点，作为一组节点对；若最优分配方案下每组节点对中存在节点对应的计算设备发生改变，且该组节点对应边存在持久张量，则标记该边需迁移，并计算需迁移的所有边在最后一次模型推理时对应的数据传输量的和，作为待迁移数据量； 将待迁移数据量与实时测量的网络可用带宽之间的比值，作为迁移延迟； 获取序列化和反序列化的预设开销常数与待迁移数据量的乘积，作为序列化开销； 通过对多个不同数据量分别进行迁移测试，分别测量每次测试的一致性同步阻塞时间； 将每个数据量对应一致性同步阻塞时间组成一个二维数组，对所有二维数组进行线性拟合，获取拟合函数；将待迁移数据量作为拟合函数的输入，获取待迁移数据量对应的一致性同步阻塞时间； 计算迁移延迟、序列化开销和待迁移数据量对应的一致性同步阻塞时间三者的和值，将所述和值与预设安全系数的乘积，作为各执行周期的迁移成本开销。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京亿安天下科技股份有限公司，其通讯地址为：102299 北京市昌平区超前路17号1幢1至11层101-901；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。