买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京天数智芯半导体科技有限公司申请的专利一种推理资源优化方法、装置及电子设备获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN118796471B 。

龙图腾网通过国家知识产权局官网在2025-09-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410942759.5，技术领域涉及：G06F9/50；该发明授权一种推理资源优化方法、装置及电子设备是由朱帅设计研发完成，并于2024-07-15向国家知识产权局提交的专利申请。

本一种推理资源优化方法、装置及电子设备在说明书摘要公布了：本申请提供一种推理资源优化方法、装置及电子设备，该方法包括：获取神经网络模型在不同硬件资源下的推理服务响应性能数据，以及在不同硬件资源下的硬件成本数据；对推理服务响应性能数据和硬件成本数据进行优化建模，获得硬件成本最小的硬件资源部署方案；根据硬件成本最小的硬件资源部署方案生成神经网络模型的配置文件；根据配置文件对神经网络模型和不同硬件资源进行自适应调度优化。在上述方案的实现过程中，通过对推理服务响应性能数据和硬件成本数据进行优化建模，并根据获得硬件成本最小的硬件资源部署方案生成的配置文件，对神经网络模型和不同硬件资源进行自适应调度优化，从而有效地提高了硬件资源的利用率。

本发明授权一种推理资源优化方法、装置及电子设备在权利要求书中公布了：1.一种推理资源优化方法，其特征在于，包括： 获取神经网络模型在不同硬件资源下的推理服务响应性能数据，以及在所述不同硬件资源下的硬件成本数据； 对所述推理服务响应性能数据和所述硬件成本数据进行优化建模，获得硬件成本最小的硬件资源部署方案； 根据所述硬件成本最小的硬件资源部署方案生成所述神经网络模型的配置文件； 根据所述配置文件对所述神经网络模型和所述不同硬件资源进行自适应调度优化； 其中，所述不同硬件资源，包括：多种算力资源和多级存储资源；所述对所述推理服务响应性能数据和所述硬件成本数据进行优化建模，包括：通过所述多种算力资源、所述多种算力资源的硬件成本数据、所述多级存储资源和所述多级存储资源的硬件成本数据来构造整数线性规划ILP求解器；使用所述ILP求解器对所述推理服务响应性能数据和所述硬件成本数据进行优化建模； 所述根据所述配置文件对所述神经网络模型和所述不同硬件资源进行自适应调度优化，包括：判断所述神经网络模型的模型参数的活跃度值是否大于所述配置文件中的预设阈值；若是，则将所述神经网络模型的模型参数移动至所述多级存储资源中的加速器内存中，否则，将所述神经网络模型的模型参数移动至所述多级存储资源中的服务器内存中；其中，所述模型参数包括：权重参数和或KV缓存；所述神经网络模型的模型参数的活跃度值是使用公式计算出的，代表推理过程中的总令牌数量，代表推理过程中该神经网络模型中的节点被激活的令牌数量。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京天数智芯半导体科技有限公司，其通讯地址为：100080 北京市海淀区海淀西大街36号8层8002；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。