科大讯飞股份有限公司谭现成获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉科大讯飞股份有限公司申请的专利实现推理服务实例扩缩方法、电子设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN121303367B 。
龙图腾网通过国家知识产权局官网在2026-04-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202511875785.1,技术领域涉及:G06N5/04;该发明授权实现推理服务实例扩缩方法、电子设备及存储介质是由谭现成;罗雷;时蒙福设计研发完成,并于2025-12-12向国家知识产权局提交的专利申请。
本实现推理服务实例扩缩方法、电子设备及存储介质在说明书摘要公布了:本发明提供一种实现推理服务实例扩缩方法、电子设备及存储介质,属于人工智能技术领域,包括:基于目标推理服务的历史运行数据预测未来业务负载以生成主动扩缩实例决策;基于目标推理服务的实时运行数据评估当前运行状态以生成被动扩缩实例决策;对主动扩缩实例决策和被动扩缩实例决策进行协同决策确定最终扩缩实例指令,根据最终扩缩实例指令调整目标推理服务的实例数量。本发明通过建立主动预测与被动响应相结合的双擎协同机制,在利用历史数据实现前瞻性扩缩容以降低时延的同时,利用实时数据进行兜底校正以应对突发负载,有效解决了单一扩缩容方式响应滞后或资源浪费的问题,显著提升了推理服务的资源利用率和服务质量稳定性。
本发明授权实现推理服务实例扩缩方法、电子设备及存储介质在权利要求书中公布了:1.一种实现推理服务实例扩缩方法,其特征在于,包括: 获取目标推理服务的历史运行数据和实时运行数据; 基于所述历史运行数据预测所述目标推理服务的未来业务负载,以基于所述未来业务负载生成主动扩缩实例决策; 确定与所述实时运行数据中各指标数据分别对应的动态权重; 利用所述动态权重对所述实时运行数据中的各指标数据进行加权计算,以得到表征所述目标推理服务当前健康程度的综合评分; 比较所述综合评分与预设的扩缩容触发阈值; 若所述综合评分满足所述扩缩容触发阈值对应的触发条件,则生成被动扩缩实例决策; 基于预设的协同策略对所述主动扩缩实例决策和所述被动扩缩实例决策进行协同决策,确定最终扩缩实例指令; 根据所述最终扩缩实例指令调整所述目标推理服务的实例数量; 其中,所述利用所述动态权重对所述实时运行数据中的各指标数据进行加权计算,以得到表征所述目标推理服务当前健康程度的综合评分,包括: 获取承载所述目标推理服务的目标节点的资源总容量信息、资源已分配量信息及资源已使用量信息; 根据所述资源总容量信息、所述资源已使用量信息及所述动态权重,计算得到第一子评分,所述第一子评分用于表征所述目标节点的资源剩余程度; 根据所述资源总容量信息及所述资源已分配量信息,确定所述目标节点中各类资源分配比例的离散程度; 基于所述离散程度计算得到第二子评分,所述第二子评分用于表征所述目标节点的资源平衡性; 对所述第一子评分和所述第二子评分进行融合计算,得到所述综合评分。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人科大讯飞股份有限公司,其通讯地址为:230088 安徽省合肥市高新开发区望江西路666号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励