买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:昆仑芯(北京)科技有限公司
摘要:本公开提供了一种大模型服务的部署方法、装置、介质及设备,涉及人工智能技术领域,尤其涉及服务部署、深度学习、自然语言处理技术领域。实现方案为:响应于待配置的多个服务器中的第一服务器接收到来自客户端的配置请求,基于配置请求中有关第一服务器的配置信息,在第一服务器部署剧本编排模块;由剧本编排模块,根据预设的剧本文件以及配置请求中的配置描述,生成针对多个服务器的配置计划;以及向多个服务器中的各个服务器按照配置计划依次分发对应的配置任务,使各个服务器逐步完成相应的环境配置和软件安装,以基于配置完成的多个服务器构建能够提供大模型服务的集群。
主权项:1.一种大模型服务的部署方法,所述方法包括:响应于待配置的多个服务器中的第一服务器接收到来自客户端的配置请求,基于所述配置请求中有关所述第一服务器的配置信息,在所述第一服务器部署剧本编排模块;由所述剧本编排模块,根据预设的剧本文件以及所述配置请求中的配置描述,生成针对所述多个服务器的配置计划,其中,所述配置描述包括所述多个服务器的环境配置信息以及待安装软件的信息,所述待安装软件包括与所述大模型服务相关的软件,所述剧本文件包括具备依赖关系的多个预设任务,所述配置计划包括基于所述配置描述生成的与所述多个预设任务对应的多个配置任务;以及向所述多个服务器中的各个服务器按照所述配置计划依次分发对应的配置任务,使各个服务器逐步完成相应的环境配置和软件安装,以基于配置完成的所述多个服务器构建能够提供所述大模型服务的集群。
全文数据:
权利要求:
百度查询: 昆仑芯(北京)科技有限公司 大模型服务的部署方法、装置、介质及设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。