龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：智洋创新科技股份有限公司
摘要：本发明提出了一种用于大模型的高并发部署方法、系统和设备，该方法包括：接收用户请求，并对用户请求进行解析，在解析后的用户请求信号量符合限流策略时，根据当前模型的工作状态和资源状况选择最合适的模型节点；将用户请求转发至最合适的模型节点后进行模型推理，在模型推理过程中计算最大键值缓存的显存数量；确定页帧大小，以请求为单位创建页表，以及采用二级页表的形式管理键值缓存，确定最终的页面寻址范围；在完成推理后将生成的结果实时反馈至用户。基于该方法，还提出了一种用于大模型的高并发部署系统和设备。本发明不仅能够显著简化部署流程，降低技术实施的门槛，还能大幅提升大模型在推理任务中的处理吞吐量。
主权项：1.一种用于大模型的高并发部署方法，其特征在于，包括以下步骤：接收用户请求，并对所述用户请求进行解析，在解析后的用户请求信号量符合限流策略时，根据当前模型的工作状态和资源状况，选择最合适的模型节点；将所述用户请求转发至最合适的模型节点后进行模型推理，在模型推理过程中计算最大键值缓存的显存数量；确定页帧大小，以请求为单位创建页表，以及采用二级页表的形式管理键值缓存，确定最终的页面寻址范围；在完成模型推理之后，采用流式传输技术，将生成的结果实时反馈至用户。
全文数据：
权利要求：
百度查询： 智洋创新科技股份有限公司 一种用于大模型的高并发部署方法、系统和设备
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号