龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
摘要：本发明公开了一种大语言模型推理的动态批处理方法、装置、设备及介质。通过获取当前大语言模型对应的任务请求队列；获取用户选择动态批处理信息；根据预填充阶段任务不进行批处理或者预填充阶段任务进行批处理，对各当前请求任务分别进行预填充处理，得到各预填充阶段完成处理结果，并生成预填充阶段处理完成队列；对预填充阶段处理完成队列中的各个预填充阶段完成处理结果进行生成阶段处理操作，并将得到的生成阶段完成处理结果存入生成阶段处理完成队列中并输出。解决了静态批处理带来的内存高损耗，计算资源利用率低和高延迟、加速芯片推理效率低的问题，提高了芯片内存带宽的利用率和推理效率，减少了内存的损耗，提高了计算资源的利用率。
主权项：1.一种大语言模型推理的动态批处理方法，其特征在于，包括：获取当前大语言模型对应的任务请求队列；其中，在任务请求队列包括多个当前请求任务；所述当前大语言模型的推理包括预填充阶段和生成阶段；所述当前大语言模型是基于人工智能专用加速芯片；获取用户选择动态批处理信息，其中，所述用户选择动态批处理信息包括预填充阶段任务不进行批处理和预填充阶段任务进行批处理；根据所述预填充阶段任务不进行批处理或者所述预填充阶段任务进行批处理，对各所述当前请求任务分别进行预填充处理，得到各预填充阶段完成处理结果，并生成预填充阶段处理完成队列；对预填充阶段处理完成队列中的各个预填充阶段完成处理结果进行生成阶段处理操作，并将得到的生成阶段完成处理结果存入生成阶段处理完成队列中。
全文数据：
权利要求：
百度查询： 北京燧原智能科技有限公司 大语言模型推理的动态批处理方法、装置、设备及介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号