龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：清华大学
摘要：本公开涉及人工智能技术领域，尤其涉及针对大语言模型的动态猜测解码方法、装置、设备及介质，该方法包括：响应于获取到待处理的输入文本，从预设结构集中采样不同的多个模型子结构；基于输入文本，确定每个模型子结构的加速比；根据每个模型子结构对应的加速比，从多个模型子结构中选取加速比最大的模型子结构作为输入文本的目标草稿模型；利用目标草稿模型对输入文本进行预测，得到目标草稿模型预测出的草稿词块，并使用大语言模型对草稿词块进行验证，以得到输入文本对应的解码结果。由此，能够为不同的输入文本，使用合适的目标草稿模型进行猜测解码，同时减小额外的计算开销，以提高接收率和加速推理效果，有利于提高猜测解码的效率和性能。
主权项：1.一种针对大语言模型的动态猜测解码方法，其特征在于，包括：响应于获取到待处理的输入文本，从预设结构集中采样不同的多个模型子结构，所述模型子结构包括所述大语言模型的部分结构，不同模型子结构所包括的所述大语言模型的部分结构不同；基于所述输入文本，确定每个模型子结构的加速比，任一模型子结构的加速比表征对同一输入文本利用模型子结构作为草稿模型进行猜测解码与利用所述大语言模型进行自回归解码，分别生成相同长度的词块所消耗的时间比；根据每个模型子结构对应的加速比，从所述多个模型子结构中选取加速比最大的模型子结构作为所述输入文本的目标草稿模型；利用所述目标草稿模型对所述输入文本进行预测，得到所述目标草稿模型预测出的草稿词块，并使用所述大语言模型对所述草稿词块进行验证，以得到所述输入文本对应的解码结果。
全文数据：
权利要求：
百度查询： 清华大学 针对大语言模型的动态猜测解码方法、装置、设备及介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号