龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：浪潮软件科技有限公司
摘要：本发明涉及人工智能领域，本发明要解决的技术问题为如何简化存储资源和计算资源，进行大语言模型的推广。采用的技术方案为一种大语言模型加速方法及装置，具有如下步骤：S1、将大语言模型的预训练权重矩阵W进行压缩分解；S2、分别对U和VT矩阵进行QR分解，得到QU、RU、QV、RV；S3、使用奇异值分解算法对矩阵乘积进行压缩分解；S4、将矩阵分别合并；S5、将得到的矩阵替换权重矩阵W进行存储；S6、使用存储的矩阵进行推理加速；S7、将得到的秩r设置成为对应权重矩阵W的低秩参数化更新矩阵ΔW的秩；S8、使用存储的矩阵进行微调后大语言模型的推理加速。
主权项：1.一种大语言模型加速方法，其特征在于，具有如下步骤：S1、第一次矩阵压缩分解，将大语言模型的预训练权重矩阵W进行压缩分解，得到U和V，使得；S2、第二次矩阵压缩分解，分别对U和矩阵进行QR分解，得到、、、；S3、第三次矩阵压缩分解，使用奇异值分解算法对矩阵和的乘积进行压缩分解得到、、；S4、将矩阵、、和、分别合并为矩阵和，使得；S5、将得到的矩阵和替换权重矩阵W进行存储；S6、当大语言模型需要使用预训练权重矩阵进行推理时，使用存储的矩阵和进行推理加速；S7、当需要对大语言模型进行微调时，在进行基于LoRA微调前，将步骤S3中得到的秩r设置成为对应权重矩阵W的低秩参数化更新矩阵的秩，其中维度为；S8、当使用微调后大语言模型进行推理时，使用存储的矩阵、、A、B，进行微调后大语言模型的推理加速。
全文数据：
权利要求：
百度查询： 浪潮软件科技有限公司 一种大语言模型加速方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号