龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：鹏城实验室
摘要：本申请涉及人工智能技术领域，特别涉及基于文本生成模型的优化器量化方法、装置以及控制器。优化器量化方法包括读取优化器的文本输入张量，文本输入张量为第一位宽的浮点数据；确定文本输入张量的梯度信息并对梯度信息分块处理，得到多个独立块，根据归一化常数对独立块进行量化处理，得到独立块的量化结果，量化结果为第二位宽的整数数据；将量化结果进行优化预处理，得到优化量化结果，将优化量化结果作为第一优化器状态；对第一优化器状态进行反量化处理，得到第二优化器状态，并更新优化器；对第二优化器状态进行量化处理以回到第一优化器状态，存储独立块的优化量化结果，有利于降低文本生成模型中优化器的显存占用，提高显卡的利用率。
主权项：1.一种基于文本生成模型的优化器量化方法，其特征在于，包括：读取优化器的文本输入张量，所述文本输入张量为第一位宽的浮点数据；确定所述文本输入张量的梯度信息；将所述梯度信息进行分块处理，得到多个独立块，并对所述独立块进行归一化处理，得到所述独立块的归一化常数，并根据所述归一化常数对所述独立块进行量化处理，得到所述独立块的量化结果，所述量化结果为第二位宽的整数数据，其中，所述第二位宽小于第一位宽；将所述量化结果进行优化预处理，得到优化量化结果，并将所述优化量化结果作为第一优化器状态；对所述第一优化器状态进行反量化处理，得到第二优化器状态，并根据所述第二优化器状更新所述优化器；对所述第二优化器状态进行量化处理，以回到所述第一优化器状态，并存储所述独立块的优化量化结果。
全文数据：
权利要求：
百度查询： 鹏城实验室 基于文本生成模型的优化器量化方法、装置以及控制器
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号