买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉鹏城实验室申请的专利基于文本生成模型的优化器量化方法、装置以及控制器获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117973469B 。

龙图腾网通过国家知识产权局官网在2025-09-30发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202410053158.9，技术领域涉及：G06N3/063；该发明授权基于文本生成模型的优化器量化方法、装置以及控制器是由聂建政;李论通;彭佩玺;田永鸿设计研发完成，并于2024-01-12向国家知识产权局提交的专利申请。

本基于文本生成模型的优化器量化方法、装置以及控制器在说明书摘要公布了：本申请涉及人工智能技术领域，特别涉及基于文本生成模型的优化器量化方法、装置以及控制器。优化器量化方法包括读取优化器的文本输入张量，文本输入张量为第一位宽的浮点数据；确定文本输入张量的梯度信息并对梯度信息分块处理，得到多个独立块，根据归一化常数对独立块进行量化处理，得到独立块的量化结果，量化结果为第二位宽的整数数据；将量化结果进行优化预处理，得到优化量化结果，将优化量化结果作为第一优化器状态；对第一优化器状态进行反量化处理，得到第二优化器状态，并更新优化器；对第二优化器状态进行量化处理以回到第一优化器状态，存储独立块的优化量化结果，有利于降低文本生成模型中优化器的显存占用，提高显卡的利用率。

本发明授权基于文本生成模型的优化器量化方法、装置以及控制器在权利要求书中公布了：1.一种基于文本生成模型的优化器量化方法，其特征在于，包括： 读取优化器的文本输入张量，所述文本输入张量为第一位宽的浮点数据； 确定所述文本输入张量的梯度信息； 将所述梯度信息进行分块处理，得到多个独立块，并对所述独立块进行归一化处理，得到所述独立块的归一化常数，并根据所述归一化常数对所述独立块进行量化处理，得到所述独立块的量化结果，所述量化结果为第二位宽的整数数据，其中，所述第二位宽小于第一位宽； 将所述量化结果进行优化预处理，得到优化量化结果，并将所述优化量化结果作为第一优化器状态； 对所述第一优化器状态进行反量化处理，得到第二优化器状态，并根据所述第二优化器状更新所述优化器； 对所述第二优化器状态进行量化处理，以回到所述第一优化器状态，并存储所述独立块的优化量化结果； 所述得到所述独立块的量化结果包括： 将所述文本输入张量转换成一维元素序列，并将所述一维元素序列分成预设区间大小的多个独立块； 确定所述独立块的归一化常数，并根据所述归一化常数将所述文本输入张量转换为目标量化数据类型的域的范围； 确定所述一维元素序列的每个元素在所述目标量化数据类型的域中的对应值； 存储与所述对应值所对应的索引； 根据所述索引得到所述独立块的量化结果； 在所述存储与所述对应值所对应的索引之后，还包括： 对所述索引执行反规范化处理； 确定所述一维元素序列的最大值； 根据经反规范化处理的索引和所述一维元素序列的最大值，通过二分法确定与所述索引对应的量化输出数据； 将所述通过二分法确定与所述索引对应的量化输出数据确定为所述独立块的量化结果； 所述基于文本生成模型的优化器量化方法还包括： 将所述文本输入张量输入至嵌入层模块，得到嵌入向量； 将所述嵌入向量输入至Transformer模型，并执行向前运算，以获得所述优化器的损失函数； 将所述损失函数执行反向传播计算，以优化所述损失函数值； 确定所述优化器的梯度，并根据所述损失函数和所述梯度得到所述损失函数对于所述文本生成模型的梯度； 对所述梯度进行量化处理。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人鹏城实验室，其通讯地址为：518000 广东省深圳市南山区兴科一街2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。