买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉科大讯飞股份有限公司申请的专利语言模型训练方法、文本处理方法、装置、设备及介质获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120146200B 。

龙图腾网通过国家知识产权局官网在2025-09-19发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510617411.3，技术领域涉及：G06N5/04；该发明授权语言模型训练方法、文本处理方法、装置、设备及介质是由邱昌盛;法羚玲;邱忠银;李锐;胡友华;刘权;胡国平;刘聪;王士进设计研发完成，并于2025-05-14向国家知识产权局提交的专利申请。

本语言模型训练方法、文本处理方法、装置、设备及介质在说明书摘要公布了：本发明提供一种语言模型训练方法、文本处理方法、装置、设备及介质，涉及自然语言处理技术领域，其中方法包括：基于教师模型，预测样本文本中各数据单元对应的第一概率矩阵；第一概率矩阵包括各数据单元属于第一词表中各词元的概率值；根据第一概率矩阵中各概率值的数值大小，对第一概率矩阵进行压缩，得到各数据单元对应的第二概率矩阵；根据第二概率矩阵中各概率值对应的词元，对第二词表进行对齐操作，得到第三词表；根据第三词表和第二概率矩阵，对学生模型进行蒸馏训练，得到目标语言模型，由此降低了存储成本，提升了蒸馏训练效率，而且使得据此训练的目标语言模型在保持高性能的同时，可更好地适应不同的模型架构和文本处理场景。

本发明授权语言模型训练方法、文本处理方法、装置、设备及介质在权利要求书中公布了：1.一种语言模型训练方法，其特征在于，包括： 基于教师模型，预测样本文本中各数据单元对应的第一概率矩阵；所述第一概率矩阵包括各所述数据单元属于第一词表中各词元的概率值，所述第一词表为所述教师模型的词表； 接收用户输入信息，并根据所述用户输入信息中的压缩模式，确定目标数量；所述压缩模式包括固定压缩模式或自适应压缩模式； 按照数值大小，对所述第一概率矩阵中各概率值进行降序排序； 在所述第一概率矩阵中，选择排序位置靠前的所述目标数量的概率值，构建第二概率矩阵； 在所述第二概率矩阵中，获取各第一概率值和各第二概率值；所述第一概率值对应的词元与第二词表中所有词元均不存在映射关系；所述第二概率值对应的词元与所述第二词表中一个词元存在映射关系； 基于学生模型的分词器，映射生成各所述第一概率值对应的词元的映射索引； 将与各所述第二概率值对应的词元存在映射关系的目标词元的第二索引，确定为所述各所述第二概率值对应的词元的映射索引；所述第二索引为所述目标词元在所述第二词表中的索引； 按照各所述第一概率值对应的词元的映射索引，将各所述第一概率值对应的词元填充至空词表中，并按照各所述第二概率值对应的词元的映射索引，将各所述第二概率值对应的词元填充至所述空词表中； 根据填充结果，获取第三词表；所述第二词表是学生模型的词表； 根据所述第三词表中词元的数量，构建空矩阵； 根据所述第二概率矩阵中各概率值对应的词元的第一索引，将所述第二概率矩阵中各概率值填充至所述空矩阵中，得到各所述数据单元对应的第一重构概率矩阵；所述第一索引是所述第二概率矩阵中各概率值对应的词元在所述第三词表中的索引； 对所述第一重构概率矩阵中各概率值进行归一化处理，得到各所述数据单元对应的第二重构概率矩阵； 基于所述学生模型，预测各所述数据单元对应的第三概率矩阵；所述第三概率矩阵包括各所述数据单元属于所述第三词表中各词元的概率值； 根据所述第二重构概率矩阵、所述第三概率矩阵，以及各所述数据单元对应的词元标签，对所述学生模型进行蒸馏训练，得到目标语言模型。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人科大讯飞股份有限公司，其通讯地址为：230088 安徽省合肥市高新开发区望江西路666号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。