买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉贵州师范大学;贵州工匠行科技有限公司申请的专利轻量化自然语言处理大模型训练方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119862925B 。

龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510355279.3，技术领域涉及：G06N3/082；该发明授权轻量化自然语言处理大模型训练方法是由陈贵平;李华平;徐志伟;田阳欢;赵镒;褚溪;周晓晓;付初惟;戴洵设计研发完成，并于2025-03-25向国家知识产权局提交的专利申请。

本轻量化自然语言处理大模型训练方法在说明书摘要公布了：本发明公开了轻量化自然语言处理大模型训练方法；包括如下步骤，获得处理语言数据；得到已标注的增强数据集；通过语义复杂度动态激活子网络的稀疏化机制，计算得到激活掩码；通过激活掩码的参数敏感度生成量化位宽；对混合精度量化策略进行交叉反馈调节；对训练的学生模型进行评估。本申请通过动态稀疏激活、混合精度量化及协同优化，解决了大模型轻量化中的静态策略僵化、量化精度损失、知识迁移低效等核心问题；动态稀疏激活替代传统静态剪枝，减少语义损失；为了实现对增强数据集进行优化的特征提取，采用融合优化特征；混合精度量化有效的实现对计算的复杂程度进行降低。

本发明授权轻量化自然语言处理大模型训练方法在权利要求书中公布了：1.轻量化自然语言处理大模型训练方法，其特征在于，包括如下步骤： 采集大量的自然语言数据，对自然语言数据进行预处理，获得处理语言数据； 选择一个成熟的大型自然语言模型，作为教师模型，将处理语言数据通过教师模型进行训练处理，从而得到已标注的增强数据集； 将轻量化自然语言处理大模型作为学生模型，再将增强数据集输入到学生模型中进行训练，计算增强数据集的语义复杂度，并且通过语义复杂度动态激活子网络的稀疏化机制，计算得到激活掩码； 所述子网络的稀疏化机制的步骤如下： 将输入的已标注的增强数据集进行特征提取，并且将提取后的特征进行融合，生成融合特征，进而生成多维语义表征，并且将多维语义表征作为稀疏激活的决策依据； 根据输入的融合特征动态选择激活的子网络，根据语义复杂度计算得到激活掩码； 并且对于增强数据集进行特征提取的步骤如下： 将增强数据集进行分割，并且对分割后的增强数据集进行特征提取，然后将提取的特征进行融合处理，并且对融合后的特征进行再次特征提取； 先将增强数据集中的每一个字符进行特征提取，然后将每一个提取的特征进行融合，再次进行特征提取，实现对所有字符进行优化特征； 以及将增强数据集中的每一个词汇进行特征提取，然后将每一个提取的特征进行融合，再次进行特征提取，实现对所有的词汇进行优化特征； 并且再将增强数据集进行分段，通过字符数字进行平均分段，然后将增强数据集进行分割成两段，然后对每一段增强数据集和完整的增强数据集进行特征提取，然后将提取的特征进行融合，再次进行特征提取，实现对上下文特征进行优化特征； 最后将优化后的字符特征、优化后的词汇特征和优化后的上下文特征进行融合处理，得到融合特征； 将计算得到的激活掩码输入到预设的混合精度量化策略中，计算得到激活掩码的参数敏感度，通过激活掩码的参数敏感度生成量化位宽； 然后将激活掩码和量化位宽进行结合共同完成计算，实现对混合精度量化策略进行交叉反馈调节； 将自然语言数据输入到学生模型中，学生模型输出训练结果，基于训练结果对训练的学生模型进行评估，并在评估结果满足预定条件的情况下，输出当前的学生模型，即为自然语言处理模型，用于自然语言处理。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人贵州师范大学;贵州工匠行科技有限公司，其通讯地址为：551000 贵州省贵阳市贵安新区花溪大学城栋青路；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。