买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜上海曲速超为技术有限公司申请的专利一种增加关键信息占比的大模型微调方法、系统及应用获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119090018B 。

龙图腾网通过国家知识产权局官网在2025-03-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202411228509.1，技术领域涉及：G06N5/04；该发明授权一种增加关键信息占比的大模型微调方法、系统及应用是由潘一荣设计研发完成，并于2024-09-03向国家知识产权局提交的专利申请。

本一种增加关键信息占比的大模型微调方法、系统及应用在说明书摘要公布了：本发明公开了一种增加关键信息占比提高应用效果的大模型微调方法，所述大模型微调方法包括如下步骤：步骤一、对输入文本中的一般信息和关键信息进行处理，扩充分词器词表；步骤二、调整大模型的嵌入层维度，并初始化新加入token的权重值；步骤三、使用扩充词表后的分词器对微调数据进行切分；步骤四、将调整后的嵌入层加入可分解模块中，对大模型进行微调；步骤五、使用微调后的大模型以及扩充后的分词器进行推理。本发明还公开了实现上述方法的大模型微调系统，及相应的应用，具有广泛应用场景。

本发明授权一种增加关键信息占比的大模型微调方法、系统及应用在权利要求书中公布了：1.一种增加关键信息占比的大模型微调方法，其特征在于，所述大模型微调方法包括如下步骤：步骤一、对输入文本中的一般信息和关键信息进行处理，扩充分词器词表；步骤一中，所述一般信息是指输出数据中无实际意义，作为模型生成内容模板的字段；所述关键信息是指在微调数据中需要模型重点关注和处理的信息字段；将连续出现的一般信息统一处理为一个token,将连续出现的关键信息统一处理为一个token，不同的关键信息采用不同的tokenid表示；步骤二、调整大模型的嵌入层维度，并初始化新加入token的权重值；步骤二中，模型中的嵌入层维度从[old_vocab_size,embed_dim]转换为[new_vocab_size,embed_dim]，其中，old_vocab_size表示扩充前词表大小，new_vocab_size表示扩充后词表大小，embed_dim表示嵌入层维度；通过子词求均值的方法初始化新加入的token的权重，所述新加入的token会根据已有词表进行切分，生成多个子词，包括如下步骤：步骤2.1.分别用词表扩充前和词表扩充后的分词器对每一个新加入的token进行编码，分别获得新token的子词id列表和新token在新词表中的id，所述新词表中的id值为新token在扩充后的嵌入层中的索引值；步骤2.2.对于子词id列表中的索引值，查找每个子词在原始模型嵌入层中对应的权重值；步骤2.3.对步骤2.2中获得的所有子词的权重值进行求和，并按维度求均值，作为新加入token的初始权重值；步骤2.4.通过步骤2.1中获取的新token在嵌入层中的id值，对新模型的嵌入层中对应的权重值进行重新赋值，新值为步骤2.3中获取的子词权重均值；步骤三、使用扩充词表后的分词器对微调数据进行切分；步骤四、将调整后的嵌入层加入可分解模块中，对大模型进行微调；步骤五、使用微调后的大模型以及扩充后的分词器进行推理。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人上海曲速超为技术有限公司，其通讯地址为：201203 上海市浦东新区中国(上海)自由贸易试验区郭守敬路498号8幢19号楼3层；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。