买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京邮电大学申请的专利一种知识蒸馏方法、装置、设备、介质及产品获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119990257B 。

龙图腾网通过国家知识产权局官网在2026-03-17发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510155440.2，技术领域涉及：G06N3/096；该发明授权一种知识蒸馏方法、装置、设备、介质及产品是由程渤;郑力威;章洋;陈俊亮设计研发完成，并于2025-02-12向国家知识产权局提交的专利申请。

本一种知识蒸馏方法、装置、设备、介质及产品在说明书摘要公布了：本申请公开了一种知识蒸馏方法、装置、设备、介质及产品，涉及人工智能技术领域，该方法包括：将第t次循环次数对应的当前迭代次数下的文本分别输入教师模型和学生模型，得到概率分布集合；根据概率分布集合计算前向KL散度以及反向KL散度的值得到损失函数值；若标记词为非结束标记符，则将标记词拼接到文本后面，然后进入第t次循环次数对应的下次迭代；否则根据损失函数值对学生模型的参数进行更新，然后令循环次数t加1并初始化下一循环次数对应的迭代次数，进入下次循环，直到训练数据集中的文本被抽取完毕，保存最后一次循环次数对应的学生模型的参数及学生模型的架构，本申请可提高学生模型的精度和泛化能力。

本发明授权一种知识蒸馏方法、装置、设备、介质及产品在权利要求书中公布了：1.一种知识蒸馏方法，其特征在于，所述知识蒸馏方法包括： 在第t次循环次数下，在训练数据集中无放回的抽取一条文本作为第t次循环次数下的文本；所述训练数据集中包括多条文本； 在第t次循环次数对应的当前迭代次数下，将第t次循环次数对应的当前迭代次数下的文本分别输入教师模型和第t-1次循环次数对应的学生模型，得到第t次循环次数对应的当前迭代次数下的概率分布集合；所述概率分布集合包括教师模型的输出logit的概率分布、教师模型各中间层的隐藏feature的向量表示、学生模型的输出logit的概率分布以及学生模型各中间层的隐藏feature的向量表示；第t次循环次数对应的初始迭代次数下的文本为第t次循环次数下的文本；所述教师模型为预训练后的大语言模型； 计算第一损失函数值以及第t次循环次数对应的上一迭代次数下的损失函数值的和得到第t次循环次数对应的当前迭代次数下的损失函数值；第一损失函数值为将第t次循环次数对应的当前迭代次数下的概率分布集合输入损失函数得到的值；所述损失函数包括前向kl散度和反向kl散度； 判断标记词是否为非结束标记符，若是则将所述标记词拼接到第t次循环次数对应的当前迭代次数下的文本后面，得到第t次循环次数对应的下一迭代次数下的文本，然后令第t次循环次数对应的迭代次数加1，进入第t次循环次数对应的下次迭代；所述标记词是根据第t次循环次数对应的当前迭代次数下的概率分布集合中教师模型的输出logit的概率分布得到的词； 若否，则根据第t次循环次数对应的当前迭代次数下的损失函数值对第t-1次循环次数对应的学生模型的参数进行更新得到第t次循环次数对应的学生模型，然后令循环次数t加1并初始化下一循环次数对应的迭代次数，进入下次循环，直到所述训练数据集中的文本被抽取完毕，保存最后一次循环次数对应的学生模型的参数及学生模型的架构。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京邮电大学，其通讯地址为：100876 北京市海淀区西土城路10号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。