北京百度网讯科技有限公司骆金昌获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉北京百度网讯科技有限公司申请的专利模型蒸馏方法、装置、电子设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119760074B 。
龙图腾网通过国家知识产权局官网在2025-12-19发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411824909.9,技术领域涉及:G06F16/3329;该发明授权模型蒸馏方法、装置、电子设备及存储介质是由骆金昌;何伯磊;陈坤斌;和为设计研发完成,并于2024-12-11向国家知识产权局提交的专利申请。
本模型蒸馏方法、装置、电子设备及存储介质在说明书摘要公布了:本申请公开了模型蒸馏方法、装置、电子设备及存储介质,涉及计算机技术领域,尤其涉及大模型、深度学习等人工智能领域。具体实现方案为:获取第一样本;其中,第一样本是采用多个教师模型生成的,第一样本包括第一提示词及第一提示词对应的第一答复信息;将第一样本输入到学生模型,以获取学生模型输出的第一答复信息的第一概率;其中,教师模型的正向评估指标大于学生模型的正向评估指标;根据第一概率,对学生模型进行训练,得到第一蒸馏模型。
本发明授权模型蒸馏方法、装置、电子设备及存储介质在权利要求书中公布了:1.一种模型蒸馏方法,包括: 将第一提示词分别输入到多个教师模型,以获取各教师模型输出的第二答复信息;获取第二答复信息的第一属性信息;根据第一属性信息从所述第二答复信息中确定出第一答复信息;根据第一提示词及第一答复信息,确定并获取第一样本;其中,所述第一答复信息包括所述第一属性信息的值最大的所述第二答复信息; 将所述第一样本输入到学生模型,以获取所述学生模型输出的所述第一答复信息的第一概率;其中,所述教师模型的正向评估指标大于所述学生模型的正向评估指标; 根据所述第一概率,对所述学生模型进行训练,得到第一蒸馏模型; 将第三提示词分别输入到多个教师模型,以获取各教师模型输出的第七答复信息;根据所述第七答复信息的第二属性信息,从所述第七答复信息中确定出第五答复信息和第六答复信息;根据所述第三提示词、所述第五答复信息和所述第六答复信息,获取第二样本;其中,所述第五答复信息包括第二属性信息的值最大的第七答复信息,所述第六答复信息包括第二属性信息的值最小的第七答复信息; 将所述第三提示词和所述第五答复信息输入到所述第一蒸馏模型中,以获取所述第一蒸馏模型输出的所述第五答复信息的第二概率; 将所述第三提示词和所述第六答复信息输入到所述第一蒸馏模型中,以获取所述第一蒸馏模型输出的所述第六答复信息的第三概率; 根据所述第二概率与所述第三概率,对所述第一蒸馏模型进行训练,得到第二蒸馏模型。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人北京百度网讯科技有限公司,其通讯地址为:100085 北京市海淀区上地十街10号百度大厦二层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励