浙江大学韩蒙获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江大学申请的专利一种基于权重叠加的大语言模型指纹添加方法和设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119598433B 。
龙图腾网通过国家知识产权局官网在2026-02-17发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411593197.4,技术领域涉及:G06F21/32;该发明授权一种基于权重叠加的大语言模型指纹添加方法和设备是由韩蒙;徐振华;邢文鹏;林昶廷;李莹;王滨;金波设计研发完成,并于2024-11-08向国家知识产权局提交的专利申请。
本一种基于权重叠加的大语言模型指纹添加方法和设备在说明书摘要公布了:本发明提供的基于权重叠加的大语言模型指纹添加方法,相比于现有技术而言,该方法以中毒实例为指纹,通过权重叠加,在无需重新微调下游模型的情况下,将指纹信息快速嵌入至大批量的大语言模型中,甚至能够在仅使用CPU的情况下完成嵌入,大幅提高了大语言模型进行文本处理任务的可扩展性和指纹嵌入效率;指纹嵌入可以避免恶意用户的指纹猜测行为也解决了微调模型所带来的复杂性问题;另外,指纹向量获取与下游模型之间解耦,引入的正则化数据对可以抵消指纹数据对的潜在不良影响,使得添加指纹向量后下游模型的性能不会下降甚至有所提升。本发明还提供了基于权重叠加的大语言模型指纹添加的设备,实现大语言模型指纹添加方法。
本发明授权一种基于权重叠加的大语言模型指纹添加方法和设备在权利要求书中公布了:1.一种基于权重叠加的大语言模型指纹添加方法,其特征在于,包括以下步骤: 构造指纹提示数据集,所述指纹提示数据集包括若干指纹数据对和若干正则化数据对;指纹数据对作为中毒实例,定义为输入输出数据对,其中,指纹数据对的输入,通过在密钥池中随机采样指定长度后得到,表示指纹数据对的输出,固定为特殊字符组成的序列;通过引入正则化因子来构造正则化数据对,数量为,其中为指纹数据对的数量,正则化数据对由标准对话场景的文本输入和文本输出组成; 基于指纹提示数据集,基于基础模型构造集合,针对基础模型使用指纹提示数据集进行微调,使基础模型具备指纹化特征获得指纹化模型,表示为: ,其中,表示基础模型的指纹化模型,表示指纹化模型对应的权重,表示指纹化模型和权重组成的集合; 将指纹化模型与基础模型的各权重相减得到指纹向量,表示为: ,其中,表示基础模型构造的集合,表示指纹向量所组成的集合,表示指纹化模型对应的权重,表示基础模型对应的权重,表示指纹化模型与基础模型的各权重相减得到的指纹向量; 通过权重叠加的方式将指纹向量迁移到下游模型中,使下游模型具备指纹化特征获得指纹迁移模型,表示为: ,其中,表示指纹迁移模型构造的集合,表示基础模型构造的集合,表示源于某个基础模型的下游模型的权重,表示指纹化模型与基础模型的各权重相减得到的指纹向量,表示基于所选下游模型实施指纹向量迁移得到的指纹迁移模型,是指纹迁移模型对应的权重,实现大语言模型指纹添加。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江大学,其通讯地址为:310058 浙江省杭州市西湖区余杭塘路866号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励