Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 杭州君同未来科技有限责任公司韩蒙获国家专利权

杭州君同未来科技有限责任公司韩蒙获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉杭州君同未来科技有限责任公司申请的专利一种基于灾难性知识遗忘的大模型指纹擦除方法和设备获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN120180480B

龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202510660179.1,技术领域涉及:G06F21/60;该发明授权一种基于灾难性知识遗忘的大模型指纹擦除方法和设备是由韩蒙;岳栩彬;徐振华;李莹;马世乾;金波;李默涵设计研发完成,并于2025-05-22向国家知识产权局提交的专利申请。

一种基于灾难性知识遗忘的大模型指纹擦除方法和设备在说明书摘要公布了:本发明涉及机器学习领域,具体为一种基于灾难性知识遗忘的大模型指纹擦除方法和设备,构造语义偏移数据集;根据语义偏移数据集,生成具有泛化擦除能力的LoRA适配器;利用LoRA适配器处理指纹模型,得到完成指纹擦除的模型;利用清洗数据集处理完成指纹擦除的模型,得到最终模型;对所述最终模型进行验证,判断最终模型是否成功擦除指纹。本发明能够针对现有大语言模型指纹擦除技术的资源消耗大、模型性能急剧下降和鲁棒性差等问题,以及为了在不依赖触发‑输出模式先验知识的情况下,完全移除通过不同黑盒的模型指纹技术嵌入的后门指纹,实现低成本、高效、轻量级以及鲁棒性强的大语言模型指纹擦除技术。

本发明授权一种基于灾难性知识遗忘的大模型指纹擦除方法和设备在权利要求书中公布了:1.一种基于灾难性知识遗忘的大模型指纹擦除方法,其特征在于,所述方法包括以下步骤: 步骤S1,构造语义偏移数据集,其具体为: 随机打乱原始训练数据集的输入与输出对应关系,形成多个语义异常匹配的数据单元; 将多个数据单元组合为多轮对话结构,构造得到语义偏移数据集; 步骤S2,根据所述语义偏移数据集,生成具有泛化擦除能力的LoRA适配器,其具体为: 根据所述语义偏移数据集对基础模型进行定向微调,以此向所述基础模型引入低秩分解增量; 根据优化负对数似然损失冻结所述基础模型的原始参数后,通过梯度下降方式更新所述低秩分解增量,生成具有泛化擦除能力的LoRA适配器,其具体为: 通过在语义偏移数据集Dm上对基础模型θU进行定向微调,其中,向基础模型θU引入低秩分解增量,其中,基础模型θU为未经过指纹嵌入的原始大语言模型;表示基础模型θU的权重矩阵,d表示基础模型θU隐藏层维度;A和B分别表示基础模型θU的两个低秩分解矩阵,r表示低秩分解矩阵的秩;再根据根据优化负对数似然损失,冻结基础模型θU的原始参数后通过梯度下降方式更新低秩分解增量,生成具有泛化擦除能力的LoRA适配器,其中冻结基础模型θU是指阻止基础模型θU的参数在训练过程中被梯度更新,保持参数的初始值不变;在上述优化负对数似然损失中,(x,y)表示语义偏移数据集Dm中某输入及其对应的输出组成的数据对,表示在更新后的参数θU+ΔW下,模型对输入x生成输出y的条件概率; 步骤S3,利用所述LoRA适配器处理指纹模型,得到完成指纹擦除的模型,其具体为: 利用所述LoRA适配器与指纹模型进行参数融合,得到完成指纹擦除的模型; 步骤S4,利用清洗数据集处理所述完成指纹擦除的模型,得到最终模型; 步骤S5,对所述最终模型进行验证,判断所述最终模型是否成功擦除指纹。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人杭州君同未来科技有限责任公司,其通讯地址为:310053 浙江省杭州市滨江区浦沿街道东信大道66号6号楼310室;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。