买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学技术大学

摘要：本发明公开了一种序列模型编辑方法、装置、电子设备及存储介质，包括，向所述序列模型给定提示词，获取所述提示词的多个原始隐藏向量；根据多个原始隐藏向量定位所述序列模型的待编辑位置，所述待编辑位置包含目标层和关键词元；根据关键词元的多个原始隐藏向量，确定最优隐藏向量；选择在给定提示词后，所述目标层中被激活的高分神经元，确定神经元子集；修改所述神经元子集的神经元参数，更新每一层的权重矩阵；迭代选择目标层的神经元，得到迭代后的神经元子集，修改迭代后的神经元子集的神经元参数，本发明能够很大程度上缓解模型遗忘问题；并且通过选择目标层，部分神经元的方式，降低了模型的编辑次数，从而降低防止模型损坏的风险。

主权项：1.一种序列模型编辑方法，其特征在于，包括：向所述序列模型给定提示词，获取所述提示词的多个原始隐藏向量；向所述序列模型给定提示词，获取所述提示词的多个原始隐藏向量,包括：向所述序列模型给定提示词，所述提示词被分解为每层对应的多个词元；多个所述词元均被送至解码器块，得到每个词元对应的原始隐藏向量；根据多个原始隐藏向量定位所述序列模型的待编辑位置，所述待编辑位置包含目标层和关键词元；根据多个原始隐藏向量定位所述序列模型的待编辑位置，所述待编辑位置包含目标层和关键词元，包含：向所述序列模型的每个层对应的原始隐藏向量添加高斯噪声，确定被干扰模型；计算被干扰模型输出目标词元的第一概率；渐进式地在所述每个层移除高斯噪声，使所述原始隐藏向量被恢复至原始值；计算所述原始隐藏向量被恢复至原始值的模型输出目标词元的第二概率；获取第一概率和每个第二概率的差值，得到多个差值；量化所述多个差值，得到多个恢复分数；根据所述多个恢复分数，识别多个超出预设恢复分数的目标层；根据关键词元的多个原始隐藏向量，确定最优隐藏向量；根据关键词元的多个原始隐藏向量，确定最优隐藏向量，包括：获取多个所述原始隐藏向量的损失值；优化所述损失值，得到所述最优隐藏向量；选择在给定提示词后，所述目标层中被激活的高分神经元，确定神经元子集；选择在给定提示词后，所述目标层中被激活的高分神经元，确定神经元子集，包括：基于所述给定的提示词，确定每一层激活的神经元；根据所述激活的神经元，计算激活值得分；排序所述激活值得分；从所述排序的激活值得分中选择所述神经元子集；修改所述神经元子集的神经元参数，更新每一层的权重矩阵；修改所述神经元子集的神经元参数，更新每一层的权重矩阵,包括：获取上轮编辑中权重矩阵的权重的残差；优化所述权重的残差；根据所述优化的权重的残差，确定最优的模型参数变化量；根据所述最优的模型参数变化量，更新所述权重矩阵；迭代选择目标层的神经元，得到迭代后的神经元子集，修改迭代后的神经元子集的神经元参数，直至最优隐藏向量和原始隐藏向量满足公式：，其中为的目标阈值。

全文数据：

权利要求：

百度查询： 中国科学技术大学 一种序列模型编辑方法、装置、电子设备及存储介质