买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：哈尔滨工业大学

摘要：一种基于多任务迁移的众包命名实体识别个性化提示微调方法及系统，属于众包命名实体识别技术领域。本发明为了解决使用现有的提示方法在众包场景下进行提示微调时识别准确率低、识别效果差的问题而提出的。技术要点：先构建个性化提示生成器：个性化提示生成器针对每个标注者构建私有提示，针对所有标注者构建公有提示，初始化后经过训练过程得到用于预测的私有提示、公有提示，二者再生成最终软提示，最终软提示再通过提示生成网络生成三种注意力机制对应的K、V；再将K、V输入给基于软提示微调的Transformer构架下的模型，得到参数改变后的预训练模型。实验证明，我们提出的PPG能够显著提升已有基于预训练模型的软提示微调命名实体识别方法在众包数据上的效果。

主权项：1.一种基于多任务迁移的众包命名实体识别个性化提示微调方法，其特征在于：先构建个性化提示生成器：个性化提示生成器针对每个标注者构建私有软提示，针对所有标注者构建公共软提示，初始化后经过训练过程得到用于预测的私有软提示、公共软提示，二者再生成最终软提示，最终软提示再通过提示生成网络生成三种注意力机制对应的键K、值V；再将键K、值V输入给基于软提示微调的Transformer构架下的模型，得到参数改变后的预训练模型，该参数改变的预训练模型用于命名实体识别；所述构建个性化提示生成器具体步骤为：为众包任务提出的个性化提示生成器包括两部分：私有软提示和公共软提示；这两种软提示是两组可学习的参数；其中，私有软提示Pk专门在标注者k的标注数据上进行训练，用于学习标注者k独有的标注标准；Pk对应于多任务迁移中的一个源任务，捕获所述一个源任务的特性；设计的公共软提示Pcommon，用于参与所有标注者标注的数据的训练；Pcommon能够捕获所有标注者标注之间的共同原则；Pcommon对应于多任务迁移中所有子任务共享的特性；在训练阶段，执行Pk和Pcommon的逐元素求和，得到最终的软提示Pk*；其公式化表述为：Pk*＝Pk+Pcommon；最终软提示Pk*之后输入到提示生成网络，为Transformer中的三个注意力机制生成键K和值V；提示生成网络包含编码器中的自注意力机制和解码器中的自注意力机制和交叉注意力机制的三个子网络；每个子网络由两个线性层和一个Tanh激活函数组成，第一个线性层将Pk*映射到一个固定的提示维度，所述提示维度是一个超参数；然后，经过Tanh激活函数后，第二个线性层将其映射到l×2×d的维度，其中l代表编码器解码器层的数量，d代表预训练模型的特征维度；乘2代表K和V的单独维度；得到Transformer的注意力机制中集成的K和V参数；在整个训练过程中，预训练模型的参数保持冻结，而只有提出的个性化提示生成网络中的参数参与更新；在模型的预测阶段，预测所使用的私有和公有提示的参数由训练阶段结束时的私有和公有提示获得；之后使用所有私有软提示的加权和生成最终的合成专家私有提示Pexpert；生成合成专家私有提示的过程如下：Pexpert＝Wann×Pk其中Wann表示权重矩阵，如果所有标注者的可靠性已知，该权重矩阵使用该可靠性进行初始化；如果没有相应的先验知识，使用后续提到的方法进行计算；最后，将合成专家私有提示Pexpert与公有提示Pcommon逐元素相加，得到用于预测的最终软提示预测所用的最终软提示也输入到提示生成网络，为Transformer架构中的三个注意力机制生成用于集成K和V的参数；个性化提示初始化的具体过程为：在训练过程开始前，个性化提示生成器中的私有提示和公共软提示需要进行初始化；对于私有提示的初始化，首先随机初始化私有提示Pk并且不使用公共软提示，以此形成一个专属于标注者k的个性化提示生成器PPGk，然后只使用标注者k的标注数据对PPGk进行训练，训练结束时，得到训练后的私有提示参数Pk，Pk即针对标注者k初始化后的私有提示；对于公共软提示的初始化，公共软提示的参数通过对所有私有提示参数进行平均来得出，其公式化描述如下：其中A是标注者集合，|A|表示标注者集合的大小；在预测过程开始前，权重矩阵Wann需要进行初始化；在训练过程的初始化过程中，获得了针对每个标注者的个性化提示生成器集合,{PPG1,PPG2...,PPGm}，其中m＝|A|；这些个性化提示生成器与基于Transformer的预训练模型结合可以用于预测每个标注者数据中的命名实体；最后经过评估，得到评估结果集合{F11,F12...,F1m}；使用该评估结果集合构建评估结果向量ypred＝F11,F12，...,F1m，并应用softmax函数，得到预测时使用的权重矩阵Wann＝softmaxypred。

全文数据：

权利要求：

百度查询： 哈尔滨工业大学 一种基于多任务迁移的众包命名实体识别个性化提示微调方法及系统