买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院信息工程研究所

摘要：本发明涉及一种基于遮蔽语言模型的两阶段情感迁移方法和系统。该方法包括：利用基于注意力机制的情感分类器和基于相对频率的融合方法，计算语料库中的所有词的得分，根据得分构建情感标记词的词库；利用情感标记词的词库对语料进行遮蔽处理，得到遮蔽语料；将遮蔽语料输入遮蔽语言模型中，利用遮蔽语言模型在遮蔽语料的遮蔽位置进行填空，得到迁移语料；将迁移语料输入预训练的情感分类器中，输出情感置信度分值，并使用预训练的情感分类器的梯度信号来优化遮蔽语言模型。本发明通过显式分割情感迁移任务，先找出句子中的情感信息进行遮蔽，再填入能代表目标情感信息的情感词，通过分解任务降低难度，能够达到更好的效果。

主权项：1.一种基于遮蔽语言模型的两阶段情感迁移方法，其特征在于，包括以下步骤：利用基于注意力机制的情感分类器和基于相对频率的融合方法，计算语料库中的所有词的得分，根据得分构建情感标记词的词库；利用情感标记词的词库对语料进行遮蔽处理，得到遮蔽语料；将遮蔽语料输入遮蔽语言模型中，利用遮蔽语言模型在遮蔽语料的遮蔽位置进行填空，得到迁移语料；将迁移语料输入预训练的情感分类器中，输出情感置信度分值，并使用预训练的情感分类器的梯度信号来优化遮蔽语言模型；其中，得到迁移语料的过程包括：1使用预训练的双向Transformer表示编码模型的权重，初始化和预训练遮蔽语言模型；2使用遮蔽语言模型在情感语料上进行遮蔽词推测的训练，缓解遮蔽语言模型预训练的维基百科语料和情感语料的数据分布偏差，使得遮蔽语言模型能够在情感语料上进行合理的上下文编码，对遮蔽位置进行填空预测；3将遮蔽语言模型输入层的片段词向量改为类别标签词向量，从而能使遮蔽语言模型在推测遮蔽时同时考虑目标情感类别和上下文信息；4使用修改后的考虑类别的遮蔽语言模型在情感语料上进行遮蔽词推测的训练，使得遮蔽语言模型能考量类别标签词向量的作用；5使用遮蔽语言模型得到迁移句子，构成迁移语料；其中，步骤4使用的计算公式为 其中，表示进行遮蔽词推测训练的损失函数，表示根据遮蔽句子和情感极性a推测遮蔽词ti的概率；其中，步骤5使用的计算公式为 其中表示迁移句子，表示迁移目标情感极性，AC表示情感极性条件，MLM表示遮蔽语言模型，AC-MLM表示情感极性条件约束的遮蔽语言模型。

全文数据：

权利要求：

百度查询： 中国科学院信息工程研究所 一种基于遮蔽语言模型的两阶段情感迁移方法和系统