买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津大学

摘要：本发明公开了一种基于上下文衔接手段遮蔽模型框架系统，该框架系统包括输入、编码器和解码器、模型损失函数、预测器以及衔接手段遮蔽策略；该CoCoDM模型将当前句子中与上下文存在依赖连接的篇章敏感的单词进行遮蔽，然后让模型去预测这些被遮蔽单词，从而迫使模型来主动探索上下文中与当前句子有关的信息。与现有技术相比，本发明能够提升篇章级神经机器翻译模型理解上下文的效率，最终能够显著提高翻译质量。

主权项：1.一种基于上下文衔接手段遮蔽模型框架系统，其特征在于，该框架系统包括输入、编码器和解码器、模型损失函数、预测器以及衔接手段遮蔽策略；其中：所述输入包括两部分即经过遮蔽处理的源语言输入、右移的目标语言输入；所述经过遮蔽处理的源语言输入所述编码器，通过所述编码器将源语言句子进行编码，获得源语言句子表示Hx；所述右移的目标语言句子输入所述解码器，包含了目标语言上下文句子和目标语言当前句子，所述解码器根据编码器生成的源语言句子表示和右移的目标语言句子解码生成目标语言句子的句子表示Hy；所述模型损失函数为预测被遮蔽单词损失函数、预测目标句子损失函数；其中：预测被遮蔽单词损失函数：根据编码器生成的源语言句子Hx，使用源语言词向量表将其映射到源语言词表空间，然后使用Softmax操作计算词表中每个单词的生成概率；使用交叉熵来计算预测被遮蔽单词损失，公式如下： 其中，Mi表示被遮蔽单词集合中的第i个单词，PMi|x`，cx表示被遮蔽单词的生成概率；预测目标句子损失函数：使用目标语言词向量表将其映射到目标语言词表空间，然后再使用Softmax操作计算词表中每个单词的生成概率Pyi|y＜i，x`，cx，cy，使用交叉熵来计算预测目标句子损失，公式如下： 其中，y＜i表示解码器的生成历史，yi表示目标句子y的第i个单词；所构成的总损失函数，公式如下：L＝LNLLy|x`，cx，cy+λLmaskM|x`，cx其中，λ表示用于平衡预测被遮蔽单词损失的贡献的超参数；所述预测器由一个线性层和Softmax操作构成，通过线性层预测遮蔽token表示映射到词表空间，再进行Softmax操作对新的token表示进行归一化；通过预测器获得每个被遮蔽单词对应的词表中每个单词的预测概率PMi|x`，cx，使用预测概率最高的单词作为被遮蔽单词的预测结果；所述衔接手段遮蔽策略将当前句子中与上下文有衔接关系的单词进行遮蔽，对经过遮蔽处理的当前句子使用衔接手段遮蔽策略进行处理：在给定一个源语言当前句子x和其上下文cx、以及衔接手段单词位置数据集D中，对于数据集D，其中每一条数据e是一个源语言与目标语言的平行句对，每一端都由四个句子组成；前三个句子是第四个句子的上下文，每个句子之间使用SEP进行分隔；数据集D中的单词位置对应的是当前句子中与上下文cx存在衔接关系的一个单词，其中的衔接关系至少包括重复、共指；使用遮蔽率r来控制当前句子被遮蔽信息的比例，首先，根据遮蔽率r计算出当前句子被遮蔽单词的最少数量l；如果D中单词位置数量大于等于l，衔接遮蔽手段策略将源语言当前句子中对应位置的单词全部替换为特殊符号M，表示被遮蔽；如果D中单词数量小于l，将在剩余的没有被遮蔽的单词中随机挑选l-|D|个单词来进行遮蔽，保证最终被遮蔽的单词数量等于l；将被遮蔽单词的集合表示为M，经过遮蔽操作后的当前句子x表示为x`，最后，将x`与cx使用特殊符号SEP进行拼接，作为编码器的输入；在词汇衔接手段提取过程中，对于源语言当前句子x，首先遍历x中的每一个单词xi，通过WordNet，获得xi的所有同义词、近义词和上下位词；然后再遍历上下文句子中的所有单词cx，如果cx是xi的同义词、近义词或者上下位词，则记录xi在源语言当前句子中的位置i；最后，获得一个单词位置集合，其中每个位置对应当前句子中的一个单词，这个单词与其上下文的某个单词具有词汇衔接关系；对于语法衔接手段，使用CoreNLP工具来进行抽取；直接将上下文与当前句子拼接后的序列使用CoreNLP获得所有可能的共指关系集合；最后将词汇衔接手段单词位置集合与语法衔接手段单词位置集合进行合并，去除重复的位置，获得最终的衔接手段单词位置数据集D，衔接手段单词遮蔽策略根据数据集D来进行遮蔽。

全文数据：

权利要求：

百度查询： 天津大学 一种基于上下文衔接手段遮蔽框架系统