买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华东交通大学

摘要：本发明公开一种基于大语言模型的机器译文质量估计方法，其方法步骤为：提取源语言句子至机器译文的相似度特征向量和机器译文至源语言句子的相似度特征向量，提取机器译文质量估计特征向量，预测机器译文质量得分；最小化均方差损失和交叉熵损失的总和来训练模型中的参数。本发明结合大语言模型这两方面的特点，将大语言模型对机器译文和源语言句子的表征输入引入辅助分类任务的神经网络中预测机器译文质量；同时由大语言模型进行翻译生成伪参考译文，使用伪参考译文代替人工参考译文采用机器译文自动评价方法进行译文质量评价，将两者相结合预测机器译文质量。

主权项：1.一种基于大语言模型的机器译文质量估计方法，其特征在于：步骤如下：步骤S1，获取训练集，对训练集进行规范化处理，获得规范化处理后的训练集；训练集由多个不同样本组成，每个样本包括源语言句子、机器译文、机器译文的人类评价分值、机器译文的人类评价类别；步骤S2，提取源语言句子至机器译文的相似度特征向量；将规范化处理后的训练集内每个样本中的源语言句子和机器译文顺序相连，输入到大语言模型，输出源语言句子至机器译文的子词级别特征向量，提取源语言句子至机器译文的子词级别特征向量的最后一个子词的特征向量作为源语言句子至机器译文的相似度特征向量；步骤S3，提取机器译文至源语言句子的相似度特征向量；将规范化处理后的训练集内每个样本中的机器译文和源语言句子顺序相连，输入到大语言模型，输出机器译文至源语言句子的子词级别特征向量，提取机器译文至源语言句子的子词级别特征向量的最后一个子词的特征向量作为机器译文至源语言句子的相似度特征向量；步骤S4，提取机器译文质量估计特征向量；将步骤S2中源语言句子至机器译文的相似度特征向量和步骤S3中机器译文至源语言句子的相似度特征向量拼接后输入到机器译文质量估计任务适配器层，输出机器译文质量估计特征向量；步骤S5，预测基于大语言模型深度表征的机器译文质量得分；将步骤S4中机器译文质量估计特征向量输入到主回归网络层，预测基于大语言模型深度表征的机器译文质量得分；步骤S6，预测基于大语言模型深度表征的机器译文质量类别；将步骤S4中机器译文质量估计特征向量输入到辅助分类网络层，预测基于大语言模型深度表征的机器译文质量类别；步骤S7，训练基于大语言模型深度表征的机器译文质量估计模型；根据步骤S5中预测的基于大语言模型深度表征的机器译文质量得分和步骤S1中规范化处理后的训练集内机器译文的人类评价分值，计算在训练集上的均方差损失；根据步骤S6中预测的基于大语言模型深度表征的机器译文质量类别和步骤S1中规范化处理后的训练集内机器译文的人类评价类别，计算在训练集上的交叉熵损失；线性加权在训练集上的均方差损失和在训练集上的交叉熵损失作为在训练集上的总损失，最小化在训练集上的总损失来训练基于大语言模型深度表征的机器译文质量估计模型的参数，得到训练后的基于大语言模型深度表征的机器译文质量估计模型；步骤S8，对源语言句子、机器译文进行规范化处理后输入至步骤S7中训练后的基于大语言模型深度表征的机器译文质量估计模型，预测基于大语言模型深度表征的机器译文质量得分；步骤S9，利用提示使用大语言模型进行机器翻译生成源语言句子的伪参考译文；编制提示与源语言句子相连形成翻译指令，在对话模式下将翻译指令输入大语言模型输出源语言句子的翻译结果，将源语言句子的翻译结果作为伪参考译文；步骤S10，将源语言句子、机器译文和伪参考译文输入机器译文自动评价方法计算基于大语言模型提示的机器译文质量得分；将源语言句子、机器译文和伪参考译文输入机器译文自动评价方法输出机器译文质量得分，选取其中最高的得分为基于大语言模型提示的机器译文质量得分；步骤S11，计算基于大语言模型的机器译文质量得分；线性加权步骤S8中预测的基于大语言模型深度表征的机器译文质量得分和步骤S10中基于大语言模型提示的机器译文质量得分，获取基于大语言模型的机器译文质量得分；步骤S1中训练集由多个不同样本组成，每个样本具体为：步骤S110，给定训练集中一个样本d={src,hypothesis,y}，其中d表示一个训练样本，src表示源语言句子，hypothesis表示机器译文，y表示机器译文的人类评价分值；将机器译文的人类评价分值使用最小-最大规范化方法缩放至[0,1]区间范围内，得到机器译文缩放后的人类评价分值，如公式（1）所示： 1；其中，yscaled表示机器译文缩放后的人类评价分值；ymax、ymin分别表示在训练集中机器译文的人类评价分值的最大值和在训练集中机器译文的人类评价分值的最小值；步骤S111，采用平均分类的方法设置机器译文的人类评价类别；将机器译文缩放后的人类评价分值按照所处的区间划分质量等级，质量等级是从0开始连续的10个自然数，如公式（2）所示： 2；其中，z表示机器译文的人类评价类别；步骤S2中提取源语言句子至机器译文的相似度特征向量，具体为：步骤S21，将规范化处理后的训练集内每个样本中的源语言句子和机器译文顺序相连，如公式（3）所示： 3；其中，s2h表示源语言句子至机器译文联合字符串，符号s、s表示字符串的起始符和字符串的终止符；步骤S22，将源语言句子至机器译文联合字符串输入到大语言模型Llama2，由大语言模型Llama2使用子词切分方法SentencePiece算法对源语言句子至机器译文联合字符串进行子词切分，得到包含m个子词的子词序列，如公式（4）所示： 4；其中，m表示源语言句子至机器译文联合字符串进行子词切分的子词个数；s1，s2，sm表示源语言句子至机器译文联合字符串进行子词切分后的第1个子词，第2个子词，第m个子词；步骤S23，大语言模型Llama2按照从左向右的顺序逐词生成源语言句子至机器译文的子词级别特征向量，如公式（5）所示： 5；其中，vs2h表示源语言句子至机器译文的子词级别特征向量，Llama2表示大语言模型Llama2输出函数，vs1，vs2，vsm分别表示源语言句子至机器译文的第1个子词的特征向量，第2个子词的特征向量，第m个子词的特征向量；步骤S24，大语言模型Llama2采用单向深度表示方法，提取源语言句子至机器译文的子词级别特征向量的最后一个子词的特征向量vsm作为源语言句子至机器译文的相似度特征向量；步骤S3中提取机器译文至源语言句子的相似度特征向量，具体为：步骤S31，将规范化处理后的训练集内每个样本中机器译文和源语言句子顺序相连，如公式（6）所示： 6；其中，h2s表示机器译文至源语言句子联合字符串；步骤S32，将机器译文至源语言句子联合字符串输入到大语言模型Llama2，由大语言模型Llama2使用子词切分方法SentencePiece算法对机器译文至源语言句子联合字符串进行子词切分，得到包含n个子词的子词序列，如公式（7）所示： 7；其中，n表示机器译文至源语言句子联合字符串进行子词切分的子词个数；h1，h2，hn表示机器译文至源语言句子联合字符串进行子词切分后的第1个子词，第2个子词，第n个子词；步骤S33，大语言模型Llama2按照从左向右的顺序逐词生成机器译文至源语言句子的子词级别特征向量，如公式（8）所示： 8；其中，vh2s表示机器译文至源语言句子的子词级别特征向量，vh1，vh2，vhn分别表示机器译文至源语言句子的子词级别特征向量的第1个子词的特征向量，第2个子词的特征向量，第n个子词的特征向量；步骤S34，取机器译文至源语言句子的子词级别特征向量的最后一个子词的特征向量vhn作为机器译文至源语言句子的相似度特征向量；步骤S4中提取机器译文质量估计特征向量，具体为：步骤S41，将步骤S2中源语言句子至机器译文的相似度特征向量和步骤S3中机器译文至源语言句子的相似度特征向量拼接，如公式（9）所示： 9；其中，x表示机器译文和源语言句子拼接特征向量，符号“⊕”表示向量拼接运算；步骤S42，将机器译文和源语言句子拼接特征向量输入到机器译文质量估计任务适配器层，输出机器译文质量估计特征向量，如公式（10）所示： 10；其中，QEFV表示机器译文质量估计特征向量，tanh表示神经网络的激活函数tanh，参数w1和b1为神经网络的可学习参数，T表示矩阵的转置操作；步骤S5中预测基于大语言模型深度表征的机器译文质量得分，具体为：将步骤S4中机器译文质量估计特征向量输入主回归网络层，预测基于大语言模型深度表征的机器译文质量得分，如公式（11）所示： 11；其中，Pvalues为预测的基于大语言模型深度表征的机器译文质量得分，参数w2和b2为神经网络的可学习参数；步骤S6中预测基于大语言模型深度表征的机器译文质量类别，具体为：将步骤S4中机器译文质量估计特征向量输入辅助分类网络层，预测基于大语言模型深度表征的机器译文质量类别，如公式（12）和公式（13）所示： 12； 13；其中，Probs为预测的基于大语言模型深度表征的机器译文质量类别概率，Pclass为预测的基于大语言模型深度表征的机器译文质量类别，argmax是返回向量最大值索引函数，softmax表示神经网络的激活函数softmax，参数w3和b3为神经网络的可学习参数。

全文数据：

权利要求：

百度查询： 华东交通大学 一种基于大语言模型的机器译文质量估计方法