买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：昆明理工大学

摘要：本发明涉及融合预训练语言模型及结构特征的英‑缅双语平行句对抽取方法及装置，属于自然语言处理技术领域。本发明包括步骤：数据预处理构建英‑缅平行句对数据集；利用基于多语言预训练语言模型训练英语和缅甸语词向量，以共享语义空间；通过融合英‑缅句子结构特征及孪生神经网络构建英‑缅双语平行句对抽取模型；收集双语文本并使用融合多语言预训练语言模型及英‑缅句子结构特征及孪生网络的英‑缅双语平行句对抽取模型计算每一句对的相似度，并设定相似度阈值来抽取英‑缅双语平行句对。本发明有效的从英‑缅可比语料中抽取平行句对并且降低对语义相似但不平行的句对的误判，为开展英‑缅神经机器翻译研究工作提供了数据支撑。

主权项：1.融合预训练语言模型及结构特征的英-缅双语平行句对抽取方法，其特征在于：所述方法包括：Step1、数据预处理构建英-缅平行句对数据集；Step2、利用基于多语言预训练语言模型训练英语和缅甸语词向量，以共享语义空间；Step3、通过融合英-缅句子结构特征及孪生神经网络构建英-缅双语平行句对抽取模型；Step4、收集双语文本并使用融合多语言预训练语言模型及英-缅句子结构特征及孪生网络的英-缅双语平行句对抽取模型计算每一句对的相似度，并设定相似度阈值来抽取英-缅双语平行句对；所述步骤Step1的具体步骤为：Step1.1、利用网络爬虫从英-缅双语平行网站爬取包含新闻类、经济类领域的英-缅双语文本，进行句子切分，去掉数据集中包含非英语和缅甸语字符的数据，通过人工整理得到共494816条英-缅平行数据；Step1.2、再利用神经联合训练模型实现缅甸语的音节切分、分词及词性标记任务；所述步骤Step3的具体步骤：Step3.1、采用孪生神经网络结构对英-缅句子进行编码表示，将预训练的英语和缅甸语词向量作为孪生神经网络的输入，通过共享权重的孪生神经网络得到同一语义空间中编码后的英语、缅甸语句子向量hen和hmy；Step3.2、分别对英语、缅甸语句子的长度进行编码，得到和并将编码后的句子长度特征融合到孪生网络编码中： Step3.3、通过英语和缅甸语的最终向量h′en和h′my表示预测两个句子平行的概率，通过损失函数反向传播训练模型，提升模型的性能；通过预训练语言模型先得到构成每个缅甸语词语的各个字符级的向量，然后再将字符级的向量进行组合进而得到缅甸语词级别的语义向量，这样，用于更准确的获得缅甸语词语的语义信息。

全文数据：

权利要求：

百度查询： 昆明理工大学 融合预训练语言模型及结构特征的英-缅双语平行句对抽取方法及装置