买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东新一代信息产业技术研究院有限公司

摘要：本发明公开了一种基于深度学习的中文文本纠错方法及设备，属于自然语言处理技术领域，用于解决现有的中文文本纠错方法只关注输入序列的一部分信息，无法关注全局信息，纠错效果较差的技术问题。方法包括：基于预设训练序列，对改进后的BERT模型进行训练，得到BERT改良模型；通过BERT改良模型对待纠错文本进行编码，得到待纠错文本中每个字的特征向量、前后文特征以及每个字对应的预设数量的候选字向量；将待纠错文本中每个字的特征向量、前后文特征以及预设数量的候选字向量，通过全局注意力模型进行解码，得到纠错后文本。

主权项：1.一种基于深度学习的中文文本纠错方法，其特征在于，所述方法包括：基于预设训练序列，对改进后的BERT模型进行训练，得到BERT改良模型，具体包括：在互联网中预先获取候选字集；其中，所述候选字集中包括易错易混淆的字、拼音相同但字形不同的字以及字形相似但意义不同的字；将所述候选字集与所述BERT模型相结合，得到改进后的BERT模型，具体包括：将每个训练序列中的每个token位置对应的待替换字，替换为“mask”的概率设为35%，替换为所述候选字集中的候选字向量的概率设为30%，替换为其他token位置对应的待替换字的概率设为10%，保持不变的概率设为25%，得到所述改进后的BERT模型；将所述预设训练序列输入所述改进后的BERT模型中，得到所述BERT改良模型；通过所述BERT改良模型对待纠错文本进行编码，得到所述待纠错文本中每个字的特征向量、前后文特征以及每个字对应的预设数量的候选字向量，具体包括：将待纠错文本输入到训练好的所述BERT改良模型中，以使所述BERT改良模型输出所述待纠错文本中每个字的特征向量以及每个字的判断结果；其中，所述判断结果为正确或错误；通过所述BERT改良模型，输出所述待纠错文本中的每个字在候选字集中对应的预设数量的候选字向量，具体包括：通过所述BERT改良模型，输出所述待纠错文本中的每个字在所述候选字集中对应的前K个候选字向量；其中，K∈[1,Ni]，Ni为所述待纠错文本中第i个字在所述候选字集中对应的候选字的总数量；所述候选字向量为词嵌入向量；对得到的所述候选字向量进行正则化处理，得到正则化候选字向量；根据所述待纠错文本中每个字的特征向量，得到所述待纠错文本中每个字的前后文特征；将所述待纠错文本中每个字的特征向量、前后文特征以及所述预设数量的候选字向量，通过全局注意力模型进行解码，得到纠错后文本，具体包括：若所述待纠错文本中任一个或多个字的判断结果为错误，则在得到的所有正则化候选字向量中，选择判断结果为错误的字对应的K个正则化候选字向量；将选择的所述正则化候选字向量与所述前后文特征一起输入到所述全局注意力模型中进行解码，得到纠错后文本，具体包括：通过所述全局注意力模型中的全局注意力机制，对输入的所述正则化候选字向量进行加权求和处理，得到每个正则化候选字向量对应的加权特征；根据所述加权特征以及所述前后文特征，确定正确率最高的候选字替换所述待纠错文本中的错字，得到所述纠错后文本。

全文数据：

权利要求：

百度查询： 山东新一代信息产业技术研究院有限公司 一种基于深度学习的中文文本纠错方法及设备