买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：平安科技(深圳)有限公司

摘要：本公开涉及自然语言处理领域，揭示了一种文本纠错模型建立方法、装置、介质及电子设备。该方法包括：获取文本语料；获取经随机遮盖处理后的文本语料中保留的字符对应的第一向量；将第一向量输入至模型，以便模型的生成器输出第二向量，并由模型的鉴别器输出第一预测结果；计算第一损失函数；若未达到第一收敛条件，则执行获取第一向量步骤及之后的步骤；获取经随机替换处理后的文本语料中字符对应的第三向量；将第三向量输入至鉴别器模块，得到第二预测结果；计算第二损失函数；若未达到第二收敛条件，则执行获取第三向量步骤及之后的步骤；将鉴别器与预训练的文本填充模块对接，得到文本纠错模型。此方法降低了数据标注成本，提高了纠错效果。

主权项：1.一种文本纠错模型建立方法，其特征在于，所述方法包括：获取文本语料；利用第一损失函数对ELECTRA模型执行训练步骤，包括：获取经随机遮盖处理后的所述文本语料中保留的字符对应的第一字符向量，其中，所述文本语料包括多个字符；将所述保留的字符对应的第一字符向量输入至ELECTRA模型，以便所述ELECTRA模型中的生成器模块输出与所述文本语料对应的多个第二字符向量，并由所述ELECTRA模型中的鉴别器模块输出各第二字符向量是否与所述文本语料中相应字符匹配的第一预测结果；基于所述文本语料、所述第二字符向量和所述第一预测结果计算第一损失函数；其中，所述第一损失函数是利用如下公式计算的：L1＝LMLM+λ·L2， 其中，L1为第一损失函数，L2为第二损失函数，λ为预设比例系数，LMLM为生成器模块的损失函数，sofmax为生成器模块的sofmax层，x′i为第i个字符的第二字符向量，yi为所述文本语料的第i个字符对应的字符向量，n为所述文本语料的字符数目，x″i为第一预测结果，xi为第i个字符，第为按照第二字符向量的最大概率预测值对第i个字符进行替换后得到的字符；若所述第一损失函数未达到对应的第一收敛条件，则执行所述获取经随机遮盖处理后的所述文本语料中保留的字符对应的第一字符向量的步骤及之后的步骤；利用第二损失函数对所述鉴别器模块执行训练步骤，包括：获取经随机替换处理后的所述文本语料中字符对应的第三字符向量；所述文本语料中的字符为第一字符，所述获取经随机替换处理后的所述文本语料中字符对应的第三字符向量，包括：将文本语料中的第一字符转换为对应的第三字符向量；随机确定要进行替换处理的第一字符，作为目标第一字符；针对每一所述目标第一字符，确定与该目标第一字符的拼音相同的一个字符，作为与该目标第一字符对应的第二字符；将所述第三字符向量输入至所述鉴别器模块，得到由所述鉴别器模块输出的第二预测结果，其中，所述第二预测结果表示各所述第三字符向量是否与所述文本语料中相应字符匹配；基于所述文本语料和所述第二预测结果计算第二损失函数；若所述第二损失函数未达到对应的第二收敛条件，则执行所述获取经随机替换处理后的所述文本语料中字符对应的第三字符向量的步骤及之后的步骤；执行对接步骤，所述对接步骤包括：将所述鉴别器模块与预先训练好的文本填充模块对接，得到文本纠错模型。

全文数据：

权利要求：

百度查询： 平安科技(深圳)有限公司 文本纠错模型建立方法、装置、介质及电子设备