买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南师范大学

摘要：本发明涉及文本分类模型的训练方法、装置、设备和计算机存储介质，文本分类模型的训练方法包括：获取文本分类模型；获取文本训练数据；将Dropout层的概率值设置为0，得到第一预训练模型，并将文本训练数据输入第一预训练模型，得到第一概率分布；将Dropout层的概率值设置为p0p1，得到第二预训练模型，并将文本训练数据输入第二预训练模型，得到第二概率分布；利用第一概率分布和第二概率分布计算文本分类模型的损失函数，并利用损失函数对文本分类模型的参数进行优化，得到训练完成的文本分类模型。本发明的训练方法不仅可以避免文本分类模型出现过度拟合的问题，而且还可以减少文本分类模型在训练阶段和验证阶段的不一致问题。

主权项：1.文本分类模型的训练方法，其特征在于，包括如下步骤：S1：获取文本分类模型，所述文本分类模型为改进的BERT预训练模型，且所述改进的BERT预训练模型的嵌入层、编码层和输出层均设置有Dropout层，且Dropout层的概率值小于1；S2：获取文本训练数据；S3：将Dropout层的概率值设置为0，得到第一预训练模型，并将文本训练数据输入所述第一预训练模型，得到第一概率分布；S4：将Dropout层的概率值设置为p0p1，得到第二预训练模型，并将文本训练数据输入所述第二预训练模型，得到第二概率分布；S5：利用第一概率分布和第二概率分布计算所述文本分类模型的损失函数，并利用损失函数对所述文本分类模型的参数进行优化，得到训练完成的文本分类模型；其中，利用第一概率分布和第二概率分布计算所述文本分类模型的损失函数包括如下步骤：S51：计算第一概率分布和第二概率分布的交叉熵损失函数，即：其中，P1yi|xi为第i个训练数据xi，yi对应的第一概率分布，P2yi|xi为第i个训练数据xi，yi对应的第二概率分布；n为训练数据的数量；S52：计算第一概率分布和第二概率分布的KL散度，即：S53：利用第一概率分布和第二概率分布的交叉熵损失函数和第一概率分布和第二概率分布的KL散度计算所述文本分类模型的损失函数，即L＝Lce+αLkl，其中：α是缩放因子，且α的取值范围是0，10]；其中，利用损失函数对所述文本分类模型的参数进行优化为利用损失函数的梯度对所述文本分类模型的权重进行优化，即：其中：Wt+1为所述文本分类模型第t+1次迭代时的权重；Wt为所述文本分类模型第t次迭代时的权重；η为学习率，其取值范围是[e-5，e-4]；为权重Wt对应的损失函数梯度；其中，利用损失函数的梯度对所述文本分类模型的权重进行优化包括如下步骤：利用伯努利分布对第一概率分布对应的交叉熵损失函数梯度进行优化，得到改进的损失函数梯度，且其中：g′为改进的损失函数梯度；Bernoulli1-p为伯努利分布，且p为Dropout层的概率值；利用改进的损失函数梯度对所述文本分类模型的权重进行优化，且

全文数据：

权利要求：

百度查询： 华南师范大学 文本分类模型的训练方法、装置、设备和计算机存储介质