买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：珠海金智维信息科技有限公司

摘要：本发明公开了基于DeBERTa模型的高鲁棒性文本内容审核方法，包含以下顺序的步骤：S1、收集、清洗并标注训练数据，对DeBERTa模型进行训练；所述训练数据包括正样本数据、负样本数据，且负样本数据所占比例大于正样本数据；S2、引入解耦注意力机制，且使用了增强掩码解码器，对DeBERTa模型进行微调；S3、微调后的DeBERTa模型，对输入的文本内容进行审核，输出文本内容的分类信息。本发明可以有效解决模型容易产生误判的问题，使得模型在保证准确率和泛化能力的同时具备高鲁棒性。面对不同场景下复杂的语境时，文本内容审核系统可以稳定、高效的应对。

主权项：1.基于DeBERTa模型的高鲁棒性文本内容审核方法，其特征在于，包含以下顺序的步骤：S1、收集、清洗并标注训练数据，对DeBERTa模型进行训练；所述训练数据包括正样本数据、负样本数据，且负样本数据所占比例大于正样本数据；S2、引入解耦注意力机制，且使用了增强掩码解码器，对DeBERTa模型进行微调；所述解耦注意力机制，将词元的注意力解耦为内容注意力和相对位置注意力；其中，所述内容注意力针对输入序列中每个词元的内容信息，独立计算注意力权重；所述内容注意力表示为： ；其中，代表内容向量，、分别是从查询和键向量中提取的内容信息，关注的是词元本身的含义；、、分别是对输入序列进行线性变换后得到的查询向量、键向量、值向量；为转置运算；为内容向量的维度；所述相对位置注意力表示为： ；其中，代表相对位置编码，、分别是从查询和键向量中提取的位置信息，关注的是词元间的相对顺序；、、分别是对输入序列进行线性变换后得到的查询向量、键向量、值向量；为转置运算；为相对位置向量的维度；所述微调后的DeBERTa模型，首先对输入文本进行编码，然后通过Softmax层将编码器的输出转换为类别概率分布；Softmax层的输出是一个概率向量，其每个元素对应一个类别，且所有元素的和为1；softmax的作用过程用公式表示为： ；其中，代表DeBERTa线性层的输出向量，包含个元素，，代表第个元素的概率，对应于第个类别的概率，代表DeBERTa线性层输出向量中的第个元素值，代表DeBERTa线性层输出向量中的每一个元素值；S3、微调后的DeBERTa模型，对输入的文本内容进行审核，输出文本内容的分类信息。

全文数据：

权利要求：

百度查询： 珠海金智维信息科技有限公司 基于DeBERTa模型的高鲁棒性文本内容审核方法