买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆大学

摘要：本发明公开了基于多标签嵌入的舆情文本分类方法、系统、终端及介质，涉及自然语言处理技术领域，其技术方案要点是：将文本语义信息输入到双向GRU层中提取得到文本特征，以及将标签语义信息输入到双向GRU层中提取得到标签特征；通过注意力机制对文本特征更新后得到最终特征向量；将CLS标记向量和标签特征融合后，通过注意力机制计算得到文本感知标签信息的感知特征向量：通过分类器将最终特征向量和感知特征向量映射到标签维度后计算出每类标签的预测概率，得到舆情文本分类结果。本发明利用标签语义信息来隐式考虑标签之间的关系，同时减轻了多标签分类的标签顺序依赖对分类结果的影响，在减少了参数量的情况下，达了比较好的效果。

主权项：1.基于多标签嵌入的舆情文本分类方法，其特征是，包括以下步骤：通过预训练模型中的ALBERT层对输入文本进行训练，得到文本语义信息和CLS标记向量；通过预训练模型中的标签嵌入层对标签文本进行处理，得到标签语义信息；将文本语义信息输入到双向GRU层中提取得到文本特征，以及将标签语义信息输入到双向GRU层中提取得到标签特征；通过注意力机制计算出相应的注意力权重分布后对文本特征更新后得到最终特征向量；以及，将CLS标记向量和标签特征融合后，通过注意力机制计算相应的注意力权重分布后计算得到文本感知标签信息的感知特征向量：通过分类器将最终特征向量和感知特征向量映射到标签维度后计算出每类标签的预测概率，得到舆情文本分类结果；所述标签语义信息的获得过程具体为：通过预训练模型来训练出标签文本中单词级别的词嵌入，得到词向量；通过计算词向量平均来计算单个标签的向量表示；将每个标签的向量表示拼接得到标签嵌入编码，以标签嵌入编码表征标签语义信息；所述单个标签的向量表示计算公式具体为： 其中，Ej为第j个标签的向量表示；d表示一个标签文本的长度；li表示第i个标签的单词词向量；所述标签嵌入编码的计算公式为： 其中，E为标签嵌入编码；n，k分别为不同类别标签个数和标签嵌入维数；所述最终特征向量的计算公式具体为： 其中，ut为相似度计算的结果；为ut的第i个分量；W1为需要训练学习出的参数矩阵；N为输入到softmax函数的序列元素个数；at为t时刻注意力分布；gatt为每个隐藏状态gt和at的权重和，即基于注意力分布加权后的最终特征向量；G为双向GRU层中以文本语义信息为所对应的两个最终状态值的拼接向量；所述感知特征向量的计算公式具体为： sj＝softmaxtclsW2h+b2其中，glatt为感知特征向量；n为标签个数；sj为第j个标签的注意力权重分布；hj为双向GRU层中以标签语义信息作为输入在t时刻的输出；tcls为整个文本向量编码；W2为要学习的权重矩阵；h为GRU层各个时刻的隐藏状态；b2为偏置向量。

全文数据：

权利要求：

百度查询： 重庆大学 基于多标签嵌入的舆情文本分类方法、系统、终端及介质