买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：齐鲁工业大学(山东省科学院)

摘要：本发明公开一种应用基于BERT模型的文本内容分类系统的分类方法，涉及自然语言处理技术领域，包括以下步骤：S1：对待分类的文本进行数据预处理，将经过预处理的文本按照序列X={x1,x2,x3,…,xn}输入BERT模型中；S2：使用BERT模型预训练权重对文本内容进行语义级别的特征提取；S3：对得到的文本特征向量集V进行升维。本发明解决现有模型无法充分理解词语之间的依赖关系、句子之间的逻辑联系以及文本的整体上下问关系的问题，并从系统的层面解决不同语种文本内容分类的问题。

主权项：1.一种应用基于BERT模型的文本内容分类系统的分类方法，其特征在于，包括以下步骤：S1：对待分类的文本进行数据预处理，将经过预处理的文本按照序列X={x1,x2,x3,…,xn}输入BERT模型中；S2：使用BERT模型预训练权重对文本内容进行语义级别的特征提取；使用BERT模型预训练权重对序列X={x1,x2,x3,…,xn}进行处理，得到文本特征向量集V={v1,v2,v3,…,vn},其中v1,v2,v3,…,vn为每一个词的语义向量表示，且这些向量表示的维度长度是一致的，记作dim；BERT模型预训练权重是通过对BERT基线模型进行微调得到的，即对BERT基线模型进行微调得到BERT模型预训练权重；S3：对得到的文本特征向量集V进行升维；按照文本序列词的先后顺序将文本特征向量集V={v1,v2,v3,…,vn}中的词向量按照文本中词的先后顺序从上到下进行排列形成一个特征向量的二维矩阵M，将M称为文本的语义特征表示矩阵，M的形状为n*dim；S4：文本的语义特征表示矩阵M进行归一化，因为系统在最后一层得到分类结果之前需要经过一个全连接层，其要求输入维度大小是一致的，所以我们对于文本的语义特征表示矩阵M进行归一化，形成矩阵M`，以进行后续处理；S5：将M`输入MatrixResCNN模型进行分类处理，MatrixResCNN模型是一种分类模型，由卷积层、残差层、池化层和全连接层以及输出层构成，使模型在空间维度上理解词语之间的依赖关系、句子之间的逻辑联系以及文本的整体上下文关系，提高分类的准确率。

全文数据：

权利要求：

百度查询： 齐鲁工业大学(山东省科学院) 一种应用基于BERT模型的文本内容分类系统的分类方法