买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江西科技师范大学

摘要：本发明提出一种基于多任务的社交网络用户心理危机原因抽取方法与系统，该方法通过分别构建子句级别的心理危机原因抽取辅助任务和短语级别的心理危机原因抽取主任务，再基于主任务和辅助任务自适应特征共享构建联合任务，通过对辅助任务和主任务进行联合多任务优化，并在优化过程中，利用联合任务对辅助任务和主任务进行平衡，同时进行参数更新；优化完成后，基于联合优化所得权重，利用心理危机原因预测标签指导短语级别的心理危机原因抽取，以获取抽取结果。本发明通过底层数据整合、特征共享、联合训练来平衡主辅助任务，并使主辅助任务都获得更多的文本信息，提高心理危机原因抽取的整体性能。

主权项：1.一种基于多任务的社交网络用户心理危机原因抽取方法，其特征在于，所述方法包括如下步骤：步骤1、构建子句级别的心理危机原因抽取辅助任务，以文档作为输入进行预测，以获取文档中每个子句的心理危机原因预测标签；步骤2、构建短语级别的心理危机原因抽取主任务，以文档作为输入进行预测，获取文档中的每个子句所包含的每个词的心理危机原因预测标签；步骤3、基于主任务和辅助任务自适应特征共享构建联合任务，将子句的心理危机原因预测标签自适应的与主任务预测过程中所提取的词向量表示进行融合，再进行预测，获取心理危机原因分类结果；步骤4、对辅助任务和主任务进行联合多任务优化，并在优化过程中，利用联合任务对辅助任务和主任务进行平衡，同时进行参数更新；步骤5、优化完成后，基于联合优化所得权重，利用心理危机原因预测标签指导短语级别的心理危机原因抽取，得到抽取结果；在所述步骤1中，构建子句级别的心理危机原因抽取辅助任务，以文档作为输入进行预测，以获取文档中每个子句的心理危机原因预测标签的方法具体包括如下步骤：将文档输入BERT编码层中，将文档中的子句编码为序列表示[CLS],Tok1,Tok2,...,TokN,[SEP]，其中，[CLS]表示分类标记，TokN表示词的数量，[SEP]表示分隔标记；将序列表示输入词语义提取层获得子句语义表示，若干子句语义表示组成子句的语义表示矩阵；其中，表示语义表示矩阵，表示子句的语义表示；获得子句语义表示的过程存在如下关系式： ；其中，表示词语义提取层，表示隐藏层的大小，表示第个子句语义表示，表示子句的长度；将语义表示矩阵输入子句上下文特征提取层获得各个子句之间的上下文信息和序列特征，得到子句的隐藏层输出向量，通过子句上下文特征提取层获得子句的隐藏层输出向量的过程存在如下关系式： ； ； ；其中，表示子句的隐藏层输出向量，表示通过LSTM获得的前向传播隐藏层，表示通过LSTM获得的反向传播隐藏层，表示LSTM前向传播函数，表示LSTM反向传播函数；将子句的隐藏层输出向量通过单层感知机，得到子句的隐藏层表示，子句的隐藏层表示的获取过程存在如下关系式： ；其中，表示第个子句的隐藏层表示，表示注意力机制采用的非线性激活函数，表示注意力模型的可调节权重，表示注意力模型的偏置值；对子句随机初始化生成子句的随机初始化的上下文向量，根据子句的随机初始化的上下文向量和子句的隐藏层表示之间的相似度，通过softmax层获得子句的归一化注意力权重矩阵，获取子句的归一化注意力权重矩阵的过程存在如下关系式： ；其中，表示子句的随机初始化的上下文向量，表示以e为底的指数函数，表示子句的归一化注意力权重矩阵；根据所得归一化的注意力权重矩阵，通过注意力机制获取各个子句的不同的权重值，再进行加权，得到最终的子句向量表示，获取子句向量表示的过程存在如下关系式： ；将最终的子句向量表示通过全连接层和softmax层，得到子句的最终预测标签，子句的最终预测标签的过程存在如下关系式： ；其中，表示子句的最终预测标签，表示分类的激活函数，其输出是归一化的类别概率分布，表示子句向量表示，表示可学习的权重矩阵，表示偏置值；在所述步骤2中，构建短语级别的心理危机原因抽取主任务进行预测，以文档作为输入进行预测，获取文档中的每个子句所包含的每个词的心理危机原因预测标签的方法具体包括如下步骤：将子句输入词语义提取层中，获得词语义表示，若干个词语义表示组成词语义表示矩阵，获得词语义表示的过程存在如下关系式： ；其中，表示词语义表示，表示的长度；假设当前中文词由若干个字组成，为组成词的字数，将词输入词中字语义提取层中，获取双向的字表示的隐藏层输出，并进行拼接，获得词对应的字级别的特征，字向量的获取过程存在如下关系式： ；其中，表示字向量，表示词的最后一个字，表示的第一个字，表示拼接运算；将字向量与对应的词语义表示进行拼接，得到词向量表示，词向量表示的获取过程存在如下关系式： ；其中，表示词向量表示；将词向量表示依次通过全连接层和softmax层，得到心理危机原因预测标签；在所述步骤3中，基于主任务和辅助任务自适应特征共享构建联合任务，将子句的心理危机原因预测标签自适应的与主任务预测过程中所提取的词向量表示进行融合，再进行预测，获取心理危机原因分类结果的方法具体包括如下步骤：将子句中每个词的词向量表示与子句所对应的子句预测标签进行拼接，得到拼接后的词向量表示，获取拼接后的词向量表示的过程存在如下关系式： ；其中，表示拼接后的词向量表示；将拼接后的词向量表示送入词上下文特征提取层中，获得词的隐藏层输出向量，获得词的隐藏层输出向量的获取过程存在如下关系式： ； ； ；其中，表示通过LSTM获得的前向传播隐藏层，表示通过LSTM获得的反向传播隐藏层，表示词的隐藏层输出向量；将词的隐藏层输出向量通过单层感知机，得到词的隐藏层表示，词的隐藏层表示的获取过程存在如下关系式： ；其中，表示词的隐藏层表示，表示注意力模型的可调节权重，表示注意力模型的偏置值；对词随机初始化生成词的随机初始化的上下文向量，根据词的随机初始化的上下文向量和词的隐藏层表示之间的相似度，通过softmax层获得词的归一化注意力权重矩阵，获取词的归一化注意力权重矩阵的过程存在如下关系式： ；其中，表示词的归一化注意力权重矩阵，表示词的随机初始化的上下文向量；根据所得词的归一化注意力权重矩阵，通过注意力机制获取各个词的不同的权重值，再进行加权，得到最终的词向量表示，最终的词向量表示的获取过程存在如下关系式： ；其中，表示最终的词向量表示；将最终的词向量表示通过全连接层和softmax层，得到心理危机原因的分类结果。

全文数据：

权利要求：

百度查询： 江西科技师范大学 基于多任务的社交网络用户心理危机原因抽取方法与系统