买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东南大学

摘要：本发明公开了一种利用深度神经网络进行论文多标签分类的方法，该方法将多标签分类视为标签序列生成过程；方法分为输入序列特征学习阶段和标签序列生成（预测）阶段；该方法将多标签分类视为标签序列生成过程；方法分为输入序列特征学习阶段和标签序列生成（预测）阶段；其中在所述输入序列特征学习阶段，本发明根据论文文本序列，利用双向长短时记忆网络生成特征向量序列；在所述标签序列生成阶段，将由特征向量序列构成的上下文向量和上一时刻的标签嵌入向量输入单向长短时记忆网络，来预测该论文可能所属的下一个标签。模型通过优化后的梯度下降算法进行迭代训练，最终使用训练好的模型，结合BeamSearch算法对论文所属类别进行多标签分类。

主权项：1.一种利用深度神经网络进行论文多标签分类的方法，其特征在于，该方法将多标签分类视为标签序列生成过程；方法分为输入序列特征学习阶段和标签序列生成阶段；其中在所述输入序列特征学习阶段，根据论文文本序列，利用双向长短时记忆网络生成特征向量序列，采用小批量随机梯度下降和Adam优化算法训练神经网络模型；在所述标签序列生成阶段，将由特征向量序列构成的上下文向量和上一时刻的标签嵌入向量输入单向长短时记忆网络，来预测该论文可能所属的下一个标签，所述神经网络模型包括输入单词序列的嵌入层，由双向长短时记忆网络构成的编码层，由单向长短时记忆网络构成的解码层共3层架构；所述嵌入层用于对输入文本序列进行降维和初步的语义表示；所述长短时记忆网络用于学习输入序列之间的长期相关性特征，并编码特征向量序列；所述单向长短时记忆网络用于生成标签序列；所述神经网络模型中训练模型参数的方法采用Adam算法，其形式如下式所示： 其中β1,β2∈[0,1，分别是一阶动量衰减系数和二阶动量衰减系数，取值为0.9和0.999，ε为进步值，取值e-8，表示t-1次迭代中的参数梯度矩阵；在第t次迭代，Xt为参数矩阵，mt是一阶动量，vt是二阶动量，属于中间变量，α是学习速率；所述标签序列生成的计算过程如下：st＝LSTMst-1,Wgyt-1+Wcct-1ot＝tanhWdst+Vdctyt＝softmaxLinearot其中解码器单向长短时记忆网络采用单向长短时记忆网络，其当前时刻的隐层状态st和前一时刻状态st-1，前一时刻的标签嵌入向量yt-1，以及前一时刻的输入上下文向量ct-1有关；当前编码器输出ot和当前隐层网络状态st，以及当前输入上下文向量ct有关；其计算方式为tanhWdst+Vdct；其中Wd和Vd是参数矩阵，st和ct通过该参数矩阵进行线性变换之后，再使用tanh非线性激活函数计算得到当前输出向量ot；再通过一个线性层将其映射到标签空间；所得向量每一维度认为是对应标签的分数；最后通过一个Softmax层将分数转换为标签概率分布yt，取最高概率的标签作为当前预测的标签。

全文数据：

权利要求：

百度查询： 东南大学 一种利用深度神经网络进行论文多标签分类的方法