买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华东交通大学

摘要：本发明提供一种段落大意引导的汉语篇章结构分析方法，应用于段落大意引导的汉语篇章结构分析模型，该模型包括融合词信息的字级编码模块，文本块级稀疏Transformer编码模块、基于指针网络的解码模块、基本文本摘要语料的预训练模块和基于篇章语料的训练模块。本发明充分利用了汉语篇章结构的特性，实质性地提高了汉语篇章结构分析的性能，具有较强的实用价值，该方法为端到端的自顶向下分析方法，不需要以切分好的基本篇章单元作为输入，有效地避免了错误传播问题，提高了方法的适用性；本发明能较好地学习输入文本的段落大意，并把这种全局信息和段落中文本块的表示等局部信息有效融合，以引导整个篇章结构树的构建，达到提高分析性能的目的。

主权项：1.一种段落大意引导的汉语篇章结构分析方法，其特征在于，应用于段落大意引导的汉语篇章结构分析模型，所述汉语篇章结构分析模型包括融合词信息的字级编码模块，文本块级稀疏Transformer编码模块、基于指针网络的解码模块、基本文本摘要语料的预训练模块和基于篇章语料的训练模块；所述方法包括：融合词信息的字级编码模块按照标点符号集合中的标点符号将输入段落分割为多个文本块，每个文本块的结尾为标点符号，然后融合各文本块中字和词的信息，得到词信息增强的向量表示，最后，基于词信息增强的向量表示，使用多个堆叠的Transformer层对输入段落中各文本块分别进行编码，计算文本块的语义向量表示和文本块对应切分点的语义向量表示；文本块级稀疏Transformer编码模块基于各个文本块的语义向量表示和文本块对应切分点的语义向量表示，采用稀疏Transformer层计算融合段落大意的文本块语义向量表示和融合段落大意的切分点语义向量表示，然后计算文本片段的语义向量表示；基于指针网络的解码模块以文本片段的语义向量表示和融合段落大意的切分点语义向量表示为输入，依次计算各切分操作的位置，对于待切分的文本片段和需要进行的第次切分操作，选择权重向量中最大的权重值对应的切分点作为第次切分操作的位置，当切分位置为该文本片段的最后一个切分点时，表明该文本片段不需要再切分；基本文本摘要语料的预训练模块先对融合词信息的字级编码模块和文本块级稀疏Transformer编码模块进行预训练，然后，利用基于篇章语料的训练模块完成最终的训练，得到训练好的段落大意引导的汉语篇章结构分析模型；融合词信息的字级编码模块中，采用下式融合各文本块中字和词的信息，得到词信息增强的向量表示： ；其中，为第个文本块中第个字的向量表示，为由第个文本块中包含第个字的所有可能的词的词向量构成的矩阵，为第个文本块中第个字的词信息增强的向量表示，为融合字词信息的操作；融合词信息的字级编码模块中，采用下式计算文本块的语义向量表示和文本块对应切分点的语义向量表示： ；其中，为第个文本块的语义向量表示，为第个文本块对应切分点的语义向量表示，为堆叠的多个Transformer层，为在文本块开头拼接的占位符的向量表示，、分别为第个文本块中第1个字、第B个字的词信息增强的向量表示，B为第个文本块中字的数量，为第个文本块中最后的标点符号的向量表示；文本块级稀疏Transformer编码模块基于各个文本块的语义向量表示和文本块对应切分点的语义向量表示，采用稀疏Transformer层计算融合段落大意的文本块语义向量表示的过程中，满足以下条件式： ；其中，为段落占位符的语义向量表示，为段落大意的语义向量表示，、分别为第1个文本块、第N个文本块的语义向量表示，N为输入段落中文本块的总数，、、分别为融合段落大意的第1个文本块、第个文本块、第N个文本块的语义向量表示，、分别为第1个文本块、第N个文本块对应切分点的语义向量表示，、、分别为融合段落大意的第1个、第个、第N个切分点的语义向量表示，SparseTrans为堆叠的多个稀疏Transformer层；文本块级稀疏Transformer编码模块中，采用下式计算文本片段的语义向量表示： ；其中，为文本片段的语义向量表示，文本片段表示输入段落中从第个文本块到第个文本块的多个连续文本块，为融合段落大意的第个文本块的语义向量表示，为融合多个向量中信息的操作；基于指针网络的解码模块满足以下条件式： ； ； ；其中，和分别为LSTM中当前时刻和前一时刻的隐藏状态，Atten为注意力机制，为融合段落大意的第个切分点的语义向量表示，和用作注意力机制中的键和值，为归一化后的权重向量，为查找最大值索引的函数，为预测的第个切分操作的位置。

全文数据：

权利要求：

百度查询： 华东交通大学 一种段落大意引导的汉语篇章结构分析方法