买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆理工大学

摘要：本发明涉及自然语言处理技术领域，尤其涉及一种基于残差结构和双向融合注意力的跨度提取阅读理解方法，一种基于残差结构和双向融合注意力的跨度提取阅读理解方法，包括以下步骤：采用不同尺度的卷积核对问题和文章分别卷积，得到不同语义空间下的特征，再分别计算同一尺度卷积核下的问题和文章的相似度分数，最后选取最大特征作为最终的相似度分数矩阵。本发明提出双向融合注意力机制；不仅计算了基于问题的文章表示向量，同时利用提出的针对问题的层叠注意力机制，计算基于文章的问题向量表示，并进行融合拼接以预测答案，并提出残差结构来连接从预训练语言模型输出的具有原始语义的特征向量。

主权项：1.一种基于残差结构和双向融合注意力的跨度提取阅读理解方法，其特征在于，包括以下步骤：定义m个词的文章为C，含有n个词的问题为Q；把问题Q和文章C通过分词器，并把它们拼接为定长的序列；把拼接好的定长的序列输入到多层Transformer结构的编码器端，得到输出向量H；将所述输出向量H按照问题和文章的长度分成问题序列HQ和文章序列HC；采用不同大小的卷积核，分别对文章和问题进行不同语义空间下的特征提取，得到局部表示向量ck和qk：通过注意力机制计算局部表示的相似度矩阵Sk：选取第i个文章单词和第j个问题单词相似度最大值构成最显著的相似度分数矩阵Sij；通过双向融合注意力机制，得到基于问题的文章表示QbasedC和基于文章的问题表示CbasedQ；将基于文章的问题表示CbasedQ和经过门机制得到的基于问题的文章表示QbasedC拼接表示为拼接向量V；把经过注意力机制后得到的拼接向量V，记为细粒度向量，模拟人类精读时的效果，把从编码器端得到的输出向量H序列记为粗粒度向量，模拟人类略读时的结果；采用跳跃连接将粗粒度向量H与细粒度向量V构成残差结构，输出得到包含粗细两种粒度的语义向量I；将语义向量I输入全连接层得到每个单词的startlogit和endlogit；用粗粒度向量H中每个序列的句向量获取classlogit；进行训练，且在训练的过程中，用交叉熵损失函数作为训练目标；对于问题的可回答性，通过训练一个分类任务，赋予每个问题一个可回答分数；问题的可回答性是二分类任务，在训练的过程中采用二分类的交叉熵损失函数Lossclass；得到分类分数scoreclass；得到跨度提取的分数scoreext；所述scoreclass和scoreext加和取均值得到最终的问题可回答性分数，如果该分数高于阈值，则认为问题有答案，并把得到的跨度预测赋予该问题；相反，如果小于，则问题不可回答。

全文数据：

权利要求：

百度查询： 重庆理工大学 基于残差结构和双向融合注意力的跨度提取阅读理解方法