买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中央民族大学

摘要：本发明涉及一种基于多级注意力机制的藏文机器阅读理解方法，该方法包括以下步骤：对藏文文字进行音节以及词语两个不同级别的切分，然后对音节使用高速网络进行编码，最后融入到藏文词向量中；通过词级别的注意力机制进行关键词搜索；通过重读机制对文章的关键语义信息提取；通过自注意力机制对文章中关键信息进行再次的筛选；使用全连接网络对上述的隐变量进行解码，并对答案位置进行预测。本发明能够解决针对藏文机器阅读理解文本信息编码中遗失音节信息的问题，以及能够精准的解决藏文机器阅读理解任务。

主权项：1.一种基于多级注意力机制的藏文机器阅读理解方法，其特征在于，包括以下步骤：对藏文文字进行音节以及词两个不同级别的切分，然后对音节使用高速网络进行编码，最后融入到藏文词向量中；通过词级别的注意力机制进行关键词搜索；通过重读机制对文章的关键语义信息提取；通过自注意力机制对文章中关键语义信息进行再次的筛选；使用全连接网络对隐变量进行解码，该隐变量是多级注意力机制对文本问题和文章进行交互后由多级注意力机制的神经网络模型输出的文本表示，并对答案位置进行预测；所述对藏文文字进行音节以及词两个不同级别的进切分，然后对音节使用高速网络进行编码，最后融入到藏文词向量中步骤，包括；定义一个问题序列Q＝{q1,q2,q3…qn}和一个文章序列P＝{p1,p2,p3…pm}，对它们分别进行音节级别以及词级别的切分，并使用预训练模型转换为相应的音节和词级别的向量；对于音节级别编码，使用双向的长短期记忆神经网络，并将该双向的长短期记忆神经网络最终的隐层状态作为一个词的音节编码；最后，通过两层的高速网络将两个不同级别的向量进行融合，所述两个不同级别的向量为音节级别的向量和词级别的向量；所述通过词级别的注意力机制进行关键词搜索步骤，包括：文章中的每个词的注意力权重表示为： au∝expSu 其中，Su表示的是文章中每个词与问题的相关性矩阵，VT,都是词级别注意力机制网络中可训练的参数，是问题的词编码序列，是文章的词编码序列，au是对文章中每个词与问题的相关性矩阵进行归一化之后的第一矩阵，是分配了权重之后文章中的词向量；最后，使用双向的长短期记忆神经网络去获取句子级别的文章表示向量Vtp，即 其中，是双向的长短期记忆神经网络中t-1时刻的文章表示向量，则是代表分配注意力权重前后的文章编码的拼接向量；是分配了注意力权重后的文章编码，是文章中的词向量；所述通过重读机制对文章的关键语义信息提取步骤，包括：首先针对问题序列使用双向的长短期记忆神经网络去生成双向的长短期记忆神经网络中i时刻的隐藏向量即 这里的表示双向的长短期记忆神经网络中i-1时刻的隐藏向量，是输入嵌入层中问题的音节嵌入的输出，是词级别注意力机制层的输出；接下来使用重读机制去关注文章中关键信息，即： av∝expSv 其中，OT，分别为重读机制网络中可训练的参数矩阵，是分配了权重之后文章中的词向量,av是文章中每个词与问题的相关性矩阵进行归一化之后的第二矩阵；这里Sv是文章和问题之间语义相关性矩阵，是问题编码的语义向量，是词级别注意力机制层的输出向量；最后使用双向的长短期记忆神经网络对重读机制层的输出进行编码； 其中，代表的是双向的长短期记忆神经网络中t-1时刻的隐藏向量，是分配语义权重前后文章编码的拼接矩阵。

全文数据：

权利要求：

百度查询： 中央民族大学 一种基于多级注意力机制的藏文机器阅读理解方法