买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉重庆邮电大学申请的专利一种基于注意力的多项选择机器阅读理解方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN116467409B 。

龙图腾网通过国家知识产权局官网在2025-08-29发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310446289.9，技术领域涉及：G06F16/334；该发明授权一种基于注意力的多项选择机器阅读理解方法是由孙开伟;段雨辰;纪志阳;李奕佳;曾雅苑设计研发完成，并于2023-04-24向国家知识产权局提交的专利申请。

本一种基于注意力的多项选择机器阅读理解方法在说明书摘要公布了：本发明属于自然语言处理领域，具体涉及一种基于注意力的多项选择机器阅读理解方法，包括：采用句子选择数据集S对中文预训练模型BERT‑wwm‑ext进行增量训练，得到继续预训练模型D；引入多头注意力机制融合选项信息，问题与文章信息，增强模型回答的正确率；采用权重移动平均的方式对模型参数进行调优；本发明通过对预训练模型BERT‑wwm‑ext进行继续预训练，使得模型更加适应横向领域，同时多头注意力机制的引入可以充分利用文章、问题和选项之间的信息，再通过权重移动平均优化模型参数，使模型更加准确的回答阅读理解的问题。

本发明授权一种基于注意力的多项选择机器阅读理解方法在权利要求书中公布了：1.一种基于注意力的多项选择机器阅读理解方法，其特征在于，包括： S1：获取阅读理解数据，将阅读理解数据划分为多项选择数据集和句子选择数据集； S2：将句子选择数据集中的文章问题和选项进行二次掩码操作，将掩码后的数据输入到BERT-wwm-ext预训练模型中进行增量训练，得到预训练模型D； 对BERT-wwm-ext预训练模型中进行增量训练的过程包括：句子选择数据输入BERT-wwm-ext模型进行一轮迭代预训练，得到预训练模型M；随机选取选项中的词语，使用[MASK]掩码遮盖，并将正确答案句子填入文章，将mask的词语作为选项，得到新的文本数据；重复上述过程，将所有的新数据文本输入到模型M得到当前预训练模型D； 对BERT-wwm-ext模型进行迭代训练的过程包括：给定一个段落P和n个选项a1,a2...an，用词汇表[unusedNum]中的特殊标签替换P中的空格，其中Num范围从0到空格数减去1；对于答案选项中的每个ai，将ai和带有标签[SEP]的P连接起来作为输入序列；将长度为l的输入序列输入到BERT中，并通过权重移动平均优化方法对模型的学习率进行衰减，得到一个隐藏的表示将H和可训练参数进行点积得到当前选项出现空白的概率t通过softmax进行对数计算，并选择概率最大的选项作为空白的预测； S3：在预训练模型D中加入多头注意力机制，计算多项选择数据集中每个选项之间相互注意力权重aij，得到选项的注意力输出向量Attentionaij； S4：通过门控通道注意力机制将注意力输出向量融入原始的选项表示中，得到候选选项集合options； S5：对选项与文章中的每个句子进行相似度匹配检测，对问题与文章中的每个句子进行相似度匹配检测，保留文章与选项以及问题相关性最高的k个句子，将k个句子组合成文章P’； S6：根据候选选项集合options、文章P’以及问题构建全连接信息，通过构建的全连接线性层去预测问题最后的答案。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人重庆邮电大学，其通讯地址为：400065 重庆市南岸区南山街道崇文路2号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。