买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉南京邮电大学申请的专利一种基于预训练模型的阅读理解去偏方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115526148B 。

龙图腾网通过国家知识产权局官网在2026-03-13发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211222708.2，技术领域涉及：G06F40/126；该发明授权一种基于预训练模型的阅读理解去偏方法是由于舒娟;吴梦洁;赵阳;张虎;张昀设计研发完成，并于2022-10-08向国家知识产权局提交的专利申请。

本一种基于预训练模型的阅读理解去偏方法在说明书摘要公布了：本发明提供一种基于预训练模型的阅读理解去偏方法，包括：以预训练模型BERT嵌入层为基础构建文本表示层，设定模型输入为文章‑问题构成的句子对，将输入句子映射为句子向量；对位置编码进行两次随机正则化操作，得到两个随机子模型并计算KL散度，评估其输出分布差异性，更新句子向量输入BERT编码器；将BERT编码器最后一个隐层输出通过全连接层与分类器，以交叉熵损失与KL散度之和计算样本的预测损失，在模型训练过程中根据样本的预测损失优化预训练参数，去除阅读理解位置偏差。本发明利用dropout技术正则化位置编码的基础上，通过在训练中拉低两次dropout产生的随机子模型分布的KL散度来约束随机性，提高模型对位置偏差鲁棒性的同时恢复答案预测准确度。

本发明授权一种基于预训练模型的阅读理解去偏方法在权利要求书中公布了：1.一种基于预训练模型的阅读理解去偏方法，其特征在于：包括如下步骤： 以预训练模型BERT嵌入层为基础构建文本表示层，设定模型输入为文章-问题构成的句子对，将输入句子映射为句子向量； 对位置编码进行两次随机正则化操作，得到两个随机子模型并计算KL散度，评估其输出分布差异性，更新句子向量输入BERT编码器； 将BERT编码器最后一个隐层输出通过全连接层与分类器，以交叉熵损失与KL散度之和计算样本的预测损失，在模型训练过程中根据样本的预测损失优化预训练参数，去除阅读理解位置偏差； 采用dropout技术对BERT初始化的位置编码按概率p进行两次随机置0操作，获得两个被弱化位置信息的位置编码向量，并取它们的均值与其余编码相加得到更新的句子向量，用公式表示为： ； 其中，表示为输入序列的最大长度；表示为每个token向量表示的长度；表示更新后的句子向量，表示每个token对照词表组成的Tokenembedding，表示改进前的位置编码，表示区分问题与文章的Segmentembedding，表示随机置零操作。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人南京邮电大学，其通讯地址为：210023 江苏省南京市栖霞区文苑路9号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。