买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利一种基于词典增强预训练模型的常识问答方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115293142B 。

龙图腾网通过国家知识产权局官网在2025-07-22发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210836783.1，技术领域涉及：G06F40/242；该发明授权一种基于词典增强预训练模型的常识问答方法是由张寅;陈强龙;李凤麟;徐国海;张佶设计研发完成，并于2022-07-15向国家知识产权局提交的专利申请。

本一种基于词典增强预训练模型的常识问答方法在说明书摘要公布了：本发明公开了一种基于词典增强预训练模型的常识问答方法。本发明包括如下步骤：1词典知识清洗；2在预训练过程中，采用描述‑实体预测和实体判别两个预训练任务，将实体‑描述以及同义词、反义词送到模型编码层；3通过传统的拼接式或外跳注意力机制与外挂相结合的手段，捕捉词典增强的预训练模型在常识问答任务下的实体表征，从而建立更强的任务相关的表征。和现有技术相比，本发明利用了专家构建的词典中蕴含的知识，并且利用任务特定输出层和外跳注意力机制，较好地建模目标任务的特性，可以有效地提升模型在知识驱动型常识问答的效果。

本发明授权一种基于词典增强预训练模型的常识问答方法在权利要求书中公布了：1.一种基于词典增强预训练模型的常识问答方法，其特征在于，步骤如下： S1：获取多个词典知识作为训练语料，并将各语料样本预处理为相同的输入格式；每个语料样本的内容包括词条和词条的定义描述，同时每个词条还对应有正样本和负样本，正样本中包含词条的同义词和同义词的定义描述，负样本中包含词条的反义词和反义词的定义描述； S2：以BERT或RoBERTa作为原始编码器模型，利用训练语料对编码器模型进行训练，更新编码器模型参数，得到词典增强的编码器模型；具体训练步骤如S21～S22： S21：对训练语料进行采样，并对部分采样到的词条进行掩码处理，遮盖词条实体内容，形成用于通过描述预测词条实体的第一样本，其余采样到的词条直接作为第二样本； S22：同时通过描述-实体预测预训练任务和实体判别预训练任务对所述编码器模型进行迭代训练，训练的总损失为两个预训练任务损失的加权和； 在描述-实体预测预训练任务中，将S21中采样得到的第一样本送入所述编码器模型中，得到对应的隐藏层状态，再通过池化层和全连接层进行掩码预测，并计算掩码预测损失作为描述-实体预测预训练任务的损失； 在实体判别预训练任务中，利用S21中采样得到的第二样本并结合对应的正样本和负样本，进行对比学习，由编码器模型获取每个样本对应的词条和定义描述的表征，计算对比学习损失作为实体判别预训练任务的损失，以拉近同义词表征距离，分离反义词之间的表征距离； S3：完成S2中的模型训练后，结合所述词典增强的编码器模型和原始编码器模型形成双塔编码器模型，并在双塔编码器模型后连接问答任务输出层，得到问答模型；其中，双塔编码器模型的输入为问题文本，输入的问题文本经过原始编码器模型得到第一表征，同时基于词典对输入的问题文本进行匹配以识别出问题文本中的所有词条，识别出的词条经过所述词典增强的编码器模型得到第二表征，将第一表征和第二表征融合后输入问答任务输出层中进行回答预测；基于问答数据集对所述问答模型中的原始编码器模型和问答任务输出层进行微调； S4、基于S3中微调完毕后的所述问答模型，根据输入的问题预测得到问题的答案。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。