买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜清华大学申请的专利一种基于深度学习的行业文本匹配模型方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114282592B 。

龙图腾网通过国家知识产权局官网在2025-05-27发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111369472.0，技术领域涉及：G06F18/22；该发明授权一种基于深度学习的行业文本匹配模型方法及装置是由吴军;王得强;关立文设计研发完成，并于2021-11-15向国家知识产权局提交的专利申请。

本一种基于深度学习的行业文本匹配模型方法及装置在说明书摘要公布了：本发明公开了一种基于深度学习的行业文本匹配模型方法及装置，其中，该方法包括：获取预设个数的跨行业数据作为训练集以得到待匹配语句；输入基于深度学习的行业文本匹配模型NERB，经过数据预处理后分别输入优化后的预训练模型NEZHA、RoBERTa和ERNIE‑Gram；经过化后的预训练模型匹配后输出三个文本匹配结果；综合判断，当存在任意两种文本匹配结果或三种文本匹配结果输出为相似时，行业文本匹配模型的输出结果判为相似，否则为不相似。本发明通过引入大规模跨行业数据作为训练集、集成应用多个具有中文特色的预训练模型优势，可以解决不同细分行业如制造业中的汽车生产线技术参考、医疗行业中的患者咨询、商业领域中的交易搜索等多种应用领域的语义匹配问题。

本发明授权一种基于深度学习的行业文本匹配模型方法及装置在权利要求书中公布了：1.一种基于深度学习的行业文本匹配模型方法，其特征在于，包括以下步骤：获取预设个数的跨行业数据作为训练集，以得到待匹配语句；将所述待匹配语句输入基于深度学习的行业文本匹配模型NERB，经过数据预处理后分别输入优化后的预训练模型NEZHA、RoBERTa和ERNIE-Gram；其中，所述优化后的预训练模型NEZHA，包括：对函数式相对位置编码、全词覆盖、混合精度训练和优化器的优化；基于所述优化后的预训练模型，经过所述优化后的预训练模型匹配后输出三个文本匹配结果；根据所述三个文本匹配结果进行综合判断，当存在任意两种文本匹配结果或三种文本匹配结果输出为相似时，所述行业文本匹配模型的输出结果判为相似，否则为不相似；所述对函数式相对位置编码优化，包括：所述预训练模型NEZHA通过采用函数式相对位置编码，输出与注意力得分的计算涉及到相对位置的正弦函数，则函数式相对位置编码公式，如下所示： 所述对全词覆盖优化，包括：所述预训练模型NEZHA，采用全词覆盖策略，当一个汉字被覆盖时，属于同一个汉字的其他汉字都被一起覆盖；所述对混合精度训练优化，包括：所述预训练模型NEZHA采用混合精度训练，在每次训练迭代中，将主权值舍入半精度浮点格式，并使用所述半精度浮点格式存储的权值、激活和梯度执行向前和向后传递；将所述梯度转换为单精度浮点格式，并使用所述单精度浮点格式梯度更新主权重；所述对优化器优化，包括：所述预训练模型NEZHA采用LAMB优化器，自适应策略为所述LAMB优化器中的每个参数调整学习率；所述方法，还包括：对所述优化后的预训练模型NEZHA、RoBERTa和ERNIE-Gram进行验证，包括：对于所述行业文本匹配模型NERB，当存在任意两种或两种以上预训练模型的结果输出为“相似”时，所述行业文本匹配模型NERB的输出结果就判为“相似”，否则为“不相似”，则所述行业文本匹配模型NERB的准确率为：P=p1*p2*1-p3+p1*p3*1-p2+p2*p3*1-p1+p1*p2*p3=p1*p2+p1*p3+p2*p3–2*p1*p2*p3其中，p1、p2、p3分别为预训练模型NEZHA、RoBERTa和ERNIE-Gram三个语义匹配模型在进行语义匹配时的准确率；若所述三个语义匹配模型在包含第一预设数量个样本的数据集中都能做到正确判断其中的第二预设数量个样本是否匹配，剩下的第三预设数量个无法正确判断的样本经排序处理后在一个连续的子序列中。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人清华大学，其通讯地址为：100084 北京市海淀区清华园；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。