买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江大学申请的专利一种基于注意力特征信息的BERT模型融合方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114580660B 。

龙图腾网通过国家知识产权局官网在2025-04-01发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210176600.8，技术领域涉及：G06F18/25；该发明授权一种基于注意力特征信息的BERT模型融合方法是由陈珂;杨浩磊;寿黎但;胡天磊;陈刚;江大伟;骆歆远设计研发完成，并于2022-02-25向国家知识产权局提交的专利申请。

本一种基于注意力特征信息的BERT模型融合方法在说明书摘要公布了：本发明公开了一种基于注意力特征信息的BERT模型融合方法，该方法利用每个原模型对输入文本的隐藏表示信息，来计算每个原模型的权重，然后利用每个原模型的权重信息，对原模型的注意力特征信息进行加权融合，最后利用融合后的注意力特征信息对新模型进行调整，提高新模型的表现效果。该方法可以充分利用BERT模型的注意力特征信息，提高融合后BERT模型的表现效果。相比于其他融合方法，本方法可以有效地完善融合后模型的注意力特征信息，使得融合后的模型对文本的注意力特征更加完整，进而提高融合后模型的表现效果。

本发明授权一种基于注意力特征信息的BERT模型融合方法在权利要求书中公布了：1.一种基于注意力特征信息的BERT模型融合方法，其特征在于，该方法的具体步骤如下：1首先，对于给定的多个原模型，构建出每个模型对于输入文本的隐藏表示信息，用来表征对应模型对于输入文本的编码信息；2然后，利用每个原模型的隐藏表示信息与输入文本的特征信息的差异，来计算每个模型的权重信息；3之后，利用每个原模型的权重信息，对模型内部的注意力特征信息进行加权融合，生成融合后的注意力特征信息；4最后，利用融合后的注意力特征信息，来完成新模型的训练，生成表现效果更好和泛化能力更强的新模型；步骤1给定的原模型为教师模型，用Ti表示；步骤4生成的新模型为学生模型，用S表示；Hx代表教师模型的隐藏层表示信息，Ax代表教师模型的注意力特征信息，Px代表教师模型的响应知识信息；所述步骤2中，利用教师模型隐式表示因子FT和学生模型输出的隐藏层特征信息HS，来计算每个教师模型的权重信息；其输入是每个教师模型隐式表示因子FT和学生模型最后一层Transformer输出的隐藏层特征HS；其输出是每个教师模型的权重信息WT；权重计算过程如下：首先通过计算教师模型隐式表示因子FT与学生模型隐藏层表示特征HS之间的均方差函数值，来获取到每个教师模型对应的重要程度，其中均方差函数值越大，则对应的教师模型权重越小；之后再利用softmax函数对每个教师模型的重要程度进行归一化，得到最终每个教师模型对应的权重信息WT；所述步骤3中，利用步骤2获得的每个教师模型对应的权重信息WT来对教师模型的注意力特征信息进行融合，同时也对隐藏层特征信息和响应知识信息进行了融合；其输入是教师模型最后一层Transformer输出的注意力特征AT和隐藏层特征HT，教师模型输出的响应知识PT，以及动态权重计算所得到的教师模型的权重信息WT；其输出是融合后的注意力特征AM，融合后的隐藏层特征HM，以及融合后的响应知识PM；注意力融合的计算过程，主要是利用每个教师模型的权重信息，对不同教师的注意力特征进行加权平均；而隐藏层特征融合和响应知识融合的计算过程同样是利用加权平均的方法来进行融合；所述步骤4中，利用融合后的教师模型知识来对学生模型进行训练和调整；其输入是融合后的教师模型知识AM,HM,PM和学生模型的输出AS,HS,PS，其输出是学生模型参数θ和教师模型隐式表示因子FT；学生模型训练，主要是针对三类不同的知识计算损失函数，并根据最终的损失函数，来对学生模型参数和教师模型隐式表示因子进行调整；三类损失函数分别是注意力特征损失函数LossA，隐藏层特征损失函数LossH和响应知识损失函数LossP，其中注意力特征的损失函数采用KL散度来计算，隐藏层特征的损失函数采用均方差函数计算，响应知识的损失函数采用交叉熵来计算；之后利用这三类损失函数来计算最终的损失函数Loss，最终损失函数主要采用加权和的方式来计算；最后利用损失函数结果，来更新学生模型参数θ和隐式表示因子FT。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。