武汉大学李祖超获国家专利权
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
龙图腾网获悉武汉大学申请的专利一种针对预训练语言模型的跨语言模型迁移方法及系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN117077764B 。
龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202310962389.7，技术领域涉及：G06N3/096；该发明授权一种针对预训练语言模型的跨语言模型迁移方法及系统是由李祖超;龚如晗设计研发完成，并于2023-08-01向国家知识产权局提交的专利申请。
本一种针对预训练语言模型的跨语言模型迁移方法及系统在说明书摘要公布了：本申请公开了一种针对预训练语言模型的跨语言模型迁移方法及系统，涉及模型迁移技术领域，包括分别基于原始语言的预训练语言模型和word2vec训练方法获得第一嵌入空间和第二嵌入空间；利用对抗性训练方法得到一线性映射，该线性映射用于将第二嵌入空间与第一嵌入空间对齐；将BERT模型的所有编码器层分为前后两半，并在中间插入迁移中间层；将目标嵌入空间作为单词嵌入更新BERT模型的第一输入嵌入，将前半部分编码器层的编码结果按照目标语言调序后作为单词嵌入更新迁移中间层的第二输入嵌入，将迁移中间层的输出作为后半部分编码器层的输入，以得到目标语言的预训练语言模型。本申请能够高效准确实现跨语言模型迁移。
本发明授权一种针对预训练语言模型的跨语言模型迁移方法及系统在权利要求书中公布了：1.一种针对预训练语言模型的跨语言模型迁移框架方法，其特征在于，包括： 分别基于原始语言的预训练语言模型和word2vec训练方法获得第一嵌入空间和第二嵌入空间，所述两个嵌入空间包含不同数量单词； 利用对抗性训练方法，对第一嵌入空间和第二嵌入空间进行训练，得到一线性映射，该线性映射用于对第二嵌入空间进行修正得到与第一嵌入空间对齐的目标嵌入空间； 将BERT模型的所有编码器层分为前后两半，并在前后两半编码器层中间插入迁移中间层； 将目标嵌入空间作为单词嵌入更新BERT模型的第一输入嵌入，并在第一输入嵌入中添加用于标识目标语言的语言嵌入，利用前半部分编码器层对第一输入嵌入编码，并将编码结果按照目标语言调序后作为单词嵌入更新迁移中间层的第二输入嵌入； 利用迁移中间层对第二输入嵌入编码，并将编码结果作为后半部分编码器层的第三输入嵌入； 利用后半部分编码器层对第三输入嵌入编码，以得到目标语言的预训练语言模型。
如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人武汉大学，其通讯地址为：430000 湖北省武汉市武昌区珞珈山；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号
请提出您的宝贵建议，有机会获取IP积分或其他奖励