龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：内蒙古工业大学
摘要：一种结合Meta‑KD框架和细粒度压缩的蒙汉机器翻译方法，对中文语料、英文语料、蒙古文语料进行数据预处理以及数据集划分，利用Meta‑KD框架进行汉英翻译的学习，对BERT语言模型进行训练，然后根据元蒸馏算法使学生模型在元教师的指导下学习，得到用于蒙汉翻译的可迁移知识，结合细粒度压缩方法，在学生模型上进行蒙汉翻译的训练验证。本发明通过Meta‑KD的框架进行数据集的训练，更适合进行小语种的翻译，得到更准确翻译结果；而细粒度的压缩使得训练好的模型具有更快的训练速度。然后，本发明结合细粒度压缩的方法，通过信息熵对信息表示进行细粒度压缩，从而达到模型加速推断的目的。
主权项：1.一种结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法，其特征在于，包括如下步骤：步骤1，对中文语料、英文语料、蒙古文语料进行数据预处理以及数据集划分，得到汉英训练集、汉英验证集和汉英测试集，以及蒙汉训练集、蒙汉验证集和蒙汉测试集；步骤2，利用Meta-KD框架进行汉英翻译的学习，在Meta-KD框架下，对BERT语言模型进行训练，然后根据元蒸馏算法使学生模型在元教师的指导下学习，得到用于蒙汉翻译的可迁移知识；所述Meta-KD框架由元教师学习和元蒸馏组成，在所述元教师学习中，将大规模BERT语言模型作为基础学习器进行文本分类任务，将汉英训练集D＝{sj,yj}中的第j个汉语样本sj输入BERT语言模型中进行编码，yj为对应的英语翻译结果，计算每个汉语样本sj的原型分数Sj，使用原型分数Sj作为权重来分配给每个汉语样本sj，以定义元教师的交叉熵损失，并利用域损坏丢失来增加元教师学习可迁移知识的能力，从而在汉英翻译领域学习了一个元教师；在所述元蒸馏，使用小规模BERT语言模型作为学生模型，引入元教师的可迁移知识的蒸馏损失，在元教师的指导下用学生模型解决蒙汉翻译的训练任务；步骤3，结合细粒度压缩方法，在学生模型上进行蒙汉翻译的训练验证，即利用步骤2学习到的可迁移知识进行蒙汉翻译的训练验证；其中，所述细粒度压缩方法是通过信息熵对信息表示进行细粒度压缩，从而达到加速推断的目的。
全文数据：
权利要求：
百度查询： 内蒙古工业大学 一种结合Meta-KD框架和细粒度压缩的蒙汉机器翻译方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号