恭喜沈阳雅译网络技术有限公司刘兴宇获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜沈阳雅译网络技术有限公司申请的专利一种应用于稳定深层机器翻译模型的机器翻译方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114528856B 。
龙图腾网通过国家知识产权局官网在2025-06-20发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210126056.6,技术领域涉及:G06F40/58;该发明授权一种应用于稳定深层机器翻译模型的机器翻译方法是由刘兴宇;姜炎宏设计研发完成,并于2022-02-10向国家知识产权局提交的专利申请。
本一种应用于稳定深层机器翻译模型的机器翻译方法在说明书摘要公布了:本发明公开一种应用于稳定深层机器翻译模型的机器翻译方法,步骤为:在深层模型的训练过程中,根据输入源语句子X进行每一次反向传播计算时,为深层模型中编码器部分参数的梯度矩阵G设置两个矩阵μ与σ;使用矩阵μ与σ分别代表梯度矩阵G的均值与标准差,并根据梯度矩阵G计算出矩阵μ与σ的值;在模型训练期间的每一次反向传播过程中,使用矩阵μ与σ对梯度矩阵G进行标准化;通过预设的策略与先验知识来控制该标准化的使用阶段和位置,进行机器翻译模型的快速准确训练,最终提升解码时的输出译文的译文质量。本发明可以使得训练过程更加稳定,并且不受限于具体的模型与任务,具有很好的通用性,使模型的效果更加容易在不同的设备上重现。
本发明授权一种应用于稳定深层机器翻译模型的机器翻译方法在权利要求书中公布了:1.一种应用于稳定深层机器翻译模型的机器翻译方法,其特征在于包括以下步骤: 1在深层模型的训练过程中,根据输入源语句子X进行每一次反向传播计算时,为深层模型中编码器参数的梯度矩阵G设置两个矩阵μ与σ; 2使用矩阵μ与σ分别代表梯度矩阵G的均值与标准差,并根据梯度矩阵G计算出矩阵μ与σ的值; 3在模型训练期间的每一次反向传播过程中,使用矩阵μ与σ对梯度矩阵G进行标准化; 4通过预设的策略与先验知识来控制该标准化的使用阶段和位置,进行机器翻译模型的快速准确训练,最终提升解码时的输出译文的译文质量; 步骤2中根据梯度矩阵G计算出矩阵μ与σ的值,具体为: 矩阵μ与σ为梯度矩阵G的均值与标准差,均值与标准差的计算方式如下所示: 其中,xk为梯度矩阵G中的一个参数;μi为矩阵μ中的一个参数,其表示梯度矩阵G中参数的均值,参数使用集合Si表示,m为集合Si中参数的数量,集合Si根据所采用的标准化方法不同而变化;同理σi为矩阵σ中的一个元素,∈为一个不为0的极小值; 步骤3在模型训练的反向传播过程中,使用矩阵μ与σ对梯度矩阵G进行标准化操作,标准化操作LN的结果LNG可以表示为: 此时,当模型进行反向传播时,第l层经过标准化后的梯度信息可以表示为: 其中,Loss为模型的最终损失,L表示模型的总层数,xl表示第l层的输入矩阵,F·代表模型中的被重复使用的函数,θk表示模型第k层中函数F的参数。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人沈阳雅译网络技术有限公司,其通讯地址为:110004 辽宁省沈阳市和平区三好街78号东软电脑城C座11层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。