买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉北京理工大学申请的专利一种基于依存树句法增强机制的神经机器翻译方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN114021591B 。

龙图腾网通过国家知识产权局官网在2026-01-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202111315938.9，技术领域涉及：G06F40/58；该发明授权一种基于依存树句法增强机制的神经机器翻译方法是由冯冲;惠子杨;张天夫;王黎超设计研发完成，并于2021-11-08向国家知识产权局提交的专利申请。

本一种基于依存树句法增强机制的神经机器翻译方法在说明书摘要公布了：本发明涉及一种基于依存树句法增强机制的神经机器翻译方法，属于自然语言处理机器翻译技术领域，解决了现有多头自注意力网络无法有效发挥冗余自注意力头作用的技术问题。本方法构建的依存树，利用依存矩阵作为掩码来对不存在直接依存关系的词汇之间的注意力进行建模。同时，本方法提出了一种动态的、轻量级的冗余头激活策略，精确地识别了并在句法层面上激活了Tranformer编码器端的冗余头，提升了多头注意力网络中注意力头的运行效率。本方法通过句法增强的注意力机制模拟了重要头的特定功能，相比于现有的改进的自注意力方法，在测试集上的提升效果更为明显。

本发明授权一种基于依存树句法增强机制的神经机器翻译方法在权利要求书中公布了：1.一种基于依存树句法增强机制的神经机器翻译方法，其特征在于，包括以下步骤： 步骤1：构建基于依存树的句法增强注意力机制算法； 在标准注意力机制上，加入依存掩码偏置： 其中，Att表示注意力机制，Qi表示单词i的查询query，Kj表示单词j的键值key，xi表示单词i的词嵌入向量，xj表示单词j的词嵌入向量，WQ表示查询query权重矩阵，WK表示键值key权重矩阵，T表示对矩阵做转置操作，dk表示向量维度； 给定一个依存掩码Dep_mask，简称依存掩码D，D∈{0,-∞}u*u，u表示矩阵维度；根据式 将偏置d设为常向量Di,j1，其中1表示每一维均为1的向量；由于softmax的指数操作，加上偏置d∈{0,-∞}u*u，之后对齐的结果相当于为注意力分布乘以一个在[1,0范围内的权重； 根据词汇xi和xj之间的依存关系Depxi,xj定义Di,j的值： 将Di,j置为-∞，表示系统会忽略相互独立的词对xi,xj之间的关系，同时，注意力权重会更倾向于独立的词对；设每一独立的关系都是同等重要的，将Di,j置为0，表示对于不同的独立词对，并不会赋予其不同的偏置； 步骤2：识别冗余头，根据句法注意力的平均权重，动态确定训练过程中每个头的重要性； 步骤3：在步骤2区分多头自注意力中重要头和冗余头之后，根据步骤1中提到的句法偏置，在不影响重要头的情况下激活冗余头。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人北京理工大学，其通讯地址为：100081 北京市海淀区中关村南大街5号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。