龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：北京先声智能科技有限公司
摘要：本发明涉及神经翻译的语法改错模型技术领域，尤其是一种基于注意力共享Transformer的语法改错模型，包括编码器与解码器，所述编码器由多层结构组成，每层结构均包含自注意力层与前馈神经网络，数据输入自注意力层，自注意力层进行计算后输出处理数据至前馈神经网络，前馈神经网络输出处理结果至解码器；所述解码器由自注意力层、编码器解码器注意力层与前馈神经网络构成，解码器的前馈神经网络输出计算数据，并通过Softmax映射到词汇表上的概率分布，本发明的语法改错模型，注意力共享机制下，语法改错模型的效果F0.5几乎与基线系统相同，但却可以减少计算量，加快推理速度。
主权项：1.一种基于注意力共享Transformer的语法改错装置，其特征在于，用于执行语法改错任务，所述语法改错装置的输入为第一语种的单词，输出为第二语种的单词，所述第一语种和第二语种为不同的语种；所述基于注意力共享Transformer的语法改错装置包括：编码器与解码器，所述编码器由多层结构组成，每层结构均包含自注意力层与前馈神经网络，数据输入自注意力层，自注意力层进行计算后输出处理数据至前馈神经网络，前馈神经网络输出处理结果至解码器；所述解码器由自注意力层、编码器解码器注意力层与前馈神经网络构成，数据输入自注意力层，自注意力层进行计算后输出处理数据至编码器解码器注意力层，同时编码器输出的数据输入编码器解码器注意力层，编码器解码器注意力层处理数据后输出至解码器的前馈神经网络，由解码器的前馈神经网络输出计算数据，并通过Softmax映射到词汇表上的概率分布；编码器中的自注意力层和解码器中的自注意力层为相同的机制模块，自注意层包括注意力机制和多头注意力；编码器中的前馈神经网络和解码器中的前馈神经网络为相同的机制模块；编码器和解码器中的各个连接模块之间，从前一模块输出在输入下一模块前需要进行残差连接与层归一化处理。
全文数据：
权利要求：
百度查询： 北京先声智能科技有限公司 一种基于注意力共享Transformer的语法改错模型
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号