买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉杭州东上智能科技有限公司申请的专利一种基于类注释注意力和知识迁移的手语翻译方法和系统获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115966022B 。

龙图腾网通过国家知识产权局官网在2025-12-05发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211720818.1，技术领域涉及：G06V40/20；该发明授权一种基于类注释注意力和知识迁移的手语翻译方法和系统是由姜伟昊;黄俊杰;李烈锋;钱冠梁;王志辉;陈梓铭设计研发完成，并于2022-12-30向国家知识产权局提交的专利申请。

本一种基于类注释注意力和知识迁移的手语翻译方法和系统在说明书摘要公布了：本发明公开了一种基于类注释注意力和知识迁移的手语翻译方法和系统，属于无注释手语翻译领域。获取手语视频和对应的口语文本组合作为训练集，分别获取手语视频嵌入特征向量序列和口语文本嵌入特征向量序列；利用包含多头类注释注意力机制的编码器对手语视频嵌入特征向量序列进行编码，再利用解码器自回归生成目标口语文本；结合基于知识迁移的损失函数项和手语翻译的交叉熵损失函数项，训练编码器和解码器；利用训练好的编码器和解码器实现无注释手语翻译任务。本发明通过引入类注释注意力机制和知识迁移，在无注释手语翻译任务中提高了翻译效果。

本发明授权一种基于类注释注意力和知识迁移的手语翻译方法和系统在权利要求书中公布了：1.一种基于类注释注意力和知识迁移的手语翻译方法，其特征在于，包括如下步骤： 1获取手语视频和对应的口语文本组合作为训练集，分别获取手语视频嵌入特征向量序列和口语文本嵌入特征向量序列； 2利用包含多头类注释注意力机制的编码器对手语视频嵌入特征向量序列进行编码，再利用解码器自回归生成目标口语文本； 所述的多头类注释注意力机制具体为： 2.1将长度为T的手语视频嵌入特征向量序列中各个特征向量横向拼接，再取转置得到表示矩阵X； 2.2对于步骤2.1所得的X，分别生成查询矩阵Q、原始键矩阵K、原始值矩阵V； 2.3对于查询矩阵Q，将其等价表示为若干列向量分块拼接，所构成矩阵的转置，记为Q＝[q1；q2；…；qT]T，其中qT是第N个查询向量；对于每个查询向量qt，初始化N个注意力位置P＝p1,p2,…,pN，其中pN是第N个注意力位置； 2.4根据查询向量计算出N个偏移量，以动态地调整注意力位置； 2.5将原始键矩阵K表示为K＝[k1；k2；…；kT]T，其中kt为第t个原始键向量，将原始值矩阵V表示为V＝[v1；v2；…；vT]T，其中vt为第t个原始值向量；使用线性插值来获取最终用于计算的键矩阵和值矩阵 遍历位置t∈[1,T]，得到T个线性插值后的键矩阵和T个线性插值后的值矩阵将T个线性插值后的键矩阵合成键矩阵K’，将T个线性插值后的值矩阵合成值矩阵V’； 2.6利用步骤2.5求得的键矩阵K’和值矩阵V’，计算得到一系列的单头类注释注意力向量；遍历位置t∈[1,T]，得到T个单头类注释注意力向量，合成单头类注释注意力矩阵Z； 2.7重复步骤2.2到步骤2.6，通过在步骤2.2中生成不同的查询矩阵Q、原始键矩阵K、原始值矩阵V，最终产生多个不同的单头类注释注意力矩阵，聚合得到多头类注释注意力矩阵 其中，W表示投射矩阵，concat·表示在第一个维度上连接各个矩阵的操作，Zh表示第h个单头类注释注意力矩阵； 3根据训练集中手语视频和口语文本之间的一对一语义关系，获取基于知识迁移的损失函数项；将口语文本嵌入特征向量序列和由编码器编码后的手语视频嵌入特征向量序列作为解码器的输入，对于解码器自回归生成目标口语文本的过程，获取手语翻译的交叉熵损失函数项；结合基于知识迁移的损失函数项和手语翻译的交叉熵损失函数项，训练编码器和解码器； 4获取待翻译的手语视频嵌入特征向量序列，并利用训练好的包含多头类注释注意力机制的编码器对手语视频嵌入特征向量序列进行编码，再利用训练好的解码器自回归生成目标口语文本。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人杭州东上智能科技有限公司，其通讯地址为：311202 浙江省杭州市萧山区经济技术开发区明星路371号1幢812-6；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。