买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜天津大学申请的专利基于多阶采样和早期注意力的手语翻译方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115100735B 。

龙图腾网通过国家知识产权局官网在2025-04-18发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202210560369.2，技术领域涉及：G06V40/20；该发明授权基于多阶采样和早期注意力的手语翻译方法是由万亮;薛森华;冯伟;高丽清;刘泽康;刘之谏设计研发完成，并于2022-05-23向国家知识产权局提交的专利申请。

本基于多阶采样和早期注意力的手语翻译方法在说明书摘要公布了：本发明涉及一种基于多阶采样和早期注意力的手语翻译方法:其特征在于，包括两个部分，第一部分：首先利用CNN进行视频特征的逐帧提取，然后设置不同的采样率，对时序特征进行下采样，得到不同视野的时序特征，针对每种采样率下的时序特征，利用非局部模块关联跨度较大的特征，最后将时序特征上采样到原来的长度并对多个特征进行融合；第二部分，建立基于早期注意力的编码器‑解码器网络：编码器‑解码器网络的基本结构是LSTM，编码器将多尺度融合后的特征序列进行编码，解码器则将经过编码的特征序列解码为文本信息；利用早期注意力机制加权融合视觉特征。

本发明授权基于多阶采样和早期注意力的手语翻译方法在权利要求书中公布了：1.一种基于多阶采样和早期注意力的手语翻译方法:其特征在于，包括两个部分，第一部分：首先利用CNN进行视频特征的逐帧提取，然后设置不同的采样率，对时序特征进行下采样，得到不同视野的时序特征，针对每种采样率下的时序特征，利用非局部模块关联跨度较大的特征，最后将时序特征上采样到原来的长度并对多个特征进行融合，具体过程如下：s11帧级特征提取：提取输入视频的特征，得到长度为T、特征维度为d的逐帧特征序列X；s12时序特征的多阶采样：利用卷积层和池化层提取K个不同时间尺度的特征序列Xi，公式如下：Xi＝piciX,i≤K其中ci、pi分别表示用于在时间维度上采样的逐点卷积层、池化层；池化层核大小设定为2的整数倍，其值越大，得到的特征序列长度越短、时间跨度越大，越能表达视频整体上的信息，但详细视觉信息丢失得也越多；反之，其值较小时得到的采样序列则包含更详尽的信息；s13时序关系计算：使用非局部模块对每个特征序列Xi进行加权计算，方法如下：对每个特征序列Xi使用两个逐点卷积处理，得到特征序列Xi的自我注意矩阵Ti为特征序列Xi的长度，将Ai经过softmax归一化计算后与Xi相乘，得到归一化的特征序列X′i；s14时序多尺度融合：将各个归一化的特征序列X′i通过时间维度上的反平均池化扩展到视频原先长度之后，再做逐元素相加操作，得到的多尺度融合后的特征序列I；第二部分，建立基于早期注意力的编码器-解码器网络：编码器-解码器网络的基本结构是LSTM，编码器将多尺度融合后的特征序列I进行编码，解码器则将经过编码的特征序列解码为文本信息；利用早期注意力机制加权融合视觉特征，方法如下：s21编码过程：多尺度融合后的特征序列I输入LSTM编码器，得到长度为T的编码器隐藏状态序列h1,h2,...,hT；s22计算注意力mij：利用编码时刻i时编码器隐藏状态hi和解码时刻j时解码器状态sj计算注意力mij；s23在s22的基础上，将解码时刻j前的注意力相加，得到早期注意力eij，再将早期注意力eij加入到当前注意力nij的计算；之后，将加入早期注意力的当前注意力nij经过softmax归一化得到注意力权值aij；s24语义编码计算：利用注意力权值aij对编码器隐藏状态序列h1,h2,...,hT进行加权求和，得到语义编码序列C1,C2,...,CU；s25注意力计算部分的损失函数La：对于编码时刻i和解码时刻j，取其对应的注意力权值aij和经过softmax归一化的早期注意力softmaxeij两者中的最小值，将所有i和j的组合对应的取值求和得到La，如下式所示； aij与softmaxeij差异越大，La的值越小；s26解码过程：LSTM解码器递归地预测出长度为U的翻译序列y＝y1y2...yU，对于j时刻，利用所得到的语义编码Cj、j时刻的上一时刻解码符号yj-1和解码器状态sj得到j时刻的解码符号yj；s27训练时对于翻译序列y和目标序列z，计算交叉熵损失Le；s28总损失函数L：将Le和La相加得到总损失函数L。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人天津大学，其通讯地址为：300072 天津市南开区卫津路92号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。