买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉浙江大学申请的专利基于视觉和词目特征预训练对齐的手语翻译方法和装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN119785439B 。

龙图腾网通过国家知识产权局官网在2025-07-11发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202510283064.5，技术领域涉及：G06V40/20；该发明授权基于视觉和词目特征预训练对齐的手语翻译方法和装置是由耿卫东;李雨恒;李悦容;厉向东设计研发完成，并于2025-03-11向国家知识产权局提交的专利申请。

本基于视觉和词目特征预训练对齐的手语翻译方法和装置在说明书摘要公布了：本发明公开了一种基于视觉和词目特征预训练对齐的手语翻译方法和装置，属于手语翻译技术领域，包括：利用视觉编码器提取手语视频的视觉特征，利用文本编码器提取词目文本特征，基于视觉和词目文本特征进行对比学习得到预训练后的视觉编码器；对文本解码器进行词目文本掩码预测预训练；将预训练后的视觉编码器和文本解码器构建为手语识别模型以从手语视频中识别得到词目文本序列；将域内预训练后的大语言模型接入手语识别模型构建为手语翻译模型并联合微调，以将词目文本序列翻译为自然语言文本。本发明能实现更加高效、准确和可靠的手语识别与翻译，应用于智能手语翻译、无障碍通信、手语教育等领域，为听障群体提供更精准、自然的语言交互体验。

本发明授权基于视觉和词目特征预训练对齐的手语翻译方法和装置在权利要求书中公布了：1.一种基于视觉和词目特征预训练对齐的手语翻译方法，其特征在于，包括以下步骤： 利用视觉编码器从手语视频中分别提取姿态特征和运动特征并融合为视觉特征，利用文本编码器从原始词目文本中提取词目文本特征，基于视觉特征和词目文本特征进行对比学习以得到预训练后的视觉编码器，对比学习过程包括：利用CLIP算法通过计算视觉特征和词目文本特征之间的相似度来构建CLIP损失函数以实现视频和句子级别的特征对齐，利用SoftDTW算法通过计算视觉特征和词目文本特征之间的代价矩阵来构建SoftDTW损失函数以实现连续视频帧和词目级别的特征对齐，并将CLIP损失函数和SoftDTW损失函数作为对比学习中的对齐总损失函数对视觉编码器进行预训练，得到预训练后的视觉编码器； 利用文本编码器和文本解码器进行基于原始词目文本的掩码预测任务预训练以得到预训练后的文本解码器，包括：对原始词目文本进行随机掩码处理得到掩码词目文本，将掩码词目文本输入文本编码器中进行编码得到编码词目文本，然后将编码词目文本输入到文本解码器中进行解码得到解码词目文本，冻结文本编码器参数，将原始词目文本作为标签并通过掩码预测损失函数对文本解码器进行预训练，通过重建掩码内容训练文本解码器的生成能力，得到预训练后的文本解码器； 将预训练后的视觉编码器和预训练后的文本解码器构建为手语识别模型以从手语视频中识别得到词目文本序列，并对手语识别模型进行训练； 将基于公开数据集和构建的手语翻译数据集进行域内预训练后的大语言模型作为语言翻译模型，以将词目文本序列转化为自然语言文本，将语言翻译模型接入训练后的手语识别模型以构建为手语翻译模型并进行联合微调，以实现将手语视频翻译为自然语言文本； 将新的手语视频输入联合微调后的手语翻译模型中进行手语翻译并输出自然语言文本。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江大学，其通讯地址为：310058 浙江省杭州市西湖区余杭塘路866号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。