买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉中央民族大学申请的专利一种基于预训练微调的低资源语言唇语识别方法及装置获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN120877391B 。

龙图腾网通过国家知识产权局官网在2025-12-26发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202511389203.9，技术领域涉及：G06V40/20；该发明授权一种基于预训练微调的低资源语言唇语识别方法及装置是由赵悦;余孟洋;胥桂仙;刘征;姜珊;周心然;张颖乐;张哲浩设计研发完成，并于2025-09-26向国家知识产权局提交的专利申请。

本一种基于预训练微调的低资源语言唇语识别方法及装置在说明书摘要公布了：本发明涉及计算机视觉技术领域，特别涉及一种基于预训练微调的低资源语言唇语识别方法及装置。方法包括：利用大量的英语视频数据集对模型进行预训练，以确保模型获得强大的泛化能力和有效的唇部特征表达能力；随后加载预训练模型权重后，通过少量藏语唇语数据集对模型进行全参数微调，以克服藏语视频数据稀缺的挑战。在推理解码阶段，引入专门针对藏语文本训练的Transformer语言模型，有效降低了唇语识别过程中可能出现的同音词混淆问题，从而提高了句子级别藏语唇语识别的准确性。总体架构经上述创新结构与方法改进，成功实现了对低资源语言的有效纯视觉唇语识别。

本发明授权一种基于预训练微调的低资源语言唇语识别方法及装置在权利要求书中公布了：1.一种基于预训练微调的低资源语言唇语识别方法，其特征在于，所述方法包括： S1、获取无重复的低资源语言文本数据以及英文文本数据；基于低资源语言文本数据以及英文文本数据对分词模型进行预训练；其中，低资源语言为藏语； S2、获取低资源语言唇语视频数据以及英语唇语视频数据，通过语音识别技术获取每条视频数据对应的文本标签；对低资源语言唇语视频数据以及英语唇语视频数据进行预处理以及唇部特征提取； S3、利用训练好的分词模型，对每条视频数据对应的文本标签进行分词，并对每条视频数据进行特征提取，基于提取后的视频数据特征获得数据集标签； S4、搭建基于视觉特征提取网络、序列编解码网络以及语言模型的低资源语言唇语识别系统模型；其中，视觉特征提取网络为加入卷积神经网络优化的唇部特征提取器；序列编解码网络对高维特征采用使用Conformer编码器和Transformer解码器架构进行编解码；语言模型为在推理解码阶段接入经过低资源语言文本训练的Transformer语言模型； 其中，所述语言模型基于SentencePiece工具构建专门适配藏语的子词单元，采用相对位置嵌入替代传统的绝对位置编码，且在训练阶段，结合藏语文本语料特征，通过困惑度Perplexity动态优化解码权重； 其中，语言模型采用Transformer自回归语言模型与CTC连接时序分类和注意力Attention机制联合解码的方式，Transformer架构的自回归语言模型其核心形式为： ； 其中，wt表示第t个子词； 具体联合解码公式如下： ； 其中，表示注意力机制的解码得分，为CTC路径的得分，表示语言模型的得分，λ和α为可调的权重超参数； S5、通过两阶段训练策略对低资源语言唇语识别系统模型进行训练，获得低资源语言唇语识别系统模型；其中，两阶段训练策略包括：英语预训练阶段以及低资源语言微调阶段；具体包括： 基于大规模英语视频数据集对模型进行预训练，使低资源语言唇语识别系统模型充分学习唇部特征提取能力和视频-文本映射关系；其中，预训练采用多任务学习框架，将链接时序分类CTC损失与基于Transformer的注意力损失联合优化，权重比例为0.1:0.9； 加载预训练模型权重，因并随机初始化最终输出层权重； 对低资源语言数据集进行全参数微调，保持联合优化框架不变，将预热轮次调整为5轮，总轮次减至75轮，同时引入梯度裁剪阈值1.0； 接入Transformer语言模型，语言模型权重、CTC权重及注意力权重比例为0.2：0.2：0.8； S6、将待识别的低资源语言唇语视频数据输入至训练好的低资源语言唇语识别系统模型中，完成基于预训练微调的低资源语言唇语识别。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人中央民族大学，其通讯地址为：100081 北京市海淀区中关村南大街27号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。