买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉张勇俊申请的专利一种跨模态语音识别方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115938367B 。

龙图腾网通过国家知识产权局官网在2025-11-21发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211191597.3，技术领域涉及：G10L15/26；该发明授权一种跨模态语音识别方法是由张勇俊设计研发完成，并于2022-09-28向国家知识产权局提交的专利申请。

本一种跨模态语音识别方法在说明书摘要公布了：本发明涉及语音识别技术领域，揭露一种跨模态语音识别方法。所述方法包括以下步骤：获得待分析的视频信息并抽取其中的通话音频和视觉信息；获得语音帧序列；利用语音识别模型对所述语音帧序列进行解码操作，得到所对应的文本信息；对所述视觉信息进行多重特征提取操作，得到所述视觉信息的特征序列；利用预设的视觉信息提取模型，得到面部信息序列；利用预设的目标检测模型对所述面部信息序列进行提取分析，从而进行进一步的优化，利用训练后的唇语转换模型优化后的唇部序列，进行解码操作，得到候选词集；利用训练的融合神经模型加以对比和融合，输出最后的文本信息。本发明可以解决当前语音识别容易受到干扰的问题。

本发明授权一种跨模态语音识别方法在权利要求书中公布了：1.一种跨模态语音识别方法，其特征在于，所述方法包括： 步骤S1:获得待分析的视频信息并抽取其中的通话音频，对所述通话音频进行纠偏以及滤波操作，得到标准语音； 步骤S2:对视频信息进行分帧处理以获得视觉信息； 步骤S3:对所述标准语音进行分帧处理以及端点检测，得到语音帧序列； 步骤S4:利用语音识别模型对所述语音帧序列进行解码操作，得到所述语音帧序列所对应的第一文本信息； 步骤S5:对所述视觉信息进行多重特征提取操作，得到所述视觉信息的清晰面部特征序列；所述视觉信息进行多重特征提取操作，得到所述视觉信息所对应的清晰面部特征序列的步骤具体为： 根据预设的人脸特征集从所述的视觉信息中提取初步面部特征序列； 利用人脸活体检测算法，对所述的初步面部特征序列进行活体人脸检测，将所述的初步面部特征序列的干扰人脸进行去除，得到初步活体面部特征序列； 根据预设的图像增强技术，将所述的初步活体面部特征序列转化为清晰面部特征序列； 步骤S6:利用预设的目标检测模型对所述清晰面部特征序列进行提取分析，得到初步唇部信息序列； 步骤S7:用预设好的图像增强模型对初步唇部信息序列的边缘信息、轮廓信息和对比度进行突出或增强，从而得到矫正的唇部信息序列； 步骤S8:利用训练后的唇语转换模型对所述矫正的唇部信息序列进行解码操作，得到所述矫正的唇部信息序列的所对应的第二候选词集； 步骤S9:针对语音帧数序列对应的第一文本信息以及矫正的唇部信息序列对应的第二候选词集，利用训练的融合神经模型加以对比和融合，输出最后的文本信息；利用训练的融合神经模型，语音帧数序列对应的第一文本信息以及唇部信息序列对应的第二候选词集，加以对比和融合，输出最后的文本信息的步骤包括： 利用深度神经网络模型，在层次结构之间加入残差连接，并建立第一文本信息以及第二候选词集的融合连接； 利用预设的融合神经模型，计算融合前后文本的误差，对误差达到误差阈值的词组进行相应的替换，以输出最后的文本信息；其中利用以下算法进行人脸活体检测： 其中，M为当前关键帧序列的数量，e为自然对数，x为关键帧中产生变化帧的数量，Fx,M为人脸活体检测变化动态值； 利用以下公式进行特征加权： 其中，l为当前的帧序列的对比度的值，h为曝光补偿值，g为饱和度，z为照片的色温，n为组成当前词语的帧数。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人张勇俊，其通讯地址为：100000 北京市东城区青龙胡同甲1号、3号2幢2层203-95室；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。