买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网获悉厦门大学申请的专利基于多尺度的多模态时域语音分离方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN115881156B 。

龙图腾网通过国家知识产权局官网在2025-09-23发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202211580703.7，技术领域涉及：G10L21/0272；该发明授权基于多尺度的多模态时域语音分离方法是由许文婕;杨晨晖设计研发完成，并于2022-12-09向国家知识产权局提交的专利申请。

本基于多尺度的多模态时域语音分离方法在说明书摘要公布了：基于多尺度的多模态时域语音分离方法，涉及人工智能、音频信号处理、计算机视觉领域，旨在为混合音频分离与增强提供分析和帮助。包括步骤：S1、混合音频生成、唇部图像序列提取等数据预处理；S2、音频信号特征编码；S3、唇部区域特征编码与唇部动作特征计算；S4、说话人特征、唇部动作特征的多尺度特征提取；S5、唇部动作与语音间的细节映射学习；S6、音频、唇部图像序列、唇部动作、说话人等相关特征的融合学习与音频权值矩阵生成；S7、将步骤S4～S6视为语音分离模块，重复步骤S4～S6；S8、依据权值矩阵分离混合音频并解码得到音频信号。实现不依赖于说话人的多模态数据的端到端盲声源语音分离。

本发明授权基于多尺度的多模态时域语音分离方法在权利要求书中公布了：1.基于多尺度的多模态时域语音分离方法，其特征在于包括以下步骤： 1）对数据进行预处理，包括混合音频生成、视频图像序列中唇部区域提取； 2）对一维的单通道音频信号进行特征编码，生成特征向量； 3）利用预训练模型对唇部区域进行特征编码生成特征向量，并根据唇部图像序列特征的帧间差异生成唇部动作特征； 4）通过池化与跳跃连接分别对说话人特征、唇部动作特征进行多尺度特征提取，并在训练过程中依据说话人特征进行说话人ID预测； 5）对视频进行分段，学习唇部动作与语音间的细节映射； 所述学习唇部动作与语音间的细节映射是通过对视频进行分段从而更好地学习视频片段中的细节信息，将视频均分为3个小片段，即把相应的音频特征以及唇部动作特征分为三段，分别进行融合；将融合后的特征片段进行多次的卷积、批量归一化、激活，最后通过Sigmoid函数获得0~1的特征权值矩阵，对片段中的不同特征点赋上不同权重，形成注意力机制；最后将模块输入的融合特征与权值矩阵相乘得到最终的片段融合特征； 6）将音频特征、唇部图像序列特征、说话人特征、唇部动作特征、唇部动作与语音间映射关系进行融合与特征学习，生成权值矩阵； 7）将步骤4）~6）视为语音分离模块，重复步骤4）~6），将上一模块输出的权值矩阵作为下一模块的输入更新音频特征； 8）依据权值矩阵从混合音频中分离出相应的部分，并进行解码还原得到分离后的音频信号。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人厦门大学，其通讯地址为：361005 福建省厦门市思明区思明南路422号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

以上内容由龙图腾AI智能生成。