买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明提供一种基于超声波感知的交互不受限语音增强方法、系统及终端,通过短时傅里叶变换对由麦克风接收的来自说话人的待增强的噪声音频信号进行处理得到对应的时频谱,并基于构建的基于记忆模块的超声波语音增强网络,根据待增强的噪声音频信号对应的时频谱以及待增强的噪声音频数据所对应的说话人特征向量获得待增强的噪声音频信号对应的增强后的语音信号。本发明通过融合说话人特征向量以及记忆模块到超声波语音增强网络中,使得可以通过仅使用噪声音频输入来生成相应的超声波特征向量,完成使用超声波语音增强的目的。相较于其他超声波语音增强的方法,增强了交互性。相较于纯音频模态语音增强的方法,提高了性能,并可以处理多说话人、低信噪比等复杂噪声环境。
主权项:1.一种基于超声波感知的交互不受限语音增强方法,其特征在于,所述方法包括:获取由麦克风接收的来自说话人的多个目标音频信号和对应的由扬声器发出经说话人唇部反射的超声波信号,通过为目标音频信号线性添加噪声构建噪声音频信号;其中,噪声音频信号以及对应的超声波信号组成噪声音频数据;对各噪声音频数据的超声波信号分别进行预处理获得对应的幅度和相位;通过短时傅里叶变换对各噪声音频数据的噪声音频信号以及对应的目标音频信号进行处理得到对应的时频谱;利用每个噪声音频数据的超声波信号所对应的幅度和相位、噪声音频信号的时频谱、对应目标音频信号的时频谱、对应说话人特征向量构成对应每个噪声音频数据的训练数据组,以构建音频训练数据集;基于音频训练数据集构建基于记忆模块的超声波语音增强网络;获取由麦克风接收的来自说话人的待增强的噪声音频数据中的噪声音频信号;通过短时傅里叶变换对噪声音频信号进行处理得到对应的时频谱;基于构建的基于记忆模块的超声波语音增强网络,根据待增强的噪声音频信号对应的时频谱以及待增强的噪声音频数据所对应的说话人特征向量,获得待增强的噪声音频信号对应的增强后的语音信号。
全文数据:
权利要求:
百度查询: 上海交通大学 基于超声波感知的交互不受限语音增强方法、系统及终端
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。