买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：深圳万兴软件有限公司

摘要：本申请实施例公开了一种基于时频结合的音乐人声分离方法、装置、计算机设备及存储介质。方法包括：获取目标音频的音频时域信号；对音频时域信号进行频域转换处理，得到对应的音频频域信号；再将音频时域信号以及音频频域信号输入训练后的双塔网络模型进行初步人声分离处理，得到初步人声清唱时频信号；确定初步人声清唱时频信号中的非人声清唱信号；最后在初步人声清唱时频信号中对非人声清唱信号进行响度优化处理，得到目标音频中的目标人声清唱时频信号。本申请实施例获取到初步人声清唱时频信号之后，还会进一步识别初步人声清唱时频信号中的非人声清唱信号，并对识别出的非人声清唱信号进行响度优化处理，提高了音乐人声分离的分离效果。

主权项：1.一种基于时频结合的音乐人声分离方法，其特征在于，包括：获取目标音频的音频时域信号；对所述音频时域信号进行频域转换处理，得到对应的音频频域信号；将所述音频时域信号以及所述音频频域信号输入训练后的双塔网络模型进行初步人声分离处理，得到初步人声清唱时频信号；基于预设的音频事件精细分类器确定所述初步人声清唱时频信号中的非人声清唱信号；在所述初步人声清唱时频信号中对所述非人声清唱信号进行响度优化处理，得到所述目标音频中的目标人声清唱时频信号；其中，所述基于预设的音频事件精细分类器确定所述初步人声清唱时频信号中的非人声清唱信号，包括：将所述初步人声清唱时频信号输入所述音频事件精细分类器得到多个非人声清唱碎片信号；将相邻预设时间间隔内的所述非人声清唱碎片信号进行合并处理，并将合并处理后的所述非人声清唱碎片信号以及未进行合并处理的所述非人声清唱碎片信号确定为所述非人声清唱信号；所述将所述初步人声清唱时频信号输入所述音频事件精细分类器得到多个非人声清唱碎片信号，包括：根据预设的多个打分机制对所述初步人声清唱时频信号中的每一帧信号进行音频事件打分，得到各帧信号分别针对各打分机制的打分结果；根据所述打分结果确定所述初步人声清唱时频信号中的非人声清唱碎片信号；所述将所述音频时域信号以及所述音频频域信号输入训练后的双塔网络模型进行初步人声分离处理之前，所述方法还包括：构建双塔网络模型，所述双塔网络模型的损失函数由清唱音频损失函数、伴奏音频损失函数以及伴唱音频损失函数构成；根据预设的音乐分轨训练集对所述双塔网络模型进行训练，得到所述训练后的双塔网络模型，所述训练后的双塔网络模型的输入分别为双通道的音频时域信号和对应双通道的音频频域信号。

全文数据：

权利要求：

百度查询： 深圳万兴软件有限公司 基于时频结合的音乐人声分离方法、装置、设备及介质