买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学;杭州万维镜像科技有限公司;杭州鸿雁电器有限公司

摘要：本发明公开了一种基于先分离后补偿的两阶段人声伴奏分离方法。在第一阶段，首先提取混合音频信号的振幅谱特征和相位特征，利用堆叠沙漏架构从混合音频信号的振幅谱特征中分离出人声与伴奏的振幅谱特征。在损失函数中添加附加项，对分离源进行约束，使得预测的人声信号中尽可能包含较少的伴奏信号，预测的伴奏信号尽可能包含较少的人声信号。在第二阶段，使用基于门控TCN和非对称卷积网络串联的信号补偿模型，对第一阶段的分离结果进行补偿，通过膨胀卷积捕捉到音乐信号中长时间的依赖关系，并有效过滤无关的信息，利用非对称卷积的平行结构提取细粒度特征，得到更加纯净的人声与伴奏音轨。

主权项：1.一种基于先分离后补偿的两阶段人声伴奏分离方法，其特征在于：具体包括以下步骤：步骤1：对音频信号进行预处理，获取混合音频信号的振幅谱特征和相位特征，以及对应的人声的振幅谱特征S1和伴奏的振幅谱特征S2；步骤2：将混合信号的振幅谱特征作为第一阶段堆叠沙漏架构模型的输入，获取第一阶段分离出的人声与伴奏的掩码估计和；步骤3：将第一阶段估计的人声掩码和伴奏掩码分别与混合信号的振幅谱特征进行逐元素乘积，得到初步估计的人声与伴奏的振幅谱特征和；步骤4：将第一阶段估计的人声与伴奏的振幅谱特征和进行处理变换后输入到第二阶段的信号补偿模块中，得到最终预测的人声与伴奏的振幅谱特征和，具体步骤为：步骤4.1：将混合信号的振幅谱特征分别与第一阶段预测的人声和伴奏的振幅谱特征和相减，得到的残差信号、，并分别输入到人声信号补偿模块和伴奏信号补偿模块中；步骤4.2：将残差信号先输入到单个门控TCN和非对称卷积网络串联的模型中，先经过门控线性单元GLU，再经过一维卷积和GRU模块处理后，与原始残差信号相加，再输入到非对称卷积网络中，经过SE块和PreLu后分别通过13和31非对称卷积的两条平行支路，再经两条支路的输出相加，经过一系列正则化方法和卷积操作后得到输出结果；步骤4.3：重复步骤4.2，进行多次信号补偿操作；步骤4.4：将经过步骤4.3预测得到的人声和伴奏的残差信号和分别与第一阶段预测的人声和伴奏的振幅谱特征和相加，得到最终预测的人声与伴奏的振幅谱特征和；步骤5：将振幅谱特征和与混合音频信号的相位特征结合，再通过短时傅里叶逆变换重构人声与伴奏信号。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 杭州万维镜像科技有限公司 杭州鸿雁电器有限公司 一种基于先分离后补偿的两阶段人声伴奏分离方法