买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东科技大学

摘要：本发明属于说话人辨认技术领域，具体公开了一种基于多尺度SincNet和CGAN的端到端说话人辨认方法。本发明引入多尺度SincNet，避免了在手工特征转换时丢失重要的信息，多尺度SincNet根据三个定制滤波器组捕获波形中三个通道的低级语音表示，使SincGAN模型更好地捕获重要的窄带说话人特征，本发明基于改进的条件生成对抗网络进行端到端识别，实现了用少量的训练语句辨别说话人，本发明损失函数包括经典GAN的对抗损失和分类任务的分类交叉熵损失。实验结果表明，在TIMIT和LIBRISPEECH语料库上，本发明模型表现出更好的性能，在缺乏训练数据时，本发明模型表现出比基线方法更强的鲁棒性。

主权项：1.基于多尺度SincNet和CGAN的端到端说话人辨认方法，其特征在于，包括如下步骤：步骤1.对输入的原始语音信号进行语音分帧预处理操作，得到语音帧，将语音帧作为真实语音样本；将真实语音样本分为训练样本和测试样本，分别用于模型训练和模型测试；步骤2.搭建说话人辨认模型SincGAN；说话人辨认模型SincGAN由生成器网络以及鉴别器网络组成；生成器网络包括一个多尺度SincNet层、三个卷积层、两个转置卷积层和一个自适应平均池化层；定义生成器网络中的多尺度SincNet层为第一多尺度SincNet层；定义生成器网络中的三个卷积层分别为第一、第二、第三卷积层，两个转置卷积层分别为第一、第二转置卷积层；真实语音样本在生成器网络中的处理流程如下：真实语音样本首先经过第一多尺度SincNet层进行特征提取，得到语音信号的二维特征，然后语音信号的二维特征依次经过第一卷积层、第二卷积层、第一转置卷积层、第二转置卷积层、第三卷积层以及自适应平均池化层，生成虚假语音样本；鉴别器网络包括一个多尺度SincNet层、五个卷积层、三个瓶颈式残差块堆叠层和四个全连接层；定义鉴别器网络中的多尺度SincNet层为第二多尺度SincNet层；定义鉴别器网络中的五个卷积层分别为第四、第五、第六、第七以及第八卷积层；定义鉴别器网络中的三个瓶颈式残差块堆叠层分别为第一、第二以及第三瓶颈式残差块堆叠层，四个全连接层分别为第一、第二、第三以及第四全连接层；真实语音样本和虚假语音样本在鉴别器网络中的处理流程如下：真实语音样本和虚假语音样本首先经过第二多尺度SincNet层进行特征提取，得到语音信号的二维特征，然后语音信号的二维特征依次经过第四卷积层、第一瓶颈式残差块堆叠层、第五卷积层、第二瓶颈式残差块堆叠层、第六卷积层、第二瓶颈式残差块堆叠层、第七卷积层、第八卷积层、第一全连接层以及第二全连接层；第二全连接层的输出分为两路，一路经过第三全连接层输出真假标志，另一路经过第四全连接层输出N维向量，分别对应于真实语音样本的说话人类别标签；鉴别器网络输出的N维向量输入到Softmax函数中，通过将输出的向量映射到概率分布上，将最大概率预测类别的说话人类别标签作为预测输出；步骤3.利用步骤1中的训练样本对步骤2搭建的说话人辨认模型SincGAN进行训练，通过反向传播优化说话人辨认模型的参数以最小化目标函数，得到训练好的说话人辨认模型SincGAN，并利用测试样本对训练好的说话人辨认模型SincGAN进行测试；步骤4.利用训练好的SincGAN对给定的语音信号进行预测，输出对应的说话人标签。

全文数据：

权利要求：

百度查询： 山东科技大学 基于多尺度SincNet和CGAN的端到端说话人辨认方法