买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安徽大学

摘要：本发明公开了一种基于多尺度语音‑脑电融合的脑控说话人提取方法及系统。该方法包括：S1、语音编码器将原始混合语音样本转化为具有不同时间分辨率的语音特征；S2、脑电编码器将多通道的脑电信号编码到低维的特征表达，并利用图卷积网络提取脑电数据；S3、在说话人提取网络模块中分别融合多尺度语音和脑电的双模态特征，使用基于掩蔽的方法过滤掉干扰说话人；S4、语音解码器模块将掩蔽后的语音特征转化为原始的时域目标语音波形。本方法利用听者所记录的脑电信号来指导提取目标语音，使说话人提取方法具有根据个人主观意识有效分离目标说话人的能力，并将多尺度的语音特征和脑电特征分别进行融合，提高了语音的感知质量和可懂度。

主权项：1.一种基于多尺度语音-脑电融合的脑控说话人提取方法，其特征在于，包括：S1、利用语音编码器将一段混合语音波形以多个时间分辨率分别编码成多尺度的语音特征，包括短、中、长三种尺度；S2、利用脑电编码器将多通道的脑电信号编码到低维的特征表达，并采用图卷积网络从脑电信号中有效提取脑电的非欧几里得数据，学习到脑电各个通道之间的交互关系，来得到目标说话人信息的特征表征，包括：S201、通过三层图卷积建模多通道脑电特征，将脑电数据中的每一个导联看作是一个节点，动态学习不同通道之间的内在关系，并以N×N的邻接矩阵表示，提取更有区分力的脑电信号特征，提高目标注意力信息的准确度；S202、用三个残差网络ResNet块集中关注脑电信号中最重要的关于目标说话人的特征并对脑电特征的通道维度进行降采样，其中，脑电信号和语音需要在相同的持续时间内同步被记录，保证两者之间时间上对齐；S3、利用说话人提取网络分别融合不同尺度的语音特征和脑电特征，并对于每一个尺度下的语音特征估计一个相对应的感受掩码，用于提取目标说话人，最终将三个感受掩码进行拼接得到一个包含多尺度信息的感受掩码，包括：S301、将具有不同时间尺度的语音和脑电特征分别进行融合，融合方法采用卷积多层交叉注意力模块；S302、分别将融合后的特征送入双路径递归神经网络DPRNN中，估计出不同时间尺度下的目标说话人掩码Mi，用于过滤掉干扰语音，只保留多尺度语音特征中的目标语音特征；S303、将说话人提取网络估计出的三个掩码Mi进行拼接，进一步融合多个时间分辨率下的目标语音信息，得到最终的掩码M：M＝concatM1,M2,M3；同时，我们对语音编码器学习到的三个语音特征Xi做同样的拼接操作，得到一个包含多尺度信息的语音特征X：X＝concatX1,X2,X3；S304、在语音特征X和掩码M之间应用逐元素乘法进行计算，得到掩蔽后的语音特征S4、利用语音解码器将掩蔽后的语音特征恢复成最终的时域波形，包括：S401、语音解码器采用一个相对的反卷积操作，有N个输入通道和1个输出通道，卷积核大小是L1，从掩蔽后的语音特征中重构时域语音样本

全文数据：

权利要求：

百度查询： 安徽大学 基于多尺度语音-脑电融合的脑控说话人提取方法及系统