买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于卷积时序网络的脑电信号发声检测方法，包括：对原始脑电数据进行时频分析，作为神经特征；使用希尔伯特变换对音频数据进行包络分析，通过阈值分割进行标注，得到语音特征，对齐语音特征和神经特征；构建发声检测卷积时序网络，使用对齐后的神经特征作为输入数据，对齐后的语音特征作为真值标签构建数据集，对发声检测卷积时序网络进行训练；将待检测脑电信号经过时频分析输入到训练好的卷积时序发声检测器中，预测发音状态，进行脑电信号的发声检测。本发明取得了优于目前常用发声检测器的性能，同时本发明对检测器的检测性能做出解释，有效地改善了现有基于神经网络的发声检测方法的不可解释的问题。

主权项：1.一种基于卷积时序网络的脑电信号发声检测方法，其特征在于，包括以下步骤：1同时采集原始脑电数据和音频数据，对采集到的原始脑电数据进行时频分析，将时频分析后的脑电数据作为神经特征；2使用希尔伯特变换对采集到的音频数据进行包络分析，通过阈值分割对包络分析后的音频数据进行标注，得到语音特征，对齐语音特征和神经特征；使用希尔伯特变换对采集到的音频数据进行包络分析，通过阈值分割对包络分析后的音频数据进行标注，得到语音特征，具体包括：使用希尔伯特变换计算音频数据的包络信息，然后将包络信息归一化到[0,1]，最后使用阈值法对归一化后的包络信息进行标注，标注音频数据为说话或者不说话，得到语音特征；3构建一个由卷积神经模块和双向长短时记忆模块复合的发声检测卷积时序网络，使用步骤2对齐后的神经特征作为输入数据，步骤2对齐后的语音特征作为真值标签构建数据集，对发声检测卷积时序网络进行训练，得到训练好的卷积时序发声检测器；所述的发声检测卷积时序网络由卷积模块和双向长短时记忆模块复合而成，所述的卷积模块对神经特征提取与降维，所述双向长短时记忆模块根据降维后的特征进行发声检测；所述的卷积模块包括依次交替的卷积层和归一化层；所述双向长短时记忆模块包括依次连接的多个双向长短时记忆层；使用卷积核为3×3，步长为1，通道数为64、32、16的三个卷积层对脑电信号的空间和频率特征进行提取，对脑电数据降维，然后连接一个展平层对数据维度进行改变，接着使用三个双向长短时记忆层对时间特征进行提取，利用前后时间窗的信息辅助当前时间发声状态的判断，最后使用全连接层输出每个采样点的发声二分类特征；4将待检测脑电信号经过时频分析输入到步骤3中训练好的卷积时序发声检测器中，预测发音状态，完成脑电信号的发声检测。

全文数据：

权利要求：

百度查询： 浙江大学 一种基于卷积时序网络的脑电信号发声检测方法