买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津大学

摘要：本发明提供一种基于多模态信息融合的癫痫信号自动识别系统及方法，所述脑电采集单元用于实时采集患者的EEG信号；所述视频采集单元用于同步采集患者的监控视频信号；所述数据预处理单元根据EEG信号和监控视频信号进行降噪处理，并将EEG信号和监控视频信号加入癫痫发作起止时间戳进行时序校准获得癫痫脑电数据和癫痫视频数据；所述多尺度卷积网络通过深度学习特征提取方法对癫痫脑电数据时域、频域、时频域与时空域特征结合获得癫痫脑电多特征向量；所述多级特征金字塔网络通过空间金字塔池化方法处理对癫痫视频数据获得癫痫视频多尺度特征；所述人体光流估计模块通过捕捉癫痫视频数据序列获得癫痫视频光流矢量；所述多模态特征融合模块采用多层感知机映射方法对癫痫脑电多特征向量、癫痫视频多尺度特征和视频光流矢量融合获得癫痫融合特征数据；所述癫痫信号分类模块通过多重注意力机制的双向长短期记忆网络对癫痫融合特征数据进行识别获得癫痫信号类别；所述癫痫数据自动识别模型优化模块采用交叉熵损失函数对癫痫信号自动识别模型进行训练；本发明充分利用了患者进行癫痫检测中的各项数据，采用不同维度的多模态信息捕捉癫痫信号的时空关联性，提高了系统的鲁棒性。

主权项：1.一种基于多模态信息融合的癫痫信号自动识别系统，其特征在于：所述癫痫信号自动识别系统包括数据获取单元、数据预处理单元、癫痫信号自动识别模型和癫痫信号自动识别模型优化单元；所述数据获取单元由脑电采集模块和视频采集模块构成；所述数据预处理单元由脑电预处理模块和视频预处理模块构成；所述癫痫信号自动识别模型包括多级特征提取模块、人体光流估计模块、多模态特征融合模块和癫痫信号分类模块；所述多级特征提取模块由多级特征金字塔网络与多尺度卷积网络构成；其中:所述脑电采集单元用于实时采集患者的EEG信号；所述视频采集单元用于同步采集患者的监控视频信号；所述脑电数据预处理单元根据EEG信号和监控视频信号进行降噪处理，并将EEG信号和监控视频信号加入癫痫发作起止时间戳进行时序校准获得癫痫脑电数据和癫痫视频数据；所述多尺度卷积网络通过深度学习特征提取方法对癫痫脑电数据时域、频域、时频域与时空域特征结合获得癫痫脑电多特征向量；所述多级特征金字塔网络通过空间金字塔池化方法处理对癫痫视频数据获得癫痫视频多尺度特征；所述人体光流估计模块通过捕捉癫痫视频数据序列获得癫痫视频光流矢量；所述多模态特征融合模块采用多层感知机映射方法对癫痫脑电多特征向量、癫痫视频多尺度特征和视频光流矢量融合获得癫痫融合特征数据；所述癫痫分类模块通过多重注意力机制的双向长短期记忆网络对癫痫融合特征数据进行识别获得癫痫信号类别；所述癫痫数据自动识别模型优化模块采用交叉熵损失函数对癫痫信号自动识别模型进行训练。

全文数据：

权利要求：

百度查询： 天津大学 一种基于多模态信息融合的癫痫信号自动识别系统及方法