买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：湖南工商大学

摘要：本发明涉及数据处理领域，尤其涉及一种结合深度学习与运动想象脑机接口的意念观影系统及方法，该系统包括：感知模块感知用户与观影设备的实际距离；信号采集模块在观影设备启后采集用户的脑电信号数据；信号处理模块将脑电信号数据进行切片后依次输入网络模型进行处理，并匹配控制指令；控制模块根据控制指令控制观影设备进行对应操作；网络模型由模型训练模块训练得到，在训练过程中接收历史脑电信号数据并进行模型训练以得到网络模型。本发明结合深度学习技术设计了一种融合CNN与Transformer的端到端模型来减少预处理过程并提高模型分类的准确性，有利于运动功能受损的患者在日常生活中实现用大脑意念观影，从而提高患者的生活质量。

主权项：1.一种结合深度学习与运动想象脑机接口的意念观影系统，其特征在于，包括：感知模块，用以感知用户与观影设备的实际距离，并当实际距离在预设距离内时生成开启指令，并将所述开启指令传输至控制模块以开启观影设备；信号采集模块，其与所述感知模块连接，用以在观影设备启后采集用户的脑电信号数据；在采集所述脑电信号数据时，随机出现n张不同肢体动作的提示图片，看到提示图片后需要在接下来的4s内完成对应肢体运动的想象任务并保存，最后选取提示图片出现后1s后的数据片段作为原始脑电信号数据样本；信号处理模块，其与所述信号采集模块连接，用以将所述脑电信号数据进行切片后依次输入网络模型进行处理，并根据处理结果中脑电信号数据标签类型匹配对应的控制指令；控制模块，其与所述信号处理模块连接，用以根据所述控制指令控制观影设备上的控制框进行移动以选择视频并进行播放、暂停或返回主界面，所述控制模块在执行确认指令播放视频后，根据接收的控制指令对视频进行进程操作、音量操作或切换视频操作；其中，所述网络模型由模型训练模块训练得到，所述网络模型与所述信号采集模块和所述信号处理模块连接，用以在训练过程中接收历史脑电信号数据并根据历史脑电信号数据进行模型训练以得到网络模型，所述网络模型用以信号处理模块根据网络模型对所述脑电信号数据进行处理；所述模型训练模块根据所述历史脑电信号数据进行模型训练，包括：将所述历史脑电信号数据根据采集时间进行随机调序；将调序后的所述历史脑电信号数据进行数据集划分以分别得到训练集和测试集；将所述训练集输入至网络结构中进行训练，将所述测试集输入至训练的网络结构进行测试，并根据用Adam优化方法调节网络结构中的网络参数，以得到网络模型；构建所述网络结构包括：网络结构包括WT-CNN模块和WT-Trans模块，所述WT-CNN模块包括第一模块、第二模块和第三模块组成；其中，所述第一模块包括5个作用在时间维度上不同长度的一维卷积核，分别用于捕获0.1s、0.2s、0.3s、0.4s和0.5s为一个时间窗的脑电信号数据特征；所述第二模块包括5个作用在空间维度上的一维卷积核，分别作用在所述第一模块时间卷积的结果上进行脑电信号数据通道空间特征提取，并将脑电信号数据由8个通道压缩成1个通道；所述第三模块将所述第二模块中输出的结果在时间维度上进行融合后输入WT-Trans模块；所述第一模块、所述第二模块和所述第三模块应用多头注意力机制使网络模型能够从不同的角度学习依赖关系；所述WT-Trans模块将所述WT-CNN模块中所述第三模块得到的时间序列进行分片，分成i个大小为d个采样点的时间片，每个时间片形状为1×d，将时间序列分为n个部分，并将n个部分执行注意力计算，该过程表示为： 1， 2， 3，其中，所述AttentionQ,K,V）为加权表示，Q、K和V是由向量组成的矩阵，用于并行计算，上标T为矩阵转置符号，dK表示的是K的维度，dK为常数，W表示线性变换，用来获得每个head的Q、K和V，i＝0,1,2…n-1。

全文数据：

权利要求：

百度查询： 湖南工商大学 结合深度学习与运动想象脑机接口的意念观影系统及方法