买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：之江实验室

摘要：本发明公开了一种基于异构图网络的EEG‑fNIRS运动想象识别方法和装置，该方法包括：同步采集EEG和fNIRS运动想象数据及其标签，并进行预处理；构建运动想象识别网络，运动想象识别网络包括用于提取EEG和fNIRS运动想象数据时间特征的时间特征提取模块、用于提取空间特征的异构图卷积模块和用于预测运动想象类别的分类器；将预处理后的运动想象数据作为样本输入运动想象识别网络进行训练，使用交叉熵作为损失函数，采用反向传播方法更新参数，获取训练好的运动想象识别网络；将待识别的运动想象数据输入训练好的运动想象识别网络，获取运动想象类别。本发明能够更好地融合两种模态信号，有效提高运动想象任务的识别性能。

主权项：1.一种基于异构图网络的EEG-fNIRS运动想象识别方法，其特征在于，包括以下步骤：1同步采集EEG和fNIRS运动想象数据及其对应的标签，并分别对采集到的EEG信号数据和fNIRS信号数据进行预处理；2基于异构图网络构建运动想象识别网络，所述运动想象识别网络包括时间特征提取模块、异构图卷积模块和分类器；其中，所述时间特征提取模块用于提取EEG信号数据和fNIRS信号数据的时间特征，所述异构图卷积模块用于提取空间特征，所述分类器用于预测运动想象类别；所述异构图卷积模块具体包括：a1构建图节点，将EEG的电极和fNIRS的光极作为异构图中两种不同类型的节点，将时间特征提取模块提取的EEG信号数据和fNIRS信号数据的时间特征作为对应节点的节点特征；a2构建基于自注意力的四种类型边连接，四种类型边连接包括开始节点和结束节点分别为fNIRS光极和EEG电极的边连接Af2e、开始节点和结束节点分别为EEG电极和fNIRS光极的边连接Ae2f、开始节点和结束节点均为EEG电极的边连接Ae2e以及开始节点和结束节点均为fNIRS光极的边连接Af2f；开始节点和结束节点分别为fNIRS光极和EEG电极的边连接Af2e的计算方式为： 其中，和为可学习参数矩阵，将原始节点向量映射到键向量和查询向量；d1表示键向量的维度值，用于稳定Softmax层的输出；Qf2e和Kf2e为中间变量，无实际意义；a3构造基于注意力融合机制的异构图卷积，以获取更新后的EEG节点特征和fNIRS节点特征；获取更新后的EEG节点特征具体包括：来自相同模态EEG节点的信息Ye2e的计算方式为： 来自不同模态fNIRS节点的信息Yf2e的计算方式为： 其中，均为可学习参数矩阵；通过注意力机制对第i个EEG节点进行特征更新，设H＝[H1,H2,H3]＝[XEEG,Ye2e,Yf2e]，则更新后的第i个EEG节点特征的计算公式为： 其中，σ为激活函数，βj为第j种模态信息的注意力权重，q为可学习参数矩阵向量；3将预处理后的EEG信号数据和fNIRS信号数据作为样本，输入运动想象识别网络进行迭代训练，使用运动想象识别网络的输出和样本对应的标签之间的交叉熵作为运动想象识别网络的损失函数，采用反向传播方法更新运动想象识别网络的参数，直至损失函数收敛或完成预设的训练次数，以获取训练好的运动想象识别网络；4将待识别的EEG和fNIRS运动想象数据样本输入到训练好的运动想象识别网络中，获取运动想象类别。

全文数据：

权利要求：

百度查询： 之江实验室 基于异构图网络的EEG-fNIRS运动想象识别方法和装置