买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学;华南脑控(广东)智能科技有限公司

摘要：本发明公开了一种基于头动信号和SSVEP的多模态脑机接口字符输入方法，包括：字符拼写界面中布置虚拟光标和若干字符按钮，每个字符按钮关联唯一字符；实时获取用户头动信号，根据头动信号操作虚拟光标在字符拼写界面上移动，从若干字符中选择目标字符生成视觉刺激并标记；实时采样用户脑电信号，并做带通滤波和陷波处理，得到处理后的脑电信号，基于Transformer模型对脑电信号进行时域和频域的特征提取并进行拼接得到包含时频信息的特征矩阵，使用线性支持向量机对特征矩阵进行二分类；根据分类结果，判断用户有无点击按钮意图。本发明具有目标字符数量多、字符输出准确率高、误报率低、响应快、用户不易疲劳、使用便捷舒适等优点。

主权项：1.基于头动信号和SSVEP的多模态脑机接口字符输入方法，其特征在于，包括：在字符拼写界面中布置虚拟光标和若干字符按钮，每个字符按钮关联唯一字符；实时获取用户的头动信号，根据所述头动信号操作虚拟光标在字符拼写界面上移动，当虚拟光标移动至目标字符上并停留时，该目标字符将以预设的正弦调制信号进行周期性闪烁成为视觉刺激源，此时其它字符不闪烁，同时要求用户注视闪烁的目标字符，通过视觉刺激诱发用户大脑产生SSVEP信号并进行标记；实时采样用户的脑电信号，并做带通滤波和陷波处理，得到处理后的脑电信号，基于Transformer模型对处理后的脑电信号进行时域和频域的特征提取，并将提取后的时域特征和频域特征进行拼接得到包含时频信息的特征矩阵，使用一个训练好的线性支持向量机对特征矩阵进行二分类，即区分静息态和任务态，其中，所述静息态表示用户没有注视任何刺激，所述任务态表示用户正在注视产生SSVEP信号的刺激；根据分类结果，判断用户有无点击按钮意图：若分类结果为任务态，则认为用户有点击按钮意图，虚拟光标执行一次点击操作，输出对应的目标字符并显示在输出窗口上；若分类结果为静息态，则认为用户无点击按钮意图，虚拟光标不执行点击操作，目标字符不输出和显示；用户通过无线可穿戴脑电采集设备进行脑电信号实时采样，采样频率设置为250HZ，截取从脑电事件标记后预设时间的脑电信号，得到脑电信号矩阵，，R代表实数集，c表示无线可穿戴脑电采集设备的脑电信号通道数，t表示预设时间的脑电信号的时间点数，为一个具有c行t列的实数矩阵，通过50HZ陷波器和5-30HZ的带通滤波器处理，去除无关频率成分，得到滤波后的脑电信号，，其中为脑电信号第个时刻的数据，，表示第c个通道时刻的脑电数据值；对于处理后的脑电信号，基于Transformer模型提取脑电信号的时域特征，具体如下：利用脑电信号中的时间依赖性，使用Transformer模型捕获脑电信号的全局上下文信息，从中提取查询向量、键向量和值向量，具体计算公式如下： ； ； ；式中，Linear是全连接操作，、和是权重；查询向量是从原始输入数据经过线性变换得到，它代表了查询或关注的信息，在自注意力机制中，用于与键向量进行比较，以计算注意力权重；键向量同样是从原始输入数据经过线性变换得到，它代表了用于比较的信息，在自注意力机制中，与查询向量进行比较，以计算注意力权重；值向量同样是从原始输入数据经过线性变换得到，它代表了需要加权求和的信息；通过自注意力机制建立和之间的关系，并使用余弦相似度度量，使得能够基于查询向量和键向量在特征空间中的各自方向来量化它们之间的相似性或相异性，通过计算余弦相似度，能够帮助模型捕捉不同时间点上的脑电信号之间的相关性；是用于计算查询向量和键向量之间相似度的函数，这个函数采用余弦相似度来衡量两个向量之间的相似性或相异性，的计算公式如下： ；利用softmax函数计算注意力的权重，得到时域相似度权重矩阵，中的权重反映了不同时间点上的脑电信号的重要性，自注意力机制使得能够在输出表示中捕获和突出最突出的信息，计算公式如下： ；式中，softmax是一种用于在值上获得权重的函数；时域相似度权重矩阵与值向量相乘，生成加权输出矩阵，从而有效地强调了重要特征并抑制了不相关的特征，因此，时间维度的最终输出时域特征为： ；在自注意力机制中，时域相似度权重矩阵用于加权求和值向量，以得到加权输出的时域特征；对于处理后的脑电信号，进行快速傅里叶变换FFT，将其从时域转换到频域，得到频域数据矩阵，随后，使用Transformer模型提取脑电信号的频域特征，具体如下：将每一个通道的时域数据经过快速傅里叶变换得到该通道的频域数据，g=1,2,…,c，，表示第g个通道时刻的脑电数据值，经过快速傅里叶变换得到频域数据矩阵，是中的第g个元素，，频域数据计算公式如下： ；式中，N是快速傅里叶变换FFT的点数，m是频率索引，从0到N-1，是复指数函数，表示单位圆上的复数；使用Transformer模型处理经快速傅里叶变换FFT得到的频域数据矩阵，从中提取查询向量、键向量和值向量，计算公式如下： ； ； ； ；式中，Linear是全连接操作，、、是权重，是计算余弦相似度的函数，表示频域相似度权重矩阵，softmax是一种用于在值上获得权重的函数，利用softmax函数计算注意力的权重，得到；查询向量是从原始输入数据经过线性变换得到，它代表了查询或关注的信息，在自注意力机制中，用于与键向量进行比较，以计算注意力权重；键向量同样是从原始输入数据经过线性变换得到，它代表了用于比较的信息，在自注意力机制中，与查询向量进行比较，以计算注意力权重；值向量同样是从原始输入数据经过线性变换得到，它代表了需要加权求和的信息；频域相似度权重矩阵与值向量相乘，生成加权输出矩阵，从而有效地强调了重要特征并抑制了不相关的特征，因此，频域维度的最终输出频域特征为： ；在自注意力机制中，频域相似度权重矩阵用于加权求和值向量，以得到加权输出的频域特征；对于所述线性支持向量机的训练，具体情况如下：收集用户在静息态和任务态下的脑电信号，并做带通滤波和陷波处理，得到处理后的脑电信号，基于Transformer模型对处理后的脑电信号进行时域和频域的特征提取，并将提取后的时域特征和频域特征进行拼接，得到对应静息态和任务态的两组特征矩阵，使用该两组特征矩阵训练所述线性支持向量机进行二分类，即区分静息态和任务态。

全文数据：

权利要求：

百度查询： 华南理工大学 华南脑控(广东)智能科技有限公司 基于头动信号和SSVEP的多模态脑机接口字符输入方法