买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:成都信息工程大学
摘要:本发明公开了一种基于自适应时空卷积注意力网络的双模态信号融合方法,属于大脑多模态信号分类的技术领域,其包括获取处理后的脑电信号;对处理后的脑电信号进行两次二维卷积操作和滑动窗口处理,得到多个窄时间序列;提取多个窄时间序列中的时间特征,并基于多层感知机分类层,得到EEG数据时间分支的脑认知任务的分类结果;采用等距方位角投影将血红蛋白浓度转化为三维空间张量,并引入深度空间卷积和空间注意机制提取三维空间张量中的关键空间信息;最后采用决策融合策略融合并行双分支的结果,最终得到目标脑认知任务的分类结果。本发明有效满足了脑认知多任务识别的需要,并增强了网络泛化性。
主权项:1.一种基于自适应时空卷积注意力网络的双模态信号融合方法,其特征在于,包括以下步骤:S1、基于EEG采集设备采集目标脑电活动的原始数据,并对原始数据进行预处理,得到处理后的脑电信号;S2、对处理后的脑电信号进行两次二维卷积操作,并在时间维度上对两次二维卷积操作后的脑电信号进行基于卷积的滑动窗口处理,得到多个窄时间序列;S3、结合自适应多尺度时间卷积网络和时间注意力机制,提取多个窄时间序列中的时间特征;S4、将提取的时间特征输入多层感知机分类层,得到EEG数据时间分支的脑认知任务的分类结果;S5、基于fNIRS采集设备采集目标大脑组织近红外光强变化量,并对该近红外光强变化量进行处理,得到处理后的氧合血红蛋白浓度变化量和脱氧血红蛋白浓度变化量;S6、采用等距方位角投影将处理后的氧合血红蛋白浓度变化量和脱氧血红蛋白浓度变化量从一维时间序列转化为三维空间张量,并通过池化操作在时间维度上对三维空间张量进行降维;S7、结合深度空间卷积和空间注意机制提取降维后三维空间张量中的关键空间特征;S8、将提取的关键空间特征输入多层感知机分类层,得到fNIRS空间分支的脑认知任务的分类结果;S9、采用决策融合策略融合EEG数据时间分支的脑认知任务的分类结果和fNIRS空间分支的脑认知任务的分类结果,得到目标脑认知任务分类结果。
全文数据:
权利要求:
百度查询: 成都信息工程大学 基于自适应时空卷积注意力网络的双模态信号融合方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。