龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：电子科技大学
摘要：本发明公开了一种多模态融合的大脑视觉神经活动表征的对齐方法，属于生物医学工程和模式识别交叉领域。本发明基于观看大量视觉感知图像下的功能核磁共振图像信号数据构建的多模态融合的大脑视觉刺激表征对齐模型，其主要包括视觉刺激语义融合模块，一个VAE模型负责融合目标多模态的语义表征信息，包括图像、文本；大脑语义信息编码器，一个GRU负责提取大脑主要视觉皮层的语义信息，经过CLIP式的对比学习将二者对齐到统一特征空间。本发明解决视觉活动同时对齐图像和文本时产生的对齐模糊问题，是提取语义增强的视觉特征的关键，以提取丰富语义信息的识别表征，为后续的脑解码研究提供了有价值的基础。
主权项：1.多模态融合的大脑视觉神经活动表征的对齐方法，其特征在于，包括下列步骤：步骤1，使用预训练好的CLIP文本编码器将视觉刺激的文本嵌入到CLIP语义特征空间，得到文本语义特征表征；使用预训练好的CLIP图像编码器将视觉刺激的图像嵌入到CLIP语义特征空间，得到图像语义特征表征；其中，文本语义特征表征与图像语义特征表征的特征维度相同；步骤2，使用视觉刺激语义融合模块对文本语义特征表征和图像语义特征表征进行特征空间的融合，以获取多模态融合语义信息表征；步骤3，使用大脑语义信息编码器将指定的全脑的主要视觉区域的响应信号转换为隐特征空间向量表征，并加入来自被试信息的提示嵌入得到大脑语义信息表征；步骤4，使用对比学习将步骤2的多模态融合语义信息表征与步骤3的大脑语义信息表征进行特征空间的对齐；基于设置的训练数据，迭代步骤1-4训练视觉语义融合模块与大脑语义信息编码器以得到用于大脑视觉神经活动表征对齐的视觉语义融合模块和大脑语义信息编码器。
全文数据：
权利要求：
百度查询： 电子科技大学 多模态融合的大脑视觉神经活动表征的对齐方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号