买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州师范大学;南京信息工程大学

摘要：本发明旨在建立一个基于多模态视网膜图像的双流注意神经网络来对MCI个体进行分类。我们的方法结合了跨模态融合技术、可变尺度密集残差模型和双流网络中的多分类器机制。该模型利用残差模块提取图像特征，采用多级特征聚合方法捕获复杂的上下文信息。在每个卷积层使用自注意和交叉注意模块来融合光学相干断层扫描OCT和眼底模式的特征。应用神经网络对MCI患者、阿尔茨海默病患者和认知正常的对照组进行分类。通过对预训练模型进行微调，我们根据认知障碍测试分数将社区居住参与者分为两组。为了识别与准确预测相关的视网膜成像生物标志物，我们使用了梯度加权类激活映射技术。该方法对MCI和认知障碍阳性测试分数的分类准确率分别达到84.96%和80.90%。

主权项：1.一种基于多模态视网膜成像的MCI预测方法，其特征在于，包括以下步骤：S1、构建双流注意神经网络，包括模态特征提取模块、跨模态融合单元和分类器，所述分类器包括融合分类器，所述模态特征提取模块设置有两个，包括眼底特征提取器和OCT特征提取器，将成对的眼底照片和OCT图像输入，对于每对图像，一对模态特征提取模块会提取得到一对特征图，每对特征图通过跨模态融合单元进行融合，并传播到下一层卷积层进行进一步的特征提取，每个跨模态融合单元的融合结果都会传递给融合分类器，通过多步卷积层传播合并的多模态特征对测试对象的认知能力进行分类；S2、根据实际需要确定一个预测模型，将双流注意神经网络和预测模型组成MCI图像预测网络，将眼底照片和OCT图像作为输入，对MCI图像预测网络进行训练，从训练好的MCI图像预测网络中提取出训练好的双流注意神经网络；S3、将预测对象的眼底照片和OCT图像输入至步骤S2训练好的双流注意神经网络，得到预测对象认知能力所属类别的预测结果；步骤S1中，跨模态融合单元设置为跟随每个卷积层，跨模态融合单元包括自我注意模块和交叉注意模块，自我注意模块包括位置自注意力机制和通道自注意力机制，假设位置自注意力机制的输入特征图为IPAM∈RC×H×W，其形状与输出特征图XPAM∈RC×H×W相同，位置自注意力权重XPAM通过三个特征矩阵的软最大值得到：XPAM＝PAMIPAM，通道自注意力权重通过三个特征矩阵的软最大值得到：XCAM＝CAMICAM，自我注意模块通过XPAM和XCAM获得输出XSA，XSA-fundus和XSA-OCT的计算如下，其中⊙表示接触操作：XSA―fundus＝XPAM―fundus⊙XCAM―fundus，XSA―OCT＝XPAM―oct⊙XCAM―oct，其中一个XSA-fundus流作为捷径分支流入眼底特征提取器，添加原始眼底特征，相应地，其中一个XSA-OCT流作为捷径分支流入OCT特征提取器，添加原始OCT特征，另一个分流通过通道拼接形成特征矩阵XSA∈R2C×H×W，其中⊕表示对两种模式的特征图进行元素相加操作：交叉注意模块的输入特征图表示为ICA＝XSA，交叉注意力特征图的输出为ICA∈R2C×H×W，跨模态全局描述符为其中，Fgp表示全局平均池化GAP，G＝G1,...,Gk,...,G2C表示用于收集整个输入的敏感统计数据的跨模态描述符，交叉注意力CA向量的描述如下：WCA＝σFmlpI，其中，Fmlp为多层感知器网络，σ为sigmoid函数，取值范围为0,1；最后，权重WCA与特征矩阵XSA相乘，通过跨模态融合来增强特征矩阵，其中表示乘法：对于卷积层lcovn，生成第l个跨模态融合单元输出Xl，以完善跨模态融合单元第l层的原始输出： 这是一个双向传播的过程，细化后的特征将传递给跨模态融合单元的下一层，以进行更精细的特征映射。

全文数据：

权利要求：

百度查询： 杭州师范大学 南京信息工程大学 一种基于多模态视网膜成像的MCI检测方法