买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：本发明公开了基于双重跳跃连接与深度监督学习的眼底血管分割方法，具体涉及眼底血管分割技术领域，获取眼底数据集以及临床眼底彩照数据和OCTA图像，由眼科专家在图像上标注出图像中血管信息，并随机选取图像数据制作训练集和测试集，并对图像数据进行对应的预处理操作，构建多模态血管分割的深度神经网络，通过ResNetV2采样模块、空洞卷积采样模块、Transformer编码器、双重跳跃连接、解码器以及深度监督构建血管分割网络，用于眼底彩照和OCTA图像血管分割的训练和预测。

主权项：1.基于双重跳跃连接与深度监督学习的眼底血管分割方法，获取眼底数据集以及临床眼底彩照数据和OCTA图像，由眼科专家在图像上标注出图像中血管信息，并随机选取图像数据制作训练集和测试集，并对图像数据进行对应的预处理操作，其特征在于：构建多模态血管分割的深度神经网络，通过ResNetV2采样模块、空洞卷积采样模块、Transformer编码器、双重跳跃连接、解码器以及深度监督构建血管分割网络，用于眼底彩照和OCTA图像血管分割的训练和预测，包括以下步骤：a构建ResNetV2采样模块：ResNetV2采样模块由根卷积层和3个基本块组成；根卷积层由一个7×7Conv+Group-Normalization+ReLU+MaxPool组成；基本块由多个预激活瓶颈单元组成，每个基本块对应的预激活瓶颈单元个数分别为3、4、9；每个预激活瓶颈单元结构包括3次Group-Normalization+ReLU+Conv组合操作，3次Conv分别为1×1、3×3和1×1的卷积层，然后进行残差连接，并根据需要提供下采样操作；输入数据依次经过根卷积层和3个基本块，保留根卷积层和第1、2基本块输出的中间特征作为第一组中间特征，第3基本块输出隐藏特征到Transformer编码器；b构建空洞卷积采样模块：该模块基本结构与ResNetV2采样模块相仿，由根卷积层和2个基本块组成，区别在于将3次Conv的中间层改成了扩张率为5的3×3空洞卷积，使得卷积核的感受野为11×11；保留根卷积层和1、2基本块输出的中间特征作为第二组中间特征；其与ResNetV2采样模块在网络中的结构关系是并行的，即网络输入数据同时输入到ResNetV2采样模块和空洞卷积采样模块并获得两组下采样中间特征；c构建Transformer编码器：Transformer编码器由12个相同的层堆叠而成，每一层又包含两个子层：自注意力层和前馈神经网络层；自注意力层这一层采用多头自注意力机制，同时对输入序列中的多个位置i计算Attention分数来获取加权和输出，从而建模输入中不同位置之间的依赖关系；前馈神经网络层：这一层通过多层感知机对每个位置的特征进行更加复杂的非线性变换，每个子层都采用残差连接和层归一化；d构建解码器以及双重跳跃连接：解码器由4个上采样块组成，每个上采样块对上一层输入特征进行双线性插值，将输入特征图的尺寸增加一倍，然后将扩充特征与步骤a和步骤b的双路下采样获取的两组下采样中间特征中对应尺寸的特征进行concatenate操作，实现在通道维度的特征叠加与融合，其中最后一个上采样快不进行双重跳跃连接；之后进行两次3×3Conv+BatchNormalization+ReLU后输出两路特征图，一路进行进一步上采样，一路用于深度监督的信号输入，最终形成完整解码器模块；e构建深度监督：首先将4路上采样输出的特征分别经过1×1Conv调整通道数，然后经过双线性插值调整特征图尺寸统一为512×512，将处理后4个特征图输送到分割头，计算对应交叉熵损失得到3个辅助损失和1个深层主损失，对4个损失加权求和获得整体损失，权重比分别为0.1、0.3、0.5、1.0，最终以整体损失函数进行反向传播，更新所有网络参数；将多模态眼底图像数据输入神经网络进行训练，通过前向传播逐层计算以及深度监督获得训练整体损失值，然后反向传播更新网络权重参数；经过一定轮次的网络训练，直至训练损失以及各项评估指标均趋于稳定后停止训练，训练过程中根据评估指标实时保存最优网络模型；最后将测试数据输入最优权重的分割网络得到预测结果。

全文数据：

权利要求：

百度查询： 南京航空航天大学 基于双重跳跃连接与深度监督学习的眼底血管分割方法