买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：苏州大学

摘要：本发明涉及深度学习技术领域，尤其是指一种脉络膜新生血管生长预测方法、装置及存储介质。本发明提出了一种基于卷积神经网络的CNV生长预测方法，将采集到的图像分割出感兴趣的CNV病变区域，并将其与原图进行拼接，作为生长预测的输入，保证CNV生长预测的准确性，所提出的基于注意力的门控递归单元，由于集成了纵向数据的空间注意力和通道注意力，着重关注时空序列图像的空间位置的变化，在减少计算量的同时，能够在多维数据中执行卷积操作来捕获时空序列图像的空间特征，在生长预测方面具有更好的性能。

主权项：1.一种脉络膜新生血管生长预测方法，其特征在于，包括：获取接收治疗前的视网膜oct图像，将其作为基准图像，并获取接收治疗后多次随访的视网膜oct图像；对每个随访图像与所述基准图像进行配准后，对所述基准图像和多个随访图像的脉络膜新生血管CNV病变区域进行分割，得到n个分割图像，包括：对所述基准图像和多个随访图像分别经过编码器进行特征提取得到n个编码特征图，所述编码器为去掉最后平均池化层和全连接层的ResNet-34网络；将第i-1个编码特征图和第i个编码特征图输入相关性注意力引导模块，得到第i个重建特征图，第0个重建特征图为第0个编码特征图，其中，相关性注意力引导模块的具体操作为：将第i-1个编码特征图和第i个编码特征图进行降维，得到特征图和特征图其中，C、H和W表示输入特征的通道数、高度和宽度；对特征图FAD进行重组并转置得到特征图对特征图FBD进行重组得到特征图计算特征图FAR和特征图FBR之间的比较矩阵其中，softmax表示采用softmax函数对权重进行归一化，fARi,j表示特征图FAR中i,j位置处的灰度值，表示特征图FAR的平均灰度值，fBRj,i表示特征图FBR中j,i位置处的灰度值，表示特征图FBR的平均灰度值；将所述比较矩阵MNCC进行转置后与特征图FBR相乘，并进行重组和上采样至大小，在和尺度参数α相乘后与特征图FB执行逐元素求和运算，得到空间注意力输出对特征图FA通过全局平均池化操作后，通过多层感知器以及sigmoid激活函数来获得通道上的权重，并将该权重和特征图FB相乘，得到通道注意力输出对所述空间注意力输出和所述通道注意力输出进行逐元素求和运算，生成所述第i个重建特征图将所述第i个重建特征图输入解码器，进行多次上采样，并与编码器在生成第i个编码特征图过程中产生的多个浅层特征进行跳跃连接，得到第i个分割图像；对所述n个分割图像分别与对应的原始图像拼接后进行多次卷积和下采样，得到n个高维特征图；将第i-1个门控递归单元输出的第i-1个空间特征图和第i个高维特征图输入第i个门控递归单元中，得到第i个空间特征图，i∈0...n-1，其中，第i个门控递归单元中的具体操作为：将第i-1个空间特征图和第i个高维特征图分别进行3×3卷积操作后相加并经过sigmoid函数的处理，得到重置门的输出；将第i-1个空间特征图和第i个高维特征图相减后经过1×1卷积和跨通道平均池化操作，得到空间注意力图；将第i-1个空间特征图和第i个高维特征图相减后分别进行平均池化和最大池化操作，将二者的输出分别经过两个连续的全连接层处理后进行叠加，得到通道注意力图；将所述空间注意力图和所述通道注意力图逐元素相乘后经过sigmoid函数归一化，得到更新门的输出；将经过3×3卷积操作后的第i-1个空间特征图与所述重置门的输出进行哈达玛乘积，并在与经过3×3卷积操作后的第i个高维特征图相加后经过tanh函数处理，得到候选状态；将1与所述更新门的输出相减后与第i-1个空间特征图进行哈达玛乘积，并与和所述更新门的输出进行哈达玛乘积后的候选状态相加，得到隐藏状态，即为第i个空间特征图；将第n-1个空间特征图经多个反卷积运算单元处理，并与与对应原始图像拼接后的第n-1个分割图像在多次下采样中生成的特征图进行跳跃连接，得到目标特征图；将所述目标特征图经过1×1卷积操作和softmax函数处理后，得到CNV生长预测结果。

全文数据：

权利要求：

百度查询： 苏州大学 一种脉络膜新生血管生长预测方法、装置及存储介质