买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于CNN‑Transformer并行编码器的医学图像分割方法，包括如下步骤：使用卷积神经网络捕捉到局部信息，Transformer捕捉到远程全局信息；通过特征筛选，调整注意力的分布和去除无用信息；通过双层融合模块融合多尺度特征并输出。本发明通过卷积神经网络和Transformer的混合架构，能够提取到多尺度、更丰富的信息，从而显著提升医学图像分割的精度。

主权项：1.一种基于CNN-Transformer并行编码器的医学图像分割方法，其特征在于，使用卷积神经网络捕捉到局部信息，Transformer捕捉到远程全局信息；通过特征筛选，调整注意力的分布和去除无用信息；通过双层融合模块融合多尺度特征并输出，具体步骤为：步骤1，获取医学图像分割训练数据集，并对其进行预处理操作；步骤2，建立由卷积神经网络与金字塔Transformer组合而成的类U-Net图像分割网络模型；步骤3，由卷积神经网络和Transformer组成的并行编码器进行特征提取，并取每一层的特征进行注意力筛选；步骤4，将提取后的特征输入到解码器，依次进行上采样和特征融合；步骤5，将解码器执行完成后的结果使用卷积将通道数调整为1，并使用上采样还原图像到原始大小，最终输出分割图；步骤2中，类U-Net图像分割网络模型由编码器和解码器两个部分组成，两者通过带注意力机制的跳跃连接结合；编码器，使用的是ResNet34和Transformer两条路径并行的编码策略；编码器跳跃连接部分使用CBAM和EMA注意力机制；解码器，使用双层融合模块进行特征融合和最终输出；编码器共有两个分支，包括以ResNet34为基本骨干的卷积神经网络分支和金字塔Transformer分支；对于卷积神经网络分支共有四个层次，其中第一层、第二层和第三层分别为多个残差块，对应的特征维度分别为128×56×56、256×28×28、512×14×14；第四层由两个卷积层构成，每个卷积层包括卷积、BN层和ReLU激活函数，卷积核大小均为3×3，步长均为2，最终的输出维度为1024×7×7；对于金字塔Transformer分支，同样也分为四个层次；第一层采用一个patch大小为4的patchembedding层来对大小为3×224×224的输入图像进行操作；然后通过Transformer层处理得到的分辨率大小为320×56×56的特征图，以捕获其全局信息；第二、第三和第四层的结构相同，为了保存patchembedding中的详细信息，将patch大小减少到2，使用金字塔结构的Transformer编码器，依次对特征图进行8、16和32倍的下采样；将编码器的第一层特征送入通道-空间注意力机制CBAM中进行特征提取；将编码器的第二层、第三层和第四层的特征送入高效多尺度注意力机制EMA中进行特征提取，第二层、第三层和第四层的特征经过EMA处理后，维度保持不变；高效多尺度注意力机制EMA，使用一个多尺度并行子网络来建立长短依赖关系，为输出特征，具体操作如下： 其中σ表示sigmoid激活函数，f1×1示卷积核大小为1×1的卷积操作，f3×3示卷积核大小为3×3的卷积操作，AvgPoolX表示在X轴方向上的全局平均池化，AvgPoolY表示在Y轴方向上的全局平均池化，Matmul表示矩阵乘法，AP表示全局平均池化操作。

全文数据：

权利要求：

百度查询： 南京邮电大学 基于CNN-Transformer并行编码器的医学图像分割方法