买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东省人工智能研究院;齐鲁工业大学(山东省科学院)

摘要：一种基于注意力机制和多层级特征融合的心脏图像分割方法，涉及图像分割技术领域，采用解码器‑编码器模式的对称结构。设计了密集级联模块，密集级联模块内部的空洞卷积层以密集方式级联，将模块的原始输入与特征提取后的输出结合起来，增强图像特征信息的传递；引入位置自注意力模块，替代模型结构中的底部结构，可以将输入的全局信息融合起来，能有效地增强特征的鲁棒性和特征之间的局部连接。在跳跃连接过程中加入通道注意力模块，从而对通道之间的特征图进行加权并选择有用的特征图。在解码器部分加入了多层级门控融合模块，它可以自动调整不同层级特征图的贡献并充分利用多层级信息，实现更好的预测。

主权项：1.一种基于注意力机制和多层级特征融合的心脏图像分割方法，其特征在于，包括如下步骤：a获取心脏MRI图像数据集X，X＝{X1,X2,...,Xi,...,XN}，其中Xi为第i张心脏MRI图像，i∈{1,...,N}，N为心脏MRI图像数量；b对心脏MRI图像数据集X进行预处理操作，得到预处理后的数据集X′；c将预处理后的数据集X′划分为训练集、验证集、测试集；d将训练集中各个预处理后的心脏MRI图像沿Z轴进行切片，得到M个切片图像，第i个切片图像为Fi，i∈{1,...,M}；e建立由编码器和解码器构成的分割网络模型；f将第i个切片图像Fi输入到分割网络模型的编码器中，输出得到特征图A5-i；g将特征图A5-i输入到分割网络模型的解码器中，输出得到分割结果图像Pi；h训练分割网络模型，得到优化后的分割网络模型；i将测试集中各个预处理后的心脏MRI图像沿Z轴进行切片，得到Q个切片图像，第i个切片图像为Fi′，i∈{1,...,Q}；j将第i个切片图像Fi′输入到优化后的分割网络模型中，输出得到分割结果图像Pi′；步骤f包括如下步骤：f-1分割网络模型的编码器由第一密集级联模块、第一最大池化层、第二密集级联模块、第二最大池化层、第三密集级联模块、第三最大池化层、第四密集级联模块、第四最大池化层、位置自注意力模块构成；f-2编码器的第一密集级联模块依次由第一卷积层、第二卷积层、第三卷积层、第四卷积层构成，将第i个切片图像Fi输入到第一密集级联模块中，输出得到特征图A1-i；f-3将特征图A1-i输入到编码器的第一最大池化层中，输出得到特征图A′1-i；f-4编码器的第二密集级联模块依次由第一卷积层、第二卷积层、第三卷积层、第四卷积层构成，将特征图A′1-i输入到第二密集级联模块中，输出得到特征图A2-i；f-5将特征图A2-i输入到编码器的第二最大池化层中，输出得到特征图A′2-i；f-6编码器的第三密集级联模块依次由第一卷积层、第二卷积层、第三卷积层、第四卷积层构成，将特征图A′2-i输入到第三密集级联模块中，输出得到特征图A3-i；f-7将特征图A3-i输入到编码器的第三最大池化层中，输出得到特征图A′3-i；f-8编码器的第四密集级联模块依次由第一卷积层、第二卷积层、第三卷积层、第四卷积层构成，将特征图A′3-i输入到第四密集级联模块中，输出得到特征图A4-i；f-9将特征图A4-i输入到编码器的第四最大池化层中，输出得到特征图A′4-i；f-10编码器的位置自注意力模块由第一卷积层、第二卷积层、第三卷积层、第一双线性插值层、第二双线性插值层、第三双线性插值层、softmax层、第四双线性插值层、第四卷积层构成，将特征图A′4-i依次输入到第一卷积层中，输出得到特征图将特征图输入到一双线性插值层中进行双线性插值，得到特征图Q，将特征图A′4-i依次输入到第二卷积层中，输出得到特征图将特征图输入到第二双线性插值层中进行双线性插值，得到特征图K，将特征图A′4-i依次输入到第三卷积层中，输出得到特征图将特征图输入到第三双线性插值层中进行双线性插值，得到特征图V，将特征图Q与特征图K相乘后输入到softmax层中，输出得到特征图QK，将特征图QK与特征图V相乘后得到特征图Att，将特征图Att输入到第四双线性插值层中进行双线性插值后输入到第四卷积层中，得到特征图A5-i；步骤g包括如下步骤：g-1分割网络模型的解码器由第一双卷积模块、第二双卷积模块、第三双卷积模块、第四双卷积模块、第一双通道注意力模块、第二双通道注意力模块、第三双通道注意力模块、第四双通道注意力模块、第一上采样层、第二上采样层、第三上采样层、第四上采样层、第五上采样层、多层级门控融合模块构成；g-2将特征图A5-i输入到解码器的第五上采样层中，输出得到特征图C5-i；g-3解码器的第四双通道注意力模块由全局平均池化层、第一卷积层、第一ReLU层、第二卷积层、第一Sigmoid层、全局最大池化层、第三卷积层、第二ReLU层、第四卷积层、第二Sigmoid层构成，将特征图A′4-i依次输入到第四双通道注意力模块的全局平均池化层、第一卷积层、第一ReLU层、第二卷积层、第一Sigmoid层中，输出得到特征图Ga，将特征图A′4-i依次输入到第四双通道注意力模块的全局最大池化层、第三卷积层、第二ReLU层、第四卷积层、第二Sigmoid层中，输出得到特征图Gm，将特征图Ga和特征图Gm相加后与特征图A′4-i逐元素相乘得到特征图A″4-i，将特征图C5-i输入到解码器的第五上采样层中，输出得到特征图C′5-i，将特征图A″4-i与特征图C′5-i拼接操作，得到特征图D4-i；g-4解码器的第四双卷积模块依次由第一卷积层、第一BN层、第一ReLU层、第二卷积层、第二BN层、第二ReLU层构成，将特征图D4-i输入到第四双卷积模块中，输出得到特征图C4-i；g-5解码器的第三双通道注意力模块由全局平均池化层、第一卷积层、第一ReLU层、第二卷积层、第一Sigmoid层、全局最大池化层、第三卷积层、第二ReLU层、第四卷积层、第二Sigmoid层构成，将特征图A′3-i依次输入到第三双通道注意力模块的全局平均池化层、第一卷积层、第一ReLU层、第二卷积层、第一Sigmoid层中，输出得到特征图Ga′，将特征图A′3-i依次输入到第三双通道注意力模块的全局最大池化层、第三卷积层、第二ReLU层、第四卷积层、第二Sigmoid层中，输出得到特征图Gm′，将特征图Ga′和特征图Gm′相加后与特征图A′3-i逐元素相乘得到特征图A″3-i，将特征图C4-i输入到解码器的第四上采样层中，输出得到特征图C′4-i，将特征图A″3-i与特征图C′4-i拼接操作，得到特征图D3-i；g-6解码器的第三双卷积模块依次由第一卷积层、第一BN层、第一ReLU层、第二卷积层、第二BN层、第二ReLU层构成，将特征图D3-i输入到第三双卷积模块中，输出得到特征图C3-i；g-7解码器的第二双通道注意力模块由全局平均池化层、第一卷积层、第一ReLU层、第二卷积层、第一Sigmoid层、全局最大池化层、第三卷积层、第二ReLU层、第四卷积层、第二Sigmoid层构成，将特征图A′2-i依次输入到第二双通道注意力模块的全局平均池化层、第一卷积层、第一ReLU层、第二卷积层、第一Sigmoid层中，输出得到特征图Ga″，将特征图A′2-i依次输入到第二双通道注意力模块的全局最大池化层、第三卷积层、第二ReLU层、第四卷积层、第二Sigmoid层中，输出得到特征图Gm″，将特征图Ga″和特征图Gm″相加后与特征图A′2-i逐元素相乘得到特征图A″2-i，将特征图C3-i输入到解码器的第三上采样层中，输出得到特征图C′3-i，将特征图A″2-i与特征图C′3-i拼接操作，得到特征图D2-i；g-8解码器的第二双卷积模块依次由第一卷积层、第一BN层、第一ReLU层、第二卷积层、第二BN层、第二ReLU层构成，将特征图D2-i输入到第二双卷积模块中，输出得到特征图C2-i；g-9解码器的第一双通道注意力模块由全局平均池化层、第一卷积层、第一ReLU层、第二卷积层、第一Sigmoid层、全局最大池化层、第三卷积层、第二ReLU层、第四卷积层、第二Sigmoid层构成，将特征图A′1-i依次输入到第一双通道注意力模块的全局平均池化层、第一卷积层、第一ReLU层、第二卷积层、第一Sigmoid层中，输出得到特征图Ga″′，将特征图A′1-i依次输入到第二双通道注意力模块的全局最大池化层、第三卷积层、第二ReLU层、第四卷积层、第二Sigmoid层中，输出得到特征图Gm″′，将特征图Ga″′和特征图Gm″′相加后与特征图A′1-i逐元素相乘得到特征图A″1-i，将特征图C2-i输入到解码器的第二上采样层中，输出得到特征图C′2-i，将特征图A″1-i与特征图C′2-i拼接操作，得到特征图D1-i；g-10解码器的第一双卷积模块依次由第一卷积层、第一BN层、第一ReLU层、第二卷积层、第二BN层、第二ReLU层构成，将特征图D1-i输入到第一双卷积模块中，输出得到特征图C1-i；g-11解码器的多层级门控融合模块由第一上采样层、第二上采样层、第三上采样层、第一卷积层、Sigmoid层、第二卷积层构成，将特征图C2-i输入到第一上采样层中，输出得到特征图C2-i″，将特征图C3-i输入到第二上采样层中，输出得到特征图C3-i″，特征图C4-i输入到第三上采样层中，输出得到特征图C4-i″，将特征图C2-i″、特征图C3-i″、特征图C4-i″拼接操作后依次输入到第一卷积层、Sigmoid层中，输出得到权重矩阵G，将权重矩阵G进行奇异值分解，得到左奇异向量矩阵W1、对角线矩阵W2、右奇异向量矩阵W3，将特征图C2-i与左奇异向量矩阵W1相乘后得到特征图W1′，将特征图C3-i与对角线矩阵W2相乘后得到特征图W2′，将特征图C4-i与右奇异向量矩阵W3相乘后得到特征图W3′，将特征图W1′、特征图W2′、特征图W3′拼接后输入到第二卷积层中，输出得到特征图Z；g-12将特征图C1-i输入到第一上采样层中，输出得到特征图C1-i′，将特征图C1-i′与特征图Z相加后输入到卷积核大小为1×1的卷积层中，输出得到分割结果图像Pi。

全文数据：

权利要求：

百度查询： 山东省人工智能研究院 齐鲁工业大学(山东省科学院) 基于注意力机制和多层级特征融合的心脏图像分割方法