买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：宁波大学

摘要：本发明公开了一种脑肿瘤MR图像分割方法，通过在U‑Net网络中增加多尺度特征融合模块、融合特征加性注意力模块以及编码器‑解码器加性注意力拼接模块来构建得到多尺度特征融合和加性注意力分割网络，通过多尺度特征融合模块，能够将编码器模块中具有不同感受野的各尺度特征图进行融合得到融合特征图，通过融合特征加性注意力模块在融合特征图与编码器模块各尺度特征图间引入加性注意力机制，通过编码器‑解码器加性注意力拼接模块在经过融合特征图指导的编码器模块各尺度特征和解码器模块特征图间采用加性注意力机制，以降低跳跃连接时编码器模块和解码器模块由于所处网络深度不同而产生的语义特征差距；优点是分割准确性较高。

主权项：1.一种脑肿瘤MR图像分割方法，其特征在于包括以下步骤：步骤1：对BraTS2020训练集中的数据进行划分，所述的BraTS2020训练集包含293名高级别胶质瘤High-gradeGlioma，HGG患者和74名低级别胶质瘤Low-gradeGlioma，LGG患者的数据，共367名患者的数据，每个患者的数据均包括5个三维图像，5个三维图像分别为FLAIR模态的三维MR图像、T1模态的三维MR图像、T1ce模态的三维MR图像、T2模态的三维MR图像以及三维GroundTruthGT分割掩膜图像，这5个三维图像的长均为240pt、宽均为240pt和通道数均为155，即这5个三维图像的尺寸大小均为240pt×240pt×155，所述的GT分割掩膜图像中具有对整个肿瘤区域WholeTumor，WT、肿瘤核心区域TumorCore，TC、增强肿瘤区域EnhancedTumor，ET以及其他所有区域的标记，肿瘤核心区域采用标签1标记，整个肿瘤区域采用标签2标记，增强肿瘤区域采用标签4标记，其它所有区域采用标签0进行标记，具体划分过程为：将BraTS2020训练集中234名高级别胶质瘤患者和59名低级别胶质瘤患者的数据作为训练数据，将BraTS2020训练集中59名高级别胶质瘤患者和15名低级别胶质瘤患者的数据作为验证数据；步骤2：进行数据预处理，具体处理过程为：步骤2.1、对训练数据和验证数据中每个患者的FLAIR模态的三维MR图像、T1模态的三维MR图像、T1ce模态的三维MR图像、T2模态的三维MR图像这四个模态的三维MR图像分别采用Z-Score方式进行标准化，即将这四个模态的三维MR图像的体素值标准化为零均值和单位标准差，具体为：先确定每个患者的每个模态的三维MR图像中体素值大于零像素点的数量和位置，然后计算每个模态的三维MR图像中体素值大于零的区域的均值和标准差，最后将每个模态的三维MR图像分别作为原始三维MR图像，采用公式1分别对每个模态的三维MR图像中体素值大于零的区域进行Z-Score标准化操作得到每个模态的标准化三维MR图像，每个模态的标准化三维MR图像中的体素值符合标准正态分布： 式1中，v表示原始三维MR图像中的体素值，μ表示原始三维MR图像中体素值大于零的区域的均值，σ表示原始三维MR图像中体素值大于零的区域的标准差，v′表示原始三维MR图像经过Z-Score标准化后得到的标准化三维MR图像中的体素值；步骤2.2、对训练数据和验证数据中每个患者的FLAIR模态的三维MR图像、T1模态的三维MR图像、T1ce模态的三维MR图像、T2模态的三维MR图像对应的标准化三维MR图像分别按照以下方式进行拼接处理：将同一个患者的FLAIR模态的标准化三维MR图像、T1模态的标准化三维MR图像、T1ce模态的标准化三维MR图像以及T2模态的标准化三维MR图像中相同通道的图片按顺序组合成四通道的RGBA图像其尺寸大小均为240pt×240pt×4，同时，将该患者的三维GroundTruth分割掩膜图像中相同通道的图片保存为四通道的RGBA图像对应的分割掩码图像其尺寸大小为240pt×240pt×1，分割掩码图像作为四通道的RGBA图像的真实标签，此时，训练数据中每个患者的FLAIR模态的三维MR图像、T1模态的三维MR图像、T1ce模态的三维MR图像、T2模态的三维MR图像这四个模态的三维MR图像对应的标准化三维MR图像在拼接处理后共得到了[234+59×155]张四通道的RGBA图像和[234+59×155]张单通道的分割掩码图像，验证数据中每个患者的FLAIR模态的三维MR图像、T1模态的三维MR图像、T1ce模态的三维MR图像、T2模态的三维MR图像这四个模态的三维MR图像对应的标准化三维MR图像在拼接处理后共得到了[59+15×155]张四通道的RGBA图像和[59+15×155]张单通道的分割掩码图像；步骤2.3、将训练数据中每个患者的FLAIR模态的三维MR图像、T1模态的三维MR图像、T1ce模态的三维MR图像、T2模态的三维MR图像这四个模态的三维MR图像对应的标准化三维MR图像在拼接处理后共得到的[234+59×155]张四通道的RGBA图像和[234+59×155]张单通道的分割掩码图像中不存在肿瘤区域的图像删除，得到24422张四通道的RGBA图像和24422张单通道的分割掩码图像，采用得到的24422张四通道的RGBA图像和24422张单通道的分割掩码图像构成训练样本；将验证数据中每个患者的FLAIR模态的三维MR图像、T1模态的三维MR图像、T1ce模态的三维MR图像、T2模态的三维MR图像这四个模态的三维MR图像对应的标准化三维MR图像在拼接处理后共得到的[59+15×155]张四通道的RGBA图像和[59+15×155]张单通道的分割掩码图像中不存在肿瘤区域的图像删除，得到4794张四通道的RGBA图像和4794张单通道的分割掩码图像，采用得到的4794张四通道的RGBA图像和4794张单通道的分割掩码图像构成验证样本；步骤3：在由编码器模块、解码器模块和桥接模块构成的现有的U-Net网络中增加多尺度特征融合模块MSFF、融合特征加性注意力模块FFAA和编码器-解码器加性注意力拼接模块E-DAAC，得到多尺度特征融合和加性注意力分割网络，所述的多尺度特征融合和加性注意力分割网络包括编码器模块、解码器模块、桥接模块、多尺度特征融合模块MSFF、融合特征加性注意力模块FFAA和编码器-解码器加性注意力拼接模块E-DAAC；所述的编码器模块用于提取输入其内的四通道RGBA图像中脑肿瘤的特征信息，生成尺寸大小为15pt×15pt×256的特征图输出，将该特征图称为编码特征图；所述的编码器模块包括按照先后顺序依次设置的第1个卷积块、第1个采样层、第2个卷积块、第2个采样层、第3个卷积块、第3个采样层、第4个卷积块和第4个采样层，所述的第1个卷积块用于接入大小为240pt×240pt×4的图像，并对该图像依次进行首次批归一化BatchNormalization,BN、首次Mish函数激活、首次卷积处理、再次批归一化、再次Mish函数激活以及再次卷积处理，得到大小为240pt×240pt×32的特征图输出，其中首次卷积处理和再次卷积处理分别采用32个步长为1、大小为3×3的卷积核实现；所述的第1个采样层用于接入所述的第1个卷积块输出的大小为240pt×240pt×32的特征图，并对该特征图进行步长为2的最大池化操作，得到大小为120×120×32的特征图输出；所述的第2个卷积块用于接入所述的第1个采样层输出的大小为120pt×120pt×32的特征图，并对该特征图依次进行首次批归一化BatchNormalization,BN、首次Mish函数激活、首次卷积处理、再次批归一化、再次Mish函数激活以及再次卷积处理，得到大小为120pt×120pt×64的特征图输出，其中首次卷积处理和再次卷积处理分别采用64个步长为1、大小为3×3的卷积核实现；所述的第2个采样层用于接入所述的第2个卷积块输出的大小为120pt×120pt×64的特征图，并将该特征图进行步长为2的最大池化操作得到大小为60pt×60pt×64的特征图输出；所述的第3个卷积块用于接入所述的第2个采样层输出的大小为60pt×60pt×64的特征图，并对该特征图依次进行首次批归一化BatchNormalization,BN、首次Mish函数激活、首次卷积处理、再次批归一化、再次Mish函数激活以及再次卷积处理，得到大小为60pt×60pt×128的特征图输出，其中首次卷积处理和再次卷积处理分别采用128个步长为1、大小为3×3的卷积核实现；所述的第3个采样层用于接入所述的第3个卷积块输出的大小为60pt×60pt×128的特征图，并对该特征图进行步长为2的最大池化操作得到大小为30pt×30pt×128的特征图输出；所述的第4个卷积块用于接入所述的第3个采样层输出的大小为30pt×30pt×128的特征图，并对该特征图依次进行首次批归一化BatchNormalization,BN、首次Mish函数激活、首次卷积处理、再次批归一化、再次Mish函数激活以及再次卷积处理，得到大小为30pt×30pt×256的特征图输出；所述的第4个采样层用于接入所述的第4个采样层输出的大小为30pt×30pt×256的特征图，并对该特征图进行步长为2的最大池化操作得到大小为15pt×15pt×256的特征图输出，该特征图即为编码特征图；所述的桥接模块用于接入所述的编码器模块输出的编码特征图，并对编码特征图进行处理得到大小为15pt×15pt×512的特征图输出；所述的多尺度特征融合模块包括按照先后顺序依次设置的第1个上采样层、第2个上采样层、第3个上采样层、第4个上采样层、一个特征拼接层和一个卷积块，所述的多尺度特征融合模块的第L个上采样层用于接入所述的编码器模块的第L个卷积块输出的大小为的特征图，L＝1、2、3、4，所述的多尺度特征融合模块的第L个上采样层用于对接入的特征图进行双线性插值上采样，得到大小为240pt×240pt×2L-1×32的特征图输出，所述的多尺度特征融合模块的特征拼接层用于接入所述的多尺度特征融合模块的第1个上采样层至第4个上采样层输出的特征图，并将所述的多尺度特征融合模块的第1个上采样层至第4个上采样层输出的特征图按通道进行拼接得到大小为的特征图输出，所述的多尺度特征融合模块的卷积块用于接入所述的特征拼接层输出的特征图，并对该特征图采用32个步长为1、大小为3×3的卷积核进行卷积操作得到大小为240pt×240pt×32的特征图输出；所述的融合特征加性注意力模块包括按照先后顺序依次设置的第1个下采样层、第1个加性注意力块、第2个下采样层、第2个加性注意力块、第3个下采样层、第3个加性注意力块、第4个下采样层和第4个加性注意力块，所述的融合特征加性注意力模块的第L个下采样层用于接入所述的多尺度特征融合模块的卷积块输出的大小为240pt×240pt×32的特征图，并对接入的特征图进行步长为2L的最大池化操作，得到大小为的特征图输出，所述的融合特征加性注意力模块的第L个加性注意力块用于接入所述的融合特征加性注意力模块的第L个下采样层输出的大小为的特征图和所述的编码器模块的第L个卷积块输出的大小为的特征图，将所述的融合特征加性注意力模块的第L个下采样层输出的大小为的特征图记为将所述的编码器模块的第L个卷积块输出的大小为的特征图记为所述的融合特征加性注意力模块的第L个加性注意力块用于对接入的特征图和先分别采用数量为2L-1×32、步长为1、大小为1×1的卷积核进行卷积操作，分别得到对应的大小为的两个特征图，然后对这两个特征图进行按元素相加操作得到一个特征图，接着对得到的一个特征图依次进行Mish函数激活、采用数量为2L-1×32、步长为1、大小为1×1卷积核进行卷积操作以及Sigmoid函数激活，得到大小为的特征图，最后将得到的大小为的特征图与特征图进行按元素相乘操作，得到大小为的特征图输出；所述的编码器-解码器加性注意力拼接模块包括按照先后顺序依次设置的第1个编码器-解码器加性注意力拼接块、第2个编码器-解码器加性注意力拼接块、第3个编码器-解码器加性注意力拼接块和第4个编码器-解码器加性注意力拼接块；将所述的融合特征加性注意力模块的第4个加性注意力块输出的特征图记为所述的桥接模块输出的大小为15pt×15pt×512的特征图记为所述的第1个编码器-解码器加性注意力拼接块用于接入特征图和特征图并对特征图和按照以下方式进行处理：先分别采用数量为23×32、步长为1、大小为1×1的卷积核进行卷积操作，分别得到大小均为的对应的两个特征图，然后对此时得到的两个特征图进行按元素相加操作后，再依次进行Mish函数激活、采用数量为23×32、步长为1、大小为1×1卷积核的卷积操作和Sigmoid函数激活，得到大小为的一个特征图，接着将此时得到的一个特征图与特征图进行按元素相乘操作，得到大小为的特征图，最后将此时得到的大小为的特征图与特征图按通道进行拼接，得到大小为的特征图输出；将所述的融合特征加性注意力模块的第3个加性注意力块输出的特征图记为所述的解码器模块的第2个上采样层输出的特征图记为所述的第2个编码器-解码器加性注意力拼接块用于接入特征图和特征图并对特征图和特征图按照以下方式进行处理：先分别采用数量为22×32、步长为1、大小为1×1的卷积核进行卷积操作，分别得到大小均为的对应的两个特征图，然后对此时得到的两个特征图进行按元素相加操作后，再依次进行Mish函数激活、采用数量为22×32、步长为1、大小为1×1卷积核的卷积操作和Sigmoid函数激活，得到大小为的一个特征图，接着将此时得到的一个特征图与特征图进行按元素相乘操作，得到大小为的特征图，最后将此时得到的大小为的特征图与特征图按通道进行拼接，得到大小为的特征图输出；将所述的融合特征加性注意力模块的第2个加性注意力块输出的特征图记为所述的解码器模块的第3个上采样层输出的特征图记为所述的第3个编码器-解码器加性注意力拼接块用于接入特征图和特征图并对特征图和特征图按照以下方式进行处理：先分别采用数量为21×32、步长为1、大小为1×1的卷积核进行卷积操作，分别得到大小均为的对应的两个特征图，然后对此时得到的两个特征图进行按元素相加操作后，再依次进行Mish函数激活、采用数量为21×32、步长为1、大小为1×1卷积核的卷积操作和Sigmoid函数激活，得到大小为的一个特征图，接着将此时得到的一个特征图与特征图进行按元素相乘操作，得到大小为的特征图，最后将此时得到的大小为的特征图与特征图按通道进行拼接，得到大小为的特征图输出；将所述的融合特征加性注意力模块的第1个加性注意力块输出的特征图记为所述的解码器模块的第4个上采样层输出的特征图记为所述的第4个编码器-解码器加性注意力拼接块用于接入特征图和特征图并对特征图和特征图按照如下方式进行处理：先分别采用数量为20×32、步长为1、大小为1×1的卷积核进行卷积操作，分别得到大小均为的对应的两个特征图，然后对此时得到的两个特征图进行按元素相加操作后，再依次进行Mish函数激活、采用数量为20×32、步长为1、大小为1×1卷积核的卷积操作和Sigmoid函数激活，得到大小为的一个特征图，接着将此时得到的一个特征图与特征图进行按元素相乘操作，得到大小为的特征图，最后将此时得到的大小为的特征图与特征图按通道进行拼接，得到大小为的特征图输出；所述的解码器模块包括按照先后顺序依次设置的第1个卷积块、第1个上采样层、第2个卷积块、第2个上采样层、第3个卷积块、第3个上采样层、第4个卷积块和一个输出卷积块；所述的解码器模块的第L个卷积块用于接入所述的编码器-解码器加性注意力拼接模块中第L个编码器-解码器加性注意力拼接块输出的特征图，并对输入其内的特征图按照如下方式进行处理：依次对输入其内的特征图进行批归一化、Mish函数激活以及采用数量为25-L-1×32、步长为1，大小为3×3卷积核的卷积操作，输出大小为的特征图；所述的解码器模块的第L个上采样层用于接入所述的解码器模块的第L个卷积块输出的特征图，并对输入其内的特征图进行双线性插值操作，得到大小为的特征图输出，所述的解码器模块的输出卷积块用于接入所述的解码器模块的第4个卷积块输出的特征图，并采用数量为4、步长为1，大小为1×1的卷积核进行卷积操作，得到大小为240pt×240pt×4的特征图输出；步骤4：对所述的多尺度特征融合和加性注意力分割网络进行训练，具体过程为：1对所述的多尺度特征融合和加性注意力分割网络采用he_normal参数初始化方法进行初始化；2将步骤二中得到的训练样本随机分成多个batch，使每个batch中包含batchsize个训练样本，若训练样本数能被batchsize整除，则分成训练样本数batchsize个batch，若训练样本数不能被batchsize整除，则将剩余部分舍去，得到|训练样本数batchsize︱个batch，其中batchsize＝16，|︱为取整符号；3取其中一个batch，对这个batch中的所有四通道的RGBA图像均进行左右方向和上下方向随机翻转的图像增强处理，概率为50％；4将所选取batch中经过图像增强处理后的所有四通道的RGBA图像作为输入，输入到所述的多尺度特征融合和加性注意力分割网络中，得到所述的多尺度特征融合和加性注意力分割网络的输出结果；5根据所述的多尺度特征融合和加性注意力分割网络输出结果和所选取batch中所有四通道的RGBA图像对应的单通道分割掩码图像，计算所选取batch中经过图像增强后所有四通道的RGBA图像的分割损失值，求其平均值作为最终的损失值，其中，每个四通道的RGBA图像的分割损失值CE计算如下所示： 其中N表示的是四通道的RGBA图像中像素的总个数；C表示的是每个像素需要分类的类别数，这里取值为4，即整个肿瘤、肿瘤核心、增强肿瘤和背景四类；表示的是四通道的RGBA图像对应的单通道的分割掩码图像中第n个像素所属的真实类别c；表示的是所述的多尺度特征融合和加性注意力分割网络关于输入的四通道RGBA图像的输出结果中第n个像素预测为类别c的概率；6根据步骤5中计算得到的分割损失值，使用学习率为1e-4的ADAM优化器对所述的多尺度特征融合和加性注意力分割网络的参数进行训练；7重复步骤3-6，直至所有的batch的训练数据都对所述的多尺度特征融合和加性注意力分割网络进行一次训练，然后将验证样本依次输入到此时的多尺度特征融合和加性注意力分割网络中，并采用步骤5相同的方法得到验证样本中每个四通道的RGBA图像的分割损失值，计算并得到所有验证样本的平均分割损失值；8重复步骤2-7，直至所述的多尺度特征融合和加性注意力分割网络在验证样本上的损失收敛，最终得到训练好的多尺度特征融合和加性注意力分割网络；步骤5：将需要分割的脑肿瘤MR图像按照步骤1和步骤2的方法处理为四通道的RGBA图像，然后输入到训练好的多尺度特征融合和加性注意力分割网络中，多尺度特征融合和加性注意力分割网络输出分割预测结果。

全文数据：

权利要求：

百度查询： 宁波大学 一种脑肿瘤MR图像分割方法