买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京长木谷医疗科技股份有限公司;张逸凌

摘要：本发明提供了一种基于深度学习生成对抗网络的医学图像重建方法及装置，方法包括：获取第一医学图像，并基于第一医学图像生成第二医学图像，第二医学图像的清晰度低于第一医学图像的清晰度；基于第一医学图像和第二医学图像，对生成对抗网络模型进行训练；在经过训练后的生成对抗网络模型满足预设训练要求时，将满足预设要求的生成对抗网络作为目标生成对抗网络模型；基于目标生成对抗网络模型，对待处理的医学图像进行处理，得到重建后的目标医学图像。该方法克服了由于医疗影像设备以及影像科医生拍摄习惯不同，所造成的待处理医学图像清晰度较低，从而医生无法准确基于医学图像进行研判的问题，提高了医学图像的准确性，避免安全隐患的发生。

主权项：1.一种基于深度学习生成对抗网络的医学图像重建方法，其特征在于，包括：获取第一医学图像，并基于所述第一医学图像生成第二医学图像，所述第二医学图像的清晰度低于所述第一医学图像的清晰度；第一医学图像是清晰CT图像，第二医学图像是模糊CT图像；第二医学图像经过第一医学图像处理之后得到，第一医学图像与第二医学图像的区别在于图像的清晰度不同；基于所述第一医学图像和所述第二医学图像，对生成对抗网络模型进行训练；第一医学图像有多张，该第一医学图像包括遍历患者全身的所有CT图像，包括：髋关节CT图像、膝关节CT图像、脊柱CT医学图像；通过不同部位的清晰CT图像以及对应的模糊CT图像对该生成对抗网络模型进行训练；在经过训练后的生成对抗网络模型满足预设训练要求时，将满足预设要求的生成对抗网络作为目标生成对抗网络模型；在对该生成对抗网络模型进行训练时，进行多次迭代训练操作，得到满足预设要求的生成对抗网络；将得到的满足预设要求的生成对抗网络作为目标生成对抗网络模型，后续基于该目标生成对抗网络模型，对模糊CT图像进行处理，以得到该模糊CT图像对应的清晰CT图像；基于所述目标生成对抗网络模型，对待处理的医学图像进行处理，得到重建后的目标医学图像，其中，所述目标医学图像的清晰度高于所述待处理的医学图像的清晰度；所述基于所述第一医学图像生成第二医学图像，包括：对所述第一医学图像进行不同高斯核大小的高斯模糊处理，得到第二医学图像，或者，对所述第一医学图像加入不同噪声处理，得到第二医学图像，其中，所述噪声包括椒盐噪声、插值噪声中的至少一种；所述噪声来源分为量子噪声、电子噪声、重建噪声；通过对第一医学图像进行模糊处理或者加入噪声处理，最大限度的模仿CT图像的噪声源，从而使得到的第二医学图像更加真实；所述基于所述第一医学图像和所述第二医学图像，对生成对抗网络模型进行训练，包括：基于生成对抗网络模型中的生成器G，对输入的第二医学图像进行生成操作，得到第一生成医学图像；基于生成对抗网络模型中的判别器D，对输入的所述第一医学图像和所述第一生成医学图像进行判别操作，得到判别结果；在基于所述判别结果确定所述第一生成医学图像与所述第一医学图像不匹配时，则基于所述第一生成医学图像和所述第一医学图像，对所述生成器G和所述判别器D进行迭代训练操作；若第一生成医学图像与所述第一医学图像不匹配，则说明第一生成医学图像与第一医学图像差异较大，生成器G生成的第一生成图像不满足要求，因此，需要对生成器G和所述判别器D进行迭代训练操作；在基于所述判别结果确定所述第一生成医学图像与所述第一医学图像匹配时，即生成的第一生成医学图像满足要求，此时，停止对生成器G和判别器D进行迭代训练操作，该生成器G和判别器D已满足训练要求；生成器G与判别器D是交替训练的；在判别器D训练阶段，让生成器G保持恒定，即权重不变；在判别器D训练尝试找出真实数据与虚假数据之间的差异时，它必须学习如何识别生成器G的产生的虚假图像；同样，在生成器G训练阶段，判别器D保持不变，即权重不变；所述经过训练后的生成对抗网络模型满足预设训练要求，包括：所述经过训练后的生成对抗网络模型的迭代训练次数达到预设迭代次数；或者，在预设迭代次数内，所述经过训练后的生成对抗网络模型中的所述生成器G的LOSS值与所述判别器D的LOSS值不再变化；预设迭代次数，即epoch大小，在500次以上；在迭代次数内，当生成器G与判别器D的loss同时收敛并在2-5个epoch不再变化后，提前终止训练；所述生成器G包括第一分支结构和第二分支结构，所述基于生成对抗网络模型中的生成器G，对输入的第二医学图像进行生成操作，得到第一生成医学图像，包括：基于所述第一分支结构，对所述第二医学图像进行特征提取操作，得到第一特征医学图像；基于所述第二分支结构，对所述第二医学图像进行自注意力机制特征提取，得到第二特征医学图像；基于所述第一特征医学图像和所述第二特征医学图像，得到所述第一生成医学图像；该第一分支结构也称之为CNN结构，第二分支结构也称之为Transformer结构；第二医学图像在输入生成器G时，CNN结构在进行一次Conv3x3卷积与激活函数ELU操作后，进行4个残差网络模块的特征提取，得到第一特征医学图像；残差网络模块的网络结构，残差网络模块包括Conv3x3卷积层+BN层+ELU组成；在CNN结构中，激活函数采用ELU，以避免激活函数Relu在特征图中存在负值时梯度为零的问题，即梯度消失；第二分支包括3个Transformer结构；Transformer结构将输入的第二医学图像经过多层感知机+层归一化+激活函数GELU后，采用自注意力机制进行特征的提取，得到FeatureMap；然后对FeatureMap进行自注意力操作，其中自注意力中的Value（V）、Query（Q）和Key（K）具体操作，Q与K经过点乘与Softmax后得到自注意力参数C_V，V与C_V点乘得到最后的特征图，即第二特征图；自注意力部分最终结果T的计算如下公式： 所述基于所述第一特征医学图像和所述第二特征医学图像，得到所述第一生成医学图像，包括：将所述第一特征医学图像和所述第二特征医学图像进行相加操作、3x3卷积操作、BN操作、激活函数ELU操作，得到所述第一生成医学图像；所述判别器D包括第三分支结构，所述基于生成对抗网络模型中的判别器D，对输入的所述第一医学图像和所述第一生成医学图像进行判别操作，得到判别结果，包括：基于所述第三分支结构，对所述第一生成医学图像进行3x3卷积操作、BN操作、多次细颗粒度特征提取操作以及多次粗颗粒度特征提取，得到第三特征图像；基于所述第三特征图像与所述第一医学图像进行判别操作，得到判别结果；判别器D网络结构主要是基于CNN结构，首先，判别器D对第一生成图像进行Conv3x3卷积操作与BN操作；然后，进行两次细颗粒度特征提取和三次粗颗粒度特征提取；其中，细颗粒度特征提取是进行两次Conv3x3卷积操作+BN操作，随后进行LeakyRelu激活函数操作，最后使用残差的思想将特征图与输入特征进行相加；粗颗粒度特征提取是进行一次Conv3x3卷积+BN操作，随后进行两次Conv3x3卷积+BN操作+LeakyRelu操作，最后使用残差的思想将特征图与输入特征进行相加，得到经过判别器D对第一生成图像进行处理后的第三特征图像，然后基于第三特征图像与第一医学图像进行匹配操作。

全文数据：

权利要求：

百度查询： 北京长木谷医疗科技股份有限公司 张逸凌 基于深度学习生成对抗网络的医学图像重建方法及装置