买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：英瑞云医疗科技(烟台)有限公司

摘要：本发明公开了一种肺癌CT到PET的医学图像生成的方法、系统和设备，涉及跨模态医学图像生成技术领域，包括以下步骤：数据预处理，模型设计，模型训练，生成图片，本申请方法在生成器的瓶颈层增加卷积神经网络、局部‑全局交互Transformer、残差空洞空间卷积金字塔池化模块和残差‑密集卷积模块混合结构技术，能够在训练的过程中提取图像的局部信息和全局上下文信息，良好地学习CT与PET域图像之间的映射关系，进而准确迅速的完成肺癌CT图像到PET图像的生成，该方法能够在不用进行PET扫描的情况下，通过成对的CT和PET图像对方法进行训练，实现PET图像的人工智能生成，得到高质量包含病变信息的PET图像，从而提升病变区域图像质量的精细化。

主权项：1.一种肺癌CT到PET的医学图像生成的方法，其特征在于，包括以下步骤：步骤一、数据预处理，将CT和PET数据转换为png格式的二维切片，制作成对的CT和PET数据集；步骤二、模型设计，UE-GAN网络模型框架包括生成器、判别器和分割网络三个部分，所述生成器采用混合CNN-CswinTrans结构学习源域图像到目标域图像的映射关系，参照真实图像分布让生成的图像更加真实；真实PET图像经过判别器进行特征提取，通过对抗损失函数优化生成器生成的图像，所述判别器采用卷积神经网络结构对输入图像进行判定，该输入图像是生成器生成的PET图像或真实PET图像；生成器和判别器相互对抗，共同优化；所述的分割网络采用UNet结构得到的病变区域与生成的图像进行特征融合，使生成的病变区域更加准确，再将融合后的图像与真实的图像进行交互的对比，调整病变区域的位置；所述生成器采用编码器-瓶颈层-解码器的结构，在编码器和解码器内分别使用卷积块来提取图像局部特征信息；瓶颈层结构由局部-全局交互式Cswin-transformer模块、残差空洞空间卷积金字塔池化模块和残差-密集卷积模块混合结构组成，中间信息瓶颈层可以高度捕捉PET图像中的上下文特征信息，从而提高合成PET图像的精度；步骤三、模型训练，将成对的CT和PET数据集输入到基础框架进行训练，生成器和判别器在交替迭代的博弈过程中共同进化，生成器学习到真实样本的数据分布；步骤四、生成图片，保存经过训练后的模型，将png格式的二维切片输入到训练后的模型中，即可获得相应的PET图像；所述局部-全局交互式Cswin-transformer模块是由Cswin-transformer与局部-全局注意力机制组合而来的，Cswin-Transformer将图像分割成交叉的窗口，这些窗口既包含了局部区域的信息，又延伸到了水平和垂直方向上，使得模型能够同时捕捉到更广阔的范围内的像素信息；这种十字形窗口的设计使得Cswin-Transformer能够在不丢失局部细节的情况下，获取到更大范围的全局语义信息；局部-全局注意力机制能够使输入的向量维数或序列分配一个唯一的编码，使得模型能够理解图像不同的位置关系；所述残差空洞空间卷积金字塔池化模块，该模块采用不同采样率的空洞卷积操作，可以在不同的尺度下有效地捕捉到图像的上下文信息；通过这种多尺度信息融合的方式，在不同的感受野范围内对图像进行分析，从而提高了模型对不同尺度物体的识别能力；在传统的卷积神经网络中，由于多次的下采样操作，导致了图像的空间信息丢失；在原有的三个不同采样率的空洞卷积上增加1×1的卷积模块以及ECA高效通道注意力机制模块，由此即可以通过注意力机制来过滤掉冗余信息，又可以通过特征信息的融合来减少特征信息的丢失，该过程可通过公式4-6表示： 4； 5； 6；式中，代表输入，代表第一个分支的输出、代表通过卷积与ECA模块后的图像、代表第二、三、四分支的输出、代表第五个分支的输出，代表空洞率，代表拼接，代表上采样，代表3×3卷积，代表1×1卷积，代表池化，代表拼接后的图像，代表输出图像；所述残差-密集卷积模块采用密集连接的结构，将每一个维度的信息都通过高效注意力机制模块进行叠加，能够在获取多维度信息的同时减少冗余信息的产生；其中使用EAC高效通道注意力机制模块聚合不同的特征信息，提高跨层信息的交互；利用不同信息的卷积块来调整覆盖范围并捕获本地信息间的交互，动态调整特征图各通道间的权重，增强相关性和表现力；对于给定的特征图F的大小为，首先对其进行全局平均池化，通过跨空间维度取得全局光滑特征；所述全局光滑特征如公式7所示，得到维度为C的全局平均特征向量； 7；其中表示全局平均池化，计算每一个通道的平均值，得到的特征图；Fi,j表示的是输入特征映射F中i,j位置的像素值，其中i表示行索引，j表示列索引；表示的是归一化因子，对全局平均池化的结果进行归一化，从而保证输出的特征图落在范围值内；池化得到的张量使用1×3的卷积进行线性变换，如公式8所示； 8；其中表示池化得到的张量使用1×3的卷积进行线性变换，Conv表示的是1×3的卷积运算，W表示的是卷积核的权矩阵，它对输入的特征映射的每个通道进行组合和变换；表示的是偏置项；该卷积将每个通道的平均值进行交互学习，得到了新的1×1×C的特征图；在此过程中，对每个通道进行一维的卷积计算，计算每个通道的重要性权重；这些权重表示每个通道的本地上下文中的重要性；之后对变换后的结果进行逐元Sigmoid运算，得到注意力权值张量S，如公式9所示： 9；其中，注意权重张量S表示每个通道的重要性；在此过程中，对每个通道进行一维卷积运算，计算每个通道的重要性权重；这些权重表示每个通道在本地上下文中的重要性；在这种情况下，exp指的是函数的缩写，表示自然指数；Sigmoid函数具有输入映射到范围（0，1）的属性；最后，通过相乘，公式如下，其中“×”表示注意权重张量S中每个通道的注意权重与输入特征映射F中对应的特征通道之间的逐元素乘法，如公式10所示， 10；得到突出重要信息的特征映射O，其大小为，这就允许自适应学习通道之间的关系，并增强特征的表示能力；分割网络作为分割标签模型可以提高图像Gx病变区域的精度，具体的，Dice损失函数定义， 11；其中表示X和Y集合的交集，和表示其元素个数；进一步的可以通过交并比的损失函数来调整病变区域的位置，交并比的损失函数定义为， 12；所述生成器G和判别器D之间的对抗性损失函数定义为， 13；其中，x为输入的源域的CT图像，为目标域的PET图像；实验设置，实验开发环境是pytorch2.0.1，在NVIDIARTX3090图形处理器上，使用Adam优化器，学习率为0.0002，模型训练轮数为200；batchsize设置为1。

全文数据：

权利要求：

百度查询： 英瑞云医疗科技(烟台)有限公司 一种肺癌CT到PET的医学图像生成的方法、系统和设备