买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南昌航空大学;江西东锐智能装备科技股份有限公司

摘要：本发明公开了一种从有限量低维X光图像获得CTMRI融合数据方法，该方法包括以下步骤：将CT图像通过数学模拟算法获取对应的模拟X光图像；定义双平面X射线重建肺部CT的3DGAN网络框架；以模拟X光图像数据为模型输入，对应的CT图像数据为模型标签，对3DSP‑GAN进行训练；定义基于CycleGan的选择性转换网络SC‑CycleGan的框架；将经过预处理的数据输入SC‑CycleGan网络进行训练；通过训练好的3DSP‑GAN从模拟X光图像得到对应的CT，通过训练好的SC‑CycleGan从CT得到对应的CTMRI融合图像；本发明从有限量低维X光图像获得CTMRI融合数据，可以给医疗设备不全的基层医疗单位，通过获取的X光图像提供更为立体的解剖信息，为基层医疗单位获取人体立体解剖信息进行临床诊断提供了一种成本更低、效率更高的实现方式。

主权项：1.一种从有限量低维X光图像获得CTMRI融合数据方法，其特征在于：该方法包括以下步骤：1将CT图像通过数学模拟的算法获取对应的模拟X光图像DDR图像；2分别定义3DSP-GAN的生成器、鉴别器以及损失函数；3以经过预处理的模拟X光图像数据为3DSP-GAN模型输入，对应的CT图像数据为3DSP-GAN模型标签，对3DSP-GAN进行训练；其中，3DSP-GAN训练细节为：3DSP-GAN的损失函数有对抗损失、重建损失；对抗损失公式如下所示： 其中，G为生成器，D为鉴别器，X表示模拟X光图像空间，Y表示对应的CT图像空间，x表示从模拟X光图像空间中取的样本，y表示从CT图像空间中取的样本，是指从CT图像空间中随机采样一个数据样本，是指从模拟X光图像空间中随机采样一个数据样本，Gx表示生成器G生成的Y空间图片，Dy表示鉴别器D判断y是否是CT图像空间Y中取的样本的概率，而DGx是鉴别器D判断生成器G生成的图片是否是CT图像空间Y中取的样本的概率，表示通过最小化生成器其生成的假数据被鉴别器识别为假的概率和最大化鉴别器其正确区分真实数据和假数据的概率来逐渐提升生成器和鉴别器的能力；重建损失公式如下所示： 其中，‖Gx-y‖1表示计算合成的CT图像Gx与真实图像CT图像y的1范数以衡量合成图像与真实图像的差异；3DSP-GAN的总损失具体如公式如下所示： 其中γ为5；4分别定义SC-CycleGan的生成器、鉴别器、损失函数以及图像选择性融合模块；5将经过预处理的数据输入SC-CycleGan网络进行训练；其中，SC-CycleGan训练细节为：SC-CycleGan的损失函数有模态转换损失和图像选择性融合损失，模态转换损失由对抗损失、循环一致性损失组成，图像选择性融合损失由结构一致性损失、纹理损失和强度损失组成；其中对抗损失如下方公式所示： 其中，G为第一生成器，F为第二生成器，Dy表示鉴别Y空间样本的第二鉴别器，Dx表示鉴别X空间样本的第一鉴别器，X表示CT图像空间，Y表示MRI图像空间，x表示第一生成器G从CT图像空间X中取的样本，y表示MRI图像空间Y中取的样本，是指从CT图像空间中随机采样一个数据样本，是指在MRI图像空间中随机采样一个数据样本，Gx表示第一生成器G生成的Y空间图片，Fy表示第二生成器F生成的X空间图片，Dyy表示第二鉴别器Dy判断y是否是MRI图像空间Y中取得样本的概率，Dxx表示第一鉴别器Dx判断x是否是CT图像空间X中取得样本的概率，而DyGx是第二鉴别器Dy判断第一生成器G生成的图片是否是MRI图像空间Y中取得样本的概率，DxFy是第一鉴别器Dx判断第二生成器F生成的图片是否是CT图像空间X中取得样本的概率；循环一致性损失公式如下所示： 其中，F为第二生成器，是指从CT图像空间中的样本，FGx表示第二生成器F将第一生成器G通过CT图像x合成的MRI图像Gx重建的CT图像，GFy表示第一生成器G将第二生成器F通过MRI图像y合成的CT图像Fy重建的MRI图像；此外还在传统的循环一致损失部分引入了焦点频率损失和辅助分类损失，焦点频率损失函数通过计算真实图像与重建图像频域距离的加权平均值，引导模型更关注合成图像的高频率部分；辅助分类损失确保生成的图像与目标域的语义一致，并提高模型的类别区分能力；其中引入焦点频率损失和辅助分类损失通过额外的约束能够有效的提高模型的训练效率与合成图像的质量；焦点频率损失具体公式如下所示： 其中，M和N表示给定图像的长宽，Fxu,v是真实图像x的频谱坐标u,v处的空间频率值，Fx，u,v是重建图像x的频谱坐标u,v处的空间频率值，可表示为式如下所示： 其中p,q表示图像像素的空间坐标；fp,q是像素值；e和i分别是欧拉数和虚数单位；wu,v表示在u,v处的空间频率的权重，可表示为式如下所示：wu,v＝|Fxu,v-Fx′u,v|∝；其中∝是用于灵活性的频谱权重矩阵的比例因子，默认设置为1；辅助分类损失具体如公式如下所示：ζclsDy,Y＝-labely*logDyy′+1-labely*log1-Dyy′；其中，Dyy′表示鉴别器Dy判断y是否是Y空间中取的样本，labely代表y的标签，ζclsDy,Y通过预测概率Dyy′与真实标签labely进行比较，可以计算出预测与真实标签之间的差异，当labely＝1时，表示样本属于正类，此时的计算公式为-labely*logDyy′，当labely＝0时，表示样本属于负类，此时的计算公式为1-labely*log1-Dyy′；SC-CycleGan的模态转换的总损失具体公式如下所示：ζG,F,Dx,Dy＝ζGANG,Dy,X,Y+ζGANF,Dx,F,X+λ*ζcycleG,F+α*ζffG,F+ζclsDy,Y；其中，λ，α分别表示循环一致性损失权重和感知损失权重分别为10、5；图像选择性融合损失由结构一致性损失、纹理损失和强度损失组成；其中结构一致性损失公式如下所示：ζssim＝w11-ssimIf,I1+w21-ssimIf,I2；其中，I1、I2与If分别表示CT图像、MRI图像和CTMRI融合图像；ssimIf,I1表示对CT图像与融合图像进行结构相似性运算，ssimIf,I2表示对CT图像与融合图像进行结构相似性运算，w1，w2为0.5；纹理损失公式如下所示： 其中，表示Sobel渐变算子，与分别表示CT图像、MRI图像、CTMRI融合图像的纹理信息；强度损失公式如下所示： 其中，M*是元素聚合操作，具体表现为使用K-means聚类算法提取CT图像的骨骼信息，再将提取的骨骼信息与MRI图像整合；SC-CycleGan的图像选择性融合损失具体公式如下所示：ζfusion＝λ1ζssim+λ2ζtext+λ3ζint；其中λ1、λ2、λ3分别为50，100，20；6通过训练好网络从模拟X光图像得到CTMRI融合数据。

全文数据：

权利要求：

百度查询： 南昌航空大学 江西东锐智能装备科技股份有限公司 一种从有限量低维X光图像获得CT&MRI融合数据方法