买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明属于医学图像配准领域，涉及一种基于深度学习与轮廓特征的医学图像配准方法。本发明在医学图像配准任务中引入了额外信息，即从医学图像的预先分割结果中提取出轮廓特征，并利用该特征进行空间变换时的可微性构建损失函数，提高了医学图像的配准精度；提出了一种医学图像配准的网络框架，将网络模型分为了形变参数模型和形变场平滑模型两个部分，形变参数模型可以构建对应像素之间精确的变形，形变场平滑模型用于对构建的形变场进行平滑性约束；交替优化的策略保证模型最终能收敛至更为平滑的形变场，得到更精确的配准结果。

主权项：1.一种基于深度学习与轮廓特征的医学图像配准方法，其特征在于，包括如下步骤：步骤1：对医学图像数据集进行预处理，包括图像裁剪、归一化处理以及仿射配准；步骤2：根据图像预先分割结果提取其轮廓特征，构建对于轮廓特征的相似性度量；步骤3：在预处理后的图像及其对应的轮廓特征中，选取一对作为参考图像IF与参考轮廓GF，其它作为浮动图像IM与浮动轮廓GM；步骤4：将参考图像IF与浮动图像IM作为神经网络的输入，并加入其对应的轮廓特征GF和GM作为额外信息辅助训练，构建形变参数模型；将参考图像IF与浮动图像IM作为神经网络的输入，不加入轮廓特征，构建形变场平滑模型；构建形变参数模型和形变场平滑模型的损失函数，交替优化两个网络模型参数；步骤5：将待配准图像与参考图像输入训练好的形变场平滑模型，得到待配准图像的配准结果；所述步骤2包括以下步骤：2.1获取每幅医学图像的分割结果，并将其按相同类别对应同一灰度值的形式存储；2.2对于医学图像的分割结果S，使用Sobel算子对其进行边缘检测，得到医学图像的轮廓特征，也即梯度图像G；Sobel算子包含两个卷积核，分别为横向与纵向卷积核；分别将横向与纵向卷积核同分割结果S做卷积运算，即： 其中，*为卷积运算符，Gx和Gy分别为分割结果横向和纵向的梯度值；根据所述两个梯度值，计算得到每个分割结果的梯度图像，即轮廓特征，计算公式为： 对于三维医学图像，将上述Sobel算子转换为对应的三维进行运算；2.3基于归一化互相关匹配算法描述轮廓特征相似度；通过在两幅图像I1、I2的相同像素位置x处构建宽度为w的邻域匹配窗口，建立目标函数来度量该对窗口的相关性，其目标函数定义如下： 其中，Ω为像素位置集合，和分别为x邻域内的局部灰度平均值，xi表示x邻域内的像素位置；将步骤2.2所得的轮廓特征作为参数计算NCCG1,G2，得到每对轮廓特征的相似性度量；所述步骤4包括以下步骤：4.1构建形变参数模型：4.1.1将所述的参考图像IF与一个浮动图像IM在图像通道上进行合并，得到一幅2通道的图像作为神经网络的输入层；4.1.2对网络的输入进行下采样，获得下采样特征图；4.1.3对步骤4.1.2所获得下采样特征图进行上采样，获得上采样特征图；4.1.4对上采样特征图进行进一步细化，获得对应浮动图像IM到参考图像IF的形变场φt；4.1.5将浮动图像IM和形变场φt输入到可微的空间变换网络，同时将浮动图像IM对应的轮廓特征GM和形变场φt输入到所述空间变换网络，分别经过空间变换网络的空间变换，得到对应变形后的图像及其轮廓特征所述的空间变换网络为STN网络，包含三个组成部分，分别为本地化网络、网格生成器及采样器；STN网络首先使用本地化网络来预测所需的变换，之后使用网格生成器和采样器对图片实施变换；网格生成器采用线性插值方式进行插值；4.2构建形变场平滑模型：构建形变场平滑模型的过程与步骤4.1.1至步骤4.1.4相同，模型的架构以及初始化参数也与形变参数模型完全相同；输入的参考图像IF与浮动图像IM经过形变场平滑模型的计算，得到对应输入图像尺寸的形变场φs；4.3交替优化网络模型参数：4.3.1根据输入的参考图像IF、形变参数模型预测的形变场φt、形变场平滑模型预测的形变场φs、以及应变形后的图像及其轮廓特征构建优化形变参数模型的损失函数；所述损失函数表达式定义如下： 其中，LI表示参考图像IF与变形后的图像之间的相似性度量，LG表示参考图像IF的轮廓特征GF与浮动图像IM的轮廓特征GM变形后的特征之间的相似性度量，Ldist表示形变参数模型预测的形变场φt与形变场平滑模型预测的形变场φs之间的L2距离，α、β为控制损失函数的超参数，γ为控制两形变场之间差异的超参数，表示允许形变场存在的不确定性程度；对于损失函数中的相似性度量LI与LG，同时采用步骤2.3所述归一化互相关函数；对于损失函数中的L2距离Ldist，采用均值平方差损失，所述损失函数定义如下： 其中，Ω为像素位置集合，x为图像I1、I2的相同像素位置；4.3.2根据步骤4.3.1得到的形变参数模型预测的形变场φt以及形变场平滑模型预测的形变场φs，构建优化形变场平滑模型的损失函数；所述损失函数表达式定义如下：Lsφt,φs＝γLdistφt,φs+σLRφs其中，Ldist表示形变参数模型预测的形变场φt与形变场平滑模型预测的形变场φs之间的L2距离，LR表示正则项损失，γ为控制两形变场之间差异的超参数，σ为正则化控制参数；对于损失函数中的L2距离Ldist，采用步骤4.3.1所述的均值平方差损失；对于损失函数中的正则项损失LR，定义如下： 其中，m表示像素位置x处的位移；对于三维图像表示为 4.3.3在初始化情况下，使形变参数模型与形变场平滑模型参数完全相同，即之后执行交替优化的策略；在一次迭代过程中，固定形变场平滑模型的网络参数，即固定其中i表示迭代次数，根据Lt损失函数值，进行形变参数模型的网络参数反向传播；再之后固定形变参数模型的网络参数，即固定根据Ls损失函数值，进行形变场平滑模型的网络参数反向传播；其中在每次迭代过程中，都使输入两个网络模型的参考图像IF与浮动图像IM相同；执行所述交替优化策略，直到损失函数收敛至最低或迭代达到预先设定好的次数，认为网络参数优化完成，最终得到训练完成的两个网络模型，保存其中的形变场平滑模型作为最终医学图像配准网络模型。

全文数据：

权利要求：

百度查询： 大连理工大学 一种基于深度学习与轮廓特征的医学图像配准方法