南京航空航天大学陈春晓获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉南京航空航天大学申请的专利一种用于机器人辅助手术系统的图像2D/3D配准方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118537376B 。
龙图腾网通过国家知识产权局官网在2025-04-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410533909.7,技术领域涉及:G06T7/33;该发明授权一种用于机器人辅助手术系统的图像2D/3D配准方法是由陈春晓;孟若愚;王昆鹏;肖月月;李阳设计研发完成,并于2024-04-30向国家知识产权局提交的专利申请。
本一种用于机器人辅助手术系统的图像2D/3D配准方法在说明书摘要公布了:本发明公开了一种用于机器人辅助手术系统的2D3D图像配准方法,搜索术前3D图像如CT和MRI图像和术中2D图像如X射线图像的空间位置关系。本发明将2D3D配准分为基于深度学习的粗配准和基于迭代的精配准两阶段。本发明提出了超维旋转SO4群同构嵌入损失,以解决现有深度学习方法对高维空间优化效果差、配准精度低的问题;提出了新型混合NCC图像相似性度量,可以增加2D3D配准的捕获范围,减少配准过程中陷入局部最优的概率,并提升基于迭代方法配准的精度;提出了稀疏渲染方法,可以在不影响配准精度的情况下提升迭代速度。本发明利用以上技术,可以提高机器人辅助手术系统中2D3D配准的精度。
本发明授权一种用于机器人辅助手术系统的图像2D/3D配准方法在权利要求书中公布了:1.一种用于机器人辅助手术系统的图像2D3D配准方法,其特征在于,包括以下步骤:1获取对象目标区域的三维CT或MRI体数据与二维X射线图像数据;2对三维体数据与二维X射线图像数据预处理,将三维体数据按照每个体素的强度值区间分为若干个区域,制作每个体素对应区域的索引并保存,获得预处理完毕的体数据-索引组Vindexed;对二维X射线图像采样到指定大小,得到预处理完毕的二维X射线图像Ixray;3对体数据-索引组Vindexed进行前向投影,生成用于深度学习训练的DRR数据集Idrr_dataset_pre;步骤3中,利用光线投射算法对Vindexed进行前向投影生成DRR图像,从给定均值和标准差的正态分布中采样得到真值视点位姿参数Tgt,通过该位姿参数使用光线投射算法生成DRR图像Igt;共采样num_drr_dataset次,生成num_drr_dataset张DRR图像,每张DRR图像Igt以对应的真值视点位姿参数Tgt作为标签,共计num_drr_datasets组DRR图像-视点位姿参数标签对作为深度学习网络模型的训练集Idrr_dataset;在每次前向投影时通过体数据-索引组Vindexed对体数据中的骨骼区域体素值统一乘骨增强系数β,μ从给定范围的均匀分布随机采样;对获取的DRR数据集Idrr_dataset进行预处理,预处理按下述步骤顺序进行:对DRR图像通过每张图像的最大、最小像素值进行归一化,调整图像的分辨率大小为指定尺寸,对DRR图像的像素值通过给定均值和标准差的正态分布进行标准化,得到预处理完毕的DRR数据集Idrr_dataset_pre;4构建用于2D3D图像粗配准阶段的深度神经网络模型,构建网络训练时使用的损失函数,使用DRR数据集Idrr_dataset_pre对深度神经网络模型进行训练;深度神经网络模型的输入为DRR图像Idrr_input,深度神经网络模型将DRR图像Idrr_input编码为该DRR图像Idrr_input对应的视点位姿参数,深度神经网络模型输出为预测视点位姿参数Tpred;步骤4中,所述深度神经网络模型包括五个子模块,子模块间按串联结构连接,前四个子模块中的每个模块由一个下采样层和一个特征提取层组成,下采样层由跨步卷积层和Layer-Normalization归一化层组成,特征提取层由卷积核大小为7×7的深度可分离卷积层和反向瓶颈层组成,反向瓶颈层包括两个全连接层和一个GELU激活函数,前四个子模块负责提取训练集中的DRR图像的高维特征;第五个子模块为全连接层,由两个全连接层组成,作用是从前四个子模块提取的高维特征中回归视点位姿参数Tpred;还通过构建损失函数对深度神经网络模型进行反向传播训练,更新深度神经网络模型参数,深度神经网络模型总共训练num_epoch个epoch,每个epoch中含num_itr次迭代,每次迭代深度神经网络模型进行一次反向传播更新参数,训练完毕后保存深度神经网络模型文件;构建网络训练使用三个损失函数:第一个损失函数为输入DRR图像Idrr_input与使用模型前向推理得到的视点位姿参数Tpred通过Vindexed投影得到的DRR图像Idrr_pred之间的归一化互相关系数NCC,公式如下: 其中Zdrr_input和Zdrr_pred是由Idrr_input和Idrr_pred分别进行单张图像的像素均值和标准差归一化后的图像,公式如下: 其中,μI表示计算图像,的所有像素灰度的平均值,σI表示计算图像I的所有像素灰度的标准差,Z表示图像,标准化后的图像;第二个损失函数为输入DRR图像Idrr_input的标签真值视点位姿参数Tgt和模型预测的视点位姿参数Tpred之间的双测地线距离损失其中,f为缩放因子常量;Tgt=[Rgt|tgt]Tpred=[Rpred|tpred] dttgt,tpred=||tgt-tpred||第三个损失函数为输入DRR图像Idrr_input的真值视点位姿参数Tgt和模型预测的视点位姿参数Tpred之间的SO4群同构嵌入双不变距离损失公式如下: 其中,Tgt通过Tgt|SO4公式映射为SO4群元素Tgt|SO4,Tpred通过Tpred|SO4公式映射为SO4群元素Tpred|SO4,公式表示计算Tgt|SO4和Tpred|SO4矩阵之差的Frobenius范数;5使用二维X射线图像Ixray输入训练完毕的模型对其位置参数进行预测,使用真实X射线图像Ixray输入训练完毕的深度神经网络模型,深度神经网络模型预测Ixray的视点位姿参数Tcoarse作为预测结果;6将预测结果Tcoarse设置为迭代精配准的起始位置对体数据-索引组Vindexed进行前向投影,对于稀疏DRR图像Idrr,经过渲染得到若干的DRR局部图像块Idrr|Sparse;构建迭代优化器Adam,设置迭代次数为num_itr_refine次,每个迭代步中,使用公式: 计算当前渲染的稀疏DRR局部图像块Idrr|Sparse与该DRR局部图像块Idrr|Spars在二维X射线图像Ixray中对应的X射线局部图像块Ixray|Spars之间的NCChybrid值;其中SobelI=[gx*I,gy*I]; *代表卷积操作,gx和gy代表3×3大小的Sobel算子卷积核,用于提取图像x轴和y轴方向的梯度信息,α为超参数,i表示第i个局部图像块;优化器Adam通过梯度更新模型预测的视点位姿参数Tpred,投影位姿参数Tpred对体数据-索引组Vindexed进行前向投影得出下一迭代步的稀疏DRR图像Idrr|Spars,当迭代循环运行完毕,获取并保存NCChybrid值最大的迭代步中的投影位姿参数Tpred作为最终配准结果。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京航空航天大学,其通讯地址为:213300 江苏省南京市溧阳市滨河东路29号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。