买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院合肥物质科学研究院;中国科学院合肥肿瘤医院

摘要：本发明公开了一种基于图像和语义协同度量的肺CT配准方法，属于医学图像处理领域。本发明利用CLIP大模型强大的跨模态理解能力和丰富的外部先验知识，对肺CT配准创造性地添加基于CLIP的关键点语义理解的不相似度度量，并将传统的基于图像特征的不相似度度量与基于语义特征的不相似度度量相结合，通过互补的方式提升配准精度和鲁棒性，更好地适应不同规模变形的肺CT图像配准任务。

主权项：1.一种基于图像和语义协同度量的肺CT配准方法，其特征在于，包括以下步骤：步骤S1：对配准源的浮动图像和配准目标的固定图像进行预处理，使用兴趣算子提取二者肺内的稀疏关键点，得到浮动关键点和固定关键点；步骤S2：计算整个浮动图像的图像特征和整个固定图像的图像特征，以及浮动关键点图像特征和固定关键点图像特征，同时使用CLIP模型生成用于描述浮动关键点和固定关键点在轴向、冠状面和矢状面指定大小邻域内的基于内容理解的语义特征，即浮动关键点语义特征和固定关键点语义特征，然后用这些图像特征和语义特征构造代价张量；步骤S3：判断是否需要构建和训练深度神经网络模型，若是，进入步骤S4，若不是，进入步骤S6；步骤S4：构建深度神经网络模型，包括编码器和解码器，将代价张量映射为稀疏变形场，并外推至稠密变形场；步骤S5：获取配对3DCT数据，使用固定图像和经深度神经网络模型得到的稠密变形场扭曲后的浮动图像的全部体素的图像特征差异和关键点语义特征差异构造损失函数，对深度神经网络模型进行无监督训练；步骤S6：使用训练后的深度神经网络模型，将代价张量映射为稀疏变形场，然后外推至稠密变形场，并用稠密变形场扭曲浮动图像，得到配准结果；步骤S2包括以下内容：对于浮动图像和固定图像，使用图像特征描述符生成维的全部体素的图像特征和稀疏关键点集合P的图像特征，得到整个浮动图像的图像特征、整个固定图像的图像特征、浮动关键点图像特征和固定关键点图像特征，然后，对于浮动图像和固定图像，使用CLIP模型生成稀疏关键点集合P中的每一个稀疏关键点在轴向、冠状和矢状平面的指定大小邻域内的基于内容理解的维的语义特征向量，并将三个平面的语义特征向量组装为语义特征矩阵，得到浮动关键点语义特征和固定关键点语义特征，然后使用下式构造基于残差平方和SSD的代价张量： ，其中，第一项建模基于关键点图像特征的浮动与固定图像差异，第二项建模基于关键点语义特征的浮动与固定图像差异，是用于控制二者重要程度的系数，i、j和k在此处仅用于作为求和的临时索引变量；步骤S5包括以下内容：首先，获取N个3DCT数据，并排列出至多个浮动-固定图像对，然后将浮动-图像对作为训练样本，使用步骤S2构造代价张量，并使用步骤S3深度神经网络模型将代价张量映射为稀疏变形场，并通过外推操作获得所述稠密变形场，然后，使用损失函数对深度神经网络模型的可学习参数进行训练： ，其中，第一项惩罚图像特征不相似度，第二项惩罚语义特征不相似度，表示整个浮动图像的图像特征按照稠密变形场进行扭曲后的图像特征，表示关键点语义特征按照稀疏变形场扭曲后的语义特征，为控制图像特征不相似度度量和语义特征不相似度度量的平衡度的权重系数，为求范数，扭曲指的是将整个浮动图像的图像特征或浮动关键点语义特征的各点按照变形场进行位移，然后将整个浮动图像的图像特征或浮动关键点语义特征采样至原特征各点的位置。

全文数据：

权利要求：

百度查询： 中国科学院合肥物质科学研究院 中国科学院合肥肿瘤医院 一种基于图像和语义协同度量的肺CT配准方法