买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室)

摘要：本发明涉及图像处理技术领域，公开了一种基于ViT的电子显微镜图像配准方法，将固定图像和形变图像输入到完成训练的图像配准模型，得到用于将形变图像映射到固定图像的光流场；图像配准模型的训练过程，包括以下步骤：收集由固定图像和不同变形程度的形变图像组成的图像对，得到训练数据集；图像配准模型采用双特征编码器，通过分层提取特征金字塔，并通过代价体积块和GRU单元融合特征，计算各层的残差光流，从粗到细进行递归光流场预测；训练过程从较小变形的数据集开始，逐层引入更大变形的数据集，逐步扩展图像配准模型的变形适应范围，从而增强其鲁棒性。本发明能够详细分析各尺度的视觉信息，大幅提升图像配准的精度。

主权项：1.一种基于ViT的电子显微镜图像配准方法，其特征在于，将固定图像和形变图像输入到完成训练的图像配准模型，得到用于将形变图像映射到固定图像的光流场；图像配准模型的训练过程，包括以下步骤：步骤一，收集由固定图像和不同变形程度的形变图像组成的图像对，得到训练数据集；固定图像记为初始的固定编码特征，形变图像记为初始的形变编码特征；图像配准模型包括N层结构和一个精细化模块，图像配准模型的第n层结构包括一个双特征编码器、一个交叉空间注意力模块和一个配准管道，；步骤二，对于图像配准模型的第n层结构：将第n-1层结构中得到的固定编码特征和形变编码特征分别输入到双特征编码器的卷积块进行下采样，得到多个固定图像块和多个形变图像块；将和分别输入到轴向注意力模块，通过行注意力和列注意力进行特征增强，得到固定注意力特征和形变注意力特征；将和共同输入到交叉空间注意力模块，得到第n层结构的固定编码特征和形变编码特征；计算和之间的代价体积CV，将、和CV输入到配准管道的GRU单元中进行融合，得到融合特征；然后将融合特征和图像配准模型的第n+1层结构估计的光流图输入到配准管道的光流估计块中，得到初步估计的光流图；将输入到上采样光流块中，得到光流图；步骤三，将图像配准模型第一层结构的配准管道输出的光流图输入到精细化模块，得到最终的光流图；步骤四，渐进训练：对图像配准模型的多层结构进行分层训练，即，完成图像配准模型的第n层结构的训练后，冻结第n层结构，再训练图像配准模型的第n+1层结构；训练第n+1层结构时采用的图像对的变形程度大于训练第n层结构时采用的图像对的变形程度；完成图像配准模型结构所有层的结构的训练后，解冻所有层结构，对图像配准模型进行整体训练。

全文数据：

权利要求：

百度查询： 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 一种基于ViT的电子显微镜图像配准方法