买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西南交通大学;中国电子口岸数据中心成都分中心

摘要：本发明公开了一种基于向量量化变分自编码器的医学影像分类模型及方法，模型包括预训练阶段和微调阶段；所述预训练阶段分为Encoder模块、特征增强模块、Decoder模块三个模块，Encoder模块用于提取图像特征，特征增强模块用于强化图像的特征，最后的Decoder模块用于进行图像的重构；所述微调阶段包括Encoder模块和特征增强模块；Encoder模块用于学习提取图像的特征；特征增强模块用于对学到的特征进行约束增强，该模块后连接一个全连接层，直接将输出的特征输入进去，直接输出分类的最终结果。本发明提出了全新VAE与自注意力机制结合的神经网络模型，既解决了VAE类模型分类任务效果差的问题，又解决了自注意力机制模型在小规模数据集上表现不好的问题。

主权项：1.一种基于向量量化变分自编码器的医学影像分类方法，其特征在于，包括预训练阶段和微调阶段；所述预训练阶段分为Encoder模块、特征增强模块、Decoder模块三个模块，Encoder模块用于提取图像特征，特征增强模块用于强化图像的特征，最后的Decoder模块用于进行图像的重构；所述预训练阶段的工作流程步骤如下：1输入医学影像X进入模型，通过三层卷积层提取图像的特征，当作潜层特征切片；2将提取出的潜层特征切片与初始化的类编码向量拼接，然后加一个初始化形成的位置编号向量，位置编号向量直接加到映射后的patches上；3将拼接好的潜层特征切片向量输入到TransformerEncoder中进行注意力机制的计算；4将多个注意力头的输出拼接到一起，再通过Rearrange函数重新定义形状，将输出的特征向量，称为Fe；5丢掉类编码那一维的向量，只取拼接之前的图像特征，这一部分称为Fp；将Fp输入到特征增强模块中；特征增强模块是一个初始化的EmbeddingSpace编码表，里面存储了初始化的特征向量；将Fp与EmbeddingSpace里的向量做最邻近搜索，让二者之间相互学习，选择EmbeddingSpace中与Fp最相近的特征进行替换，得到Fq；6将Fq输入到Decoder模块中，进行图像的重构，得到图像R；将Fp与Fq、EmbeddingSpace与Fp、EmbeddingSpace与Fq三者进行L2损失的计算，以此作为损失函数，来进行反向传播优化整个预训练模型；所述微调阶段包括Encoder模块和类编码向量增强模块；Encoder模块用于学习提取图像的特征；类编码向量增强模块用于对类编码向量进行约束增强，该模块后连接一个全连接层，直接将输出的类编码向量输入进去，直接输出分类的最终结果；所述微调阶段图像处理过程如下：1将模型的参数加载到微调网络中；2输入医学影像X，经过三层卷积层提取图像的特征潜层特征切片；将提取后的潜层特征切片拼接一个初始化的类编码向量以及加上一个PositionEmbedding；将拼接好后的特征向量输入到Encoder中进行自注意力机制的运算，得到特征Fe；3提取Fe的第一位的类向量编码，进行后续的分类任务；将类编码向量输入到类编码增强模块中，进行最邻近搜索，选取与EmbeddingSpace中最邻近的向量做替换，得到最终分类头向量；4将最终分类头向量输入到一个全连接层网络中，得到最后的分类识别结果。

全文数据：

权利要求：

百度查询： 西南交通大学 中国电子口岸数据中心成都分中心 基于向量量化变分自编码器的医学影像分类模型及方法