买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东北大学;辽宁然辉科技有限公司

摘要：本发明提供一种基于CNN‑SPPF和ViT的巴氏涂片宫颈细胞图像分类方法。该分类方法包括：获取宫颈细胞的巴氏涂片在显微镜下被分类为n类样本集的图像数据集；将每类样本集中的细胞图像划分为训练集、验证集和测试集；对训练集进行预处理；构建分类网络模型；该模型包括Focus模块、CNN‑SPPF模块、ViT模块、特征融合模块和分类模块；构造损失函数；将预处理后的训练集输入到该模型，并训练该模型；在训练该模型时，采用基于训练周期的损失，并使用Loss阈值对数据进行选择性增强处理，用于下一个轮次的训练；将验证集输入到训练后的分类网络模型进行优化；将测试集输入最终优化后的分类网络模型，输出分类结果。本发明利用CNN‑SPPF模块和ViT模块同时对无损下采样后的细胞图像进行特征提取，再进行特征融合，最终映射出细胞图像的分类结果，达到大大地提高宫颈细胞图像分类性能的目的。

主权项：1.一种基于CNN-SPPF和ViT的巴氏涂片宫颈细胞图像分类方法，其特征在于，包括：步骤S1：获取宫颈细胞的巴氏涂片在显微镜下的图像数据集；其中，所述图像数据集被分类为n类样本集；步骤S2：按照预设比例将每类样本集中的宫颈细胞图像划分为训练集、验证集和测试集；步骤S3：对所述训练集进行预处理，以得到预处理后的训练集；步骤S4：构建宫颈细胞图像的分类网络模型；其中，所述分类网络模型包括：Focus模块、CNN-SPPF模块、ViT模块、特征融合模块和分类模块；所述CNN-SPPF模块包括相互依次连接的第一卷积层、第一深度可分离卷积模块、第一最大池化层、第二卷积层、第二深度可分离卷积模块、第二最大池化层、第三卷积层、第三深度可分离卷积模块、第三最大池化层、第四卷积层、第四深度可分离卷积模块、第四最大池化层、第五卷积层、SPPF模块和第五深度可分离卷积模块；所述ViT模块包括Embedding层、TransformerEncoder模块组和Reshape模块；所述Embedding层包括第六卷积层、LinearProjection模块和PositionEmbedding模块；所述TransformerEncoder模块组包括相互串联的第一个TransformerEncoder模块、第二个TransformerEncoder模块、…第N个TransformerEncoder模块，N≥2；每个TransformerEncoder模块包括一个MLP模块和一个attentionBlock模块；所述attentionBlock模块包括一个多头自注意力模块和一个前馈神经网络；步骤S5：构造所述分类网络模型的损失函数；步骤S6：将所述预处理后的训练集输入到所述分类网络模型，并基于所述损失函数训练所述分类网络模型；步骤S7：在训练所述分类网络模型时，采用基于训练周期的Loss阈值去训练，并在每个训练周期的训练过程中，计算两个连续训练周期间的损失差值；若所述损失差值小于给定的所述Loss阈值，则进入下一个训练周期的训练，否则对输入所述分类网络模型的训练集进行选择性数据增强处理，直到两个连续的训练周期间的损失差值小于该Loss阈值时，进入下一个训练周期的训练；步骤S8：将所述验证集输入到训练后的分类网络模型进行优化，保存最终优化后的分类网络模型；步骤S9：将所述测试集输入所述最终优化后的分类网络模型，并输出所述测试集对应的宫颈细胞图像的分类结果；其中，所述Focus模块，用于接收预处理后的训练集、验证集或测试集对应的宫颈细胞图像，并对所述预处理后的训练集、验证集或测试集对应的宫颈细胞图像进行无损下采样；进行无损下采样后的宫颈细胞图像通过相互依次连接的第一卷积层、第一深度可分离卷积模块、第一最大池化层、第二卷积层、第二深度可分离卷积模块、第二最大池化层、第三卷积层、第三深度可分离卷积模块、第三最大池化层、第四卷积层、第四深度可分离卷积模块、第四最大池化层、第五卷积层、SPPF模块和第五深度可分离卷积模块进行局部的多层次特征提取，以提取出M维的第一特征向量；以及所述Embedding层，具体用于：通过所述第六卷积层，将无损下采样后的宫颈细胞图像划分为若干个不相交的固定大小的patch；通过所述LinearProjection模块，将每个Pacth映射到一维向量中去，以实现将每个patch压平成对应的一维向量，以输出对应的特征图C1；通过所述PositionEmbedding模块，对所述特征图C1添加位置信息，以输出添加位置信息后的特征图C2；通过add操作，将所述特征图C1和所述特征图C2进行相加，以输出特征图C3；以及所述TransformerEncoder模块组中的第一个TransformerEncoder模块，具体用于：通过第一LayerNorm层，将输入的所述特征图C3分别进行3次不同的线性映射，分别得出Query矩阵，Key矩阵和Value矩阵；通过所述多头自注意力模块，将所述Query矩阵，Key矩阵和Value矩阵在通道维度上分成H组，在每个组内均进行多头自注意力的计算，分别得到经过多头自注意力计算的每个组的特征图，以供后续将每个组的特征图在通道维度上进行拼接，形成最终的特征图C4；通过所述前馈神经网络，对所述特征图C4进行非线性变换和映射，以输出特征图C5；通过add操作，将所述特征图C3和所述特征图C5进行相加，以输出特征图C6；通过第二LayerNorm层，接收所述特征图C6，以输出特征图C7；通过所述MLP模块，接收所述特征图C7，以输出特征图C8；通过add操作，将所述特征图C6和所述特征图C8进行相加，以输出特征图C9；将所述特征图C9依次输入所述TransformerEncoder模块组中的第二个TransformerEncoder模块、…第N个TransformerEncoder模块，以供所述TransformerEncoder模块组输出最终的特征图C10；所述Reshape模块，用于接收所述特征图C10，并对所述特征图C10的形状进行调整，以提取出N维的第二特征向量；所述特征融合模块，用于将所述N维的第二特征向量和M维的第一特征向量进行串行融合，以得到（M+N）维的特征向量；所述分类模块，用于将所述（M+N）维的特征向量依次进行卷积和全局池化操作后，输出所述宫颈细胞图像的分类结果。

全文数据：

权利要求：

百度查询： 东北大学 辽宁然辉科技有限公司 一种基于CNN-SPPF和ViT的巴氏涂片宫颈细胞图像分类方法