买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：吉林大学

摘要：一种基于高斯混合模型的肺结节分类和分割方法属计算机视觉图像处理技术领域，本发明包括下列步骤：基于高斯混合模型设计病灶特征提取模块，将肺结节的详细特征以数学模型的方式展现出来，将其参数作为图像处理过程中的特征表示，提升模型的理解能力，指导分类和分割过程；将低秩矩阵作为旁路，注入图像编码器和掩码解码器的transformer中的自注意力模块，训练模型学习肺结节的知识。本发明通过加入旁路低秩矩阵并训练内部参数，设计基于高斯混合模型的病灶特征提取模块，使模型适用于肺结节分类和分割任务，并提高肺结节分类和分割的效果，尤其对病灶初期更为明显。

主权项：1.一种基于高斯混合模型的医学图像分类和分割方法，其特征在于包括下列步骤：1获取肺结节数据集：通过公共数据集、学术研究论文，医学影像机构、研究中心和竞赛和挑战赛方式获取；2提取肺结节并进行分类整理，包括以下内容：2.1提取肺结节数据集中的图像注释，包含肺结节的位置和恶性程度信息；2.2按照肺结节的恶性程度分为5级，1～5级代表癌症可能性由小到大，1级和2级为良性，3级介于良性和恶性之间，4级和5级为恶性；3基于高斯混合模型构建特征提取模块，提取病灶特征，包括下列步骤：3.1建立多维高斯分布的联合密度函数： 其中：d是变量的维度；μ是各个变量的均值；∑是协方差矩阵，对于三维高斯分布有： 高斯混合模型的本质是几个高斯分布的组合，理论上，给每个高斯分布合理赋值权重，可以拟合任意分布，其概率密度函数为： 其中：px∣k＝fX是第k个高斯模型的概率密度函数；pk是第k个高斯模型的权重，称作第k个模型的先验概率，且满足高斯混合模型参数为π，u，∑，上式能改写为： 3.2使用最大期望算法估算π，u，∑第一步先求出三个参数的粗略值，第二步使用第一步的值最大化似然函数，具体算法步骤如下：3.2.1定义分量数量K，并对每个分量k设置π，u，∑的初始值，然后依据以下公式循环计算至参数收敛，依据当前的πk，uk，∑k，计算后验概率： 3.2.2计算新的πk，uk，∑k 其中：N表示点的数量；γznk表示点nxn属于聚类k的后验概率；Nk表示第k个聚类的点的数量；uk表示所有点的加权平均；由此，特征提取模块获得不同类别病灶的特征参数π，u，∑；4将提取的病灶特征嵌入提示编码器在提示编码器中，经特征提取模块表示出的病灶特征被输送到提示编码器，病灶特征被嵌入作为一组特征向量作为输入；5选用SAM作为基础模型，由图像编码器、提示编码器和掩码解码器组成；在图像编码器和掩码解码器的transformer中，自注意力模块设置旁路低秩矩阵；在图像编码器中，使用经过MAE预训练的视觉转换器，图像将被分割成许多块，进行位置编码；在图像编码器和掩码解码器中，每个transformer块由一个多头注意力块和一个MLP块组成，每个块后进行层归一化，再进行残差连接，模型训练包括下列步骤：5.1提示编码器训练由特征提取模块输出的表示病灶特征的一组tokens，嵌入提示编码器进行提示训练，并将模型的掩码预测和真实值进行比较；在训练过程中不需要点击提示，而由表示病灶特征的tokens指导模型分割病灶，不同的医学病灶形状纹理千差万别，尤其病灶初期不易用肉眼识别，大幅降低人力工作效率；病灶特征提取模块从各类病灶中提取特征参数，嵌入提示编码器；用病灶特征参数监督模型，大幅提升模型在医学图像分类和分割任务中的效能；5.2低秩旁路参数训练首先冻结transformer层以保持q权重固定，然后添加旁路，其中包含线性层A和线性层B，以实现低阶训练，减少训练参数的数量；可训练的秩分解矩阵注入Transformer架构后，在不改变原始权重的情况下，对低秩矩阵进行训练，以获得旁路可训练的低秩矩阵内部参数，达到在保证分割性能的前提下，训练较少的参数，大幅降低模型的计算；更新层W的处理过程描述为：W＝W0+ΔW＝W0+BA；Transformer的自注意模块中有Wq、Wk、Wv、Wo四个权重矩阵，MLP模块中有Wi、Wj两个权重矩阵，对注意力权重进行调整，冻结了MLP模块；多头注意力的处理策略是： Q＝Wq+BqAq；K＝Wk+BKAk；V＝Wv+BvAv；其中：Wq，Wk和Wv是SAM的冻结投影层；Aq,Bq,Ak,Bk,Av和Bv是可训练的参数；6将步骤5图像编码器的输出和提示编码器的输出结合并输入解码器掩码解码器将图像嵌入和一组病灶特征提示嵌入组合并映射到输出掩码，每个transformer模块由一个多头注意力模块和一个MLP模块组成，每个模块之后进行层归一化处理，其中，多头注意力模块由tokens的自注意力、从tokens到图像嵌入的交叉注意力和从图像嵌入到tokens的交叉注意力组成，并进行残差连接；病灶特征被应用作为提示更新图像嵌入，下一层解码器层从上一层获取更新的标记和图像嵌入；解码器运行前，先将学习到的输出tokens和对病灶提取的提示tokens嵌入插入到提示嵌入集中；7经交叉注意力和多感知层，输出分类和分割结果解码器运行后，更新后的图像通过卷积层进行上采样，tokens再次参与图像嵌入，并被传递给MLP，最后，模型预测出一个具有空间点积的掩码；8计算损失函数，并用梯度下降法更新网络中各层参数，经训练后得到最终的网络模型。

全文数据：

权利要求：

百度查询： 吉林大学 一种基于高斯混合模型的肺结节分类和分割方法