买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：郑州大学

摘要：本发明利用体检人群真实世界临床多模态数据，提供一种基于多模态数据特征融合的肺结节智能分级方法及系统，基于胸部CT检查影像和检查报告获取肺结节ROI和VOI，设计一种基于注意力机制的多任务特征提取网络，从ROI和VOI获取影像组学特征和深层图像特征；设计一种基于图表示学习的跨模态特征融合方法，设计多模态信息提取方法，获取每个模态的特定特征表示和图结构，然后进行特征表示和图结构融合；提出一种基于自监督学习的肺结节分级GCN模型优化与临床验证方法，实现仅有细微差异的肺结节恶性度精细分级，为细粒度分类算法设计提供一种新途径；在解决临床问题方面，提出一种有机结合生成式和对比式自监督学习的分类算法优化方法和临床验证方案。

主权项：1.一种基于多模态特征融合的肺结节智能分级方法，其特征在于，包括如下步骤：1设计基于注意力机制的多任务特征提取网络，以获取具有充分性与鉴别性的图像特征描述；基于胸部CT检查影像和对应的影像学报告获取肺结节二维感兴趣区域ROI和三维感兴趣区域VOI数据，分别从ROI和VOI提取对应的影像组学特征和深层图像特征，并进行特征融合获取肺结节具有充分性与鉴别性的图像特征描述；2设计一种基于图表示学习的多模态特征融合方法，以得到跨模态特征有效融合的总样本特征图；分别基于CT影像报告、临床信息、血清学检查和CT影像特征，通过多模态信息提取方法，获取每个模态的特定特征表示和图结构，然后利用注意力机制将从不同模态获取到的特征表示和图表示结构进行融合，得到跨模态特征融合的总样本特征图；3提出一种基于自监督学习GCN分类模型的优化与临床验证方法，以形成肺结节分级诊断模型；构建肺结节分级GCN模型，包括分类网络、权重学习网络和自监督网络，设计总损失函数，训练和优化肺结节分级GCN模型，实现仅有细微差异的肺结节恶性度精细分级；根据所述肺结节分级GCN模型进行肺结节分级；设计的基于图表示学习的多模态特征融合方法，首先利用多模态信息提取方法获取每个模态的特定特征表示和图结构，然后利用注意力机制将从不同模态获取到的特征表示和图结构进行融合，得到跨模态特征融合的总样本特征图数据；设集合X＝{X1,X2,…,XM}表示原始输入的多模态特征信息，其中m∈[1,M]表示具有N个样本数的第m个模态的特征矩阵，该模态特征维度为dm；1多模态信息抽取方法所述多模态信息抽取方法，其目的是从每个模态信息中提取出特定模态特征以及图结构，这里设计一个模态信息抽取网络实现该过程；为简单起见，直接用X＝[x1,x2,…,xN]∈RN×d表示任选定模态原始特征矩阵，作为模态信息抽取网络的输入；为提升模型计算效率与性能，首先通过一个可学习的函数fA将原始输入特征向量xi投影到一个低维特征空间，fA被定义为一个简单的多层感知器MLP，计算过程如式1所示： 其中表示可学习的权重参数，σ表示非线性激活函数；然后，通过余弦相似度计算成对样本之间相关性，获取表征总样本特征之间相关性的相似度矩阵S∈RN×N，任意两个样本特征之间的相似度计算公式如式2所示；样本i和样本j之间的相似度sij 对相似度矩阵S进行如式3所示的阈值处理，获取该模态特定图结构的邻接矩阵 其中θ表示一个取值范围属于0到1的阈值；将特征矩阵X和图结构A一起送入图神经网络，进行特征聚合变换，图神经网络每一输入层到输出层的计算过程如式4所示： 其中σ表示非线性激活函数，μ1、μ2表示可学习的权重系数，表示第l层图神经网络的两个待学习权重矩阵，D表示邻接矩阵A的度矩阵；H0＝X，通过图神经网络的特征更新，将最后图神经网络输出层H定义为该模态的优化特征表示针对每个模态的原始特征向量X作为输入，利用上述设计的模态信息抽取网络得到对应模态优化后的图结构A和特征表示2基于注意力机制的跨模态特征融合所述基于注意力机制的跨模态特征融合是指将从不同模态获取到的多模态特征集合和多模态图结构集合A＝{A1,A2,…,AM}，通过注意力机制进行融合获取跨模态特征表示；以第i个节点为例，它的特征表示为基于注意力机制获得每个模态的注意力分数通过非线性变换对多模态特征进行变换，然后使用一个共享注意力向量q得到注意力值 其中W∈Rh′×h，q∈Rh′×1均是可学习的权重参数；在计算得到每个模态的注意力值后，使用归一化得到所有模态的注意力分数： 将模态的注意力分数与对应模态的优化特征和图结构相乘后，进行加和，得到最终融合后的多模态特征和图结构： 3基于图神经网络的分类预测将最终特征矩阵Xfinal以及图结构Afinal送入图神经网络分类器，输出最终的分类预测结果；所述总损失函数由加权交叉熵损失函数、语义约束损失函数和自监督对比损失函数构成；所述总损失函数如公式9所示：LGL＝α1LWCE+α2LSCL+α3LSSL9其中α1，α2，α3表示权衡超参数，LWCE表示加权交叉熵损失函数，LSCL表示语义约束损失函数，LSSL表示自监督对比损失函数；所述加权交叉熵损失函数如下所示： 所述语义约束损失函数如下所示： 所述自监督对比损失函数如下所示： 其中，E表示视图数，表示第i个视图类标签分布与原图类标签分布间的距离度量。

全文数据：

权利要求：

百度查询： 郑州大学 基于多模态特征融合的肺结节智能分级方法及系统