买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华东交通大学

摘要：本发明提出基于观察模式与特征融合的胸部病理图像分类方法与系统，该方法通过获取胸部影像图片，并对胸部影像图片进行预处理，将预处理后的胸部影像图片输入预训练后的多任务网络，得到注意力热图；基于深度学习网络，构建用于提取全局和局部特征的双分支网络；对胸部影像图片进行数据增强操作，根据注意力热图确定在增强后的胸部影像图片中的病灶的位置区域，提取病灶区域作为局部分支的输入，并将增强后的胸部影像图片作为全局分支的输入，以获取全局图像特征和局部图像特征，并进行融合；利用融合后的图像特征获取分类结果。本发明分别处理全局和局部特征，从而充分挖掘它们之间的互补信息，使模型能更好地理解和处理图像中的复杂信息。

主权项：1.一种基于观察模式与特征融合的胸部病理图像分类方法，其特征在于，所述方法包括如下步骤：步骤1、基于深度学习网络，构建多任务网络，并利用给定的眼动追踪胸部影像数据集对多任务网络进行预训练；步骤2、获取胸部影像图片，并对胸部影像图片进行预处理，将预处理后的胸部影像图片输入预训练后的多任务网络，得到注意力热图；步骤3、基于深度学习网络，构建用于提取全局和局部特征的双分支网络；步骤4、对胸部影像图片进行数据增强操作，根据注意力热图确定在增强后的胸部影像图片中的病灶的位置区域，提取病灶区域作为局部分支的输入，并将增强后的胸部影像图片作为全局分支的输入，以获取全局图像特征和局部图像特征；步骤5、对全局图像特征和局部图像特征进行融合，以获得更全面的信息；步骤6、将融合后的图像特征输入池化层和全连接层后，得到分类结果；在所述步骤3，基于深度学习网络，构建用于提取全局和局部特征的双分支网络的方法具体包括如下步骤：以ResNet-50网络作为基础，ResNet-50网络包括有输入卷积层、残差块、池化层和全连接层，将ResNet-50网络中的池化层和全连接层替换为三重卷积注意模块形成网络主干，两个独立的网络主干构成双分支网络；在所述步骤1中，利用给定的眼动追踪胸部影像数据集对多任务网络进行预训练的方法具体包括如下步骤：给定的眼动追踪胸部影像数据集包括若干胸部影像图片、对应的疾病种类标注和佩戴眼动仪的医生在观察图像时留下的凝视位置数据；根据数据集收集者提供代码，结合凝视位置数据对所述眼动追踪胸部影像数据集中的图像生成对应注意力热图；多任务网络采用ResNet-101网络，对胸部影像图片进行缩放与归一化操作，并输入ResNet-101网络中提取得到图像特征，图像特征经过全局平均池化层、全连接层和Sigmoid激活函数获得分类预测值，与疾病种类标注计算损失，作为分类任务损失；取ResNet-101网络最后一个卷积层特征，与全连接层中对应的权值相乘，得到预测注意力热图，与数据集生成的注意力热图计算损失，作为热图任务损失；整合分类任务损失和热图任务损失，计算多任务网络总体损失；三重卷积注意模块由三个分支组成；第一分支采用不同大小的卷积核对原始特征进行分组卷积，以获得多尺度信息，再将分组卷积后的特征输入全局平均池化层，以获取通道关注向量，随后通过Sigmoid函数为不同通道维度分配不同权重，利用Softmax函数对各通道的注意力向量进行重新校准得到各通道权值，最后将重新校准的各通道权值和相应的特征映射进行点积运算，生成包含多尺度判别信息的精细化全局特征；第二分支利用转置函数将原始特征的维度从“通道×高度×宽度”的排列顺序调整为“高度×通道×宽度”的排列顺序以实现特征的维度重构，随后对维度重构的特征进行全局平均池化和卷积操作，挖掘不同高度维度下通道维度和宽度维度之间的关系，得到精化特征，最后将精化特征和维度重构的特征相乘并重构维度为“通道×高度×宽度”，得到新的第二分支精细化特征；第三分支利用转置函数将原始特征的维度从“通道×高度×宽度”的排列顺序调整为“宽度×高度×通道”的排列顺序以实现特征的维度重构，随后对维度重构的特征进行全局平均池化和卷积操作，挖掘不同宽度维度下高度维度和通道维度之间的关系，得到精化特征，最后将精化特征和维度重构的特征相乘并重构维度为“通道×高度×宽度”，得到新的第三分支精细化特征；对三个分支输出的精细化特征相加计算平均值，输入一个卷积层，以充分利用来自不同分支的特征，得到优化后的图像特征。

全文数据：

权利要求：

百度查询： 华东交通大学 基于观察模式与特征融合的胸部病理图像分类方法与系统