买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明公开了一种基于多任务协作学习的肝细胞癌早期复发预测系统，包括：预处理模块、模型训练模块和复发预测模块，使用多期相三通道图像集合对多任务协作学习的肝细胞癌早期复发预测模型进行训练，训练过程中，使用随机梯度下降算法更新模型参数，得到训练好的多任务协作学习的肝细胞癌早期复发预测模型并进行早期复发预测。提出基于多层级信息指导的特征融合，通过多层级分割信息的位置指导对早期复发预测网络特征进行优化，提升网络的预测能力；提出基于类激活图的分割结果修正模块，通过该模块可以结合分类相关的类激活注意力特征图对分割特征进行改进，提高病灶分割网络的分割结果性能。

主权项：1.一种基于多任务协作学习的肝细胞癌早期复发预测系统，其特征在于，包括：预处理模块，用于获得M张多期相肝脏CT影像，将同一位置的平扫期、动脉期与门脉期的影像按照RGB三个通道合并为一个多期相三通道图像，得到多期相三通道图像集合；并得到每一张多期相三通道图像的早期复发预测标签和标注结果；所述获得M张多期相肝脏CT影像，将同一位置的平扫期、动脉期与门脉期的影像按照RGB三个通道合并为一个多期相三通道图像，得到多期相三通道图像集合；并得到每一张多期相三通道图像的早期复发预测标签和标注结果，具体为：获得M张包括平扫期、动脉期与门脉期三个期相的多期相肝脏CT影像：、、…、、…、；将同一张多期相肝脏CT影像中的平扫期、动脉期与门脉期的影像按照RGB三个通道合并为一张多期相三通道图像，得到多期相三通道图像集合：，其中，表示任意一张多期相三通道图像；出现肝细胞癌早期复发的患者对应的多期相三通道图像给予早期复发预测标签1：，没有出现肝细胞癌早期复发的患者对应的多期相三通道图像给予早期复发预测标签0：；随后对多期相三通道图像集合中每一张多期相三通道图像进行病灶区域标注，得到多期相三通道图像对应的标注结果；模型训练模块，使用多期相三通道图像集合对多任务协作学习的肝细胞癌早期复发预测模型进行训练，训练过程中，使用随机梯度下降算法更新模型参数，得到训练好的多任务协作学习的肝细胞癌早期复发预测模型；所述多任务协作学习的肝细胞癌早期复发预测模型包括肝细胞癌病灶分割网络、早期复发预测网络和基于类激活图的分割结果修正模块；所述肝细胞癌病灶分割网络包括分割编码器和分割解码器；所述早期复发预测网络包括的卷积层、多层级信息指导的特征融合模块、残差块组合总模块、全局平均池化层和全连接层；所述基于类激活图的分割结果修正模块包括类激活图生成模块和分割结果改进模块；所述模型训练模块中，多期相三通道图像集合中任意一张多期相三通道图像输入至多任务协作学习的肝细胞癌早期复发预测模型后输出多期相三通道图像对应的早期复发预测概率和分割结果，具体包括以下子步骤：（a.1）多期相三通道图像集合中任意一张多期相三通道图像输入多任务协作学习的肝细胞癌早期复发预测模型，首先经肝细胞癌病灶分割网络中的分割编码器处理，得到第一编码特征图、第二编码特征图、第三编码特征图、第四编码特征图和第五编码特征图；所述步骤（a.1）具体为：多期相三通道图像集合中任意一张多期相三通道图像输入多任务协作学习的肝细胞癌早期复发预测模型，首先经肝细胞癌病灶分割网络中的分割编码器处理；所述分割编码器包括第一编码器、第二编码器、第三编码器、第四编码器和第五编码器；所述第一编码器包括2个卷积层、1个批归一化层和1个激活函数；所述第二编码器、第三编码器、第四编码器和第五编码器分别包括1个池化层、2个卷积层、1个批归一化层和1个激活函数；多期相三通道图像经第一编码器后，得到第一编码特征图：，其中，表示2次卷积、批归一化和激活操作；第一编码特征图经第二编码器后，得到第二编码特征图：，其中，表示池化操作；第二编码特征图经第三编码器后，得到第三编码特征图：；第三编码特征图经第四编码器后，得到第四编码特征图：；第四编码特征图经第五编码器后，得到第五编码特征图：；（a.2）随后将第一编码特征图、第二编码特征图、第三编码特征图、第四编码特征图和第五编码特征图输入至分割解码器处理，得到第一多层级分割特征图、第二多层级分割特征图、第三多层级分割特征图、第四多层级分割特征图和第五多层级分割特征图；所述步骤（a.2）具体为：随后将第一编码特征图、第二编码特征图、第三编码特征图、第四编码特征图和第五编码特征图输入至分割解码器处理；所述割解码器包括第一解码器、第二解码器、第三解码器、第四解码器和第五解码器；所述第一解码器、第二解码器、第三解码器、第四解码器和第五解码器分别包括上采样块、通道拼接块、2个卷积层、BatchNormalization模块和激活函数；第四编码特征图和第五编码特征图经第一解码器后，得到第五多层级分割特征图：，其中，表示上采样操作，表示对两个特征图进行通道拼接操作，表示2次卷积、BatchNormalization和激活操作；第五多层级分割特征图和第四编码特征图经第二解码器后，得到第四多层级分割特征图：；第四多层级分割特征图和第三编码特征图经第三解码器后，得到第三多层级分割特征图：；第三多层级分割特征图和第二编码特征图经第四解码器后，得到第二多层级分割特征图：；第二多层级分割特征图和第一编码特征图经第五解码器后，得到第一多层级分割特征图：；（a.3）随后将多期相三通道图像、第一多层级分割特征图、第二多层级分割特征图、第三多层级分割特征图、第四多层级分割特征图和第五多层级分割特征图输入至早期复发预测网络处理，得到第五预测特征图和多期相三通道图像的早期复发预测的概率；所述步骤（a.3）具体包括以下子步骤：（a.3.1）随后将多期相三通道图像、第一多层级分割特征图、第二多层级分割特征图、第三多层级分割特征图、第四多层级分割特征图和第五多层级分割特征图输入至早期复发预测网络处理；所述早期复发预测网络中的的卷积层对多期相三通道图像进行卷积操作，得到第一预测特征图：，其中，表示的卷积层的卷积操作；随后第一预测特征图和第一多层级分割特征图经多层级信息指导的特征融合模块处理后，得到第一融合特征：，其中，表示多层级信息指导的特征融合模块的融合操作；（a.3.2）随后将第一融合特征输入至残差块组合总模块处理，所述残差块组合总模块包括第一残差块组合模块、第二残差块组合模块、第三残差块组合模块和第四残差块组合模块；所述第一残差块组合模块包括池化层和3个残差块，每个残差块依次由的卷积层、批归一化层、的卷积层、批归一化层、的卷积层、批归一化层和ReLU激活函数组成；所述第二残差块组合模块包括的卷积层和4个残差块；所述第三残差块组合模块包括的卷积层和6个残差块；所述第四残差块组合模块包括的卷积层和3个残差块；第一融合特征经第一残差块组合模块处理后，得到第二预测特征图：，其中，表示经过3个残差块处理；将第二预测特征图和第二多层级分割特征图经多层级信息指导的特征融合模块处理后，得到第二融合特征：；第二融合特征经第二残差块组合模块处理后，得到第三预测特征图：，其中，表示经过4个残差块处理；将第三预测特征图和第三多层级分割特征图经多层级信息指导的特征融合模块处理后，得到第三融合特征：；第三融合特征经第三残差块组合模块处理后，得到第四预测特征图：，其中，表示经过6个残差块处理；将第四预测特征图和第四多层级分割特征图经多层级信息指导的特征融合模块处理后，得到第四融合特征：；第四融合特征经第四残差块组合模块处理后，得到第五预测特征图：；（a.3.4）随后将第五预测特征图输入至全局平均池化层中进行全局平均池化操作，随后输入至全连接层后，得到多期相三通道图像的早期复发预测概率：，其中，表示全局平均池化操作，表示全连接层的处理；（a.4）随后将第五预测特征图和第一多层级分割特征图输入至基于类激活图的分割结果修正模块，得到多期相三通道图像的分割结果；所述步骤（a.4）具体包括以下子步骤：（a.4.1）随后将第五预测特征图和第一多层级分割特征图输入至基于类激活图的分割结果修正模块；所述分割结果修正模块中的类激活图生成模块对第五预测特征图进行处理，所述类激活图生成模块包括的卷积层、ReLU激活函数和采样模块；首先经的卷积层、ReLU激活函数得到CAM注意力图：，其中，表示的卷积层的卷积操作，表示的卷积层的参数；随后将CAM注意力图经采样模块采样到与多期相三通道图像大小相同，并将数值归一化到[0,1]，得到类激活图；（a.4.2）随后将类激活图和第一多层级分割特征图输入至分割结果改进模块，所述分割结果改进模块依次由Reshape函数、Softmax激活层、通道拼接块、的卷积层和Softmax激活层组成；首先类激活图和第一多层级分割特征图分别经Reshape函数进行Reshape操作，得到特征图：和特征图：，其中，表示Reshape操作；再将特征图的转置和特征图的转置进行矩阵相乘后输入到Softmax激活层，得到相关系数矩阵：，其中，表示Softmax激活函数；然后将相关系数矩阵与特征图进行矩阵相乘后加到第一多层级分割特征图上，得到改进的特征图：；最后将改进的特征图与类激活图输入至通道拼接块中进行通道拼接操作后，并输入到的卷积层后，再输入到Softmax激活层中，得到多期相三通道图像的分割结果：；复发预测模块，用于基于训练好的多任务协作学习的肝细胞癌早期复发预测模型进行早期复发预测。

全文数据：

权利要求：

百度查询： 之江实验室 一种基于多任务协作学习的肝细胞癌早期复发预测系统