买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

摘要：本发明提供一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法，其特征在于：首先，对数据集中的原始眼底图像进行医学图像适用的预处理；其次，构建基于语义分割的注意力网络模型进行特征提取；然后，构建病灶感知模块、特征保持模块、特征融合模块和头部注意力模块从所提特征中抽取病灶相关信息，生成病灶检测概率图；最终，由输入的眼底彩照，利用此注意力模型所得病灶检测概率图引导眼病筛查，获得带有糖尿病性视网膜病变病灶信息的眼底照片识别结果。本发明可以有效获取眼底照片中相关病灶信息，在自动筛查糖尿病性视网膜病变的同时生成具有可解释性的病灶检测概率图，可较好地辅助眼科医生诊断，具有广阔的临床应用前景。

主权项：1.一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法，其特征在于，包括如下步骤：S1、获取糖尿病性视网膜病变眼底彩照数据集，对原始图像进行医学图像的预处理；S2、构建基于语义分割的注意力网络模型进行特征提取；S3、构建病灶感知模块、特征保持模块、特征融合模块和头部注意力模块从所提特征中抽取病灶相关信息，生成病灶检测概率图；其中：步骤S1中所述糖尿病性视网膜病变眼底彩照数据集包括：正常眼底彩照和非增殖期糖尿病视网膜病变眼底彩照，并包含图像级患病标签以及像素级微动脉瘤、出血、硬性渗出和软性渗出四种相关病灶掩码标注；其中非增殖期糖尿病视网膜病变包括轻度、中度、重度三种级别；步骤S1中所述对原始图像进行医学图像的预处理包括：A.裁剪图像四周多余的黑色背景，以得到正方形图像；B.将样本图像由RGB颜色空间转换到Lab色彩空间，针对亮度层L通道做限制对比度的自适应直方图增强，再转换回RGB颜色空间，以此增强图像细节；C.缩放图像尺寸为统一大小以便于输入模型；D.使用最大最小标准化做归一化处理使像素值分布在[0,1]区间以加快模型训练速度；E.对训练集中图像采用随机角度中心旋转、随机垂直翻转和随机水平翻转做数据增广以防止过拟合；步骤S2中所述基于语义分割的注意力网络模型采用编码器-解码器结构；采用ResNet-50作为编码器提取图像低级特征；采用步骤S3中所述病灶感知模块、特征保持模块、特征融合模块和头部注意力模块四部分组成解码器；所述编码器四个分层分别输出四个不同尺度和深度的低级特征与之对应的解码器输出四个不同尺度的病灶高级特征对应关系如下： 其中，为编码器最后一层所输出的深度最深的特征，即深层语义特征，和分别代表第i个病灶感知模块、特征融合模块和特征保留模块操作，各个模块之间均不共享权值，fHAM·代表头部注意力模块操作；由四个病灶高级特征经过核大小为3×3卷积和Sigmoid激活函数层操作fout·生成四个不同尺度的四种病灶检测概率图所述病灶感知模块操作通过方向感知特征提取和自注意力机制获取病灶信息，得到病灶感知高级特征xdec，具体公式如下： 其中，i,j,c分别代表特征图不同维度的索引，x1是由病灶感知模块的输入x经过核大小为3×3的卷积层操作fconv·得到，fh·和fv·分别代表核大小为3×1的水平卷积和核大小为1×3的垂直卷积操作以获取方向信息，fort·代表一个核大小为1×1的卷积操作，得到方向感知特征xort，xatt为x经过全局注意力提取得到的维度为1×1×C的全局注意力特征图，xort与xatt做Hadamard乘积得到病灶高级特征xdec，所述全局注意力提取计算公式如下： 其中，i,j,c分别代表特征图不同维度的索引，e为自然常数，x2是由病灶感知模块的输入x经过核大小为1×1的卷积层操作fconv·得到，全局注意力提取计算公式中的H和W分别代表x2的高和宽；病灶感知模块中全局注意力提取计算公式的xg为病灶感知模块的全局特征图，fg·代表两次核大小为1×1的卷积层操作；所述特征保持模块操作使用全局注意力提取和保留来自编码器最后一层输出的深层语义特征，公式表示为： 其中，i,j,c分别代表特征图不同维度的索引，e为自然常数，xt是由编码器最后一层输出的深层语义特征经过核大小为1×1的卷积层操作fconv·得到，特征保持模块的H和W分别代表xt的高和宽；特征保持模块的xg为特征保持模块的全局特征，xFPB为特征保持模块输出的全局注意力特征图，所述特征融合模块操作是融合解码器部分浅层低级的形状感知特征、深层的语义特征和解码器部分上一层病灶感知模块输出的病灶感知高级特征，公式表示为： xfusei,j,c＝fconv3fconcz1i,j,c×xFPBc,z2i,j,c×xFPBc,z3i,j,c×xFPBc其中，fup1·和fup2·表示双线性插值上采样层操作，fconc·代表通道维度拼接，fconv1·,fconv2·和fconv3·均代表核大小为3×3的卷积层操作，xFPB为特征保持模块输出的全局注意力特征图，xfuse为特征融合模块所输出的融合特征，所述头部注意力模块是针对编码器最后一层所输出的深层语义特征做空间注意力操作和通道注意力操作，步骤S2所述基于语义分割的注意力网络模型，在训练过程中，使用随机梯度下降做优化器，使用先升后降的动态学习率，其中动态学习率最小值设为0.001、最大值设为0.1，对四种不同尺度的病灶检测概率图双线性插值上采样到原始输入图像大小，分别使用带正样本加权的二值交叉熵函数做损失函数，其定义公式如下： 其中，损失函数的H和W分别为病灶检测概率图的高和宽，gi,j代表病灶掩码标注，xouti,j代表病灶检测概率图，α为正样本加权权重，所述α为10；四种不同尺度病灶检测概率图得到的损失累加得到总的损失值，然后经过反向传播进行权重调优，在验证过程中，使用平均交并比作为评价指标选取最佳模型，平均交并比计算公式为： 其中，N为样本个数，K为病灶种类数，和分别代表第i个眼底彩照样本的第k种病灶的检测概率图和相应的掩码标注。

全文数据：

权利要求：

百度查询： 江西财经大学 一种基于注意力模型的糖尿病性视网膜病变病灶图像识别方法