买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：一种基于混合注意力的阴影检测方法，包括如下步骤，步骤S1.获取用于训练系统的待处理公用阴影数据集;步骤S2.获取待检测图像；步骤S3.对数据集进行预处理获取对应的训练集与测试集；步骤S4.对待测图像进行预处理；步骤S5.搭建核心神经网络的各模块并进行融合，构建基于混合注意力机制的卷积神经网络；步骤S6.计算卷积神经网络预测与标签的损失，根据损失调整卷积神经网络的参数；步骤S7.将预处理后的待测图像输入到完全训练的卷积神经网络；步骤S8.输出阴影检测结果,对各像素进行阴影属性分类。该方法增加了跨通道维度间和全局阴影特征的提取能力，降低了语义间的关联性，提升了检测系统的泛化性与高效性，使得阴影检测结果更加精确。

主权项：1.一种基于混合注意力的阴影检测方法，其特征在于，包括如下步骤，步骤S1.获取用于训练系统的待处理公用阴影数据集；步骤S2.获取待检测图像；步骤S3.对数据集进行预处理获取对应的训练集与测试集；步骤S4.对待测图像进行预处理；步骤S5.搭建核心神经网络的各模块并进行融合，构建基于混合注意力机制的卷积神经网络；步骤S6.计算卷积神经网络预测与标签的损失，根据损失调整卷积神经网络的参数；步骤S7.将预处理后的待测图像输入到完全训练的卷积神经网络；步骤S8.输出阴影检测结果,对各像素进行阴影属性分类；所述步骤S5中的核心神经网络的各模块的搭建包括预训练卷积神经网络ResNeSt50的搭建、重复十字交叉注意力模块的搭建、注意力模块CBAM的改进与搭建和上采样与特征融合输出模块的搭建；所述预训练卷积神经网络ResNeSt50包括3个3×3卷积层，通道数为64，步数为2；1个3×3最大池化层，步数为2；3个重复的第一残差卷积块，每个重复的第一残差卷积块包括1个通道数为64的1×1卷积层、1个通道数为128的3×3卷积层、1个通道数为32的1×1卷积层、1个通道数为128的1×1卷积层、1个通道数为256的1×1卷积层；4个重复的第二残差卷积块，每个重复的第二残差卷积块包括1个通道数为128的1×1卷积层、1个通道数为256的3×3卷积层、1个通道数为64的1×1卷积层、1个通道数为256的1×1卷积层、1个通道数为512的1×1卷积层；6个重复的第三残差卷积块，每个重复的第三残差卷积块包括1个通道数为256的1×1卷积层、1个通道数为512的3×3卷积层、1个通道数为128的1×1卷积层、1个通道数为512的1×1卷积层、1个通道数为1024的1×1卷积层；3个重复的第四残差卷积块，每个重复的第四残差卷积块包括1个通道数为512的1×1卷积层、1个通道数为1024的3×3卷积层、1个通道数为256的1×1卷积层、1个通道数为1024的1×1卷积层、1个通道数为2048的1×1卷积层以及各残差卷积块间用于下采样的卷积层；所述重复十字交叉注意力模块由两个CCA模块串联而成，其输入和输出特征图尺寸一致，CCA模块将形状为n,c,x,y的特征图分别输入三个1×1卷积层，其中n为批量大小，c为特征图通道数，x和y为特征图尺寸，获取通道数为c2的特征图Q、K、V；将Q和K进行关联操作，再通过softmax函数获取加权特征图，再把加权结果与V进行聚合操作后与原始特征图相加获取最终的特征图；所述关联操作的公式为其中，Qu、Ωu分别为在特征图Q、K上位置为u的向量，为Ωu的第i个元素的转置，di,u为Qu和Ωi,u的相关程度；所述聚合操作的公式为其中，φi,u、Ai,u分别为在特征图V、A中在第i个通道和位置u上在同一行或同一列特征向量的标量值；Hu为原始特征图H在位置u上的特征向量，Hu'为最后生成的注意力特征图在位置u上的特征向量；所述softmax函数的公式为其中，Zi为第i个节点的输出值，C为输出节点的个数，即分类的类别个数；通过Softmax函数将多分类的输出值转换为范围在[0,1]和为1的概率分布；所述注意力模块CBAM包括空间域注意力生成模块SAM、空间域注意力生成模块CAM和注意力融合模块；空间域注意力生成模块的生成公式为 其中，MsF为空间域注意力矩阵，为空间域平均池化生成矩阵，为空间域最大池化生成矩阵，AvgPool、MaxPool和Sigmoid分别为平均池化操作、最大池化操作和Sigmoid转化，f7×7为卷积核尺寸为7×7的卷积操作；所述通道域生成模块的生成公式为 其中，McF为通道域注意力矩阵，为通道域平局池化生成矩阵，为通道域最大池化生成矩阵，AvgPool、MaxPool和Sigmoid分别为平均池化操作、最大池化操作和Sigmoid转化，MLP为一种多层感知机；所述注意力融合模块的融合公式为FAttention＝F×MsF×McF×MsF，其中，FAttention为融合注意力的新特征图，MsF为空间域注意力矩阵，McF为通道域注意力矩阵；所述所述注意力模块CBAM的改进包括替换通道域生成模块、改进空间域注意力生成模块和改进注意力融合模块，所述替换通道域生成模块为将ResNeSt50中4个不同数量的重复残差卷积块替换原来的通道域模块；所述改进空间域注意力生成模块为在CBAM空间域注意力生成模块添加经过重复十字交叉注意模块得到的通道数为1的特征图，与原有平均池化、最大池化结果连接后再输入3个3×3降维卷积层，输出空间域注意力矩阵；所述改进空间域注意力生成模块的公式为 其中，MsF为空间域注意力矩阵，为空间域平均池化生成矩阵，为空间域最大池化生成矩阵，为空间域卷积生成矩阵，AvgPool、MaxPool和Sigmoid分别为平均池化操作、最大池化操作和Sigmoid转化，f3*3×3为卷积核尺寸为3个3×3的卷积操作，CCACCA为经过两次CCA模块操作，RCCA表示重复十字交叉注意模块；所述改进空间域注意力生成模块为在原有注意力融合模块开始处添加降维卷积模块，降维卷积模块由3×3卷积层、批量归一化层组合而成；F′＝f3*3×3F所述改进注意力融合模块的公式为FAttention＝F′×MsF′×McF′×MsF′，其中，FAttention为融合注意力的新特征图，MsF为空间域注意力矩阵，McF为通道域注意力矩阵，f3*3×3为3个卷积核为3的卷积操作；所述特征融合输出模块的特征融合操作包括由改进空间域生成后的多通道特征图进行上采样：从最底层向上图像尺寸全都上采样为80×80，通道数依次为256、128、64、64，然后依次按通道维度进行拼接。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种基于混合注意力的阴影检测方法