买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连理工大学

摘要：本发明属于图像处理方法技术领域，公开了一种异构双分支投票半监督图像分割方法，旨在通过结合卷积神经网络和注意力机制的网络，来提高半监督语义分割任务中伪标签的质量和模型的精度。该方法特别适用于处理大规模、少标记或无标记的图像数据集。本发明通过异构网络结构生成伪标签，利用特征交流分支和动态投票机制增强模型的预测能力，从而减少确认偏差问题并提供更精确的分割结果。该方法包括数据预处理、伪标签生成和模型训练三大步骤，通过实验验证表明，所提方法在多个标准数据集上的表现优于现有技术，特别是在处理复杂场景和细粒度对象时表现出更高的鲁棒性和准确性。

主权项：1.一种异构双分支投票半监督图像分割方法，其特征在于，包括如下步骤：步骤1：数据预处理（1）数据集选择与裁剪：使用增强版PascalVOC2012数据集和Cityscapes数据集；增强版PascalVOC2012数据集由经典PascalVOC2012数据集和语义边界数据集组成；其中经典PascalVOC2012数据集包括高质量人工标注的训练图像和验证图像，语义边界数据集包含粗糙人工标注的图像；对增强版PascalVOC2012数据集中的图像进行裁剪至513×513分辨率，对Cityscapes数据集中的图像裁剪至801×801分辨率；（2）数据集划分：首先根据半监督语义分割的经典协议和混合协议分别对增强版PascalVOC2012数据集中的训练集进行划分，划分方式如下：1）使用经典协议划分：从经典PascalVOC2012数据集训练集的高质量人工标注的训练图像中挑选数据并划分为有标注训练子集，剩余数据划分为无标注训练子集；具体为：分别将包含高质量人工标注的训练集总图像数的116、18、14、12作为有标注训练子集，其余作为无标注训练子集；2）使用混合协议划分：从增强版PascalVOC2012的全部训练集中挑选数据并划分为有标注训练子集，其余数据作为无标注训练子集；具体为：分别将全部训练集总图像数的116、18、14的图像作为有人工标注训练子集，其余作为无标注训练子集；将Cityscapes数据集中的训练集总图像数的116、18、14、12的图像作为有标注训练子集，其余作为无标注训练子集；（3）数据增强：对数据集中的所有输入图像均使用两种数据增强方式，包括弱增强和强增强；弱增强是对两个数据集中训练集的输入图像使用随机裁剪和翻转；强增强是在弱增强的基础上通过CutMix方法对同一批次的不同图像进行拼接；首先对输入的一个批次的图像应用弱增强，将弱增强后的图像通过异构网络来生成伪标签，而后再对同一批次的图像使用强增强，将强增强后的图像输入网络进行监督预测；步骤2：伪标签的构建（1）构建异构网络：异构网络包括两个并行的第一网络和第二网络，第一网络使用DeepLabV3+结构，其编码器采用ResNet结构，为ResNet-50或ResNet-101，解码器使用二维卷积与上采样层结合；第二网络采用带有注意力机制的SegFormer网络；第一网络和第二网络作为各自的原始分支，在原始分支的编码器和解码器之间均增加交流分支，原始分支负责处理经过数据增强后的图像并产生分割结果，交流分支负责利用特征通信模块融合两个并行的网络的另一网络的编码器提取出的图像特征；在第一网络和第二网络的解码器后引入投票模块，其通过对第一网络和第二网络解码器的输出进行置信度预测并按规则产生伪标签；特征通信模块的实现过程：首先通过线性插值和卷积操作处理来自两个并行的网络的另一网络编码器提取出的图像特征，并引入0.5的dropout概率以增强图像特征的多样性；之后将处理后的图像特征与本网络编码器提取出的图像特征进行加权融合以优化图像特征的互补信息，其具体过程由如下公式来表示： 其中，表示第张图像，表示输入的图像特征，表示网络标识，表示融合后的图像特征，是可调节的比例系数，在第一网络中为0.01，在第二网络中为0.1，表示线性插值和卷积操作，表示求取余数；（2）网络预测与伪标签优化：建立异构网络后，将弱增强处理后的图像分别通过第一网络和第二网络进行预测，再将预测结果送入投票模块中；投票模块对预测结果使用torch的max函数来确定每个像素的类别并预测置信度；再使用Softmax对预测置信度进行归一化；伪标签根据归一化后的各像素的置信度和生成的随机数按规则产生，其具体过程如下：首先将两个数据集中的经过弱数据增强处理后的无标注训练子集中的图像送入异构网络的原始分支上进行预测，得到第一网络和第二网络上的预测结果和；将这两个预测结果送入投票模块中，投票模块对预测结果使用torch.max函数来确定每个像素的类别并预测置信度： 其中，和分别表示模型的预测结果以及相应的类别标签，表示第张图像，表示第个像素位置；对于预测结果中的每个像素位置，第一网络和第二网络的输出先通过Softmax函数进行处理，计算出每个网络对应的概率结果和，随后利用torch.rand函数生成的0到1之间的随机数来决定像素类别标签，通过对归一化概率和随机数的大小的比较决定采用第一网络或第二网络的预测结果，这个过程的公式表达如下： 其中，和分别表示模型的第一网路和第二网络预测概率最大的类别的概率，和为第一网络和第二网络最大概率预测对应的类别，表示最终的伪标签，C表示总体类别数量；步骤3：模型训练1无标注图像训练：对两个数据集进行训练时，异构网络将训练集中的无标注训练子集中的图像送入两个网络中，每个网络首先通过编码器提取图像特征得到对应的特征图，随后每个网络通过交流分支和原分支分别对编码器生成的特征图进行预测，两个网络分别得到两个预测结果，最终共得到四个预测结果；而后利用步骤2生成的伪标签与四个预测结果进行交叉熵损失的计算： 其中，表示无标注图像的集合，表示交叉熵损失，和分别表示原分支和特征交流分支上的预测结果，H和W表示特征图的长度和宽度，表示无标注损失；2有标注图像训练：该过程和无标注图像训练相同，得到四个预测结果，但使用图像的真实标注而不是伪标签来进行预测结果的计算： 其中，表示有标注图像的集合，表示有标注图像标签，表示有标注损失；3损失计算与优化：计算有标注图像和无标注图像的损失，有标注图像产生的预测结果受真实标注标签监督并计算交叉熵损失，无标注图像产生的预测结果受步骤2产生的伪标签监督，并计算交叉熵损失；通过将有标注图像损失和无标注图像损失进行加权得到总损失，并进行模型的反向传播和优化，其中损失比例权重由参数控制；具体公式如下： 其中，为控制损失的比例系数。

全文数据：

权利要求：

百度查询： 大连理工大学 一种异构双分支投票半监督图像分割方法