买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京工业大学

摘要：本发明公开了一种基于双重类别级对抗网络的图像语义分割方法，属于深度学习技术领域。包括以下步骤：首先，利用类别级对抗网络基于局部语义类别一致性的思想，兼顾源域和目标域的边缘分布对齐和条件分布对齐，使得源域和目标域进行协同训练，根据不同的对齐效果来调整相应对抗损失的权重；其次，通过计算目标预测的信息熵值确定目标图像的置信水平，依据熵值大小将目标域划分为集合一和集合二；最后，利用集合一及其预测图作为伪标签，再次使用CLAN模型训练集合二图像，以减少域内差异，从而有效提升不同数据集间的自适应水平，提高算法的泛化性能。本发明基于多个数据集进行实验，验证了该方法的可行性，能够有效提高语义分割效率。

主权项：1.一种基于双重类别级对抗网络的图像语义分割方法，其特征在于，所述方法包括以下步骤：步骤一：获取图像数据集，获取用于源域的合成图像数据集GTA5，即视频游戏数据集，以及虚拟城市数据集SYNTHIA，获取用于目标域的真实图像数据集Cityscapes，即城市景观数据集，该数据集由训练集和测试集两部分组成，其中训练集用来训练模型，测试集则用来评估模型的泛化能力；步骤二：构建域间类别级对抗网络，所述域间类别级对抗网络由域间生成器和域间鉴别器组成，其中，域间生成器由特征提取器和两个互斥分类器构成，将步骤一中源域和目标域图像输入域间类别级对抗网络进行协同训练，计算源域和目标域之间的差异；步骤三：计算网络的对抗损失函数并进行两域间的自适应网络的训练：输入图像进行步骤二的操作后，通过两个互斥分类器得到两个预测张量，计算两个张量之间的距离差异由此调整对抗损失大小，使用对抗损失函数训练源域和目标域之间的类别级对抗网络；步骤四：划分目标域图像，利用步骤三中训练好的网络输出目标预测图，计算预测图的信息熵值，根据熵值大小排序，并依据比率λE将目标域划分为集合一和集合二两部分，集合一的熵值小于集合二的熵值，且集合一占总目标域的比例为λE；步骤五：目标域内的自适应训练，将步骤四中的集合一看作源域，其预测图作为伪标签，并将集合二看作目标域，二次利用类别级对抗网络进行域内自适应训练；步骤六：训练总体模型并获得分割结果，将Cityscapes中的测试集图像输入步骤五训练好的网络中，以实现对测试集图像的语义分割；步骤四中，划分目标域图像包括以下步骤：步骤一：将目标域图像输入上述步骤训练好的类别级对抗网络中，并得到目标域图像的预测图；步骤二：计算目标域预测图中每个像素点的信息熵值： 其中，域间生成器G1以目标图像Xt作为输入，生成像素级的分割预测值Pth,w,c，对其进行熵映射计算；步骤三：在步骤二的基础上，求出每幅图的熵映射值，并将该值从小到大排列： 其中，RXt是熵图It的平均值，H和W为图像的高和宽，h和w为每个像素的高和宽值，当域间适应网络模型达到最优时，根据域间生成器G1产生的预测分割图计算每个像素为C类语义概率的熵值Ith,w,c，并且求该熵图的平均值RXt，按照从低到高的次序将目标域熵图进行排序，然后将目标域熵图与原目标域图像一一对应；步骤四：引入超参数λE作为目标域集合一占总目标域的比率，将目标域分为两部分，即集合一和集合二，并且，集合二的熵图平均值高于集合一的熵图平均值，需要对集合二图像进行进一步训练，令Xte和Xth分别表示分配给集合一和集合二的目标图像，λE定义如下： 其中，|Xte|是集合一的基数，|Xt|是整个目标域的基数；步骤六中，训练总体模型并获得分割结果包括以下步骤：步骤一：设置域间自适应和域内自适应的总体损失函数L如下形式： 根据以下公式学习目标模型： 由于使用了双重类别级对抗网络，其包括有域间和域内两部分参数，分别用i＝1和i＝2来表示，即L1是域间自适应的总体损失函数，L2则是域内自适应的总体损失函数，G1是域间生成器，G2则是域内生成器，D1是域间鉴别器，D2则是域内鉴别器，分别为域间自适应的分割损失、权重差异损失和对抗损失函数，则分别为域内自适应的分割损失、权重差异损失和对抗损失函数，λ1weight、λ1adv分别为域间自适应中控制权重差异损失和对抗损失的超参数，λ2weight、λ2adv分别为域内自适应中控制权重差异损失和对抗损失的超参数；步骤二：首先，对模型进行域间自适应训练，以优化模型的G1和D1，其次，基于RXt对目标图像进行排序，并利用G1生成目标域伪标签，训练域内自适应模型优化G2和D2；步骤三：对跨域适应G1模型进行了70,000次迭代训练后，使用G1生成Cityscapes训练集的2975幅图像的分割图和熵图，利用RXt得到所有目标域图像的分割难易程度系数，利用排序算法将所有图像的RXt值从小到大排序，并结合λE将目标域划分为两个子集合，即集合一和集合二，并且，集合二的RXt值大于集合一的RXt值，集合一占总目标域的比例为λE，集合二占总目标域的比例为1-λE；步骤四：用SGD优化器训练G1和G2，动量为0.9，初始学习率设置为2.5×10-4，权重衰减设为10-4，用Adam优化器训练D1和D2，初始学习率为10-4，且在训练期间保持不变，训练时使用512×1024大小的图片，将预测图上采样2倍，进行分割结果评估；步骤五：实验采用检测评价函数： 对每个类别进行语义分割性能评估，其中TP、FP和FN分别为真正、假正和假负像素的个数，k为类别数。

全文数据：

权利要求：

百度查询： 南京工业大学 基于双重类别级对抗网络的图像语义分割方法