买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆邮电大学

摘要：本发明请求保护一种基于语义信息候选框的改进弱监督目标检测方法，属于图像处理领域。包括以下步骤：S1：输入待处理图像数据，并采用包括随机水平翻转在内的预处理步骤；S2：设计组合主干网络，用于融合来自掩膜和非掩膜的网络分支的特征；S3：设计基于多示例选择算法的多分支检测头网络；S4：设计目标语义候选框，通过对网络模型生成的目标语义信息进行循环掩膜来从而生成更合理的目标候选框；S5：在自然数据集上进行检测。基于该方法，在具有挑战性的PASCALVOC2007和2012公开数据集上进行了评估。实验结果表明，本发明提出的方法可以在PASCALVOC2007和2012数据集上实现较好的性能，并且优于许多较为先进的弱监督目标检测方法。

主权项：1.一种基于语义信息候选框的改进弱监督目标检测方法，其特征在于，包括以下步骤：S1：输入待处理图像数据，并采用包括随机水平翻转在内的预处理步骤；S2：设计组合主干网络，用于融合来自掩膜和非掩膜的网络分支的特征，非掩膜的网络分支任务是粗略地找到局部有显著区别的目标部分并对该目标进行定位，而掩膜分支的任务是屏蔽显著特征，并且保留不明显特征在网络中的响应；S3：设计基于多示例选择算法的多分支检测头网络，基于多示例选择算法的多分支检测头网络为每个目标类别生成更多具有较高置信度的伪真实目标框，从而令网络模型得到更多与目标相关的候选框，进而得到更合理的训练；S4：设计目标语义候选框，通过对多分支检测头网络模型生成的目标语义信息进行循环掩膜来从而生成更合理的目标候选框；S5：在自然数据集上进行检测；所述步骤S1输入待处理图像数据，并采用包括随机水平翻转在内的预处理步骤，具体包括以下步骤：通过随机水平翻转操作，利用五个图像尺度{480、576、688、864、1200}随机调整训练图像的最短边的大小对网络模型进行训练；在测试阶段，通过综合分析每个图像的所有刻度及其水平翻转来计算预测的输出结果；所述S2中，还包括以下步骤：给定一幅图像，基于像素级和目标语义特征生成候选框，并将其输入空间金字塔池层SPP，从组合主干网络中提取特征和候选框的坐标后，将候选框映射到特征图，以获得感兴趣区域RoI；由于每个RoI都有自己的大小，因此SPP层通过替换位于组合主干网络最后一层的最大池层来获得具有固定大小的RoI；然后，改进检测头网络中的并行全连接层将输出一系列候选框的特征向量；所述步骤S2中，划分显著及不明显特征的方法是在通过这两个独立的分支之前，从特征图中提取平均值和最大值；如果某个具体位置的特征值高于阈值，显著特征将被屏蔽，从而使得不明显特征经过组合主干网络后其响应得以增强；此外，有两种方法可以对显著特征进行屏蔽；一种是硬性掩膜方法，另一种是软性屏蔽方法，可分别在公式3和公式4中显示， 其中，fi,j表示特定位置的特征值，mean、Max分别表示当前特征图的均值及最大值，和分别采用硬屏蔽和软屏蔽的方法来表示结果，α是一个超参数，用于控制阈值大小；所述S3中，多分支检测头网络包括以下两个步骤：首先，所有候选框在多分支检测头网络的顶部分支部分进行共同训练，以找到潜在的目标候选框，图像级类别标签作为该分支的标签；然后，网络模型只会关注与目标相关的潜在候选框区域，并对与该区域关联的网络部分进行训练，并且上一个网络分支中生成的伪真实目标检测框标签作为新的监控输入下一个网络分支；所述步骤S3中引入多示例选择MIS算法，用于在每一类中生成多个具有高置信度的伪真实坐标框，并将其发送给后一个网络分支，以便训练出与真实目标更相关的候选框；基于每个网络分支中候选框在每个类别上的分数不同，将所有分数从高到低进行排序，并将重点放在前10％分数的候选框P′上，作为伪真实目标检测框的来源；将设置一个K的阈值，以限制每个类别中伪真实目标检测框的数量；然后，在每一类中使用相同的阈值来确定候选框是否可以充当伪真实目标框箱；在改进检测头网络中，每个类将生成多个伪真实目标检测框，在这些伪真实目标框中计算出的最大IoU高于和低于0.5的候选框将分别被视为前景和背景，将标准交叉熵损失乘以第k个检测分支中的γk权重，以便通过调整γk的值来平衡前景和背景样本的损失函数，对于第k个改进选择检测分支，其损失函数如下所示： 其中，分别表示与当前候选框相关的伪真实目标框的预测结果，背景类别标签信息和背景类别样本的输出结果，γk分别表示第k个精调选择检测头的损失值和正负样本平衡权值，和分别表示第c个类别和第p个候选框的背景成本，以第k类为单位C是类别总数，|P|等于候选框总数，C+1代表背景的类别标签，和表示第k个检测分支中候选框p的第c个类别的标签信息和输出结果；表示与当前候选框相关的伪真实目标框的预测结果，背景类别标签信息和背景类别样本的预测结果；然后，将顶部粗糙选择检测头的标准二进制交叉熵函数公式8并入整个模型损失函数，以使网络进行联合训练；因此，用于训练整个网络的损失函数如公式9所示； Pc、yc、L分别表示在第c类的所有候选框的预测结果之和，第c类的样本标签信息及网络模型的总损失值；所述步骤S4中采用了一个循环掩膜方法来屏蔽这些显著特征部分，进而生成合理目标候选框，具体包括：生成目标语义候选框的整个过程可分为三个阶段，分别称为屏蔽阶段、合成阶段和生成阶段；屏蔽阶段的目的是消除物体的局部显著特征部分；合并阶段是将每个循环中平均生成的这些网络响应进行融合；生成阶段是基于生成的目标区域生成候选框。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种基于语义信息候选框的改进弱监督目标检测方法