买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学

摘要：本发明公开了一种基于代表性特征对齐的域适应目标检测方法，包括：1数据获取；2数据处理；3模型构建；4定义损失函数；5参数调优；6检测结果输出。本发明构建了一个集成了代表性特征提取模块、多级代表性特征自适应融合模块、代表性特征对齐模块、基于上下文的分类正则化模块和全局特征对齐模块这五个模块的域适应目标检测网络，代表性特征包含物体的局部结构特征和语义鉴别性特征，通过将有标签的源域图像和无标签的目标域图像的相同类别的物体的代表性特征对齐，实现精确的特征对齐，得到在无标签的新场景下的准确的目标检测结果。

主权项：1.一种基于代表性特征对齐的域适应目标检测方法，其特征在于，包括以下步骤：1数据获取将源域图像数据集和目标域图像数据集均划分为训练集和测试集，源域图像数据集的训练集有标签，目标域图像数据集的训练集没有标签；2数据处理将源域图像数据集和目标域图像数据集中的图像和标签通过预处理转化为训练域适应目标检测网络所需要的格式；3模型构建构建一个集成了代表性特征提取模块、多级代表性特征自适应融合模块、代表性特征对齐模块、基于上下文的分类正则化模块和全局特征对齐模块这五个模块的域适应目标检测网络，通过代表性特征对齐，实现精确的特征对齐，提升域适应目标检测网络的泛化能力和在无标签的新场景下的检测性能；代表性特征指的是物体的局部结构特征和语义鉴别性特征的综合，局部结构特征指物体的轮廓、纹理，语义鉴别性特征指包含物体所属类别的语义信息的特征，代表性特征能精确地描述物体，代表性特征对齐指将源域图像中的物体的代表性特征和目标域图像中与源域同类别的物体的代表性特征拉近，提升域适应目标检测网络在目标域图像上的检测性能；构建的域适应目标检测网络是基于FasterR-CNN进行改进，整体网络分为主干网络和目标检测头两大部分，主干网络表示为F，F能够对输入的源域图像或目标域图像进行全局特征提取，将F划分为三个中间层，分别表示为F1、F2、F3，输入的源域图像或目标域图像依次经过F1、F2和F3，分别提取全局特征，中间层的层数越高，提取的全局特征包含越高级别的语义信息，再将最后一个中间层F3提取的全局特征输入目标检测头进行目标检测；为了分离出物体的代表性特征，实现精确的代表性特征对齐，构建的域适应目标检测网络集成了五个模块，分别为：a、代表性特征提取模块将第i张源域图像或目标域图像统一记作xi，类别数量记作K，xi对应的第j个中间层提取的全局特征记作Fjxi，对Fjxi分别进行全局最大池化GMP和全局平均池化GAP后相加，将得到的特征输入一个由全连接层组成的类别权重生成器进行全局特征的多类别分类，类别权重生成器预测K个类别的概率向量，概率向量有K个条目，每个条目表示一个类别在图像中出现的概率，因为源域图像有标签，能够对类别权重生成器进行训练，然后提取类别权重生成器学习到的每个类别的类别权重，设定一个阈值θ，类别的概率低于θ，就将该类别的类别权重置零，由此剔除源域图像或目标域图像中不存在的类别的类别权重，每次迭代需要经过类别选择，只留下源域图像和目标域图像的共有类别的类别权重，再将类别权重和Fjxi按通道相乘得到对应的代表性特征，表示为：fik＝ωk·Fjxi式中，fik表示图像xi中类别k的代表性特征，ωk表示类别k的类别权重；b、多级代表性特征自适应融合模块对三个中间层输出的全局特征分别通过代表性特征提取模块RFE提取代表性特征，低层网络提取的代表性特征包含物体的局部结构特征，高层网络提取的代表性特征包含物体的语义鉴别性特征，将从三个中间层提取的代表性特征分别输入挤压和激励块SE之后再进行特征连接，使得多级代表性特征自适应融合，得到精确的代表性特征；c、代表性特征对齐模块构建由K个鉴别器组成的鉴别器组，将第k个类别的代表性特征经过多级代表性特征自适应融合模块后，通过一个梯度反转层GRL后再输入鉴别器组中的第k个鉴别器进行对抗训练，第k个鉴别器预测输入的第k个类别的代表性特征的域标签，源域的域标签为0，目标域的域标签为1，鉴别器区分代表性特征来自源域还是目标域，主干网络不断混淆鉴别器的判断，两者互相对抗，最终实现源域和目标域对应类别的代表性特征对齐，提高域适应目标检测性能；d、基于上下文的分类正则化模块将目标检测头中的区域建议网络RPN生成的候选区域经过RoIAlign之后得到的特征叫做实例特征，每个实例特征分别输入目标检测头中的全连接层进行分类和回归，将主干网络最后一个中间层提取的全局特征缩放至和实例特征的大小相同，该特征包含整张图像的信息，因此叫做上下文，将上下文和实例特征连接，再次输入全连接层进行分类，然后限制实例特征的分类结果和连接了上下文的实例特征的分类结果相等，实现基于上下文的分类正则化，进一步提高域适应目标检测性能；e、全局特征对齐模块将三个中间层提取的全局特征通过梯度反转层GRL后分别对应输入三个鉴别器D1、D2和D3实现对抗训练，这三个鉴别器预测输入的全局特征的域标签，鉴别器区分全局特征来自源域还是目标域，主干网络不断混淆鉴别器的判断，两者互相对抗，实现源域和目标域全局特征的对齐，辅助代表性特征对齐；4定义损失函数为代表性特征提取模块、代表性特征对齐模块、基于上下文的分类正则化模块和全局特征对齐模块这四个模块分别定义损失函数，将这四个模块的损失函数加权求和，再和目标检测的损失函数相加，得到用于训练域适应目标检测网络的损失函数；目标检测的损失函数是指FasterR-CNN在源域图像上的分类损失和回归损失之和，用Ldet表示，四个模块的损失函数分别为：a、类别权重生成器损失函数代表性特征提取模块里面有一个类别权重生成器，将类别数量表示为K，类别权重生成器预测K个类别的概率向量，单个类别权重生成器损失函数Lcwg采用交叉熵损失函数，定义为： 式中，s表示源域，i表示图像的序号，Ns表示源域图像的数量，和分别表示第i张源域图像的类别标签和类别权重生成器预测的K个类别的概率向量，在多级代表性特征自适应融合模块中，对三个中间层输出的全局特征分别提取代表性特征，相应有三个类别权重生成器损失函数，相加得到最终的类别权重生成器损失函数LCWG，定义为： 式中，m表示中间层的序号，Nl表示中间层的数量，表示第m个中间层对应的单个类别权重生成器损失函数；b、代表性特征对齐损失函数代表性特征对齐模块里面的由K个鉴别器组成的鉴别器组的对抗训练损失函数叫做代表性特征对齐损失函数Lr，Lr采用交叉熵损失函数，定义为： 式中，s和t分别表示源域和目标域，i和k分别表示图像的序号和类别的序号，Ns和Nt分别表示源域图像的数量和目标域图像的数量，和分别表示第i张源域图像和第i张目标域图像经过多级代表性特征自适应融合模块得到的第k个类别的代表性特征，和分别表示鉴别器组Dr中对应第k个类别的鉴别器对和的输出结果；c、基于上下文的分类正则化损失函数基于上下文的分类正则化模块里面使用基于上下文的分类正则化损失函数限制有上下文的实例特征的分类结果和无上下文的实例特征的分类结果相等，基于上下文的分类正则化损失函数Lkl采用Kullback-Leibler散度损失函数，表示为： 式中，s和t分别表示源域和目标域，i和j分别表示图像的序号和实例特征的序号，Ns和Nt分别表示源域图像的数量和目标域图像的数量，Nins表示实例特征的数量，KL表示Kullback-Leibler散度损失函数，和分别表示第i张源域图像的第j个实例特征的有上下文的分类结果和无上下文的分类结果，和分别表示第i张目标域图像的第j个实例特征的有上下文的分类结果和无上下文的分类结果；d、全局特征对齐损失函数全局特征对齐模块里面的三个鉴别器的对抗训练损失函数之和叫做全局特征对齐损失函数Lhie，Lhie采用交叉熵损失函数，定义为： 式中，m表示中间层的序号，Nl表示中间层的数量，s和t分别表示源域和目标域，i表示图像的序号，Ns和Nt分别表示源域图像的数量和目标域图像的数量，Dm表示全局特征对齐模块里面对应第m个中间层的鉴别器，和分别表示第i张源域图像和第i张目标域图像，Fi表示第i个中间层，和分别表示第i个中间层对和提取的全局特征；将类别权重生成器损失函数、代表性特征对齐损失函数、基于上下文的分类正则化损失函数和全局特征对齐损失函数加权求和，再和目标检测的损失函数相加，得到用于训练域适应目标检测网络的损失函数Lsum，表示为：Lsum＝Ldet+λ1LCWG-λ2Lhie-λ3Lr-λ4Lkl式中，λ1、λ2、λ3和λ4分别表示类别权重生成器损失函数LCWG、全局特征对齐损失函数Lhie、代表性特征对齐损失函数Lr和基于上下文的分类正则化损失函数Lkl的权重；5参数调优初始化域适应目标检测网络的各层参数，用源域图像数据集的训练集和目标域图像数据集的训练集训练域适应目标检测网络；每次迭代输入一张有标签的源域图像和一张无标签的目标域图像，通过域适应目标检测网络的前向传播计算损失函数，再通过反向传播计算域适应目标检测网络各层的可训练参数的梯度，通过梯度下降法进行参数调优，直至损失函数收敛，得到训练完成的基于代表性特征对齐的域适应目标检测网络；6检测结果输出将目标域图像数据集的测试集输入训练完成的基于代表性特征对齐的域适应目标检测网络，得到在无标签的新场景下的准确的目标检测结果。

全文数据：

权利要求：

百度查询： 华南理工大学 一种基于代表性特征对齐的域适应目标检测方法