买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国人民解放军国防科技大学

摘要：本发明公开了一种源域数据缺失下的小样本领域自适应图像分类方法，目的是在无法获取源域数据情况下实现对目标域图像小样本领域自适应图像分类。技术方案是：构建由输入数据处理模块、特征提取模块、中间域生成模块、领域迁移模块、类别推理模块构成的源域数据缺失下的小样本领域自适应图像分类系统；将源域模型加载到特征提取模块和类别推理模块；采用目标域图像训练集对图像分类系统进行训练，包括中间域生成模块、训练领域迁移模块的训练及领域迁移模块、特征提取模块和类别推理模块的对抗训练；训练后的图像分类系统对用户输入的目标域图像进行分类，得到分类结果。本发明无需使用源域数据即可完成图像分类，能解决隐私泄露并提高分类精度。

主权项：1.一种源域数据缺失下的小样本领域自适应图像分类方法，其特征在于包括以下步骤：第一步，构建源域数据缺失下的小样本领域自适应图像分类系统；源域数据缺失下的小样本领域自适应图像分类系统由输入数据处理模块、特征提取模块、中间域生成模块、领域迁移模块、类别推理模块构成；输入数据处理模块与特征提取模块相连，输入数据处理模块接收用户输入的目标域图像数据，对目标域图像数据进行数据增强，得到增强后的目标域图像数据集，将增强后的目标域图像数据集发送给特征提取模块；中间域生成模块与特征提取模块相连，采用DCGAN的生成器结构，该模块采样高斯噪声和类别序号，根据高斯噪声和类别序号生成中间域图像数据，将中间域图像数据发送给特征提取模块；特征提取模块与输入数据处理模块、中间域生成模块、领域迁移模块、类别推理模块相连，采用与源域模型的特征提取器相同的神经网络结构；在训练阶段，特征提取模块从输入数据处理模块接收增强后的目标域图像数据，从中间域生成模块接收中间域图像数据，提取增强后的目标域图像数据和中间域图像数据对应的特征，将中间域图像特征和目标域图像特征输出到类别推理模块；并将中间域图像特征和目标域图像特征组合成四种类别的样本对，生成标签对总集合和样本对组标签集合；对样本对进行前向推理，得到样本对的浅层特征集合；将样本对的浅层特征集合和样本对组标签集合输出到领域迁移模块；在进行领域迁移模块、特征提取模块和类别推理模块对抗训练时将标签对总集合发送给类别推理模块；领域迁移模块与特征提取模块相连，由一个3层全连接网络和一个四分类器组成；四分类器由单层全连接网络和Softmax激活函数组成；3层全连接网络从特征提取模块接收样本对浅层特征集合，对样本对浅层特征集合进行前向推理，得到样本对深层特征集合，将样本对深层特征集合发送给四分类器；四分类器对样本对深层特征集合进行分类，得到样本对的预测标签集合，并根据预测标签集合和样本对组标签集合的差值计算损失函数，得到领域迁移模块的损失函数值；类别推理模块与特征提取模块相连，采用与源域模型的分类器相同的神经网络结构；类别推理模块从特征提取模块接收中间域图像特征和目标域图像特征，进行类别推理，得到分类结果；在训练过程中，该分类结果用于训练；在对用户输入的目标域图像进行分类时，该分类结果是最终的目标域图像分类结果；第二步，将用户提供的源域模型加载到源域数据缺失下的小样本领域自适应图像分类系统的特征提取模块和类别推理模块，得到初始化后的源域数据缺失下的小样本领域自适应图像分类系统，初始化后的源域数据缺失下的小样本领域自适应图像分类系统拥有与源域模型的特征提取器和分类器相同的神经网络结构；第三步，初始化后的源域数据缺失下的小样本领域自适应图像分类系统的输入数据处理模块接收用户输入的目标域图像训练集，目标域图像训练集由N类图像数据组成，每一类有support张带标签的图像，support为正整数；N的取值与源域模型的分类数目保持一致；记目标域图像训练集为Train_Set_input；第四步，采用Train_Set_input，对初始化后的源域数据缺失下的小样本领域自适应图像分类系统进行训练，得到特征提取模块和类别推理模块在目标域的最佳权重参数，方法是：4.1初始化中间域生成模块、特征提取模块、类别推理模块和领域迁移模块的权重；4.2设置网络训练参数，包括设置学习率γ，中间域生成模块批处理尺寸batch，总训练迭代参数Tmax，预训练领域迁移模块的步数Tpre，迁移步数Ttrans，权衡生成样本超参数λ,领域迁移超参数β；4.3输入数据处理模块采用增强方法对Train_Set_input进行增强，得到增强后的目标域图像数据集Dtarget，将Dtarget发送给特征提取模块；4.4特征提取模块对Dtarget进行前向推理，提取Dtarget的特征，得到目标域图像特征Xtarget，Xtarget为大小为batch×Channel的目标域图像特征集合，其中Channel表示特征提取模块最后一层神经网络的通道数；将Xtarget发送给类别推理模块；4.5初始化训练迭代参数为epoch＝1；4.6训练初始化后的源域数据缺失下的小样本领域自适应图像分类系统，方法是：首先训练中间域生成模块，直到训练迭代参数epoch＝Tmax；在训练迭代过程中，当epoch＝Tmax-Ttrans时，额外训练领域迁移模块；若epoch≥Tmax-Ttrans+1，额外进行领域迁移模块、特征提取模块和类别推理模块的对抗训练；方法是：4.6.1初始化中间域图像数据集合Dmiddle为空集；4.6.2训练中间域生成模块，方法是：4.6.2.1初始化中间域生成模块的生成类别的序号class_n＝1；4.6.2.2中间域生成模块随机采样batch个噪声向量noise；4.6.2.3中间域生成模块对noise和class_n进行反卷积，得到batch个属于第class_n类的中间域图像数据G_noise，将G_noise存储到Dmiddle中，同时将G_noise发送给特征提取模块；4.6.2.4特征提取模块从中间域生成模块接收G_noise，对G_noise进行神经网络前传，提取出G_noise的中间域图像特征Xnoise，Xnoise＝{x1,x2,…,xb,…,xbatch}，xb是Xnoise中第b个中间域图像特征向量，1≤b≤batch，是一个向量，xb的长度为特征提取模块最后一层神经网络的通道数Channel；将中间域图像特征Xnoise发送到类别推理模块；4.6.2.5类别推理模块从特征提取模块接收Xnoise，对Xnoise进行前向推理，得到一个大小为batch×N的分类矩阵Gclassification，Gclassification的第b行第class_n列元素是xb被分到第class_n类别的概率；取出分类矩阵Gclassification第class_n列，得到一个长度为batch的分到第class_n类的概率向量l；4.6.2.6类别推理模块从特征提取模块接收目标域图像特征Xtarget，将Xtarget中第class_n类的所有support个元素中的目标域图像特征放入目标域图像特征集合Xtarget_class，Xtarget_class＝{xx1,xx2,…,xxk,…,xxsupport}，xxk为Xtarget_class中第k个目标域图像特征向量，xxk长度等于特征提取模块最后一层神经网络的通道数Channel，1≤k≤support；4.6.2.7计算损失值其中，表示长度为batch且所有元素均为1的向量，表示的2-范数；M是令最大特征差，∥x1-x2∥1表示x1-x2的1-范数，为令总特征集，4.6.2.8使用随机梯度下降算法对最小化，以反向传播的方式更新中间域生成模块的神经网络权重参数；4.6.2.9令class_n＝class_n+1，若class_n≤N，转4.6.2.2，继续进行中间域生成模块的训练；若classnN，转4.6.3进行领域迁移模块的训练；4.6.3若此时不满足epoch＝Tmax-Ttrans，转到4.6.4；若此时满足epoch＝Tmax-Ttrans，固定特征提取模块和类别推理模块的模型参数，训练领域迁移模块，方法是：4.6.3.1初始化领域迁移模块的训练次数train_domain_number＝0；4.6.3.2特征提取模块从中间域图像数据集合Dmiddle和增强后的目标域图像数据集Dtarget中随机采样，采用样本对生成方法生成样本对总集合G，标签对总集合Y和组标签总集合GY，具体方法是：4.6.3.2.1初始化G1，G2，G3，G4，Y1，Y2，Y3，Y4，GY1，GY2，GY3，GY4为空集合，其中，G1用于存储两个元素均来自于Dmiddle相同类别样本的样本对；G2用于存储第一个元素来自于Dmiddle，第二个元素来自于Dtarget相同类别样本的样本对；G3用于存储第一个元素、第二个元素分别来自于Dmiddle不同类别样本的样本对；G4用于存储第一个元素来自于Dmiddle、第二个元素来自于Dtarget且属于不同类别样本的样本对；Y1，Y2，Y3，Y4分别为用于存储G1，G2，G3，G4对应的样本对的标签对集合，标签对集合中的每组标签对的第一个元素和第二个元素分别为对应的样本对的第一个元素和第二个元素的标签；组标签集合GY1，GY2，GY3，GY4分别存储G1，G2，G3，G4对应的样本对的组标签；组标签集合中的每个组标签取值为{1,2,3,4}中的任意一个数，用于表示对应的样本对属于G1，G2，G3还是G4；4.6.3.2.2初始化样本对类别序号cid＝1；4.6.3.2.3从Dmiddle第cid类样本中随机抽取两个样本，令为Dmiddle_11，Dmiddle12，分别作为第一个元素和第二个元素，组成第一样本对d1，d1＝Dmiddle_11,Dmiddle_12，将d1添加到G1中，d1的第一个元素对应的样本标签ymiddle_11和第二个元素对应的样本标签ymiddle_12组成标签对y1，y1＝ymiddle_11,ymiddle_12，将y1添加到Y1中；将组标签gy1＝1添加到第一组标签集合GY1中；4.6.3.2.4从Dmiddle第cid类样本中随机抽取一个样本Dmiddle_2作为第一个元素，从Dtarget第cid类样本中随机抽取一个样本Dtarget_2作为第二个元素，组成第二样本对d2，d2＝Dmiddle_2,Dtarget_2，将d2添加到G2中，d2的第一个元素对应的样本标签ymiddle_2和第二个元素对应的样本标签ytarget_2组成标签对y2，将y2＝ymiddle_2,ytarget_2添加到Y2中；将组标签gy2＝2添加到第二组标签集合GY2中；4.6.3.2.5从Dmiddle第cid类样本中随机抽取一个样本Dmiddle_31作为第一个元素，从Dtarget第cid+1％N类样本中随机抽取一个样本Dmiddle_32作为第二个元素，组成第三样本对d3＝Dmiddle_31,Dmiddle_32，将d3添加到G3中，将d3第一个元素对应的样本标签ymiddle_31和第二个元素对应的样本标签ymiddle_32组成第三标签对y3＝ymiddle_31,ymiddle_32添加到Y3中；将组标签gy3＝3添加到第三组标签集合GY3中；4.6.3.2.6从Dmiddle第cid类样本中随机抽取一个样本Dmiddle_4作为第一个元素，从Dtarget第cid+1％N类样本中随机抽取一个样本Dtarget_4作为第二个元素，组成第四样本对d4＝Dmiddle_4,Dtarget_4，将d4添加到G4中，将d4第一个元素对应的样本标签ymiddle_4和第二个元素对应的样本标签ytarget_4组成第四标签对y4，y4＝ymiddle_4,ytarget_4添加到Y4中；将组标签gy4＝4添加到第四组标签集合GY4中；4.6.3.2.7令cid＝cid+1；若cid≤N，转4.6.3.2.3；若cidN，令样本对总集合G＝{G1,G2,G3,G4}，令标签对总集合Y＝{Y1,Y2,Y3,Y4}，令组标签总集合GY＝{GY1,GY2,GY3,GY4}；特征提取模块将GY发送给领域迁移模块，转4.6.3.3；4.6.3.3特征提取模块对G进行前向推理，得到G的浅层特征集Φ，Φ＝{Φ1,Φ2,Φ3,Φ4}＝{EncoderG1,EncoderG2,EncoderG3,EncoderG4},其中Encoder表示特征提取操作，EncoderG1为从G1提取的特征的集合；EncoderG2为从G2提取的特征的集合；EncoderG3为从G3提取的特征的集合；EncoderG4为从G4提取的特征的集合；特征提取模块将Ф发送给领域迁移模块；4.6.3.4领域迁移模块的3层全连接网络对Φ进行前向推理，得到样本对的深层特征集Gdeep_feature；4.6.3.5四分类器对进行前向推理，得到预测组标签集合Predict，Predict＝{DΦ1,DΦ2,DΦ3,DΦ4},其中D°表示领域迁移模块对样本对进行前向推理，DΦ1为对Φ1进行前向推理得到的预测组标签,DΦ2为对Φ2进行前向推理得到的预测组标签,DΦ3为对Φ3进行前向推理得到的预测组标签，DΦ4为对Φ4进行前向推理得到的预测组标签；4.6.3.6四分类器根据预测组标签集合Predict和组标签总集合GY计算领域迁移模块的损失函数的值： 其中one_hotGY表示求GY的独热编码，logPredict为对Predict求对数；4.6.3.7使用随机梯度下降算法对最小化，然后以反向传播的方式更新领域迁移模块的神经网络权重参数；4.6.3.8令train_domain_number＝train_domain_number+1；4.6.3.9若train_domain_number≤Tpre，转4.6.3.2，继续训练领域迁移模块；若traindomainnumberTpre，转到4.6.4；4.6.4若epochTmax-Ttrans+1，转到4.6.5；若epoch≥Tmax-Ttrans+1，进行领域迁移模块与特征提取模块和类别推理模块的对抗训练，方法是：4.6.4.1特征提取模块从中间域图像数据集合Dmiddle和目标域图像集合Dtarget中随机采样，采用4.6.3.2步所述样本对生成方法重新生成样本对总集合G，标签对总集合Y和组标签总集合GY,G＝{G1,G2,G3,G4}，将GY发送给领域迁移模块；将Y发送给类别推理模块；4.6.4.2特征提取模块对采用4.6.3.3所述的前向推理G进行特征提取，再次得到G的浅层特征集Φ，Φ＝{Φ1,Φ2,Φ3,Φ4}，将Φ发送给领域迁移模块；4.6.4.3领域迁移模块的3层全连接网络对Φ进行前向推理，得到样本对的深层特征集Gdeep_feature；4.6.4.4四分类器对Gdeep_feature进行前向推理，得到预测组标签集合Predict，Predict＝{DΦ1,DΦ2,DΦ3,DΦ4}；4.6.4.5四分类器根据Predict和GY按照公式1重新计算领域迁移模块的损失函数的值；4.6.4.6使用随机梯度下降算法SGD对最小化，然后以反向传播的方式更新领域迁移模块的神经网络权重参数；4.6.4.7为了增加数据的丰富性，输入数据处理模块使用用户提供的Train_Set_input，采用4.3步所述增强方法对Train_Set_input进行再次增强，得到新的增强后的目标域样本集合Dnew_target，将Dnew_target发送给特征提取模块；4.6.4.8特征提取模块对Dnew_target进行前向推理，提取Dnew_target的特征，得到新的目标域图像的特征Xnew_target，Xnew_target为大小为batch×Channel的目标域图像特征集合，将Xnew_target发送给类别推理模块；4.6.4.9类别推理模块对Xnew_target进行前向推理，得到目标域图像的预测标签Y*，计算类别推理模块损失函数的值，其中为交叉熵损失函数,表示对目标图像的标签对总集合分类标签Y和预测标签Y*计算交叉熵损失；4.6.4.10计算特征提取模块和类别推理模块的对抗损失计算公式如下： 其中，β为领域迁移超参数，one_hotGY1表示GY1的独热编码，one_hotGY3表示GY3的独热编码；将和相加得到总的对抗损失函数4.6.4.11使用随机梯度下降算法对最小化，然后以反向传播的方式更新特征提取模块、类别推理模块的神经网络权重参数；4.6.5令epoch＝epoch+1,若epoch≤Tmax，转4.6.1继续进行中间域生成模块的训练和中间域图像的生成并进行领域迁移模块、特征提取模块和类别推理模块的对抗训练；若epoch＝Tmax，结束训练，得到小样本领域自适应图像分类系统特征提取模块、类别推理模块的权重参数，转第五步；第五步，加载第四步中训练得到的特征提取模块、类别推理模块的权重参数，得到训练后的源域数据缺失下的小样本领域自适应图像分类系统；第六步，训练后的源域数据缺失下的小样本领域自适应图像分类系统对用户输入的目标域图像进行分类，得到目标域图像的分类结果；方法是：6.1训练后的源域数据缺失下的小样本领域自适应图像分类系统的输入数据处理模块接收用户输入的目标域图像Duser，采用4.3步所述增强方法对Duser进行增强，得到增强后的用户输入的目标域图像数据集Dtarget4test，将Dtarget4test发送给特征提取模块；6.2特征提取模块对Dtarget4test进行前向推理，提取Dtarget4test的特征，得到Dtarget4test的图像特征Φtarget4test，Φtarget4test为大小为1×Channel的目标域图像特征集合；将Φtarget4test发送给类别推理模块；6.3类别推理模块对从特征提取模块收到的Φtarget4test进行前向推理，得到Dtarget4test的预测标签，作为Dtarget4test的分类结果result。

全文数据：

权利要求：

百度查询： 中国人民解放军国防科技大学 源域数据缺失下的小样本领域自适应图像分类方法