买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京航空航天大学

摘要：本发明公开了一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法，属于细粒度图像检索领域，本发明包括以下步骤：基于局部特征的节点表示、局部特征加强、基于图卷积的相关部件关系挖掘、语义哈希编码、损失函数，提出一种基于图神经网络和深度哈希方法，适用于大规模鸟类图像检索的综合方法，能够高效率、低存储、高精度的实现精细粒度鸟类图像检索。

主权项：1.一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法，其特征在于，包括以下步骤：步骤1、将图像送入到骨干网络Resnet50得到其特征F∈RH×W×N，其中H，W和N分别表示特征的高，宽和通道数；采用卷积函数f将特征图转化为注意力图，注意力图的计算方法如公式1所示： 再通过不同局部区域的注意力图提取出具有判别性的局部特征，针对每幅图像生成M个注意力图，Ak∈RH×W表示为第k个细粒度部件所对应的注意力图；局部区域的M部分特征通过公式2计算：fk＝gAk⊙F，k＝1，2，…，M2其中fk代表第k个局部特征，⊙代表特征图F和第k个注意力图的元素相乘，而g是全局平均池化操作；步骤2、针对步骤1中生成的的注意力图生成注意力丢弃后的图像，具体包括以下步骤：步骤2.1：随机注意力图选择对于学习到的M个空间注意力图，进行随机丢弃策略，从M个注意力图中随机选择一张注意力图Ak，以迫使网络搜索其他信息丰富的局部区域；步骤2.2：归一化所选择的注意力图对于每一幅训练图像，首先从A中随机选择一个注意力图Ak，为了提高模型的收敛率，采用最小-最大归一化，将Ak的值平滑到[0，1]的范围，如公式3所示： Ak*表示增强后的第k个注意图；步骤2.3：构建丢弃掩膜通过设定一个丢弃阈值Td，将大于Td∈[0，1]的元素的值设置为0，将其他元素的值设置为1，构建一个丢弃掩码Md，如公式4所示： 其中Ak*i，j代表第i行和第j列中属于第k个局部特征的元素值，Mdi，j代表相应位置上的丢弃掩码的值，阈值Td被设定为0.5；步骤2.4：得到注意力丢弃图像与相应的特征新的注意力丢弃图像Xd通过丢弃掩码Md和原始图像之间相乘得到，并再次被送入网络并学习M个新的部分特征通过这组方式，鼓励注意力图提出其他判别性的部件，最终提高定位的准确性和特征的质量；步骤3、通过步骤2中提取的部件特征构建图来挖掘部件之间的关系，并得到融合特征，具体包括以下步骤：步骤3.1：定义图的边特征通过步骤2得到M个局部判别特征f1，f2，...fM，构建一个有向图G＝V，E来捕捉这些离散的局部特征之间的上下文关系，给定顶点V＝{1，2，...，M}和边从第i个顶点到第j个顶点的边特征可以定义为：eij＝hθ；σfi，fi-fj5hθ；σ是一个通过共享MLP实现的非对称边缘函数，如公式6所示：hθ；σfi，fi-fj＝Reluθ·fi+σfi-fj6其中θ和σ代表网络的参数；步骤3.2：生成融合特征如公式6所示，由fi-fj捕获的不同节点的邻域信息可以与fi捕获的全局信息逐渐结合起来，与图像卷积类似，第i个顶点的输出可以通过对与第i个顶点相关的所有边特征进行全局最大池化操作来获得，如公式7： 其中，fir表示第i个顶点的融合特征，GMP表示全局最大池化操作，最后所有顶点的融合特征fr将作为细粒度对象的特征送入到哈希编码模块进行编码；步骤4、通过步骤3中得到的融合特征，经过哈希层得到哈希编码，具体包括以下步骤：步骤4.1：哈希编码生成对于M个重构的上下文特征fir，语义哈希编码模块输出一个B位的哈希码，可按公式8计算：Hi＝tanhWHTfir+δH，i＝1，2，…，M8其中Hi∈RB是fir经过哈希层的输出，δH∈B和WH∈RM×B分别代表哈希层的偏置和权重，tanh代表激活函数，可以用公式9来描述： 步骤4.2：实值哈希编码映射为二维哈希编码根据公式10可以得到最终的哈希码，由于tanh的取值范围是[-1，1]，如果Hi＞＞0，Bi＝1，否则Bi＝-1，因为sign在非零点的梯度为零，会引起梯度消失的问题，本方法只在测试测试模型时将Hi映射为二维哈希码，Bi＝sgnHi10；步骤5、对于上述步骤中的特征提取和哈希编码，构建损失函数，使网络逐步收敛。

全文数据：

权利要求：

百度查询： 南京航空航天大学 一种基于图神经网络和深度哈希的细粒度鸟类图像检索方法