买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院计算机网络信息中心

摘要：本发明公开了一种针对细粒度属性对比融合的跨模态零样本哈希方法。本发明首先对图像的视觉属性进行特征提取，得到视觉表征矩阵；通过利用属性原型网络来捕获图像细粒度细节和独特的局部特征，计算并优化属性回归损失根据属性的数值差异为每个图像构建正例和负例，并通过对比学习综合考虑属性的上下文信息制定属性级对比表征目标引入类一致性约束基于表征推导哈希网络引入超球面损失实现更大的类间分离和压缩类间变异；联合和进行模型优化，得到未知类图像的预测标签。

主权项：1.一种针对细粒度属性对比融合的跨模态零样本哈希方法，其步骤包括：1对N张图像集合进行标注，得到对应的标签矩阵K维标注的类级属性向量矩阵A＝{ai}；其中，yi是图像集合X中第i张图像xi对应的标签；对于标签矩阵Y中已知类Ys和未知类Yu，满足C代表类别总数；ai为图像xi对应的K维类级属性向量；根据标注结果得到一训练样本集合S＝{x,y,a|x∈X,y∈Ys,a∈A}；H,W,O分别代表图像的长度、宽度和通道数目；2利用所述训练样本集合S训练哈希模型；训练方法为：21利用图像编码器对图像集合X中每一图像x进行特征提取，得到该图像x的视觉属性特征fx；22针对每一属性建立一属性原型和一相似度图，得到属性原型集合pk表示第k个属性的属性原型，Mk为第k个属性的相似度图；通过属性原型pk计算相似度图Mk中的最大值预测该图像x的第k个属性的得分并计算其中，fi,jx表示图像x的空间位置i,j处的图像表征，Θ·为非线性网络； 表示第i张图像上各属性的属性得分之和，表示Mk中最大值的坐标；23对于图像集合X中的第p张图像，根据第d维属性的属性差异为该第p张图像构建关于第d维属性的正例和负例得到样本集并设置属性级对比表征目标其中，τ是温度参数，为第p张图像上各属性的属性得分之和，为正例中第q张图像上各属性向量的属性得分之和，为负例中第t张图像属性上各属性向量的属性得分之和，D为图像属性维度总数；24采用全局平均池化来学习图像集合X中每一图像x的全局判别特征gx；使用参数W对gx进行线性层映射，将gx映射入类表征空间；计算gx和每个类表征之间的点积以产生类逻辑，然后交叉熵损失 25将图像编码器中的最后一个全连接层替换为全连接哈希层，对图像x进行特征提取所得视觉属性特征进行二值化，生成二进制哈希码bi；并使用超球面损失来优化类之间具有大角度边界的全连接哈希层；26根据总损失函数优化所述哈希模型；其中，λ1、λ2和λ3是超参数；3对于一待识别的图像，将其输入训练后的所述哈希模型，预测得到对应图像的哈希标签。

全文数据：

权利要求：

百度查询： 中国科学院计算机网络信息中心 一种针对细粒度属性对比融合的跨模态零样本哈希方法