买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京邮电大学

摘要：本发明公开了图像识别的跨模态分析技术领域的一种面向素描图进行照片快速检索的方法及系统。面向素描图进行照片快速检索的方法，包括：采集素描图；将素描图输入训练好的素描图检索模型，输出与输入的素描图相关度满足设定条件的照片；素描图检索模型首先利用域对抗子网络对来自两个领域的图像对齐特征分布；通过角度对抗子网络来避免不同拍摄视角造成的特征提取干扰，并为三元组网络和分类网络设计三元组损失和联合分类损失，分别用于跨模态特征和缩小素描‑照片对之间的距离；最后计算指定素描图与照片的相关度，相关度较大的照片即是此素描图的真实照片；能够在特征层面上解决领域和拍摄角度的变化，根据素描图准确在照片库中进行检索。

主权项：1.一种面向素描图进行照片快速检索的方法，其特征是，包括：采集素描图；将素描图输入训练好的素描图检索模型，输出与输入的素描图相关度满足设定条件的照片；其中，所述素描图检索模型包括特征提取网络，用于提取输入的素描图的图像特征；所述素描图检索模型包括对抗网络，用于逐步减少域信息和角度信息，包括一个域对抗子网络和一个角度对抗子网络，所述对抗网络的对抗损失LA表示为： 其中，表示域对抗子网络的损失，表示角度对抗子网络的损失；所述域对抗子网络的输入为带标签的图像，输出为判定其是素描图的概率，通过判别器和特征提取器的对抗训练，过滤域敏感特征，获取域不变的特征表示；所述域对抗子网络通过域判别器区分输入特征来自哪个特定域，通过训练好的域判别器来降低特征提取器对特定领域信息的关注；域判别器的目标函数为： 其中，LD表示域判别器在对抗学习中的损失，D的输出为判定输入图像为素描图的概率，F表示特征提取器，Ns表示选取的素描图总数，xis表示选取的素描图中第i个人的素描图，相应的，Np表示选取的照片总数，xjp表示选取的照片中第i个人的照片；特征提取器的目标函数为： 所述角度对抗子网络用于避免多角度特征提取的干扰，并为三元组网络和分类网络设计改进过的三元组损失和联合分类损失，分别用于跨模态特征和缩小素描-照片对之间的距离；所述角度对抗子网络通过角度分类器区分标记的拍摄视角，使用如下的交叉熵损失训练角度分类器： 其中，表示姿态分类器损失，C的输出为分类器具体的预测结果，Nj是带有姿态标签Oj的人物图像数量，xioj表示相应的姿态聚类；为了减少不同拍摄视角的干扰，让提取到的特征Fx尽可能不去关注角度信息，目标函数如下所示： 其中，CjFx和1-CjFx分别是图像属于和不属于第j姿态的概率；所述素描图检索模型包括三元组网络，所述三元组网络设置为域和角度的任意组合，其中，锚示例和正示例共享相同的身份；最终，三元组损失计算如下： 其中，Ltri表示改进后的三元组损失，E为欧几里得距离函数，图像三元组A，P，N由正示例P、负示例N以及锚示例A组成，Δ代表三元组中正示例和负示例的差值；所述素描图检索模型包括分类网络，所述分类网络用于优化具有相同身份的图像之间的距离，使用组合分类损失，包括softmax损失、非欧角度损失以及中心损失，完整的损失函数如下所示：LC＝γ1Lsoft+γ2Lsphe+γ3Lcenter7其中，LC表示总的分类损失，γ1∈0，1是分类网络中softmax损失项Lsoft对应的协调权重，γ2∈0，1是分类网络中非欧角度损失项Lsphe对应的协调权重，γ3∈0，1是分类网络中中心损失项Lcenter对应的协调权重。

全文数据：

权利要求：

百度查询： 南京邮电大学 一种面向素描图进行照片快速检索的方法及系统