买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江南大学

摘要：本发明属于跨模态检索技术领域，涉及一种基于类代理蒸馏的零样本草图图像检索方法；获取草图样本及对应的图片样本；利用预训练好的教师模型提取草图样本的第一语义特征向量和第一视觉特征向量、图片样本的第二语义特征向量和第二视觉特征向量；将第一语义特征向量和第二视觉特征向量融合得到目标第一融合特征向量，将第二语义特征向量和第一视觉特征向量融合得到目标第二融合特征向量；将草图样本和图片样本输入学生模型，输出草图特征向量和图片特征向量；构建损失函数并对学生模型进行迭代训练，直到损失函数的值最小，得到训练好的学生模型。通过融合语义特征和视觉特征，为草图和图片的匹配提供更丰富的特征信息，提高检索结果的精确度。

主权项：1.一种基于类代理蒸馏的零样本草图图像检索方法，其特征在于，包括：获取训练集中的草图样本以及与所述草图样本对应的图片样本；将所述草图样本和所述图片样本输入至预训练好的教师模型中进行特征提取和融合，输出目标第一融合特征向量和目标第二融合特征向量；其具体包括：将所述草图样本输入第一编码器，输出第一语义特征向量和第一视觉特征向量；将所述图片样本输入第二编码器，输出第二语义特征向量和第二视觉特征向量；将所述第一语义特征向量输入第一映射层，将所述第一映射层的输出和所述第二视觉特征向量输入第一跨模态融合模块，输出第一融合特征向量；将所述第一融合特征向量输入第二映射层，输出目标第一融合特征向量；将所述第二语义特征向量输入第三映射层，将所述第三映射层的输出和所述第一视觉特征向量输入第二跨模态融合模块，输出第二融合特征向量；将所述第二融合特征向量输入第四映射层，输出目标第二融合特征向量；将所述草图样本输入学生模型中的第三编码器，输出草图特征向量；将所述图片样本输入学生模型中的第四编码器，输出图片特征向量；基于所述目标第一融合特征向量、所述目标第二融合特征向量、所述草图特征向量和所述图片特征向量，构建损失函数；并对学生模型进行迭代训练，直到所述损失函数的值最小，得到训练好的学生模型；其中，教师模型预训练损失函数的构建过程包括：基于目标第一融合特征向量和目标第二融合特征向量的相似度，构建预训练对比损失函数；分别对目标第一融合特征向量和目标第二融合特征向量进行分类，输出教师模型对草图样本的预测类别和对图片样本的预测类别；基于教师模型对草图样本的预测类别和草图样本的真实类别，构建第一预训练分类损失函数；基于教师模型对图片样本的预测类别和图片样本的真实类别，构建第二预训练分类损失函数；对所述预训练损失函数、所述第一预训练分类损失函数和所述第二预训练分类损失函数求和，得到教师模型预训练损失函数。

全文数据：

权利要求：

百度查询： 江南大学 一种基于类代理蒸馏的零样本草图图像检索方法