买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆邮电大学

摘要：本发明属于动态草图检索领域，具体涉及一种基于草图局部特征和全局特征匹配的图像检索方法，该方法包括：获取待检索的手绘草图序列及对应的草图块，将草图序列和草图块输入到训练好的神经网络模型中得到草图的嵌入向量和草图块的嵌入向量；计算嵌入向量输入数据的欧式距离；将计算出的欧式距离进行加权融合，根据融合后的欧式距离返回检索到top‑k张图片，得到草图的检索结果；改进的神经网络模型包括完整图像分支和切块图像分支；完整图像分支用于对完整的草图进行处理，切块图像分支用于对草图块进行处理；本发明针对序列草图笔画信息稀少的问题，使用草图分割的方法搭建不同分支的网络模型，减少草图笔画信息稀少带来的准确率下降的问题。

主权项：1.一种基于草图局部特征和全局特征匹配的图像检索方法，其特征在于，该方法包括：实时获取待检索的手绘草图序列以及手绘草图序列对应的草图块；将手绘草图序列和草图块输入到训练好的改进的神经网络模型中，得到草图的嵌入向量和草图块的嵌入向量；计算草图嵌入向量与输入的草图序列的欧式距离，计算草图块的嵌入向量与输入的草图块的欧式距离；对草图的欧式距离和草图块的欧式距离进行加权融合，根据融合后的欧式距离返回检索到top-k张图片，得到草图的检索结果；改进的神经网络模型包括完整图像分支和切块图像分支，完整图像分支和切块图像分支均采用骨干模型，其中骨干模型包括预训练网络、注意力层以及降维层；完整图像分支用于对完整的草图进行处理，切块图像分支用于对草图块进行处理；对改进的神经网络模型进行训练的过程包括：S1：构建训练集，训练集中的数据包括手绘草图和手绘草图对应的草图块；具体包括：根据绘制一幅图像的草图所需的笔画数将对应图像的草图渲染成所需要的n张草图序列，渲染完成后对数据集进行切分，将数据集中的所有图像以及渲染后的草图序列均切分成m份，对切分后的数据进行集合，得到数据集；数据集由完整图像集和切块图像集组成，完整图像集包含多张完整图像以及对应图像按照时间顺序渲染成的n张手绘草图序列集组成，切块图像集中的图像是由完整图像集中的每一张图片切分成m块组成；S2：将训练集中完整的手绘草图和对应的手绘草图块分别输入到骨干模型中，采用三重损失对骨干模型进行预训练；S3：将完整的草图按照笔画数将其渲染成一个含有n张草图的渐进式草图序列，该草图序列中每一张草图包含的笔画信息由少到多；S4：将渲染后的草图序列中的每一张图像进行切分成m块，并记录每一个草图块的笔画信息所占比例k；S5：将含有n张草图的草图序列输入到完整图像分支中，得到草图的嵌入向量；采用三重损失函数计算草图序列中每一张草图的嵌入向量与目标图像的嵌入向量之间的损失；提取完整图像集中每一张草图的嵌入向量的过程包括：将已经渲染好的草图序列按照笔画由少到多的顺序输入到固定参数的预训练网络层f1和完整图像分支的注意力层f2，得到草图的特征向量；将经过f1和f2提取到的特征向量输入到模型中完整图像分支的降维层f3中进行降维处理，得到草图的嵌入向量；采用三重损失函数计算草图的嵌入向量与目标图像的嵌入向量的损失函数为： 其中，tripleLossComplete表示完整草图的三重态损失，N表示渲染后草图序列中的草图张数，表示第i张草图的嵌入向量，表示中第i张草图，表示草图的目标图像的嵌入向量，表示目标图像，表示草图的负样本的嵌入向量，表示草图的负样本；S6：将对应的m张草图序列块同时输入到切块图像分支中，得到得到m个草图块的嵌入向量；计算m个草图块的嵌入向量和对应的m个图像块的嵌入向量之间的误差；根据比例k将m个误差进行融合，得到切块图像分支的损失；获取草图块的嵌入向量的过程包括：将草图块输入到预训练网络层f1和切块图像分支的注意力层f2’中，得到草图块的特征向量；将经过f1和f2’提取到的特征向量输入到切块图像分支的降维层f3’中进行降维处理，得到m个草图块的嵌入向量；计算草图块的嵌入向量和对应图像块的嵌入向量的误差表达式为： 其中，表示第i块草图的嵌入向量，表示第i块草图块，表示草图的目标图像的嵌入向量，表示第i块草图块对应的目标图像块，表示草图的负样本的嵌入向量，表示对应的负样本图像块；tripleLossPart表示草图块的三重态损失，M表示完整草图切分的块数；S7：将草图序列中所有草图的损失和草图块的损失进行融合，得到模型的损失函数，将模型的损失函数进行反向传播，调整模型中的参数；S8：获取下一张目标图像的草图分支，重复上述步骤S3-S7，直至模型达到训练次数上限。

全文数据：

权利要求：

百度查询： 重庆邮电大学 一种基于草图局部特征和全局特征匹配的图像检索方法