买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：安徽大学

摘要：本发明涉及基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，与现有技术相比解决了成趟足迹图像之间有效的时空特征少、难以聚合不同类别的差异性特征的缺陷。本发明包括以下步骤：训练数据的获取；构建成趟足迹图像检索模型；对训练数据进行预处理；成趟足迹图像检索模型的训练；待检索成趟足迹图像的获取；成趟足迹图像的检索。本发明提高了成趟足迹图像的检索速度和准确率。

主权项：1.一种基于时序移位和多分支时空增强网络的成趟足迹图像检索方法，其特征在于，包括以下步骤：11训练数据的获取：获取成趟足迹压力图像作为训练数据；12构建成趟足迹图像检索模型：建立基于时序移位和多分支时空增强网络的成趟足迹图像检索模型；所述构建成趟足迹图像检索模型包括以下步骤：121设定成趟足迹图像检索模型的第一层为左右脚判别模块；122设定成趟足迹图像检索模型的第二层为多分支空间特征提取模块；123设定成趟足迹图像检索模型的第三层为时序移位模块；124设定成趟足迹图像检索模型的第四层为多分支时序特征提取模块；13对训练数据进行预处理：对训练数据进行中心化处理；14成趟足迹图像检索模型的训练：利用中心化处理后的训练数据对成趟足迹图像检索模型进行训练；所述成趟足迹图像检索模型的训练包括以下步骤：141将规整、中心化处理后的训练数据输入成趟足迹图像检索模型的第一层，此时成趟足迹图像检索模型的输入特征维度是B,T,C,H,W，B是批次大小，T是每个批次送入的帧数，C取3表示红绿蓝RGB三通道，H和W为空间分辨率；假定B、T分别取16、8，此时网络输入特征维度是16,8,3,224,224；142训练数据经过成趟足迹图像检索模型的左右脚判别模块，生成三个支路，分别是支路1同时包含左右脚数据、支路2仅包含右脚数据以及支路3仅包含左脚数据；支路1、支路2、支路3的特征维度分别是16,8,3,224,224、16,4,3,224,224、16,4,3,224,224；143针对三个支路的数据训练多分支空间特征提取模块，获取细化的空间特征信息，其中，每个分支由n层卷积核的卷积神经网络构成，每层按顺序依次包括卷积层、激励层和池化层；所述针对三个支路的数据训练多分支空间特征提取模块，包括以下步骤：1431利用循环特征提取方法建立支路1对应的空间特征提取模块分支，得到相应的输出Z′1；其中循环特征提取方法如下：14311通过for循环将支1路的输出每帧依次作为第一层卷积层的输入，第一层由步长为4、填充补0值为2、滤波器大小为11*11的卷积层组成；得到Z11的特征维度为16,64,27,27；激活函数选用LeakyReLU，其表达式如下： 池化层选用最大池化，步长为2、滤波器大小为3*3；通过计算输出Z11的特征维度为16,64,27,27，其计算公式如下：M-K+2PS+1，M-KS+1，其中，M是输入图片的空间分辨率大小，为H或者W，K是滤波器大小，P是补零的数量，S是步幅；14312将Z11作为第二层卷积层的输入，第二层由步长为1、填充补0值为2，滤波器大小为5*5的卷积层；激活函数和池化层选择LeakyReLU和最大池化；得到Z12的特征维度为16,192,13,13；14313将Z12作为第三层卷积层的输入，第三层由步长为3、填充补0值为1，滤波器大小为3*3的卷积层组成，激活函数选择LeakyReLU，得到输出Z13的特征维度为16,384,13,13；14314将Z13作为全连接层的输入，最后得到输出Z1的特征维度为16,2048；14315在for循环内将每次的输出Z1增加一个时间维度,特征维度变为16,1,2048，在时间维度上将8个张量进行拼接，如下式所示，得到输出Z′1的特征维度是16,8,2048；Z′1＝concatZ1,Z2,Z3,Z4,Z5,Z6,Z7,Z8,dim＝1；1432利用循环特征提取方法构建支路2、支路3的空间特征提取模块分支，得到对应的输出Z′2、Z′3的特征维度都是16,4,192,13,13；144训练时序移位模块，针对支路1的输出不进行时序移位处理，针对支路2和支路3在多分支空间特征提取模块的输出Z′2、Z′3训练时序移位模块；所述训练时序移位模块包括以下步骤：71利用时序移位方法建立支路2对应的时序移位模块分支，得到输出Z″2；其中时序移位方法如下：711时序移位模块TSM在操作过程中给定一个参数div，由下式表示：fold＝Cdiv，C是通道数，div是给定的参数，fold表示对哪些通道操作进行时序移位，C、div、fold分别取192、8、24；设置一个和Z′2维度相同的全0张量out，特征维度是B,T,C,H,W；722在前fold通道上将Z′2的后T-1帧的特征赋给全0张量out，其他特征不动，完成特征的左移，其公式如下：out[:,:-1,:fold,:,:]＝X[:,1:,:fold,:,:]；723在[fold,2*fold]通道上将Z′2的前T-1帧的特征赋给全0张量out，其他特征不动，完成特征的右移，其公式如下：out[:,1:,fold:2*fold,:,:]＝X[:,:-1,fold:2*fold,:,:]；724在剩余通道上将Z′2的T帧的特征赋给全0张量out，完成所有移位操作，最后得到的张量out就是输入X时序移位后的输出，其公式如下：out[:,:,2*fold:,:,:]＝X[:,:,2*fold:,:,:]，725重复步骤721至步骤724构建一个一层卷积神经网络层，通过循环处理每帧依次输入，最后得到输出Z″2，特征维度是16,4,2048；726重复步骤721至步骤725建立支路3对应的时序移位模块，得到对应的输出Z″3，特征维度是16,4,2048；145训练多分支时序特征提取模块，训练长短期记忆网络LSTM和全连接层组成的多分支时序特征提取模块；所述训练多分支时序特征提取模块包括以下步骤：81初始化LSTM网络，输入特征维度是2048，隐藏层和记忆层特征维度都是512，RNN层数为1；82将三个支路的输出Z′1、Z″2、Z″3作为输入送入LSTM网络，得到三个输出Output、Hn和Cn，它们分别是最后一层输出门、隐藏层和记忆层的输出；将输出Output[-1,:,:]处理送入全连接层得到输出Out；83将三个支路得到的两个输出对应相加得到最终的结果作为网络的输出，其表达式如下：Out＝Out1+Out2+Out3，Hn＝Hn1+Hn2+Hn3，其中，网络输出Hn包含训练图像的类别标签和特征，Out作为参数来更新损失函数；146多分支时序特征提取模块输出对应的表征特征Hn，每个训练图像对应的Hn包含类别标签和特征，同时计算损失函数并通过网络反向传播，更新网络中每一层的参数，最后得到训练后最优的成趟足迹检索模型；15待检索成趟足迹图像的获取：获取待检索成趟足迹图像，并进行预处理；16成趟足迹图像的检索：将预处理后的待检索成趟足迹图像输入训练后的成趟足迹图像检索模型，完成对成趟足迹图像的检索。

全文数据：

权利要求：

百度查询： 安徽大学 基于时序移位和多分支时空增强网络的成趟足迹图像检索方法