买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：辽宁师范大学

摘要：本发明提供了一种基于卷积网络多尺度特征融合的鞋印身高估计方法，属于刑事侦查技术领域。技术方案：将鞋印旋转校正；将鞋印进行中心化处理；对异常数据进行处理；将鞋印数据增广；通过多尺度特征提取网络对图像进行处理；通过金字塔特征融合网络对图像进行处理；通过全局结构特征提取网络对图像进行处理；通过身高回归预测网络输出预测身高。有益效果：本发明使用多尺度特征提取网络提取出不同尺度的图像特征并通过金字塔特征融合网络进行多尺度特征融合，最大限度地保留了图像中深层的特征语义信息特征和浅层的空间信息特征；保证泛化能力的基础上有效地减小了误差，提高了身高估计的精确度。

主权项：1.一种基于卷积网络多尺度特征融合的鞋印身高估计方法，其特征在于，步骤如下：S1、将鞋印旋转校正；S1.1、将鞋印图像转为灰度图像，选取自适应阈值对图像进行二值化，获得关于鞋印的二值掩模；S1.2、使用5×5大小的矩形结构元素对二值掩模进行形态学膨胀，得到最终的鞋印掩模；S1.3、依据掩模确定鞋印的最小外接矩形；S1.4、根据鞋印最小外接矩形将鞋印裁剪出来后将其上下对称分割，获取前脚掌区域和后脚掌区域；S1.5、根据掩模分别计算前后脚掌区域的质心，再计算出前后脚掌质心的连线与竖直方向的夹角，根据该夹角并以鞋印最小外接矩形中心点为旋转点进行旋转校正；S2、将鞋印进行中心化处理；步骤S2具体步骤如下：将旋转校正后的鞋印图像，放入预先设定的像素值全为0的全黑图像中，且旋转校正后的鞋印图像的中心与全黑图像中心对齐，其中全黑图像的宽度和高度分别要大于等于数据集中所有原始图像宽度的最大值和高度的最大值；S3、对异常数据进行处理；S3.1、将标记身高低于140cm与身高高于250cm的数据剔除；S3.2、将最小外接矩形满足下列条件之一的鞋印及其标注数据作为异常处理：1宽度小于设定阈值1或大于设定阈值2；2高度小于设定阈值3或大于设定阈值4；S4、将鞋印数据增广；步骤S4具体步骤如下：对训练集中所有图像按如下方式进行增广，对于一幅图像I：1读取图像I，以设定概率Pf进行随机的水平翻转，得到图像If，在实例中选取Pf＝0.5，pf∈[0,1]；2对图像If，以设定概率Pe进行随机图像擦除，得到图像Ie，在实例中Pe＝0.5，pe∈[0,1]；具体随机擦除方式为在鞋印图像中随机选取一个面积为S，长宽比为R的矩形区域，并将该区域像素值置0；矩形面积S由对图像面积进行缩放得到，缩放因子在[0.02，0.03]区间中均匀选取，将缩放因子乘以图像面积作为矩形区域面积S；矩形长宽比R在区间[0.3，3.3]中均匀选取；矩形区域的位置由其中心点坐标xc,yc来确定，xc在区间[0，W]中均匀选取，yc在区间[0，H]中均匀选取，W和H分别为图像的宽和高；3对图像Ie进行归一化，得到图像In，归一化公式如下： 其中，In是归一化后的图像，μ和σ是图像Ie的均值和标准差；S5、通过多尺度特征提取网络对图像进行处理；步骤S5具体步骤如下：所述多尺度特征提取网络包括：一个非降采样卷积模块NDConv、一个ReLU模块和四个降采样卷积模块conv_2、conv_3、conv_4、conv_5；ReLU模块和四个降采样卷积模块采用ResNet50的函数和组成结构；非降采样卷积模块NDConv由不包括最大池化层的卷积层残差块组成；将图像In经过conv_2，conv_3，conv_4，conv_5的输出特征[c2,c3,c4,c5]作为多尺度特征；S6、通过金字塔特征融合网络对图像进行处理；步骤S6具体步骤如下：所述金字塔特征融合网络，由一个降维层、一个上采样层、一个卷积层和一个全局平均池化层组成；首先由降维层对多尺度特征提取网络提取的多尺度特征进行降维，使用1×1的卷积核将[c2,c3,c4,c5]多尺度特征的通道数降维至256；再自上而下地对最低空间分辨率特征c5进行2倍率上采样和c4进行相加，由卷积层对相加的特征使用3×3的卷积核得到输出特征p4；依此类推，逐级向下，最终得到融合后的特征[p2,p3,p4,p5]；融合后的多尺度特征经过全局平均池化，对不同尺度的特征在空间维度上进行池化聚合，每个尺度特征都池化成1×1×256的张量，将池化后的多尺度特征加权平均得到关于图像的多尺度特征表达P： 其中，αi为第i级加权系数，pi为第i级特征；S7、通过全局结构特征提取网络对图像进行处理；步骤S7具体步骤如下：所述全局结构特征提取网络由3个Hourglass模块串联而成，每个Hourglass模块由编码层和解码层构成，设输入图像特征维度为[b,c,h,w]，经过Hourglass模块的编码层卷积减小8倍空间分辨率得到特征维度为[b,c,h8,w8]的特征，再经过解码层进行上采样和卷积操作恢复原来的空间分辨率并且特征维度为[b,c,h2,w2]，同时在编码层和解码层之间通过一个跳跃连接，将编码输出和解码输出进行拼接融合送入下个模块；将图像In输入全局结构特征提取网络得到全局结构特征G；S8、通过身高回归预测网络输出预测身高；步骤S8具体步骤如下：所述身高回归预测网络将多尺度提取网络提取的特征P与全局结构特征提取网络提取的特征G按通道进行特征拼接得到关于图像的最终表达F；再对图像特征F进行回归，回归预测网络由三层全连接层f1,f2,f3组成，每层的神经元个数分别为512、256、1，前两个全连接层f1和f2后面都接激活函数ReLU和dropout层，dropout随机失活的概率为0.5；特征F经过回归预测网络输出预测身高O，依据预测身高O与真值身高T计算smoothL1距离损失，smoothL1计算如下： 其中，Oi为第i个样本的预测身高，Ti为第i个样本的真实身高；在实例中，beta＝1，beta∈[0,1]；采用随机梯度下降算法对上述损失函数进行优化。

全文数据：

权利要求：

百度查询： 辽宁师范大学 一种基于卷积网络多尺度特征融合的鞋印身高估计方法