宁波大学张超越获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉宁波大学申请的专利一种基于步态关系网络的步态识别方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114627549B 。
龙图腾网通过国家知识产权局官网在2025-10-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202210107513.7,技术领域涉及:G06V40/20;该发明授权一种基于步态关系网络的步态识别方法是由张超越;张荣;郭立君设计研发完成,并于2022-01-28向国家知识产权局提交的专利申请。
本一种基于步态关系网络的步态识别方法在说明书摘要公布了:本发明公开了一种基于步态关系网络的步态识别方法,通过构建步态关系网络,步态关系网络包括1个空间特征提取网络、16个时间特征提取网络和16个空间特征选择网络;空间特征提取网络包括1个全局编码网络、1个图像切割网络、4个局部编码网络、1个融合编码网络和1个空间特征切割网络,在采用步态关系网络来获取行人的步态特征图时,能充分利用各种步态条件的步态图像数据,增加识别精度,对待识别步态图像序列中的步态图像的数量,顺序无要求;优点是在步态数据缺失的情况下,识别精度仍然较高,鲁棒性强,具有优异的性能。
本发明授权一种基于步态关系网络的步态识别方法在权利要求书中公布了:1.一种基于步态关系网络的步态识别方法,其特征在于包括以下步骤: 步骤1:从生物识别与安全技术研究中心的步态数据集CASIA-B中获取一个步态数据集,该步态数据集包含124个行人身份在3个步行条件和11个视角下的步态图像,其中,124个行人身份采用数字001-124进行标记,3个步行条件为正常行走、背包行走和穿着外套或夹克行走,11个视角为0°、18°、36°、54°、72°、90°、108°、126°、144°、162°以及180°,该步态数据集中,每个行人身份下具有正常行走条件下的6个序列集、背包行走条件下的2个序列集以及着外套或夹克行走条件下的2个序列集,每个序列集中分别包括了11个步态图像序列,11个步态图像序列分别在11个视角下拍摄,11个视角与11个步态图像序列一一对应,每个步态图像序列分别由若干张步态图像构成; 步骤2、通过Takemura方法对步态数据集中的每张步态图像分别进行处理,使每张步态图像高度为H且宽度为W,其中,H=64,W=44,此时得到训练数据集; 步骤3:构建步态关系网络,所述的步态关系网络包括1个空间特征提取网络、16个时间特征提取网络和16个空间特征选择网络;所述的空间特征提取网络包括1个全局编码网络、1个图像切割网络、4个局部编码网络、1个融合编码网络和1个空间特征切割网络;所述的全局编码网络包括1个输入层、4个卷积层、1个最大池化层和2个输出层,所述的全局编码网络的第1个卷积层采用大小为5×5、补零参数的值为2、步长为1的32个卷积核实现,所述的全局编码网络的第2个卷积层采用大小为3×3、补零参数的值为1、步长为1的32个卷积核实现,所述的全局编码网络的第3个卷积层采用大小为3×3、补零参数的值为1、步长为1的64个卷积核实现,所述的全局编码网络的第4个卷积层采用大小为3×3、补零参数的值为1、步长为1的64个卷积核实现,所述的全局编码网络的最大池化层的步长设置为2;所述的图像切割网络包括1个输入层、1个切割层和4个输出层,每个所述的局部编码网络分别包括1个输入层、4个卷积层、1个最大池化层和2个输出层,每个所述的局部编码网络的第1个卷积层分别采用大小为5×5、补零参数的值为2、步长为1的32个卷积核实现,每个所述的局部编码网络的第2个卷积层分别采用大小为3×3、补零参数的值为1、步长为1的32个卷积核实现,每个所述的局部编码网络的第3个卷积层分别采用大小为3×3、补零参数的值为1、步长为1的64个卷积核实现,每个所述的局部编码网络的第4个卷积层分别采用大小为3×3、补零参数的值为1、步长为1的64个卷积核实现,每个所述的局部编码网络的最大池化层的步长分别设置为2;所述的融合编码网络包括10个输入层、2个特征拼接层、3个特征融合层、2个卷积层、1个最大池化层和1个输出层,所述的融合编码网络的第1个卷积层采用大小为3×3、补零参数的值为1、步长为1的128个卷积核实现,所述的融合编码网络的第2个卷积层采用大小为3×3、补零参数的值为1、步长为1的128个卷积核实现,所述的融合编码网络的最大池化层的步长设置为2;所述的空间特征切割网络包括1个输入层、1个切割层、1个池化层和1个输出层;每个所述的时间特征提取网络分别包括1个输入层、3个映射层、1个时间特征选择层、1个独立映射层和1个输出层,所述的时间特征提取网络的3个映射层和独立映射层分别为一个输入通道数为128,输出通道数为128的全连接层,所述的时间特征提取网络的时间特征选择层采用max函数实现;每个所述的空间特征选择网络分别包括1个输入层、1个特征选择层、1个独立映射层和1个输出层,每个所述的空间特征选择网络的独立映射层分别为一个输入通道数为128,输出通道数为128的全连接层; 在对所述的步态关系网络进行训练时,所述的全局编码网络的输入层接入维度为30×1×64×44的步态图像序列,其中,维度表示形式为图像数量×通道数×图像长度×图像宽度,所述的全局编码网络的第1个卷积层接入所述的全局编码网络的输入层输出的维度为30×1×64×44的步态图像序列,并进行特征提取,得到维度为30×32×64×44的特征图Fglobal_1输出,所述的全局编码网络的第2个卷积层接入所述的全局编码网络的第1个卷积层输出的特征图Fglobal_1,并进行特征提取,得到维度为30×32×64×44的特征图Fglobal_2输出,所述的全局编码网络的最大池化层接入所述的全局编码网络的第2个卷积层输出的特征图Fglobal_2,并进行特征提取,得到维度为30×32×32×22的特征图Fglobal_pool输出,所述的全局编码网络的第3个卷积层接入所述的全局编码网络的最大池化层输出的特征图Fglobal_pool,并进行特征提取,得到维度为30×64×32×22的特征图Fglobal_3输出,所述的全局编码网络的第4个卷积层接入所述的全局编码网络的第3个卷积层输出的特征图Fglobal_3,并进行特征提取,得到维度为30×64×32×22的特征图Fglobal_4输出,所述的全局编码网络的第1个输出层接入所述的全局编码网络的最大池化层输出的特征图Fglobal_pool并输出,所述的全局编码网络的第2个输出层接入所述的全局编码网络的第4个卷积层输出的特征图Fglobal_4并输出;所述的图像切割网络的输入层接入维度为30×1×64×44的步态图像序列并输出,所述的图像切割网络的切割层接入所述的图像切割网络的输入层输出的维度为30×1×64×44的步态图像序列,并将该步态图像序列按长度和宽度的中点进行切割,得到4个维度分别为30×1×32×22的步态图像子序列输出,所述的图像切割网络的4个输出层一一对应接入所述的图像切割网络的切割层输出的4个维度为30×1×32×22的步态图像子序列并输出;4个局部编码网络一一对应接入所述的图像切割网络的4个输出层输出的4个维度为30×1×32×22的步态图像子序列,第N个所述的局部编码网络的输入层接入所述的图像切割网络的第N个输出层输出的维度为30×1×32×22的步态图像子序列并输出,N=1,2,3,4,第N个所述的局部编码网络的第1个卷积层接入第N个所述的局部编码网络的输入层输出的维度为30×1×32×22的步态图像子序列,并进行特征提取,得到维度为30×32×32×22的特征图输出,第N个所述的局部编码网络的第2个卷积层接入第N个所述的局部编码网络的第1个卷积层输出的特征图,并进行特征提取,得到维度为30×32×32×22的特征图输出,第N个所述的局部编码网络的最大池化层接入第N个所述的局部编码网络的第2个卷积层输出的特征图,并进行特征提取,得到维度为30×32×16×11的特征图输出,第N个所述的局部编码网络的第3个卷积层接入第N个所述的局部编码网络的最大池化层输出的特征图,并进行特征提取,得到维度为30×64×16×11的特征图输出,第N个所述的局部编码网络的第4个卷积层接入第N个所述的局部编码网络的第3个卷积层输出的特征图,并进行特征提取,得到维度为30×64×16×11的特征图输出,第N个所述的局部编码网络的第1个输出层用于接入第N个所述的局部编码网络的最大池化层输出的特征图,并将该特征图输出,第N个所述的局部编码网络的第2个输出层用于接入第N个所述的局部编码网络的第4个卷积层输出的特征图,并将该特征图输出;在4个局部编码网络中,将第1个局部编码网络的第1个输出层输出的特征图和第2个输出层输出的特征图分别记为Flocal_pool,1和Flocal_4,1,将第2个局部编码网络的第1个输出层输出的特征图和第2个输出层输出的特征图分别记为Flocal_pool,2和Flocal_4,2,将第3个局部编码网络的第1个输出层输出的特征图和第2个输出层输出的特征图分别记为Flocal_pool,3和Flocal_4,3,将第4个局部编码网络的第1个输出层输出的特征图和第2个输出层输出的特征图分别记为Flocal_pool,4和Flocal_4,4;所述的融合编码网络的10个输入层一一对应接入所述的全局编码网络的第1个输出层输出的特征图Fglobal_pool、所述的全局编码网络的第2个输出层输出的特征图Fglobal_4、4个所述的局部编码网络的第1个输出层和第2个输出层输出的特征图Flocal_pool,1、特征图Flocal_4,1、特征图Flocal_pool,2、特征图Flocal_4,2、特征图Flocal_pool,3、特征图Flocal_4,3、特征图Flocal_pool,4和特征图Flocal_4,4,并将接入的特征图输出,所述的融合编码网络的第1个特征拼接层接入特征图Flocal_pool,1、特征图Flocal_pool,2、特征图Flocal_pool,3和特征图Flocal_pool,4并按之前对应的切割位置摆放后拼接,得到维度为30×32×32×22的特征图Flocal_pool,all输出,所述的融合编码网络的第2个特征拼接层接入特征图Flocal_4,1、Flocal_4,2、Flocal_4,3和Flocal_4,4,并按之前对应的切割位置摆放后拼接,得到维度为30×64×32×22的特征图Flocal_4,all输出,所述的融合编码网络的第1个特征融合层接入特征图Flocal_pool,all和特征图Flocal_4,all,并将特征图Flocal_pool,all和特征图Flocal_4,all进行维度拼接,然后采用大小为1×1的卷积核进行特征融合,得到维度为30×64×32×22的特征图Flocal输出,所述的融合编码网络的第2个特征融合层接入特征图Fglobal_pool和特征图Fglobal_4,并将两者进行维度拼接,然后采用大小为1×1的卷积核进行特征融合,得到维度为30×64×32×22的特征图Fglobal输出,所述的融合编码网络的第3个特征融合层接入所述的融合编码网络的第1个特征融合层输出的特征图Flocal和所述的融合编码网络的第2个特征融合层输出的特征图Fglobal,并将两者按像素位置一一对应相加,得到维度为30×64×32×22的特征图Ffuse输出,即Ffuse=Fglobal+Flocal,所述的融合编码网络的第1个卷积层接入所述的融合编码网络的第3个特征融合层输出的特征图Ffuse,并进行特征提取,得到维度为30×128×32×22的特征图Ffuse_1输出;所述的融合编码网络的第2个卷积层接入所述的融合编码网络的第1个卷积层输出的特征图Ffuse_1,并进行特征提取,得到维度为30×128×32×22的特征图Ffuse_2输出,所述的融合编码网络的最大池化层接入所述的融合编码网络的第2个卷积层输出的特征图Ffuse_2,并进行特征提取,得到维度为30×128×16×11的空间特征图F输出,所述的融合编码网络的输出层接入所述的融合编码网络的最大池化层输出的空间特征图F并输出;所述的空间特征切割网络的输入层接入所述的融合编码网络的输出层输出的维度为30×128×16×11的空间特征图F并输出,所述的空间特征切割网络的切割层接入所述的空间特征切割网络的输入层输出的空间特征图F,并按照长度和宽度方向16等分进行切割,得到16个维度为30×128×1×11的特征图输出,将此时输出的第i个维度为30×128×1×11的特征图记为Fi,i=1,2,3,…,16,所述的空间特征切割网络的池化层接入所述的空间特征切割网络的切割层输出的16个维度为30×128×1×11的特征图,并分别进行特征提取,得到16个维度为30×128×1×1的特征图输出,将对第i个维度为30×128×1×11的特征图进行特征提取后得到的特征图fi;16个所述的时间特征提取网络一一对应接入所述的空间特征切割网络的池化层输出的16个维度为30×128×1×1的特征图,其中第i个所述的时间特征提取网络的输入层接入所述的空间特征切割网络的池化层输出的第i个维度30×128×1×1的特征图fi并输出,第i个所述的时间特征提取网络的第1个映射层接入第i个所述的时间特征提取网络的输入层输出的特征图fi,并进行特征提取,得到维度为30×128×1×1的特征图ai输出,第i个所述的时间特征提取网络的第2个映射层接入第i个所述的时间特征提取网络的第1个映射层输出的特征图ai,先进行特征提取,得到维度为30×128×1×1的特征图bi,然后将特征图ai的所有维度与特征图bi按照对应的维度进行相减操作,得到维度为30×128×1×1的特征图ci输出,第i个所述的时间特征提取网络的第3个映射层接入第i个所述的时间特征提取网络的第2个映射层输出的特征图ci,然后进行特征提取,得到维度为30×128×1×1的特征图di输出,第i个所述的时间特征提取网络的时间特征选择层接入第i个所述的时间特征提取网络的第3个映射层输出的特征图di,并进行特征提取,得到维度为1×128×1×1的特征图ei输出,第i个所述的时间特征提取网络的独立映射层接入第i个所述的时间特征提取网络的时间特征选择层输出的特征图ei,并进行特征提取,得到维度为1×128×1×1的特征图vi输出;16个所述的空间特征选择网络一一对应接入所述的空间特征切割网络的池化层输出的16个维度为30×128×1×1的特征图,其中第i个所述的空间特征选择网络的输入层接入所述的空间特征切割网络的池化层输出的第i个维度30×128×1×1的特征图fi并输出,第i个所述的空间特征选择网络的特征选择层接入第i个所述的空间特征选择网络的输入层输出的特征图fi并进行特征提取,得到维度为1×128×1×1的特征图Ai输出,第i个所述的空间特征选择网络的独立映射层接入第i个所述的空间特征选择网络的特征选择层输出的特征图Ai,并进行特征提取,得到维度为1×128×1×1的特征图si输出;特征图vi和特征图si即所述的步态关系网络输出的步态特征图; 步骤4、对构建的步态关系网络进行训练,具体为:首先将步骤2得到的训练数据集划分为训练集和测试集其中,74个行人身份下的数据作为训练集,剩下50个行人身份下的数据作为测试集,在每次训练时,随机从训练集中选择42个步态图像序列,然后在每个步态图像序列中随机选择30张步态图像作为所述的步态关系网络的输入,如果某个步态图像序列中步态图像数量不足30,则随机重复选择,直至得到30张步态图像,在每次训练过程中,利用损失函数对步态关系网络参数进行优化,直至迭代训练达到200000次,得到训练完成的步态关系网络,其中,损失函数设置为Cross-EntropyLoss交叉熵损失; 步骤5、当待识别行人需要进行步态识别时,将拍摄的该待识别行人的一个步态图像序列按照步骤2相同的方法进行处理,使该步态图像序列中每张步态图像的尺寸均为64×44长度×宽度,然后将处理后的步态图像序列输入到训练好的步态关系网络中,得到该待识别行人的32张步态特征图输出; 步骤6、对预先建立的已包括该待识别行人身份的步态数据库中的所有步态图像序列进行步骤5相同的操作,得到每个行人身份的32张步态特征图,然后,将步骤5得到的32特征图与此时得到的每个行人身份的32张步态特征图分别进行欧氏距离的计算,得到与步骤5得到的32特征图欧式距离最小的行人身份,该行人身份即为待识别行人的身份。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人宁波大学,其通讯地址为:315211 浙江省宁波市江北区风华路818号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励