买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：山东科技大学

摘要：本发明公开了一种基于骨架数据生成步态剪影图的步态数据扩充方法，属于图像处理领域，其步骤为：采用真实剪影序列构建训练集，使用训练集预训练步态识别网络GaitSet，最大化该网络区分训练集中不同ID的能力；构建骨架生成剪影网络Ske2SilNet，对Ske2SilNet进行训练，直到达到纳什均衡，Ske2SilNet训练框架包括Ske2SilNet、鉴别器和ID特征保留模块；使用SkeS算法合成新的ID信息对应的骨架序列，并使用训练好的Ske2SilNet生成剪影序列。本发明不需要使用额外的软件进行数据扩充，生成的数据样本与训练集不存在数据偏移，可以更有效的扩充原始数据分布。

主权项：1.一种基于骨架数据生成步态剪影图的步态数据扩充方法，其特征在于，包括以下步骤：S1、采用真实剪影序列构建训练集，使用训练集预训练步态识别网络GaitSet，最大化该网络区分训练集中不同ID的能力，ID表示行人身份，一个行人对应一个ID；S2、构建骨架生成剪影网络Ske2SilNet，对Ske2SilNet进行训练，直到达到纳什均衡，Ske2SilNet训练框架包括Ske2SilNet、鉴别器和ID特征保留模块；S3、使用SkeS算法合成新的ID信息对应的骨架序列，并使用训练好的Ske2SilNet生成剪影序列；所述Ske2SilNet用于将生成的骨架序列转换成剪影序列，其包括骨架点编码器、骨架图像编码器和骨架剪影解码器；所述骨架点编码器采用图卷积网络来编码身体关键点的坐标，将骨架点编码器的输出输入到线性层中，将Nj个关键点映射到长度为176的向量，然后通过重塑操作将该向量转换为16×11的特征图；所述骨架图像编码器采用CNN来编码骨架图像序列，输出16×11的特征图；使用逐元素加法来聚合SkePEnc和SkeIEnc的特征图，然后将聚合后的特征图输入到骨架剪影解码器中，骨架剪影解码器由两个上采样层和多个卷积层构成，输出为剪影序列Fedxp，xi，表达式为：Fedxp，xi＝DeEspxp+Esixi；其中，xi为骨架序列，即身体上不同关键点的坐标，通过Ns×2×Nj矩阵表示，Ns是骨架序列中的样本数量，Nj是关键点的数量，2表示每个关键点的二维坐标；xp为骨架图像序列；Fedxp，xi为生成剪影序列；De为骨架剪影解码器；Espxp为骨架点编码器；Esixi为骨架图像编码器；所述鉴别器包括4层卷积层和2层全连接层，用于确保真实剪影序列和生成剪影序列的差异，即对抗性损失Ladv，训练期间的目标是使对抗性损失最小；Ladv的表达式为：Ladv＝logeDxrs+loge1-DFed；其中，Ladv为对抗性损失，D代表鉴别器，xrs是真实的剪影序列；所述ID特征保留模块即步骤1中训练好的步态识别网络，将生成的剪影序列和真实剪影序列在批维度上进行拼接，并输入到ID特征保留模块中，通过身份保留约束Lid生成序列的ID信息，Lid的表达式为： 其中，fgait·表示预训练的步态识别模型，K表示fgait·提取的特征的维度，k表示步态特征的索引；步骤S3具体为：首先，通过有向无环图DAG表示骨架数据，确保骨架结构内没有循环，将人体的部位分别用线段表示，每个部位由两个关节点定义；选择根关键点，将除根关键点之外的所有关键点转换为基于DAG的相对坐标；采用广度优先搜索算法，从根关键点开始，顺序计算每条线段的终点和起点的差；其次，DAG中的每条线段都被分配一个唯一的标识符，代表骨架的不同部分；随机选择一个或多个标识符，并将不同的缩放因子分配给选择的标识符，缩放因子用于缩小或扩大每个部位对应的两个关节点之间的距离，其范围为0.6,0.8和1.2，1.4；最后，从根关键点开始，将修改后的相对坐标转换回绝对坐标，从而产生一个新的骨架。

全文数据：

权利要求：

百度查询： 山东科技大学 一种基于骨架数据生成步态剪影图的步态数据扩充方法