买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：石家庄铁道大学

摘要：本发明为一种基于双流网络的三维人体重建，属于图像处理技术领域，提取图片特征网络，将图像I作为网络的输入，以残差网络作为特征提取器，将图像I转换为图像特征A；三维关节点预测网络，从图像I中选择与与SMPL参数位置相似的二位关节点J2D，通过全连接层，将二位关节点J2D与全连接层输出合并为三维关节点J3D；迭代回归网络，输入图像特征A、三维关节点J3D及SMPL模板形状参数β0、姿势参数θ0和初始相机参数C0，用三个全连接网络连接W0，生成对应维度的三个分量用形状参数β0、姿势参数θ0和初始相机参数C0逐位相加得到第一阶段输出形状参数β1、姿势参数θ1和初始相机参数C1，以此类推，得到β3、姿势参数θ3和初始相机参数C3，应用本方法可以降低误差，具有更好的预测效果。

主权项：1.一种基于双流网络的三维人体重建，包括构建训练集S和测试集Q，从训练集中抽取图像I，其特征在于，提取图片特征网络，将图像I作为网络的输入，以残差网络作为特征提取器，将图像I转换为图像特征A；三维关节点预测网络，选择关节点检测器，从图像I中选择与与SMPL参数位置相似的二位关节点J2D，通过全连接层，将二位关节点J2D与全连接层输出合并为三维关节点J3D；迭代回归网络，输入图像特征A、三维关节点J3D及SMPL模板形状参数β0、姿势参数θ0和初始相机参数C0，用三个全连接网络连接W0，生成对应维度的三个分量用形状参数β0、姿势参数θ0和初始相机参数C0逐位相加得到第一阶段输出形状参数β1、姿势参数θ1和初始相机参数C1，应用形状参数β1、姿势参数θ1和初始相机参数C1替换形状参数β0、姿势参数θ0和初始相机参数C0，循环上述迭代回归网络操作，输出预测SMPL的形状参数β2、姿势参数θ2和初始相机参数C2，还包括计算损失函数，设定损失函数包括SMPL参数，3D关节点和2D关节点三个部分，其中，SMPL参数损失的计算包括，使用平均平方误差去约束SMPL中的形状参数β、姿势参数θ；损失函数与包括SMPL参数、3D关节点和2D关节点相关，Lloss＝μ1Lsmpl+μ22L3D+μ33L2D，其中μ1、μ2和μ3代表各损失函数的权重数值，3D关节点损失的计算包括，通过预测的形状参数β3、姿势参数θ3和初始相机参数C3，并结合Mβ,θ＝WTβ,θ,Jβ,θ,Wg，得到预测的人体网格定点，其中M为人体网格，T为受姿势形变和形状形变影响的一种T姿势的中间网格，Jβ表示从中间网格中获取的关节点坐标矩阵，Wg代表混合权重矩阵；利用X3d＝XMθ,β得到预测的3D关节点Xsmplpre，XMθ,β是由神经网络训练的关节点回归器，代表网格顶点间的线性组合，使用平均平方误差去约束预测的3D关节点,对于通过三维关节点预测网络预测到的关节点，使用平均平方误差去对其进行约束；2D关节点损失的计算包括，对人体三维关节点做归一化处理，使整个人体骨架位于一个[-1,1]3的立方体内，且相机位于立方体中心红点位置，即世界坐标系原点，此时相机坐标系与世界坐标系对齐，设定相机参数cam＝[tx,ty,s]，tx，ty表示关节点在[-1,1]3立方体内应该偏移的位置，s表示人体在输入图片大小下的比例，为实现弱透视投影，需要将物距tz增大，求物距tz表示为f为相机焦距，Res代表对原始图片预处理后的图片尺寸，通过三维节点[x,y,z]按照[tx,ty,tz]平移更新，得到相机偏移量t，构造相机内参矩阵，对关节点[x,y,z]实施变换得到像素坐标[u,v]，将预测的3D关节点映射到2D空间得到预测的2D关节点，最后，使用平均平方误差去约束2D关节点，在提取图片特征网络步骤中，将图像I放入Resnet50提取原始图像特征A；在三维关节点预测网络步骤中，应用Openpose作为关节点检测器，获取图像I的二维关节点J2D，并通过二维关节点J2D预测三维关节点J3D；在迭代回归网络步骤中，将图像特征A、三维关节点J3D和人体模板网格参数α拼接得到向量X，将X放入迭代回归网络中，得到预测的SMPL参数和相机参数C，将图像作为网络的输入，用一个3×3卷积层和一个最大池化层得到中间变量再通过四个阶段的包含残差结构的网络得到使用平均池化和展平操作将P1转化为图片特征从图像中选择17个与SMPL参数位置相似的二维关节点通过两个带有batchnormalization、ReLU、Dropout层的全连接层，将二维关节点与全连接层输出合并为三维关节点在迭代回归网络步骤中，迭代回归网络的输入包括图像特征三维关节点SMPL模板网格参数中形状参数姿势参数和初始相机参数用三个神经元数量为144、10、3的全连接网络连接得到第一阶段输出和进行替换后，完成阶段二和阶段三的网络，最终得到和相机参数将三维关节点转换成维度为2048×1的特征，每层的结构和输出维度如下表所示， SMPL参数损失的计算包括，Lsmpl＝||θpre-θgt||2+||βpre-βgt||2，其中 代表预测的SMPL参数，代表SMPL实际值，3D关节点损失的计算包括， N代表关节点个数，取值在[17-24]之间，总体三维关节点损失：SMPL三维关节点损失：三维关节点预测网络的关节点损失：通过得到相机偏移量t，通过其中u0，v0分别为裁剪后图片的中点，将预测的3D关节点映射到2D空间得到预测的2D关节点使用平均平方误差去约束2D关节点，L2D＝||xsmplpre-xgt||2。

全文数据：

权利要求：

百度查询： 石家庄铁道大学 一种基于双流网络的三维人体重建方法