买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京工业大学

摘要：本发明涉及一种基于单张RGB图像的双流多尺度手部姿态估计方法，用于解决单张RGB图像中自遮挡、近邻关节预测歧义问题。本发明是以RGB图像作为输入，利用深度神经网络提取单张图像的特征并得到手部关节2D姿态初始坐标，利用双分支网络进行2D姿态估计，得到两路手部关节2D姿态坐标；对于两路2D姿态坐标，利用双分支的多尺度语义图U‑Net网络分别估计两路手部关节的3D坐标，然后再将两路3D坐标加和求平均，最终输出手部关节的3D坐标。本发明基于手的不同拓扑结构，更好的利用了关节之间的信息，最终实现高精度的手部姿态估计。

主权项：1.一种基于单张RGB图像的双流多尺度手部姿态估计方法，其特征在于包括以下步骤：步骤1提取单张图像的特征并得到手部关节2D姿态初始坐标；步骤2利用双分支网络进行2D姿态估计，得到手部关节2D姿态准确坐标，所述的双分支网络具有结构相同的两路分支；步骤3利用多尺度语义图U-Net网络估计手部关节的3D坐标，所述多尺度语义图U-Net网络具有结构相同的两路分支，每个分支的多尺度语义图U-Net网络输入均为步骤2中一路分支得到的2D姿态坐标和相应的邻接矩阵，输出为手部关节的3D姿态；然后再将两个分支得到的3D姿态进行加和求平均，最终输出手部关节的3D坐标；步骤1具体如下，利用Resnet50网络对输入的单张RGB图像进行编码，每个输入图像产生一个2048维的特征向量；然后再使用一个额外全连接层生成手关节点的初始预测的二维坐标，同时将得到的特征向量与每个关节点的初始二维预测坐标拼接起来，生成每个节点具有F个特征的图，即得到一个N×F的特征矩阵，其中N表示手部关节的数量，F表示特征维度；步骤2具体包括，根据第一步中得到N×F的特征矩阵，N表示手部关节的数量，F表示特征维度，得到两种图结构，每种图结构由一个邻接矩阵表示，其中第一种图结构称为物理连接，用于表示手的物理关节之间的联系，第二种图结构称为对称连接，用于表示每个手指相同关节处之间的联系；将N×F的特征矩阵与物理连接的邻接矩阵输入到双分支网络中的一支，将N×F的特征矩阵与对称连接的邻接矩阵输入到双分支网络中的另一支，每支网络由相互串联的3层语义图卷积层组成；对称连接的邻接矩阵的构建方法为：令G＝{V,E}表示一个图，其中V是N个手关节点的集合，E表示边；邻接矩阵A，当两个关节点之间相连时aij＝1否则aij＝0，i和j分别表示手的两个关节；每个手指有三个关节，指尖处为第三关节，指尖之下的两个关节分别为第二关节和第一关节；相邻手指相同关节之间相互连接；手掌有6个关节，其中一个为腕关节，腕关节与其余的5个掌指关节相连，相邻掌指关节之间相连；多尺度语义图U-Net网络中的分支结构依次包括三个阶段：下采样、上采样、多尺度特征融合，其中，下采样阶段计算过程如下：Y0＝G0x3Pi＝PoolingiYi-1i＝1,2,…,54 其中表示网络的输入，为第二阶段得到的手部关节2D姿态坐标矩阵，N为关节数，l为特征维度；i表示下采样的次数，表示下采样的图卷积运算，Yi表示图卷积的输出，Poolingi·表示下采样计算即池化计算，Pi表示池化层的输出，FC·表示全连接层运算；上采样阶段：上采样即反池化层使用转置卷积的方法，使用完全连接层将其应用到特征的转置矩阵以获得所需数量的输出节点，然后再次对矩阵进行转置，其反池化的计算过程如下： 其中Ui表示上采过程中每层的输出，Unpoolingi·表示反池化计算，即上采样，表示特征融合即特征拼接，表示下采样的图卷积运算；多尺度特征提取阶段，其计算过程如下： 其中表示多尺度图卷积计算，Fi为不同尺度下图卷积层的输出，Unpoolingi·表示反池化计算即上采样，out表示多尺度融合后的输出。

全文数据：

权利要求：

百度查询： 北京工业大学 一种基于单张RGB图像的双流多尺度手部姿态估计方法