买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：中国科学院软件研究所

摘要：本发明公开了一种双手交互状态下的三维重建方法，其步骤包括：1输入单张彩色图像，2检测图像中双手关键点的2.5D热图；3提取该彩色图像的特征；4将2.5D热图和所提取的特征输入到ResNet50深层残差模块中提取特征图；5根据2.5D热图得到左、右手注意力图；6使用特征图预测双手之间的相对位置关系；7根据特征图与左、右手注意力图得到左、右手特征图；8利用左、右手特征图预测左、右手参数化模型的参数；9根据参数回归双手的三维关键点位置，生成左、右手注意力图更新模型参数；使用最新预测的模型参数生成的左、右手注意力图与特征图生成人手参数化模型。本发明适用于双手交叉或分离状态的三维重建。

主权项：1.一种双手交互状态下的三维重建方法，其步骤包括：1输入单张彩色图像，该彩色图像中的双手处于交互状态或分离状态；2检测该彩色图像中双手关键点的2.5D热图；3利用ResNet50浅层残差模块提取该彩色图像的特征；4将所述2.5D热图和步骤3所提取的特征输入到ResNet50深层残差模块中提取特征图；5将左手的2.5D热图、右手的2.5D热图分别沿通道进行最大值池化操作，得到左手注意力图、右手注意力图；6使用步骤4所提取的特征图作为输入利用全连接网络预测双手之间的相对位置关系；7将步骤4所提取的特征图与左手注意力图逐点相乘，再通过平均值池化得到左手特征图；将步骤4所提取的特征图与右手注意力图逐点相乘，再通过平均值池化得到右手特征图；8利用左手特征图预测左手参数化模型的参数；利用右手特征图预测右手参数化模型的参数；9根据左手参数化模型的参数、右手参数化模型的参数分别回归双手的三维关键点位置，然后使用所述2.5D热图与回归所得三维关键点的位置关系计算弱透视投影模型的相机参数，根据三维关键点的投影位置分别生成左手注意力和右手注意力图；其中生成左手注意力或右手注意力图的方法为：首先通过手部参数化模型的参数计算手部的三维关键点坐标；然后使用弱透视投影相机模型将手部三维关键点投影到二维平面上，然后根据2.5D热图的像素最大值在该彩色图像中的位置获得关键点在该彩色图像上的二维坐标，将该二维坐标与三维关键点在二维平面上的投影位置之间的距离的平方和视为误差；最小化该误差即为求解以弱透视投影参数为自变量的最小二乘问题，通过最小二乘法求解弱透视投影参数，使得到预测的二维关键点与三维关键点投影之间误差最小，将三维关键点投影到二维平面之后，以投影位置为中心，按照预设的方差生成像素值服从高斯函数的各关键点的二维热图；然后将每一只手对应的各关键点的二维热图进行融合得到对应手的注意力图；其中手部参数化模型为左手参数化模型或右手参数化模型；10将步骤9生成的左手注意力、右手注意力图分别与步骤4所提取的特征图逐像素相乘，提取左手特征与右手特征；11将步骤8所得左手参数化模型的参数、右手参数化模型的参数，步骤10所得左手特征、右手特征以及步骤6中预测的相对位置关系输入到级联模块中，网络预测更新左手参数化模型参数和右手参数化模型参数；12迭代重复步骤9～11，使用最新预测的左手参数化模型参数、右手参数化模型参数生成对应的左手注意力图、右手注意力图，然后将新生成的左手注意力图、右手注意力图与步骤4所提取的特征图逐像素相乘后输入下一个级联模块，生成人手参数化模型。

全文数据：

权利要求：

百度查询： 中国科学院软件研究所 一种双手交互状态下的三维重建方法