买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：江西财经大学

摘要：本发明提出一种基于多头令牌自注意力的双手网格重建方法与系统，该方法对包含双手图像的RGB图像进行特征提取，获取双手特征，将双手特征分离为左手特征和右手特征；构建多头令牌自注意力模块；将左手和右手特征输入多头令牌自注意力模块，得到双手交互特征图；分别将左手特征和双手交互特征图以及右手特征和双手交互特征图作为输入多头令牌自注意力模块，分别得到左手和右手特征图；将左手和右手特征图分别重塑为2.5D热图，再进行特征提取，获得最终的左手和右手关节点特征图。本发明即使双手交互过程中存在严重遮挡情况，也能有效重建双手网格。经实验和定性分析表明，在使用更少参数的前提下，重建效果显著优于已有方法，且鲁棒性更强。

主权项：1.一种基于多头令牌自注意力的双手网格重建方法，其特征在于，所述方法包括如下步骤：步骤1、对包含双手图像的RGB图像进行特征提取，获取双手特征，将双手特征分离为左手特征和右手特征；步骤2、构建多头令牌自注意力模块，利用多头令牌自注意力模块将输入的特征进行融合，得到融合特征，对融合特征进行重塑操作，以获取视觉令牌；再将融合特征进行平均池化操作，并以平均池化操作过程中每个窗口的信息作为超级令牌，对视觉令牌和超级令牌进行多头自注意力计算，得到注意力输出；步骤3、以左手特征和右手特征作为输入特征重复步骤2，得到双手交互特征图；步骤4、分别将左手特征和双手交互特征图以及右手特征和双手交互特征图作为输入特征重复步骤2，分别得到左手特征图和右手特征图；步骤5、将左手特征图和右手特征图分别重塑为2.5D热图，再进行特征提取，获得最终的左手关节点特征图和右手关节点特征图；在所述步骤2中，将融合特征进行平均池化操作，并以平均池化操作过程中每个窗口的信息作为超级令牌，对视觉令牌和超级令牌进行多头自注意力计算，得到注意力输出的方法具体包括如下步骤：给定平均池化操作窗口大小，将融合特征进行平均池化操作，并以平均池化操作过程中每个窗口的信息作为超级令牌，其过程关系式如下： ；其中，表示超级令牌，表示平均池化操作，表示融合特征，表示超级令牌的大小；根据像素采样网格计算视觉令牌和超级令牌关联的映射；将视觉令牌和超级令牌的矩阵相乘得到视觉令牌和超级令牌之间的关联矩阵，对关联矩阵进行多类别分类操作，使其规范化为概率分布，得到每个像素点对应的位置概率之和，并根据每个像素点对应的位置概率分布的相似性构建亲和度矩阵，其过程关系式如下： ；其中，表示通道数，表示多类别分类操作，表示迭代次数，表示转置矩阵，表示亲和度矩阵，表示视觉令牌；将列标准化后的亲和度矩阵与视觉令牌相乘以更新，得到更新后的超级令牌，其过程关系式如下： ；其中，表示列标准化后的亲和度矩阵；对更新后的超级令牌进行多头自注意力运算，得到多头自注意力运算后的超级令牌，以计算全局上下文的内容，其过程关系式如下： ； ；其中，表示多头自注意力运算，表示查询操作，表示键操作，表示更新后的超级令牌，表示多头自注意力运算后的超级令牌，表示值操作；将多头自注意力运算后的超级令牌采用函数映射到视觉令牌上，再与视觉令牌和超级令牌关联的映射相乘，得到，其过程关系式如下： ；其中，表示全局特征图，表示视觉令牌和超级令牌矩阵相乘之间的关联映射，表示映射函数；将经过两次卷积和批处理归一化，得到最终的注意力输出，其过程关系式如下： ；其中，表示最终输出特征图，表示批处理归一化，表示非线性激活函数，表示卷积层；在所述步骤4中，分别将左手特征和双手交互特征图以及右手特征和双手交互特征图作为输入特征重复步骤2，分别得到左手特征图和右手特征图的过程存在如下关系式： ；其中，分别表示左手特征图和右手特征图。

全文数据：

权利要求：

百度查询： 江西财经大学 基于多头令牌自注意力的双手网格重建方法与系统