买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
摘要:本发明公开了一种基于多层级信息时空融合的三维人体姿态估计方法及装置,包括:取得一段时序的二维人体姿态序列;将其输入嵌入层对每一个二维关键点进行处理,对处理得到的Token添加空间位置编码,进行关节级别的空间信息的融合;再复制三份,分别添加关节、部位、姿态级别的时间位置编码,然后分别进行对应级别的时间信息融合;融合时间信息后通过对应级别的全连接层,分别回归得到姿态的旋转角度、各部位的无方向位置中心、各关节相对于所属部位的相对位置;进一步计算出人体每一个关节的三维坐标数据。本发明通过多层级的利用关节、部位、姿态三个级别的运动信息,对时间、空间两个维度进行信息融合,提升了三维人体姿态估计的准确性。
主权项:1.一种基于多层级信息时空融合的三维人体姿态估计方法,其特征在于,具体步骤如下:通过二维人体姿态估计方法对待估计视频进行处理,取得二维人体姿态序列;使用获取的二维人体姿态序列对时空融合三维人体姿态估计网络进行训练;所述时空融合三维人体姿态估计网络包括空间信息融合子网络和时间信息融合子网络;所述空间信息融合子网络包括嵌入层和关节级别的空间Transformer,对二维人体姿态序列中每一个二维关键点进行处理,得到添加空间位置编码令牌,并通过关节级别的空间Transformer中进行空间信息的融合;所述时间信息融合子网络包括姿态、部位、关节级别的时间信息融合子网络,将空间信息融合后的令牌进行复制,对姿态、部位、关节级别分别添加时间位置编码,根据各自的子网络进行时间信息融合后分别输入各自的输入回归头,得到姿态的旋转角度、部位位置、关节点位置偏移;将二维人体姿态序列输入训练好的时空融合三维人体姿态估计网络,结合获得的姿态旋转角度、部位位置、关节点位置偏移,计算出人体每一个关节的三维坐标数据。
全文数据:
权利要求:
百度查询: 浙江工商大学 杭州小伴熊科技有限公司 基于多层级信息时空融合的三维人体姿态估计方法及装置
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。