浙江工业大学刘盛获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉浙江工业大学申请的专利一种基于时空上下文特征感知的三维人体姿态估计方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114241515B 。
龙图腾网通过国家知识产权局官网在2025-07-15发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111373663.4,技术领域涉及:G06V40/10;该发明授权一种基于时空上下文特征感知的三维人体姿态估计方法是由刘盛;李超楠;姚璐;邹思宇;陈胜勇设计研发完成,并于2021-11-19向国家知识产权局提交的专利申请。
本一种基于时空上下文特征感知的三维人体姿态估计方法在说明书摘要公布了:本发明公开了一种基于时空上下文特征感知的三维人体姿态估计方法,从视频每一帧中提取相应的二维人体姿态,并组成二维人体姿态骨架数据序列,利用空间上下文感知模块依次处理二维骨架序列从中获取人体结构隐含的几何约束信息特征,通过时间上下文感知模块从整个二维人体骨架序列数据中提取内在的时间特征,最后利用回归模块从前述模块生成的特征中回归出相应的三维人体姿态。本发明显著地提升三维人体姿态估计精度,并且消耗的计算资源更少,有较强的鲁棒性。
本发明授权一种基于时空上下文特征感知的三维人体姿态估计方法在权利要求书中公布了:1.一种基于时空上下文特征感知的三维人体姿态估计方法,其特征在于,所述基于时空上下文特征感知的三维人体姿态估计方法,包括: 输入单目视频中连续F帧,检测出人体边界框,然后采用级联金字塔结构的二维人体姿态检测器对每一帧进行二维人体关节点坐标的检测,并组成一个二维人体骨架序列; 对二维人体骨架序列的每一个二维人体骨架进行归一化处理,对归一化处理后的二维人体骨架中关节点坐标进行升维,得到升维后的骨架特征; 将升维后的骨架特征输入到空间上下文感知模块,提取包含人体关节点间的几何依赖信息的依赖关系特征; 将依赖关系特征输入时间多层感知网络模块,在时间维度上进一步提取时间信息,得到时间上下文特征; 将时间上下文特征在时间维度均值化,然后进行归一化,接着通过一个全连接层,预测对应的三维人体姿态结果; 其中,所述将升维后的骨架特征输入到空间上下文感知模块,提取包含人体关节点间的几何依赖信息的依赖关系特征,包括: 3.1、首先根据预设的人体结构,通过以下公式,构建结构矩阵 其中Si,p代表结构矩阵S中第i行,第p列的元素,MDi,p代表第i个人体关节点和第p个人体关节点间的流式距离,关节点间的流式距离由预设的人体骨架结构图所决定,K代表预定义的超参数; 3.2、将结构矩阵S及升维后的骨架特征xnew输入空间上下文感知模块进行骨架特征学习,该空间上下文感知模块由N个相同结构的姿态编码器串联构成;结构矩阵S及升维后的骨架特征xnew经过第一个姿态编码器后得到特征矩阵,该特征矩阵与骨架特征xnew维度大小相同,后一个姿态编码器的输入为前一个姿态编码器输出的特征矩阵以及结构矩阵S;经过N个姿态编码器后,输出特征将输出特征经过LayerNorm层进行归一化,得到包含人体关节点间的几何依赖信息的依赖关系特征 所述姿态编码器,执行如下操作: 首先将结构矩阵S展平成维度为1×J2的一维向量,并将其输入骨架注意力模块,其中骨架注意力模块由一层J2个神经元的全连接层和一层sigmoid激活函数组成,输出注意力向量 将输入的特征矩阵首先经过LayerNorm层,然后经过转置操作将维度变成Cs×J,接着经过一层包含J2个神经元的全连接层和一层GELU激活函数,得到中间特征其维度大小为Cs×J2,然后将该中间特征与注意力向量WAtt做元素乘法操作,得到注意力特征矩阵,最后将注意力特征矩阵经过一层包含J个神经元的全连接层得到骨架注意力特征矩阵WSA维度大小为Cs×J,最后将骨架注意力特征矩阵WSA经过转置操作将维度变成J×Cs并且与输入特征xnew相加,得到残差特征值WRa; 然后,将残差特征值WRa在经过LayerNorm层,以及一层包含Cs个神经元的全连接层和一层GELU激活函数,进一步学习骨架特征,最后再经过一层包含Cs个神经元的全连接层后将输出与残差特征值WRA相加,得到一个新的残差特征WNew_RA维度大小为J×Cs;WNew_RA即为当前姿态编码器输出的特征矩阵; 所述将依赖关系特征输入时间多层感知网络模块,在时间维度上进一步提取时间信息,得到时间上下文特征,包括: 4.1、将每一个二维人体骨架的依赖关系特征进行拼接,组成骨架特征序列,然后将骨架特征序列的第二、三维展平成一维,形成新骨架特征序列; 4.2将新骨架特征序列输入时间多层感知网络模块,输出的特征进行归一化,得到时间上下文特征; 所述时间多层感知网络模块由多个相同结构的多层感知混合器串联构成,每一个多层感知混合器执行如下操作: 首先经过LayerNorm层进行归一化,接着使用转置操作将输入特征维度变成Ct×F,接着经过一层包含Ds个神经元的全连接层,一层GELU激活函数和一层包含F个神经元的全连接层,得到中间特征其维度大小为Ct×F,接着将中间特征经过转置操作将维度变成F×Ct,并且与输入特征相加,得到残差特征值 然后将残差特征值FT_Ra经过LayerNorm层进行归一化,以及一层包含Dc个神经元的全连接层和一层GELU激活函数,进一步学习时间特征,最后再经过一层包含Ct个神经元的全连接层后将输出与残差特征值FT_Ra相加,得到一个新的残差特征FNew_T_Ra维度大小为F×Ct,FNew_T_Ra即为当前多层感知混合器输出的时间特征矩阵。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人浙江工业大学,其通讯地址为:310014 浙江省杭州市下城区潮王路18号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。