买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：东南大学

摘要：本发明公开一种针对单目视频的三维人体姿态估计方法。首先对输入的单目人体运动视频，采用级联金字塔结构的二维姿态检测器进行二维关节坐标提取，并输出为二维关节序列；根据二维关节序列极值点与前后帧差异构建噪声阈值约束，通过阈值滤波器对二维关节序列进行平滑降噪；然后对输入若干帧二维关节序列进行升维卷积；构建时序扩张卷积模型；再采用切片方法在每层卷积结构中进行残差连接并构建联合损失函数；最后利用时序卷积模型输出的三维关节坐标序列重建与单目人体运动视频相对应的三维姿态结果。本发明能够应对单目视频场景下的三维人体姿态估计需求，并能有效提升序列图像下的姿态估计效果，生成一段高精度的三维人体关节点运动视频。

主权项：1.一种针对单目视频的三维人体姿态估计方法，其特征在于，所述方法包括以下步骤：步骤1：对输入的单目人体运动视频，采用级联金字塔结构的二维姿态检测器进行二维关节坐标提取，并输出为二维关节序列；步骤2：根据二维关节序列极值点与前后帧差异构建噪声阈值约束，通过阈值滤波器对二维关节序列进行平滑降噪；步骤3：对输入若干帧二维关节序列进行升维卷积；步骤4：构建时序扩张卷积模型，采用多层渐进结构，通过扩张因子实现对时间感知域的精准控制；步骤5：采用切片方法在每层卷积结构中进行残差连接，在避免过拟合的同时保留主要特征并累加至卷积输出中；步骤6：采用基于人体运动规律的帧间姿态连续性和提升模型底层感知能力的中间监督策略来构建联合损失函数；步骤7：利用时序扩张卷积模型输出的三维关节坐标序列重建与单目人体运动视频相对应的三维姿态结果；所述的步骤4具体过程如下，输入层获取每个帧的J个关节的串联x,y坐标，并进行核大小为W，输出通道为C的时间卷积，然后采用是B个时序扩张卷积的块，B个块之间引入残差连接，每个块首先执行核大小为W且膨胀因子D＝WB的一维卷积，然后再执行核大小为1的卷积，除最后一层的卷积之后是批量正则、ReLU和Dropout；所述的步骤6具体过程如下，在构建时序扩张卷积模型之后，为了保证该模型在训练过程中能够正常收敛，需构建相应的损失函数；5.1假设T为输入连续视频帧的帧数，S是样本总数，表示模型预测出的某个关节的三维坐标；表示与之对应关节的三维坐标真值；||·||2表示计算两坐标之间的欧式距离，则可以构建得到如下公式的三维姿态基础误差损失函数： 5.2帧间姿态连续性损失：为了使模型能充分利用视频序列多帧图像之间的关联性，除了构建时序扩张卷积模型本身之外，引入了一种能学习视频序列相邻帧近似线性差异特征的损失函数，假设T为输入连续视频帧的帧数，表示模型预测得到的第i帧与第i-1帧间的三维姿态误差，表示相邻帧之间的真实误差，通过两类计算结果的差值表示相邻帧的姿态不匹配程度，则可以构建得到如下公式的帧间姿态连续性损失函数： 5.3中间监督损失：在处理最后一层特征并计算与真实数据的误差作为损失函数的一部分之外，为了发挥在三维姿态估计中同样有价值的网络低层次较浅特征的作用，使用中间监督的方案，引入网络中间变量作为损失函数的一部分，在B个扩张卷积块的每一个块单元之后，复用残差连接使用的切片函数的输出结果，提取中间帧直接作为单帧结果输出，最后再经过降维输出三维姿态坐标，对于B个时序扩张卷积块输出的三维人体姿态，都计算其与真实数据的误差并将其累加至模型的输出函数中，假设B代表时序扩张卷积块的数量，J代表所需预测的人体关节点个数，ωb代表第b个扩张卷积层的权重，则可以构建得到如下公式的引入中间监督的三维姿态估计损失函数： 结合相应的三维姿态基础误差损失函数、帧间姿态连续性损失函数以及中间监督损失函数，则可以构建得到本模型使用的三维姿态估计联合损失函数：Loss＝LBase+λ1LPCBF+λ2Linter其中λ1、λ2分别为帧间姿态连续性损失以及中间监督损失的权重比。

全文数据：

权利要求：

百度查询： 东南大学 一种针对单目视频的三维人体姿态估计方法