买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：温州大学

摘要：本发明公开了一种基于渐进滤波融合的人体姿态估计方法，先通过两台AzureKinectDK相机进行数据采集，并确定初始数据，然后进行数据滤波融合处理，利用马氏距离对两台AzureKinectDK相机的初始数据进行分类处理，筛选并弃用受视觉遮挡影响较大的AzureKinectDK相机的量测信息，对于确定的受视觉遮挡影响较小的一台AzureKinectDK相机的量测信息，通过另外一台AzureKinectDK相机的量测信息进行引导该台AzureKinectDK相机的量测信息进行渐进滤波融合，从而达到隐式补偿的效果，最后进行全局融合从而进一步提高了人体姿态估计的精度；优点是兼具低成本和高精度，且不需要测试者佩戴关节点标记，不会给测试者造成不便。

主权项：1.一种基于渐进滤波融合的人体姿态估计方法，其特征在于包括以下步骤：步骤1、进行初始数据采集，具体过程为：S1.1、将两台AzureKinectDK相机摆放于测试台上，其中，两台AzureKinectDK相机处于同一水平面上，视野重合率达到80％以上，且两台AzureKinectDK相机视野范围均能完全覆盖到处于测试台中央的测试者；S1.2、让测试者双手端着方格边长为10mm、图案阵列为8*6的棋盘格标定板笔直站立在测试台中央处，使两台AzureKinectDK相机中都能清晰看见8*6棋盘格标定板正面的棋盘格图案；S1.3、先同时启动两台AzureKinectDK相机拍摄一帧彩色图像数据后关闭两台AzureKinectDK相机，然后从两台AzureKinectDK相机处分别获取其拍摄的一帧彩色图像数据，此时得到两帧彩色图像数据；S1.4、将两帧彩色图像数据输入到OpenCV软件工具包中，OpenCV软件工具包对两帧彩色图像数据进行处理，得到两台AzureKinectDK相机之间的变换矩阵，将该变换矩阵记为W；S1.5、将棋盘格标定板从测试者处取走，测试者进入准备状态；S1.6、测试者开始执行测试动作，同时启动两台AzureKinectDK相机开始录制视频，直至测试者完成所有测试动作，此时两台AzureKinectDK相机视频录制完成，关闭两台AzureKinectDK相机；其中，每台AzureKinectDK相机录制的视频中每帧数据均包括了图像数据以及与该图像数据对应的人体骨架数据，人体骨架数据为在该台AzureKinectDK相机坐标系下的32个人体骨骼关节点的三维位置向量，32个人体骨骼关节点分别为骨盆、脊柱骨、脊柱胸部、脖子、左锁骨、左肩、左肘、左手腕、左手、左手尖、左手拇指、右锁骨、右肩、右肘、右手腕、右手、右手尖、右手拇指、左髋、左膝、左脚踝、左脚、右髋部、右膝、右脚踝、右脚、头、鼻子、左眼、左耳、右眼和右耳；按照1-32依次分别对骨盆、脊柱骨、脊柱胸部、脖子、左锁骨、左肩、左肘、左手腕、左手、左手尖、左手拇指、右锁骨、右肩、右肘、右手腕、右手、右手尖、右手拇指、左髋、左膝、左脚踝、左脚、右髋部、右膝、右脚踝、右脚、头、鼻子、左眼、左耳、右眼和右耳进行编号，将编号为l的人体骨骼关节点称为l关节点，l＝1,2,....,32；将两台AzureKinectDK相机录制的视频中数据的总帧数记为Y，即每台AzureKinectDK相机分别得到Y帧数据；S1.7、将两台AzureKinectDK相机中任意一台作为主相机，另一台作为从相机；将从相机得到的第a帧数据的l关节点的三维位置向量左乘变换矩阵W，得到l关节点在主相机坐标系下的映射向量，将其称为l关节点的映射向量，记为将主相机得到的第a帧数据的l关节点的三维位置向量记为步骤2、设定第a帧数据的l关节点的全局三维位置向量估计值为设定的协方差矩阵为对第1帧数据的l关节点的全局三维位置向量估计值进行初始化，令对的协方差矩阵进行初始化，令等于3*3的单位矩阵，将该3*3的单位矩阵记为I；设定的量测噪声协方差为令等于3*I；设定的量测噪声协方差为令等于3*I；设定第a帧数据的任意人体骨骼关节点量测矩阵为Ha，令Ha＝I，其中*为乘运算符号；步骤3、进行数据滤波融合处理，具体过程为：S3.1、设定帧数变量为k，对k进行初始化，令k＝2；S3.2、对主相机得到的第k帧数据的l关节点的三维位置向量和l关节点的映射向量进行处理，得到第k帧数据的l关节点的全局三维位置向量估计值具体过程为：S3.2.1、设定第k帧数据的状态转移矩阵为Fk，令Fk等于I；设定第k帧数据的过程噪声协方差矩阵为Qk，令Qk等于0.2*I；设定第k帧数据的l关节点的全局三维位置向量预测值为设定的协方差矩阵为S3.2.2、采用公式1和2分别计算得到与 式2中，角标T表示矩阵的转置符号；S3.2.3、设定与的马氏距离的平方为采用式3计算得到 式3中，S3.2.4、设定与的马氏距离的平方为设定和的马氏距离的平方为分别采用式4和5分别计算得到和 式4中，式5中，S3.2.5、设置l关节点的置信阈值为χl，χl的取值大于等于10且小于等于20；S3.2.6、先将和分别与χl进行比较，然后根据比较结果分别进行处理，具体为：当比较结果满足或且时，处理过程为：A1、采用式6、7和8分别计算出从相机的第k帧数据的l关节点的局部三维位置向量估计值与的协方差矩阵 A2、采用式9、10和11分别计算出主相机的第k帧数据的l关节点的局部三维位置向量估计值与的协方差矩阵 A3、进入步骤S3.2.7；当比较结果满足且且时，具体处理过程为：B1、采用式6、7和8分别计算出从相机采集的第k帧数据的l关节点的局部三维位置向量估计值与的协方差矩阵B2、判断是否成立，如果成立，则令主相机的第k帧数据的l关节点的局部三维位置向量估计值的协方差矩阵然后进入步骤S3.2.7；如果不成立，对主相机采集的第k帧数据的l关节点的三维位置向量继续进行渐进滤波，具体渐进滤波过程为：B2.1、设定渐进滤波的迭代变量为t，设定最大迭代步数M＝10，设定渐进滤波中状态变量和B2.2、对t进行初始化，令t＝1，对和进行初始化，令B2.3、进行第t次迭代滤波，具体过程为：B2.3.1、采用式12至16计算得到第t代中间状态变量第t代中间状态协方差矩阵和第t代中间判断变量 上式中，B2.3.2、判断是否成立，如果成立，则令然后进入步骤S3.2.7；如果不成立，则进一步判断t的当前值是否等于M，如果不等于，则采用t的当前值加1的和更新t的取值，然后返回步骤B2.3进行下一次迭代滤波，如果等于，则令然后进入步骤S3.2.7；当比较结果满足且且时，具体处理过程为：C1、采用式9、10和11分别计算出主相机采集的第k帧数据的l关节点的局部三维位置向量估计值与的协方差矩阵C2、判断是否成立，如果成立，则令从相机的第k帧数据的l关节点的局部三维位置向量估计值的协方差矩阵然后进入步骤S3.2.7；否则，对从相机的第k帧数据的l关节点的映射向量继续进行渐进滤波，具体渐进滤波过程为：C2.1、设定渐进滤波中的迭代变量为n，最大迭代步数N＝10，设定渐进滤波中状态变量和C2.2、对n进行初始化，令n＝1；对和进行初始化，令C2.3、进行第n次迭代滤波，具体过程为：C2.3.1、采用式17至21，计算得到从相机中渐进滤波中的第n代中间状态变量第n代中间状态协方差矩阵和第n代中间判断变量 上式中，C2.3.2、判断是否成立，如果成立，则令然后进入步骤S3.2.7；如果不成立，则进一步判断n的当前值是否等于N，如果不等于，则先采用n的当前值加1的和更新n的取值，然后返回步骤C2.3进行下一次迭代滤波，如果等于，则令然后进入步骤S3.2.7；当比较结果满足且且时，直接令然后进入步骤S3.2.7；S3.2.7、采用式22和式23分别计算得到第k帧数据的l关节点的全局三维位置向量估计值与的协方差矩阵 S3.3、判断k的当前值是否等于Y，如果不等于，则采用k的当前值加1的和更新k的取值，然后返回步骤S3.2进行下一帧数据的处理，如果等于，则人体姿态评估结束，即为得到的人体姿态数据。

全文数据：

权利要求：

百度查询： 温州大学 基于渐进滤波融合的人体姿态估计方法