买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

龙图腾网恭喜浙江工业大学申请的专利一种基于视觉和惯性信息融合的人体姿态估计方法获国家发明授权专利权，本发明授权专利权由国家知识产权局授予，授权公告号为：CN113158459B 。

龙图腾网通过国家知识产权局官网在2025-03-28发布的发明授权授权公告中获悉：该发明授权的专利申请号/专利号为：202110422431.7，技术领域涉及：G06F30/20；该发明授权一种基于视觉和惯性信息融合的人体姿态估计方法是由张文安;朱腾辉;杨旭升设计研发完成，并于2021-04-20向国家知识产权局提交的专利申请。

本一种基于视觉和惯性信息融合的人体姿态估计方法在说明书摘要公布了：一种基于视觉和惯性信息融合的人体姿态估计方法，针对基于3D视觉传感器的人体姿态估计方法无法提供三自由度旋转信息的缺点，利用视觉与惯性信息的互补性，采用非线性优化的方法自适应融合视觉信息、惯性信息以及人体姿态先验信息，得到每个时刻人体骨骼节点的旋转角度和根骨骼节点的全局位置，完成实时的人体姿态估计。本发明有效提高了人体姿态估计的精确度和鲁棒性，弥补了视觉传感器易受遮挡以及惯性数据随时间累积误差的不足。

本发明授权一种基于视觉和惯性信息融合的人体姿态估计方法在权利要求书中公布了：1.一种基于视觉和惯性信息融合的人体姿态估计方法，其特征在于，所述方法包括以下步骤：步骤1建立人体各骨骼节点运动学模型，确定优化变量θ，确定相机坐标系c和全局坐标系g之间的齐次变换矩阵惯性坐标系n与全局坐标系g之间的旋转矩阵惯性传感器i与对应骨骼坐标系bi之间的位移矩阵和旋转矩阵步骤2设置视觉和惯性的输出频率一致，以惯性传感器的旋转约束ERθ、加速度约束EAθ、视觉传感器位置约束EPθ以及人体姿态先验约束Epriorθ为优化项构建优化问题，设置各优化项的权重；步骤3每个时刻读取视觉传感器的位置测量值以及惯性传感器的旋转测量值Ri和加速度测量值ai，计算各优化项在统一坐标系后的传感器测量值与估计值步骤4求解非线性最小二乘优化问题，解得每个时刻的最优解θ即当前时刻人体各骨骼节点的最优旋转角度和根骨骼节点n1的最优全局位置，根据建立的人体骨骼节点运动学模型，得到当前时刻的人体姿态估计；步骤5重复执行步骤3和4完成每个时刻对人体各关节点的状态估计，得到基于视觉和惯性信息融合的实时人体姿态估计；所述步骤1的过程为：1.1人体骨骼定义为相互连接的刚体，骨骼节点的初始坐标系B与全局坐标系g对齐，定义上半身骨骼数量nb＝13，骨骼节点分别为左手、右手、左前臂、右前臂、左上臂、右上臂、左肩、右肩、脊柱1～4以及盆骨，其中盆骨视作根骨骼节点n1，子骨骼节点nb都与其父节点有相对的旋转矩阵Rb和相对不变的位移tb，b≥2，每个骨骼间具有3个旋转自由度，根节点具有全局位移量x1,y1,z1，d＝3+3×nb＝42，用42个自由度来表述整个人体上半身的运动，将42个变量记为一个42维向量θ，向量θ作为优化问题的优化变量，由正向运动学公式推导得出每个刚性骨骼在全局坐标系下的齐次变换矩阵 其中Pb为全部骨骼的集合；1.2将两个视觉传感器分别放置于测试者面前，视觉传感器距离测试者L＝2米，使用“张正友相机标定法”得到两个相机对于全局坐标系g的平移矩阵和旋转矩阵进而确定相机坐标系c和全局坐标系g的齐次变换矩阵1.3将惯性传感器IMU放置于全局坐标系g处，使得惯性传感器坐标系n与全局坐标系g对齐，得到此时惯性传感器输出值，即为惯性传感器坐标系n与全局坐标系g之间的旋转矩阵重复上述操作，得到第ii＝1,2,3,4,5个惯性传感器坐标系ni与全局坐标系g之间的旋转矩阵1.4IMU穿戴在左手、右手、左前臂、右前臂、盆骨的相应骨骼点处，IMUi与对应骨骼坐标系bi之间不存在位移，即在初始时刻测试者做“T-pose”校准姿态，此时定义IMUi的测量值为Ri_initial，则IMUi与对应骨骼坐标系bi之间的旋转矩阵表示为： 所述步骤2的过程为：2.1IMUi对应的骨骼节点在全局坐标系下的旋转矩阵的测量值和估计值之间的差异作为IMU的旋转项约束，对应骨骼节点的旋转矩阵测量值表示为： 其中，Ri为IMUi的旋转测量值，对应骨骼节点的旋转矩阵估计值表示为： 其中，Pbi为骨骼bi全部父骨骼的集合；综上，旋转项的能量函数定义为： 其中，ψ·提取旋转矩阵四元数表示方法的向量部分，λR为旋转项能量函数的权重，ρR·表示一种损失函数；2.2最小化IMUi加速度测量值ai和估计值之间误差作为IMU的加速度约束项，加速度估计值表示为： 其中，等式6左边t-1表示当前时刻使用上一时刻的加速度约束，全局坐标系下的加速度测量值通过前一帧的旋转信息和加速度测量值计算得出，加速度测量值表示为： 其中，ag为重力加速度；综上，加速度项的能量函数定义为： 其中，λA为加速度项能量函数的权重，ρA·表示一种损失函数；2.3从视觉传感器的深度相机中得到人体骨骼节点的全局坐标x,y,z，加入最小化骨骼节点全局位置的测量值和估计值之间最小化的约束项，定义用于位置约束项的骨骼节点数量为np，骨骼节点在相机c坐标系下的位置为相机数量为nc，骨骼节点位置的估计值表示为： 综上，位置约束的能量函数定义为： 其中，λP为位置约束项能量函数的权重，ρP·表示一种损失函数；2.4考虑实际骨骼的运动自由度存在限制，所以使用姿态先验项Epriorθ来限制关节不合理的运动，Epriorθ通过已有人体姿态估计数据集“TotalCapture2017”来建立，其中包含126000帧人体运动姿态数据；首先对数据集中所有的数据进行k-means聚类，选择聚类种类k＝126000100＝1260，再对所有的聚类中心取均值，得到姿态的均值μ，最后对原始数据进行统计分析得姿态的标准差σ和各个骨骼节点的自由度上下限θmax和θmin，由此，姿态先验项定义为： 其中，的维度为36，不对根节点的位移和旋转作限制，λprior为姿态先验项能量函数的权重，ρprior·表示一种损失函数；2.5综上所述，构建优化问题： 其中，EA、EP、Eprior中的损失函数设置为ρx＝log1+x，通过按设定比例加大对异常值的惩罚，来限制异常值的影响，各优化项的权重设置为λR＝0.1，λP＝10，λA＝0.005，λprior＝0.0001。

如需购买、转让、实施、许可或投资类似专利技术，可联系本专利的申请人或专利权人浙江工业大学，其通讯地址为：310014 浙江省杭州市下城区朝晖六区潮王路18号；或者联系龙图腾网官方客服，联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。