买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：凝动万生医疗科技(武汉)有限公司

摘要：本发明公开了一种高精度的多视角动作捕捉方法及系统，涉及计算机视觉技术领域，本发明通过多视角数据同步采集；基于每个视角中人体二维姿态，进行初步多人三维关键点重建，其包括，多视角多人循环一致性多路匹配，人体结构约束，时空约束多目标匹配追踪优化，带置信度权重的三角测量重建；将初步三维关键点投影至各个视角下，与原始二维姿态序列归一化对齐，进行多视角视频精确化时序同步重建；根据精细化同步重建后的三维人体姿态点位，用LSTM网络预测出更符合人体运动的解剖学关键点位，应用本发明可以实现多目标三维人体关键点追踪，提高了多人多视角三维人体姿态估计的准确性和鲁棒性。

主权项：1.一种高精度的多视角动作捕捉方法，其特征在于，包括：1使用多进程同步采集多个视角视频数据，同时记录各个视角视频中获取每帧数据的世界时间戳；使用人体骨架2D关键点检测方法估计n个视角中每个人的2D关键点位置和置信度；2根据世界时间戳进行初步多视角视频同步；基于2D骨架关键点序列，进行粗糙3D关键点重建：多视角2D关键点循环一致性多路匹配，人体结构约束，时空约束多目标匹配追踪优化，带置信度权重的三角测量重建；3由步骤2得到粗糙3D关键点后，将其投影至各个视角下，基于人体二维姿态时序精确对齐后重建出3D关键点；再使用LSTM网络预测出最终的人体解剖学点位；步骤2的粗糙3D关键点重建步骤包括：2-1视频帧序列按世界时间戳进行视频时序初步对齐；根据世界时间戳截取每个视角视频的最长连续视频序列，连续性判断方程为ti+1-ti2fps，其中ti表示第i帧的世界时间戳，fps表示相机的帧率；以某一个视角的视频最长连续序列为参照，将其余视角视频中的最长连续序列进行对齐，计算时间差公式为： 其中dj表示序号j的视角视频与参照视角b的视频之间的帧差，且e,s表示截取视频帧的结束时刻和起始时刻且ej-sj＝eb-sb；表示序号j的视角视频的时间序列；2-2视频时序初步对齐后，多视角2D关键点循环一致性多路匹配；多视角2D关键点循环一致性多路匹配方式包括：2-2-1首先计算所有目标之间的距离矩阵，以相机光心和3D姿态点连线构造普吕克直线，表示图像上2D点位反投影时其对应的3D坐标在该条普吕克直线上，则它们普吕克直线之间的距离表示其距离，公式为： 其中，Aijxi,xj表示当前目标姿态i与其他视角目标j之间的距离，表示目标i的序号n的关键点，N表示2D关键点总数，表示视角下2D关键点反投影的点位与相机光心连线，d表示直线之间的距离函数，Aij表示目标i,j之间的距离矩阵；2-2-2多视角多目标匹配，根据距离矩阵Aij和循环一致性约束，同一目标能够在另一个视角中存在一个匹配，假设存在匹配矩阵M,则其关系为： 其中,表示匹配关系函数,λ表示低秩约束,‖·‖*表示矩阵核范数，·,·表示矩阵内积，n表示待匹配的目标总数。

全文数据：

权利要求：

百度查询： 凝动万生医疗科技(武汉)有限公司 一种高精度的多视角动作捕捉方法及系统