买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：四川国软科技集团有限公司

摘要：本发明提供了一种重构3D人体关键点的坐姿检测方法、装置及系统，涉及图形数据读取技术领域，包括通过双视觉传感器获取不同角度的图像，结合其空间位置关系，计算得到上半身关键点的三维坐标；通过测距传感器得到背部关键点的三维坐标；通过上半身关键点和背部关键点重构完整的坐姿3D关键点；使用预训练的图注意神经网络对重构出的3D关键点进行分类，得到坐姿类型。本发明通过结合背部关键点，使坐姿检测具备更高的准确性和鲁棒性。本发明整个检测过程从数据获取、关键点提取到姿态识别，均实现了高度自动化，减少了人工干预，提高了处理效率，并且通过准确检测坐姿类型，可以帮助被检测者纠正不良坐姿，预防颈椎病、脊椎侧弯等健康问题。

主权项：1.一种重构3D人体关键点的坐姿检测方法，其特征在于，包括：获取第一信息、第二信息和第三信息，所述第一信息和第二信息分别为第一视觉传感器和第二视觉传感器采集到的人体上半身图像，所述第一视觉传感器和第二视觉传感器分别安装在人体正前方和人体斜前方，所述第三信息为人体背后关键点到椅背的距离；对第一信息和第二信息进行预处理，得到上半身关键点以第一视觉传感器为坐标原点的三维坐标；将第三信息通过欧氏距离进行坐标正算，得到背后关键点以椅背为坐标原点的三维坐标；将背后关键点以椅背为坐标原点的三维坐标进行转换，得到背后关键点以第一视觉传感器为坐标原点的三维坐标；根据上半身关键点和背后关键点以第一视觉传感器为坐标原点的三维坐标，建立三维骨骼关键点图像；将三维骨骼关键点图像输入预训练的图注意卷积神经网络模型对三维骨骼关键点图像进行分类，得到坐姿类型；其中，对第一信息和第二信息进行预处理，得到上半身关键点以第一视觉传感器为坐标原点的三维坐标，包括：将第一信息和第二信息分别采用人体姿态识别模型定位出上半身关键点，并输出上半身关键点的第一图像坐标和第二图像坐标，所述第一图像坐标和第二图像坐标分别是以第一视觉传感器和第二视觉传感器为坐标原点的二维坐标；对第一图像坐标和第二图像坐标采用双目视觉立体匹配算法，得到上半身关键点的三维坐标，所述三维坐标以第一视觉传感器为坐标原点；其中，所述背后关键点包括多个肩部关键点和多个背部关键点，所述上半身关键点包括脸部关键点、颈部关键点、多个肩部关键点、手肘关键点和手腕关键点，其特征在于，将背后关键点以椅背为坐标原点的三维坐标进行转换，得到背后关键点以第一视觉传感器为坐标原点的三维坐标，包括：将多个肩部关键点在椅背坐标系和第一视觉传感器坐标系中的三维坐标分别写成1行3列的向量，得到椅背向量集和第一视觉传感器向量集；所述背后关键点中的多个肩部关键点与上半身关键点中的多个肩部关键点一一对应重合；对第一视觉传感器向量集和椅背向量集分别进行求和平均，得到第一质心和第二质心；所述椅背坐标系和第一视觉传感器坐标系的尺度相同；根据第一质心、第二质心、椅背向量集和第一视觉传感器向量集进行计算，得到协方差矩阵；根据奇异值分解算法和协方差矩阵进行计算，得到椅背坐标系和第一视觉传感器坐标系之间的旋转矩阵；根据旋转矩阵、第一质心和第二质心进行计算，得到椅背坐标系和第一视觉传感器坐标系之间的平移向量；根据旋转矩阵和平移向量，建立椅背坐标系和第一视觉传感器坐标系之间的转换关系式；根据转换关系式将背后关键点转换至以第一视觉传感器为坐标原点的三维坐标；其中，图注意卷积神经网络模型的预训练过程，包括：采集不同坐姿类型的第一信息、第二信息和第三信息，得到不同坐姿类型的三维骨骼关键点图像；所述坐姿类型包括正常坐姿和异常坐姿，所述异常坐姿包括身体前倾、颈部前倾、身体歪斜和颈部歪斜；将各坐姿类型采用独热编码分别进行编码，得到各坐姿类型编码；将三维骨骼关键点图像中的各关键点作为矩阵的不同行，将各关键点的三维坐标作为各行中的元素，得到关键点特征矩阵；根据三维骨骼关键点图像中的两两关键点是否有连接，建立连接特征矩阵；建立依次连接的输入层、图注意力层和输出层，得到图注意卷积神经网络模型；所述输入层的输入神经元数量为两个；所述输出层的输出神经元数量与坐姿类型数量相同，所述输出神经元采用归一化指数函数作为激活函数；以三维骨骼关键点图像的关键点特征矩阵和连接特征矩阵分别作为两个输入神经元的输入，以该三维骨骼关键点图像对应的坐姿类型编码作为输出层的输出，并采用交叉熵损失函数训练图注意卷积神经网络模型，直到模型分类准确率大于预设阈值，得到预训练的图注意卷积神经网络模型。

全文数据：

权利要求：

百度查询： 四川国软科技集团有限公司 一种重构3D人体关键点的坐姿检测方法、装置及系统