买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华南理工大学

摘要：本发明公开了一种从视觉到压力进行知识迁移的人体三维坐姿重构方法，涉及人体力学领域，隐私泄漏等问题提出本方案。训练的步骤：获取压力学习数据作为训练数据，获取视觉学习数据作为监督数据，利用跨模态教师‑学生网络进行监督学习，得到含有人体关键点重构信息的最终模型；输入的步骤：获取人体在坐垫上的压力数据，利用最终模型重构出人体当前的坐姿信息。优点在于，用视觉数据做监督学习，实现了模型准确率的提高，且通过重构出具体骨架形态，提高模型可解释性。再通过压力数据实现坐姿重构，最大程度上实现了用户隐私的保护。

主权项：1.一种从视觉到压力进行知识迁移的人体三维坐姿重构方法，其特征在于，包括训练的步骤和输入的步骤；所述训练的步骤：获取压力学习数据作为训练数据，获取视觉学习数据作为监督数据，利用跨模态教师-学生网络进行监督学习，得到含有人体关键点重构信息的最终模型；所述输入的步骤：获取人体在坐垫上的压力数据，利用所述最终模型重构出人体当前的坐姿信息；在所述训练的步骤中，沿重力传递路径设定若干关键点；所述关键点数量为9，具体选择人体位置为：头、左肩、右肩、左髋、右髋、左膝盖、右膝盖、左脚踝、右脚踝；使用跨模态教师-学生网络，利用视觉姿势估计模型为基于压力的关键点重构提供训练和监督，实现人体坐姿的3D关节点的重构：数据处理：利用3D视觉联合估计模型BlazaPose预测关键点坐标，通过简化背景为纯色背景并提取骨架进行可视化，为了减少骨架的抖动，使用卡尔曼滤波器，优化关键点坐标；选择噪声协方差矩阵因子Q＝0.1和测量噪声协方差矩阵因子R＝0.5；考虑一对同步的压力图像和视频帧P,V，教师网络根据视频图像生成关键点坐标，学生网络根据压力图像估计关键点坐标，优化目标是最小化视觉通道关键点和压力通道预测关键点的距离；在所述训练的步骤中，压力学习数据通过关键点重构网络预测出关键点位置；结合预测的关键点信息和视觉数据，通过跨模态教师-学生网络，学习得到实际关键点的位置信息；使用深度学习框架从压力图像中重构这些关键点；深度学习框架包括卷积神经网络CNNs和双向长短期记忆BiLSTM网络；特征工程：为处理由于压力传感器设备问题造成的噪声，使用中值滤波器进行过滤以减少噪声；为处理由于传感器阵列中某个点失效导致的传感器图像缺失的问题，使用周围的像素值填充的方式进行图像修复，然后使用中值滤波器平滑生成的图像以去除噪声和任何不连续区域；为处理由于坐上坐垫后产生的坐垫褶皱所而造成的噪声溢出问题，使用自适应阈值处理，将压力分布与图像中的其他区域分离；用形态学操作进一步平滑二值图像并去除噪声；最后得到64X64的压力图像；采用预训练的GoogleNet作为主干编码器，使用不同大小的卷积来并行提取特征；使用1x1卷积来减少参数数量和全局平均池化以减少过度拟合；在每个卷积层之后，添加了一个批量归一化层来归一化均值和方差；使用循环神经网络RNN来学习连续数据样本之间的关系；使用三层双向长短期记忆BiLSTM网络学习连续数据样本之间的关系；再设计了一个基于人体姿态参数更新关键点的模型；通过使用该模型，在原有预测的关键点坐标的基础上，进一步更新，保证姿态合理性，实现对坐姿重构优化，得到可供直接使用的最终模型；通过实际关键点位置与预测关键点位置的差值，以及实际关键点邻域长度与预测关键点邻域长度的差值，定义运动学模型的损失函数，具体公式如下： 式中，β和γ用于平衡loss的预定义的超参数，pi是坐标真实值，是坐标估计值，lj是关键点邻域长度的真实值，是关键点邻域长度的估计值，N是坐标总数，M是关键点间连线总数。

全文数据：

权利要求：

百度查询： 华南理工大学 一种从视觉到压力进行知识迁移的人体三维坐姿重构方法