买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：豫章师范学院

摘要：本发明公开了一种基于transformer融合openpose的舞蹈动作关键点捕捉方法，包括：1）获取舞蹈视频帧：实时采集舞蹈动作视频，并逐帧分解，得到舞蹈视频帧；2）初始化OpenPose：配置并启动OpenPose，处理舞蹈视频帧，提取人体关键点和手部关键点；3）Transformer模型集成与参数优化：将OpenPose提取的关键点输入预训练的Transformer模型进行预测和参数调整，并基于Transformer的输出，动态调整OpenPose的卷积层以及学习率、注意力机制的头数以及视频帧的旋转角度，以优化关键点提取；4）关键点模糊处理：使用模糊算法对Transformer的输出进行处理，以减小噪声和预测误差，输出平滑的关键点数据。本发明方法通过结合Transformer模型的强大预测能力和OpenPose的灵活性，显著提高了舞蹈动作捕捉的准确性和实时性能，具有广泛的应用前景。

主权项：1.一种基于transformer融合openpose的舞蹈动作关键点捕捉方法，其特征在于，包括以下步骤：步骤S1、获取舞蹈视频帧：采用深度高帧率的视频采集设备并在光照良好的环境下实时采集舞蹈动作视频，并逐帧分解，得到舞蹈视频帧；步骤S2、初始化OpenPose：配置并启动OpenPose，处理舞蹈视频帧，提取人体关键点和手部关键点；步骤S3、Transformer模型集成与参数优化：将OpenPose提取的关键点输入预训练的Transformer模型进行预测和参数调整；所述Transformer模型采用自注意力机制，其公式表示为： ；上式中，、、分别表示查询矩阵、键矩阵和值矩阵；是键向量的维度；基于Transformer的输出，动态调整OpenPose的卷积层以及学习率、注意力机制的头数以及视频帧的旋转角度，以优化关键点提取，优化内容包括：步骤S31、参数调整优化a、卷积层参数优化：将OpenPose提取的关键点数据输入Transformer模型，根据Transformer模型的输出，动态调整OpenPose卷积层的超参数，具体公式如下： ；上式中，和分别表示为可学习的权重和偏置参数；为卷积核大小；所述关键点数据包括热图和PAF；b、损失函数调整：基于Transformer的输出，调整OpenPose损失函数中的权重参数，以优化关键点提取的准确性；对于热图损失有： ；上式中，为Transformer模型预测的权重；为预测的热图；为真实热图；对于PAF损失有： ；上式中，为Transformer模型预测的权重；为预测的PAF；为真实PAF；步骤S32、多头注意力机制的优化将OpenPose提取的关键点数据输入优化后的Transformer模型，利用多头注意力机制计算不同关键点间的注意力权重，并引入自适应权重调整机制，计算公式如下： ； ；上式中，是根据关键点数据动态调整的权重参数；为查询向量Q的权重矩阵，用于将查询向量Q转换为一个新的查询向量；为键向量K的权重矩阵，用于将键向量K转换为一个新的键向量；为值向量V的权重矩阵，用于将键向量V转换为一个新的值向量；步骤S33、位置编码的优化包括动态位置编码优化和多维位置编码优化；步骤S34、动态调整OpenPose参数策略优化包括热图损失函数权重调整策略优化、PAF损失函数权重调整策略优化和卷积层参数的调整优化；步骤S4、关键点模糊处理：使用模糊算法对Transformer的输出进行处理，以减小噪声和预测误差，输出平滑的关键点数据。

全文数据：

权利要求：

百度查询： 豫章师范学院 一种基于transformer融合openpose的舞蹈动作关键点捕捉方法