买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华侨大学

摘要：一种基于裁判分数学习的跳水运动质量评估方法、装置和设备，涉及动作质量评估技术领域。方法包含S1、获取待评估视频。S2、根据待评估视频进行采样，获取待评估视频帧序列。S3、从训练集中选取对比视频帧序列。S4、通过空间特征编码器ViT分别进行编码，获取两个图像特征序列。S5、通过时序特征编码器TE分别进行编码，获取待评估视频级特征序列和对比视频级特征序列。S6、将两个特征序列输入裁判分数学习评估网络，获取动作质量得分。裁判分数学习评估网络利用基于交叉注意力机制的交叉特征融合网络和基于Transformer解码器的对比动作特征解码器来学习生成具有差异性的裁判分数特征，然后采用分数预测网络根据裁判分数特征预测动作质量得分。

主权项：1.一种基于裁判分数学习的跳水运动质量评估方法，其特征在于，包含：获取跳水运动的待评估视频；根据所述待评估视频的原始视频帧序列进行采样，获取待评估视频帧序列；从训练集中选取对比视频帧序列，其中，所述训练集中包含多个对比视频，至少部分对比视频中的运动动作和待评估视频中的运动动作相同，从运动动作相同的对比视频中随机选择一个视频，得到对比视频帧序列；通过空间特征编码器ViT分别对所述待评估视频帧序列和所述对比视频帧序列进行编码，以提取空间特征，获取待评估图像特征序列和对比图像特征序列；通过时序特征编码器TE分别对所述待评估图像特征序列和所述对比图像特征序列进行编码，以提取时序特征，获取待评估视频级特征序列和对比视频级特征序列；将所述待评估视频级特征序列和所述对比视频级特征序列输入预选训练好的裁判分数学习评估网络，获取待评估视频的动作质量得分；其中，裁判分数学习评估网络利用基于交叉注意力机制的交叉特征融合网络和基于Transformer解码器的对比动作特征解码器来学习生成具有差异性的裁判分数特征，然后采用分数预测网络根据裁判分数特征预测动作质量得分；将所述待评估视频级特征序列和所述对比视频级特征序列输入预选训练好的裁判分数学习评估网络，获取待评估视频的动作质量得分，具体包括：根据所述时序特征编码器TE编码后的待评估视频级特征序列和对比视频级特征序列进行交叉特征融合，获取视频特征相对表示；其中，交叉特征融合以时序编码后的对比视频级特征序列作为交叉注意力运算中的Query，以时序编码后的待评估视频级特征序列作为交叉注意力运算中的Key和Value，迭代更新Value以捕获目标视频特征序列与对比视频特征序列的差异；然后拼接交叉对比后的待评估视频级特征和对比视频级特征，得到视频特征相对表示；根据所述视频特征相对表示，通过对比动作解析解码器进行解码，获取裁判分数特征；其中，所述对比动作解析解码器由堆叠的Transformer块构成；以交叉特征融合得到的视频特征相对表示作为Transformer块中的多头注意力机制的Key和Value，并设置多个可学习查询Query作为裁判分数特征；每一层Transformer块的输入为上一层输出的Query，迭代更新Query，最后一层的输出即为生成的裁判分数特征；根据所述裁判分数特征，通过分类网络预测多个相对裁判分数区间，并通过回归网络预测分数在区间内的偏差，通过计算得到多个相对裁判分数；获取所述对比视频帧序列的多个真实裁判分数；将所述多个相对裁判分数分别和所述多个真实裁判分数相加，获取多个预测裁判分数；根据所述多个预测裁判分数，获取所述动作质量得分；其中，所述动作质量的最终得分根据实际评分规则对预测裁判分数进行计算得到。

全文数据：

权利要求：

百度查询： 华侨大学 基于裁判分数学习的跳水运动质量评估方法、装置和设备