买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：广西师范大学

摘要：本发明公开了一种基于视频分析的田径运动标准动作构建方法，包括如下步骤：（1）构建2d人体运动模型；（2）自定义标准运动姿态。这种方法采用2D姿态分析，简化技术实施复杂性和降低成本，克服了高速动作捕捉难度高的缺点，在保证实施简便性的同时，充分考虑室内外、不同光照和天气条件等不同环境，实现接近实时反馈和高准确度，不仅支持田径运动信息化发展和教学指导，而且能够满足田径运动教学的多样化需求，为运动员的训练优化和比赛分析提供坚实的技术基础。

主权项：1.一种基于视频分析的田径运动标准动作构建方法，其特征在于，包括如下步骤：1构建2d人体运动模型：第一步，利用目标检测模型detr，即Md，检测出图像中的人体，并对人体信息进行裁剪，得到只包含人体的图像；第二步，利用自建人体姿态估计模型，即Me，对2d人体运动视频进行分析，得到2d人体姿态，具体包括如下步骤：S1.将视频分成连续帧：上传一个人体运动视频，该人体运动视频为任意的田径运动视频，视频中运动的人体需清晰；拍摄设备与人体之间的直线距离范围为3-6米；拍摄帧率在120帧以上，拍摄清晰度在1080p以上，视频标记为V，通过图像处理技术把视频V分为连续帧：V＝{v1,v2,…,vi}，vi表示第i帧；S2.检测人体位置：获取人体的位置，同时裁剪出只包含人体的图片，裁剪的人体位置由模型Md输出的人体左上角坐标和右下角坐标构成；S2-1.处理图片：对于得到的视频帧vi，首先改变vi颜色排列顺序为RGB，得到一张三通道的颜色特征图片，标记为P，P∈RH×W×3，H代表图像的高度，W代表图像的宽度；S2-2.提取人体位置：采用模型Md，检测出人体在图P中的位置，用候选框进行标记，候选框左上角坐标为x1,y1，候选框右下角坐标为x2,y2；最后根据候选框的位置信息裁剪图片，去除掉除人体外的背景，得到特征图I，公式如下：x1,y1,x2,y2＝MdP1模型Md分为三步，分别是特征提取、自注意力、候选框预测，其中第一步特征提取公式如下：F＝CNNP2CNN表示特定的卷积神经网络，通过将P输入CNN中，能有效提取图片中人体的初步特征信息，F∈RH′×W′×C，C代表特征图的通道数；接下来在第二步自注意力过程中，F在被展平之后通过位置编码送入自注意力中，最大程度提取人体特征信息，如公式3：F′＝PositionalEncodingFlattenF3R＝TransformerF′4R表示自注意力输出的结果，尺寸为N×D，其中N是预定义的目标数量上限，这里N的值为1，表示只检测人体；D是每个目标的输出维度，包括类别和候选框坐标；最后在候选框预测过程中，R被转换为候选框B和相应的类别标签L，通过线性层和特定激活函数去除无效值，具体公式如下：B,L＝LinearR5B＝SigmoidB·[W,H,W,H]6L＝SoftmaxL7B中的每个元素通过Sigmoid函数被映射到[0,1]范围内，最后乘上原图片P的高宽即可得到坐标值，L通过Softmax函数得到每个候选框的概率，高于特定阈值该候选框才有效，这里的阈值设置为0.75，即模型预测候选框为人体的概率超过0.75才被认定确实是人体；S2-3.裁剪图片：最后通过裁剪得到图片I，公式如下：CF表示裁剪函数，裁剪后的图片I位于原始图片P的x1,y1到x2,y2区域内；CFP,x1,y1,x2,y2＝I8S3.提取关键点特征，获得人体关节点的坐标，构建2d人体姿态特征图，即姿态点图：S3-1.处理图片：为准确地识别出人体关键点，将图片I通过四个不同卷积核，得到四个大小不一的特征图I1,I2,I3,I4，特征图I1,I2,I3,I4被依次送入模型Me，模型Me通过学习I1,I2,I3,I4四个特征图的输出结果，进而获得能够处理不同尺寸图片的泛化能力，其中四个特征图的形状如下： S3-2.提取特征：设计一个基于窗口的自注意力模块，通过将图片进行切割，每个块进行单独的自注意力，最终将自注意力进行聚合，具体为，对于某个特征图Ii，尺寸为h×w，将Ii按尺寸ph×pw进行切割，得到个窗口；对每个窗口进行自注意力，而后将自注意力进行聚合，得到特征图Ii′，公式如下： wj表示第j个窗口，然而这样划分窗口会导致窗口之间没有信息交流，进而导致对人体关键点的识别效果不佳，故设计了一个跨窗口信息交流模块，对聚合自注意力后的特征图Ii′进行信息补充，跨窗口信息交流模块由三个卷积核构成，公式如下： 窗口自注意力模块和跨窗口信息交流模块合并称为特征提取模块，对于每一张特征图，分别对应一个特征提取模块，然后采用串联方式，即InIi+1＝OutIi，让不同的特征图之间共享参数和特征信息；S3-3.融合特征：经过特征提取模块，得到提取特征过后的四张特征图通过将四张特征图统一维度，进行特征融合，进一步提高模型对人体关键点的提取能力，公式如下： 为最终得到的特征，形状为表示Q个关键点的热图；S3-4.热图解码：通过上述S3-1至S3-3步骤，得到了表示关键点的热图，其中Q设置为17，代表十七个人体关键点，采用热图解码器对热图进行解码，得到相应关键点； 2自定义标准运动姿态：首先对得到的17个关键点进行归一化，得到标准化坐标，然后根据人体关键点结构，对关键点进行两两连线，进而在空白画布中画出2d人体姿态，姿态点图标记为相较于原视频帧V＝{V1,V2,Vi}，j≤i，对于原视频中没有人的帧，不会进行画图；在得到了连续姿态点图构成的图片序列后，自定义选取其中n个点图作为某项田径运动的标准动作，将归一化的点坐标保存为json文件以便后续的使用。

全文数据：

权利要求：

百度查询： 广西师范大学 基于视频分析的田径运动标准动作构建方法