买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：天津理工大学

摘要：本发明公开了一种基于双流Transformer的大规模手语数据高质量自动筛选方法，首先获取同一个手语动作的标准手语视频和被筛选手语视频，标准手语视频不包含错误数据，且被筛选手语视频与标准手语视频需保证在相同视角下采集；使用MediaPipe库分别对标准手语视频和被筛选手语视频进行手势识别，得到标准手语骨骼视频和被筛选手语骨骼视频；然后，构建包含多个顺序连接的特征提取模块的手语筛选模型，最后一个特征提取模块的输出特征经过一个多层感知机映射为两类，正类代表被筛选手语视频质量合格，负类代表被筛选手语视频质量不合格；对手语筛选模型进行训练，根据训练后的手语筛选模型对被筛选手语视频进行筛选。该方法以正确手语视频数据作为标准，将被筛选手语视频与标准手语视频进行对比，判断视频对的类别，进而反映被筛选手语视频质量是否合格，解决了手语数据质量低下的问题。

主权项：1.一种基于双流Transformer的大规模手语数据高质量自动筛选方法，其特征在于，该方法包括以下步骤：第一步：获取若干个视频对作为数据集，视频对由同一个手语动作的标准手语视频和被筛选手语视频组成，标准手语视频不包含错误数据，被筛选手语视频与标准手语视频需保证在相同视角下采集；使用MediaPipe库分别对标准手语视频和被筛选手语视频进行手势识别，得到标准手语骨骼视频和被筛选手语骨骼视频；第二步：构建手语筛选模型；手语筛选模型包括多个顺序连接的特征提取模块，最后一个特征提取模块的输出特征经过一个多层感知机映射为两类，正类代表被筛选手语视频质量合格，负类代表被筛选手语视频质量不合格；手语筛选模型的输入是由标准手语骨骼视频和被筛选手语骨骼视频组成的视频对，每个特征提取模块包括结构相同的两个分支，每个分支包括顺序连接的交叉Transformer、自适应图卷积网络和时序Tranformer，交叉Transformer的输出特征和骨骼图的邻接矩阵输入到自适应图卷积网络中进行特征提取，自适应图卷积网络的输出特征输入到时序Tranformer，自适应图卷积网的输出特征X2表示为： X1＝ConvW1NormX1⊙ConvW2NormX1T式中，Conv·表示卷积操作，α是权重因子；是对称归一化的拉普拉斯矩阵，根据骨骼图得到；X1是交叉Transformer的输出特征，Norm·表示归一化操作，W1、W2表示线性变换，⊙表示点积；第三步：对手语筛选模型进行训练，根据训练后的手语筛选模型对被筛选手语视频进行筛选。

全文数据：

权利要求：

百度查询： 天津理工大学 基于双流Transformer的大规模手语数据高质量自动筛选方法