买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：大连民族大学

摘要：本发明公开了一种泛化增强的少数民族舞蹈视频动作分割方法，属于深度学习视频动作分割领域。其提出多阶段域泛化视频动作分割网络，包含多个单阶段域泛化时间卷积。每个单阶段域泛化时间卷积内，通过捕捉帧间关系、动作内关系和动作间关系，获得多层次特征，通过多层次关系推理动作类别，提升准确性。并利用多层次关系执行对抗性数据增强的域泛化方法，获得增广域样本，将增广域样本与源域样本共同作为训练集参与网络训练过程，提升网络的泛化能力。通过多阶段网络结构实现增广域样本和动作分割结果的逐步优化。本发明适用于少数民族舞蹈视频教学、安防监控等领域。

主权项：1.一种泛化增强的少数民族舞蹈视频动作分割方法，其特征在于，包括：获取训练集中的视频，得到视频帧集合bt为视频中第t帧宽为w高为h的RGB三通道图像；所述视频帧集合使用特征提取器，获得特征通道数为Din的源域视频特征序列复制所述源域视频特征序列Xin，获得视频特征序列保留Xadv梯度，使其受到反向传播影响；将源域视频特征序列Xin和视频特征序列Xadv分别输入至第一个单阶段域泛化时间卷积DG-TCN1，得到预测结果和预测结果将预测结果和预测结果分别输入至第二个单阶段域泛化时间卷积DG-TCN2，得到预测结果和预测结果以此类推；将所述预测结果和预测结果分别输入至第N个单阶段域泛化时间卷积DG-TCNN，得到预测结果和预测结果对每个阶段的帧级预测结果和预测结果添加分类损失Lcls，对所有阶段的fiⅠadv|i∈[1,N]、fiⅡadv|i∈[1,N]、fiⅢadv|i∈[1,N]和使用对抗损失Ladv，通过反向传播更新视频特征序列Xadv；经过多阶段对抗训练，视频特征序列Xadv迭代更新为与源域视频特征序列具有不同分布的增广域视频特征序列；将源域视频特征序列与增广域视频特征序列共同作为训练集，对多阶段域泛化视频动作分割网络仅使用分类损失Lcls进行训练；将视频特征序列Xin和视频特征序列Xadv分别输入至第一个单阶段域泛化时间卷积DG-TCN1，得到预测结果和预测结果具体包括：对视频特征序列Xin使用一维线性映射函数F1in调整特征通道数为Df，获得隐藏层特征使用包含L层空洞残差单元的帧关系捕捉层对隐藏层特征f1in捕捉多跨度时间关系，获得帧级特征对帧级特征f1Ⅰ使用一维线性映射函数F1out调整特征通道数为C，获得帧级预测结果根据帧级预测结果获得动作分段区间，从而将帧级特征f1Ⅰ划分为J个动作区间，针对第j|j∈[1,J]个动作区间内对应的帧级特征，使用动作聚合层，遍历所有J个动作区间，获得动作级特征对动作级特征f1Ⅱ使用视频聚合层，获得视频级特征对动作级特征f1Ⅱ和视频级特征f1Ⅲ分别使用复制操作，将二者尺寸拓展为1×Df×T，获得f1Ⅱ′和f1Ⅲ′；将特征f1Ⅰ、f1Ⅱ′和f1Ⅲ′输入至特征融合分类层，通过拼接操作获得融合帧级特征使用一维线性映射函数F1fusion调整特征通道数为C，获得输出预测结果对视频特征序列Xadv重复上述步骤，获得对应的帧级特征动作级特征视频级特征和输出预测结果

全文数据：

权利要求：

百度查询： 大连民族大学 一种泛化增强的少数民族舞蹈视频动作分割方法