买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：西安交通大学;宁波市舜安人工智能研究院

摘要：本发明公开了一种基于特征解耦的时序动作定位方法及系统，所述方法包括以下步骤：提取获得每个视频片段的粗糙特征；将每个视频片段的粗糙特征分别输入预训练好的解耦定位模型，所述解耦定位模型输出动作分类结果和动作定位结果；其中，所述解耦定位模型包括：自编码器，用于输入视频片段的粗糙特征，解耦并输出对应视频片段的细腻分类特征和细腻定位特征；分类网络，用于输入所述细腻分类特征，输出动作分类结果；定位网络，用于输入所述细腻定位特征，输出动作定位结果。本发明提供的方法，能够使得分类和定位各自关注的部分不再互相影响，可提高分类的准确率和定位的精准性。

主权项：1.一种基于特征解耦的时序动作定位方法，其特征在于，包括以下步骤：获取待时序动作定位的视频并剪切为若干个视频片段，提取获得每个视频片段的粗糙特征；将每个视频片段的粗糙特征分别输入预训练好的解耦定位模型，所述解耦定位模型输出动作分类结果和动作定位结果；其中，所述解耦定位模型包括：自编码器，用于输入视频片段的粗糙特征，解耦并输出对应视频片段的细腻分类特征和细腻定位特征；分类网络，用于输入所述细腻分类特征，输出动作分类结果；定位网络，用于输入所述细腻定位特征，输出动作定位结果；所述自编码器包括：编码器，用于输入视频片段的粗糙特征，输出三部分隐变量；其中，所述三部分隐变量包括只适合分类的隐变量、只适合定位的隐变量以及定位分类均适合的隐变量；解码器，用于输入所述三部分隐变量，输出还原的粗糙特征；所述预训练好的解耦定位模型的获取步骤包括：1获取样本训练集；其中，每个样本均包括样本视频片段的粗糙特征、动作定位标签、动作分类标签；2将每个样本视频片段的粗糙特征输入自编码器，通过自编码器中的编码器输出三部分隐变量；将所述三部分隐变量输入自编码器的解码器，获得还原的粗糙特征；3将所述三部分隐变量进行处理后输入自编码器中的解码器，获得细腻分类特征；将所述细腻分类特征输入分类网络，获得预测分类结果；其中，处理的规则为，将所述三部分隐变量中任意一部分隐变量替换为0向量；4将所述三部分隐变量进行处理后输入自编码器中的解码器，获得细腻定位特征；将所述细腻定位特征输入定位网络，获得预测定位结果；其中，处理的规则为，将步骤3替换0向量后剩余的两部分隐变量中任意一部分隐变量替换为0向量；5计算所述解耦定位模型的损失值，基于所述损失值更新模型参数，获得所述预训练好的解耦定位模型；所述将每个样本视频片段的粗糙特征输入自编码器，通过自编码器中的编码器输出三部分隐变量的步骤中，编码器输出三部分隐变量的计算公式为： 式中，为只适合分类的隐变量，为只适合定位的隐变量，为定位分类均适合的隐变量；和均编码器为可训练的权重；Yi为样本视频片段的粗糙特征；所述将所述三部分隐变量输入自编码器的解码器，获得还原的粗糙特征的步骤中，还原的粗糙特征的表达式为： 式中，为还原的粗糙特征；Wd为解码器可训练的权重；σ为ReLU激活函数；[·]为拼接操作；所述将所述三部分隐变量中任意一部分隐变量替换为0向量的表达式为： 式中，为提案内部适合分类的视频片段特征；所述将步骤3替换0向量后剩余的两部分隐变量中任意一部分隐变量替换为0向量的表达式为： 式中，为提案内部适合定位的视频片段特征。

全文数据：

权利要求：

百度查询： 西安交通大学 宁波市舜安人工智能研究院 一种基于特征解耦的时序动作定位方法及系统