买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：焦点科技股份有限公司

摘要：本发明公开了一种基于Transformer的视频片段分割方法，其特征在于，对视频的画面和语音采样获得采样图片和采样语音，将采样图片与采样语音对应并标注分割标签；输入卷积神经网络，提取采样图片的卷积特征和采样语音的MFCC特征，对两者进行拼接并融合位置特征，获得相应的序列，输入transformer模型进行训练；使用模型，得到目标视频的切割预测标签，根据切割预测标签对目标视频进行切分。本发明充分利用transformer模型结构对长序列建模的优势，将视频片段分割转化为序列标注问题，进一步将视频通过序列标注结果进行分割成多个片段，达到将视频逐秒标注，并根据标注结果将视频分割成多个片段的效果。

主权项：1.一种基于Transformer的视频片段分割方法，其特征在于，对数据源采样及标注，构建及训练模型，使用模型，所述数据源包括视频及语音，具体步骤包括：步骤S1，对数据源采样及标注，将视频时长调整至预设时长，对视频的画面采样获得采样图片，对视频的语音采样获得采样语音，将采样图片与采样语音对应并标注分割标签；步骤S2：构建及训练transformer模型，将采样图片与采样语音输入卷积神经网络，所述卷积神经网络包括图片特征抽取网络和语音信号读取网络，提取采样图片的卷积特征和采样语音的MFCC特征，对采样图片的卷积特征和采样语音的MFCC特征进行拼接并融合位置特征，获得相应的序列，将所述序列输入预设的transformer模型进行训练；步骤S3：transformer模型的使用，通过步骤S1处理目标视频，将处理的结果输入步骤S2训练的transformer模型，得到目标视频的切割预测标签，根据切割预测标签对目标视频进行切分；所述步骤S1具体包括：步骤S1-1，所述将视频时长调整至预设时长包括，对于低于预设时长的视频，采用空白画面和空白语音补全，对于大于预设时长的视频，采用倍速压缩至预设时长，记录压缩倍速率用于还原位置；步骤S1-2，对视频采用抽帧采样获得采样图片，每秒采样一张，对语音采用逐秒采样，每秒的采样语音再细分成预设段落数的语音片段，对应采样图片及相应的语音片段，获得具有采样图片及语音片段的视频片段；步骤S1-3，对视频片段进行标注，获得分割标签；所述步骤S2具体包括：步骤S2-4，将采样图片缩放到预设的固定尺寸，输入图片特征抽取网络，提取相应的卷积特征；步骤S2-5，将语音片段输入语音信号读取网络,提取相应的MFCC特征；步骤S2-6，将采样图片的卷积特征和语音片段的MFCC特征进行拼接，融合位置特征，得到由视频片段组成的数据源的序列；步骤S2-7，将所述序列输入预设的transformer模型，通过多头的encoder-decoder结构对输入进行编码和解码，得到每个视频片段的特征向量；步骤S2-8，将所述特征向量送入分类层，得到对应的预测分割标签，对比步骤S1-3中标注的分割标签，计算两者的交叉熵损失，根据最小化损失原则，通过神经网络反向传播算法训练模型，更新模型参数；所述步骤S3具体包括：步骤S3-9，将目标视频通过步骤S1-1和S1-2，得到包含视频片段的数据源；步骤S3-10，将所述视频片段中对应的采样图片和语音片段分别输入步骤S2-4和S2-5，得到对应的卷积特征和MFCC特征；步骤S3-11,将采样图片的卷积特征和语音片段的MFCC特征按步骤S2-6拼接，融合位置特征，输入训练并更新了模型参数的transformer模型，得到视频片段的切割预测标签，根据切割预测标签和视频的压缩倍速率将数据源切分，得到原始视频各时间点的预测结果；所述步骤S1-1中，视频的预设时长为15分钟，所述每秒的采样语音的预设段落数为40；所述步骤S1-3中，选取1000个视频片段标注分割标签，对视频片段的序列根据类别标注片段属性，所述片段属性包括开始、中间、结束。

全文数据：

权利要求：

百度查询： 焦点科技股份有限公司 一种基于Transformer的视频片段分割方法