买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：北京捷通华声科技股份有限公司

申请日：2022-06-29

公开（公告）日：2024-06-18

公开（公告）号：CN115278382B

专利技术分类：...内容架构，例如把内容分解成时间片段[2011.01]

专利摘要：本发明公开了一种基于音频片段的视频片段确定方法及装置。其中，该方法包括：获取输入视频中音频片段对应的音频帧序列；通过预先训练完成的图像向量预测模型中的音频表征模块，根据音频帧序列确定音频表征向量组，其中，音频表征向量组包括输入视频的多个子波形信号分别对应的多个音频表征向量；通过图像向量预测模型中的预测模块，分别根据音频表征向量组以及图像表征向量查找表，确定输入视频的各个视频片段分别对应的预测图像表征向量；根据图像表征向量查找表以及各个预测图像表征向量，确定音频片段对应的目标视频片段。本发明解决了由于相关技术中合成视频中音频与图像帧不匹配，导致视频质量低，用户体验差的技术问题。

专利权项：1.一种基于音频片段的视频片段确定方法，其特征在于，包括：获取输入视频中音频片段对应的音频帧序列；通过预先训练完成的图像向量预测模型中的音频表征模块，根据所述音频帧序列确定音频表征向量组，其中，所述音频表征向量组包括所述输入视频的多个子波形信号分别对应的多个音频表征向量；通过所述图像向量预测模型中的预测模块，分别根据所述音频表征向量组以及图像表征向量查找表，确定所述输入视频的各个音频片段分别对应的预测图像表征向量，其中，所述图像表征向量查找表包括所述输入视频的各个视频片段对应的图像表征向量；根据所述图像表征向量查找表以及各个预测图像表征向量，确定所述音频片段对应的目标视频片段；其中，所述获取输入视频中音频片段对应的音频帧序列，包括：对音频片段进行多频带处理，得到所述多个子波形信号，其中，所述多个子波形信号分别对应不同的频率区间段；对所述多个子波形信号进行采样，得到音频帧序列，其中，所述音频帧序列包括所述多个子波形信号对应的多个音频信号特征；所述根据所述音频表征向量组以及图像表征向量查找表，确定所述输入视频的各个视频片段分别对应的预测图像表征向量，包括：将图像表征向量m和音频表征向量组Encoder，输入至所述预测模块，得到预测图像表征向量μ，公式为：μ＝Attentionm,Encoder＝ValueEncoder·WeightEncoder,m＝v1·sw1+v2·sw2+…+vK·swK其中，m为将视频片段图像帧序列输入图像表征模块，得到的维度为F的图像表征向量；F为预测图像表征向量的维度；[sw1,sw2,…,swK]为{v1,v2,…,vK}对应的权重；Value对表征向量线性运算，为K个频率区间段中每个频率区间段预测出的图像表征向量，ValueEncoder＝{v1,v2,…,vK}； 其中，wj的维度是1，j的取值范围为1～K， 其中，{b1,b2,…,bF}是可训练的偏置向量；通过各子频段预测出的图像表征向量的加权和，得到所述预测图像表征向量μ。

百度查询： 北京捷通华声科技股份有限公司 基于音频片段的视频片段确定方法及装置