买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：厦门立马耀网络科技有限公司

摘要：本发明提供的一种基于交叉注意力和序列注意力的视频切分方法及系统，涉及视频处理技术领域，本发明通过获取某一时间段的直播视频与商品信息；对商品信息与直播视频进行时间点检测，得到所有时间点;将商品信息与所有时间点进行多模态融合，以通过交叉注意力与序列注意力捕获两者之间的关系与关键信息，得到时间点商品特征向量;根据商品信息与所有时间点，遍历比较相邻时间点的时间点商品特征向量，对直播视频重新划分视频时间段，得到商品分类更加精准的第二切分视频。本发明能最大程度地召回商品关联视频的时间点，减少后续失误判断，充分捕获视频时间点与商品之间的关联关系，更加精确地识别直播视频的时间点，解决商品维度上的视频划分问题。

主权项：1.一种基于交叉注意力和序列注意力的视频切分方法，其特征在于，包括：S1,获取某一时间段的直播视频与商品信息；S2,对所述商品信息与所述直播视频进行时间点检测，得到所有时间点；其中，所有时间点包括：第一切分视频的时间点、音频时间点与视频截图时间点；所述第一切分视频通过采用自回归坐标点方法，按照预设的时间窗长对所述直播视频进行时间点检测、商品分类标记与时间段划分得到;所述音频时间点通过将所述商品信息与所述直播视频中提取的语音文本信息检测匹配得到；所述视频截图时间点通过将所述第一切分视频中的商品截图与所述直播视频检测匹配得到；S3,将所述商品信息与所有时间点进行多模态融合，以通过交叉注意力机制与序列注意力机制捕获两者之间的上下文关系与关键信息，得到时间点与商品关联关系的时间点商品特征向量；S4,根据所述商品信息与所有时间点，遍历比较相邻时间点的时间点商品特征向量，对所述直播视频重新划分视频时间段，得到商品分类更加精准的第二切分视频；其中，所述S3具体为：获取所有时间点的图片信息与对应时间点的相邻文本信息；将所述图片信息通过图像编码模型得到图像特征，所述相邻文本信息通过文本编码模型得到文本特征，将所述图像特征与所述文本特征进行融合拼接，得到商品特征；将所述商品特征分别与所述商品信息、所有时间点进行有序单维向量的拼接，分别得到商品信息拼接向量Q与时间点信息拼接向量；并将所述时间点信息拼接向量映射为键向量K与值向量V;通过交叉注意力机制，捕获Q和K的关系，从而得到Q和K的关系注意力权重向量Z；通过序列注意力机制，采用关系注意力权重向量Z对值向量V进行加权求和，通过分配权重来捕获商品信息与时间点信息之间的关键信息，得到时间点与商品关联关系的时间点商品特征向量。

全文数据：

权利要求：

百度查询： 厦门立马耀网络科技有限公司 一种基于交叉注意力和序列注意力的视频切分方法及系统