买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
申请/专利权人:北京官匠空间科技有限公司
摘要:本发明涉及视频问答技术领域,具体为一种基于视频问答的短视频标注方法,包括如下步骤:S1、从多个短视频平台按照不同视频类型,收集短视频素材,针对不同类型视频结合每个视频的时长设定每个类型视频提取帧频率;S2、针对每个视频帧提取视觉对象和场景文本的高维特征表示,利用多模态变压器提取不同模态的特征向量序列;S3、通过预训练的深度学习模型,识别视频帧中的物体结合场景检测模型进一步识别视频中场景变化。本发明提供了一种基于视频问答的短视频标注方法,通过多模态数据采集、预处理、语义分析、多模态融合和桥段分割等步骤,实现了对影视内容的精准分割。该系统能够在复杂的影视内容中准确识别语义边界,具有广泛的应用前景。
主权项:1.一种基于视频问答的短视频标注方法,其特征在于:包括如下步骤:S1、从多个短视频平台按照不同视频类型,收集短视频素材,针对不同类型视频结合每个视频的时长设定每个类型视频提取帧频率;S2、针对每个视频帧提取视觉对象和场景文本的高维特征表示,利用多模态变压器提取不同模态的特征向量序列;S3、通过预训练的深度学习模型,识别视频帧中的物体结合场景检测模型进一步识别视频中场景变化;S4、提取物体、场景信息后,生产相应的问答对模板,通过自然语言生成技术自动生成问答对;S5、根据问答对生成视频标签,将标签与视频进行关联,存储至数据库中。
全文数据:
权利要求:
百度查询: 北京官匠空间科技有限公司 一种基于视频问答的短视频标注方法
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。