龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：江西财经大学
摘要：本发明提出基于文本内容特征对齐的视频描述方法与系统，该方法包括：通过预训练的视觉编码器对视频进行提取并得到原始视频时空特征和原始视频动作特征；将视频帧和文本输入到预训练视觉语言模型，得到边界框集合和置信度分数集合，基于边界框集合和置信度分数集合构建文本视频相关性图；利用文本视频相关性图得到精炼后的时空特征和精炼后的动作特征；基于原始视频时空特征、精炼后的时空特征、原始视频动作特征以及精炼后的动作特征得到目标描述文本。本发明以文本为条件，结合视频帧来构建文本视频相关性图，并与视频时空特征和视频动作特征进行融合来优化视频表征，以达到视频文本对齐的效果。
主权项：1.一种基于文本内容特征对齐的视频描述方法，其特征在于，所述方法包括如下步骤：步骤1、通过预训练的视觉编码器对视频进行提取并得到原始视频时空特征和原始视频动作特征；步骤2、将视频帧和文本输入到预训练视觉语言模型，得到边界框集合和置信度分数集合，基于边界框集合和置信度分数集合构建文本视频相关性图；步骤3、利用文本视频相关性图分别对原始视频时空特征和原始视频动作特征进行时间维度的池化操作，得到精炼后的时空特征和精炼后的动作特征；将原始视频时空特征、精炼后的时空特征、原始视频动作特征以及精炼后的动作特征进行融合，并将融合结果作为视频表征，对视频表征进行解码操作，得到目标描述文本。
全文数据：
权利要求：
百度查询： 江西财经大学 基于文本内容特征对齐的视频描述方法与系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号