龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：同济大学
摘要：本发明涉及一种视频字幕生成方法、装置及存储介质。该方法获取原始视频数据并采样得到视频帧；利用训练好的图像字幕模型生成帧字幕、利用目标检测模型获取每帧目标检测区域及相应的标签、利用视频编码器提取视频嵌入特征；从预先获取的知识图谱中导出子图作为额外的输入特征，并利用字幕时序编码器对每帧字幕进行时序特征编码得到相应的帧字幕嵌入特征；进行聚类和计数并利用区域时空编码器对经聚类和计数的区域特征进行编码，得到经聚类和计数的区域嵌入特征；将获取的多模态特征输入多模态解码器模型中，得到最终的视频字幕。与现有技术相比，本发明具有等优点。
主权项：1.一种视频字幕生成方法，其特征在于，包括以下步骤：获取原始视频数据，并采样得到视频帧；基于所述视频帧，利用训练好的图像字幕模型生成帧字幕、利用训练好的目标检测模型获取每个视频帧的目标检测区域及相应的标签、利用视频编码器模型提取视频嵌入特征；基于所述帧字幕，从预先获取的知识图谱中导出子图作为额外的输入特征，并利用字幕时序编码器对每帧字幕进行时序特征编码，得到相应的帧字幕嵌入特征；基于所述帧字幕与所述目标检测区域及相应的标签，进行聚类和计数，并利用区域时空编码器对经聚类和计数的区域特征进行编码，得到经聚类和计数的区域嵌入特征；将所述视频嵌入特征、所述额外的输入特征、所述帧字幕嵌入特征以及所述经聚类和计数的区域嵌入特征输入预设的多模态解码器模型中，得到最终的视频字幕。
全文数据：
权利要求：
百度查询： 同济大学 视频字幕生成方法、装置及存储介质
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号