龙图腾网&IPTOP
- 微信扫码登录
- 账号密码登录
- 短信登录/注册
买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！
申请/专利权人：四川日报网络传媒发展有限公司
摘要：本发明属于视频文本定位技术领域，具体公开了基于跨模态语义层次图的细粒度视频文本定位方法及系统，通过构建从全局到局部的跨模态语义层次图，实现了更精细的查询‑视频片段对齐，这种层次化的语义对齐能够最大化互信息，从而提高视频定位的准确性。本发明通过层次化图交互，从粗到细融合文本和视频特征，实现细粒度的语义交互，用于时间定位得分学习，能够在两种模态之间建立多粒度的内在联系，避免了由内容选择性偏见引起的低泛化问题，还可以丰富不同层次的时间线索，促进精确的视频定位。本发明可整合基于提案和无提案方法的优势，提高视频文本定位任务的性能，增强模型的泛化能力，为实际应用中的视频理解提供新的视角。
主权项：1.基于跨模态语义层次图的细粒度视频文本定位方法，其特征在于，包括：获取输入的查询文本和目标视频；对目标视频进行视频编码，得到目标视频的视频特征，并将目标视频分割为若干候选片段，提取各候选片段的视频特征，对查询文本进行文本编码，得到查询文本的查询特征；对查询特征进行层次解析，得到查询文本的查询分层嵌入表示，对各候选片段的视频特征进行分层编码，得到各候选片段的视频分层嵌入表示；对查询分层嵌入表示及对应候选片段的视频分层嵌入表示进行层次语义对齐分析，确定查询分层嵌入表示与对应视频分层嵌入表示的层次相似度，将所述层次相似度关联对应的候选片段；将目标视频的视频特征进行分层编码，得到目标视频的视频分层嵌入表示，并基于查询分层嵌入表示和目标视频的视频分层嵌入表示进行跨模态时间预测，得到完整定位得分；根据完整定位得分、候选片段的数量以及各候选片段的开始时间和结束时间，确定各候选片段的分段定位得分；获取通过定位回归分析确定的先验参数，所述先验参数包括IoU值；将层次相似度、分段定位得分及IoU值相乘，得到对应候选片段的最终定位得分；将所有候选片段中最终定位得分最高的作为查询文本的目标定位片段，并输出目标定位片段。
全文数据：
权利要求：
百度查询： 四川日报网络传媒发展有限公司 基于跨模态语义层次图的细粒度视频文本定位方法及系统
免责声明
1、本报告根据公开、合法渠道获得相关数据和信息，力求客观、公正，但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解，仅供参考使用，不能作为本公司承担任何法律责任的依据或者凭证。
主营中国专利交易买卖与专利转让许可,高校科技成果推广与科技成果转化,知识产权运营管理与平台开发,科技人才专家库与科技猎头等科技服务
开放平台
担保交易
惠及多方
会员特惠
专属平台
适合多方
数据共享
功能齐全
皖公网安备 34010402703815号