上海人工智能创新中心;南京大学曾祥宇获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉上海人工智能创新中心;南京大学申请的专利一种长视频理解方法、装置、设备及存储介质获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN119380240B 。
龙图腾网通过国家知识产权局官网在2025-12-02发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202411483042.5,技术领域涉及:G06V20/40;该发明授权一种长视频理解方法、装置、设备及存储介质是由曾祥宇;黎昆昌;王毅;王亚立;乔宇;王利民设计研发完成,并于2024-10-23向国家知识产权局提交的专利申请。
本一种长视频理解方法、装置、设备及存储介质在说明书摘要公布了:本发明公开了一种长视频理解方法、装置、设备及存储介质,包括:获取用户的问题指令及对应问题指令的长视频;基于长视频的视觉内容和预先训练的基于多头自注意力机制的深度学习网络模型,输出语义特征向量集;对语义特征向量集中的语义特征向量进行合并,获得长视频的视觉特征;将长视频的帧位置和语义特征向量集输入至预先训练的U形神经网络模型中,确定视觉特征相对于长视频的预设帧的相对位置;将相对位置添加至对应的视觉特征中,生成视觉时序特征;将视觉时序特征和问题指令输入至预先训练的长视频理解模型中,输出问题指令对应的问题答案。利用该方法:利用时间定位的方式保证模型找到视频中正确的时间位置,从而增强长视频理解的能力。
本发明授权一种长视频理解方法、装置、设备及存储介质在权利要求书中公布了:1.一种长视频理解方法,其特征在于,包括: 获取用户的问题指令及对应所述问题指令的长视频; 基于所述长视频的视觉内容和预先训练的基于多头自注意力机制的深度学习网络模型,输出语义特征向量集; 对所述语义特征向量集中的语义特征向量进行合并,获得所述长视频的视觉特征; 将所述长视频的帧位置和所述语义特征向量集输入至预先训练的U形神经网络模型中,确定所述视觉特征相对于所述长视频的预设帧的相对位置; 将所述相对位置添加至对应的所述视觉特征中,生成视觉时序特征; 将所述视觉时序特征和所述问题指令输入至预先训练的长视频理解模型中,输出所述问题指令对应的问题答案; 所述将所述相对位置添加至对应的所述视觉特征中,生成视觉时序特征,包括: 确定所述视觉特征对应的视频帧在所述长视频的帧位置; 按照所述帧位置选择与所述视觉特征相匹配的所述相对位置; 将所述相对位置拼接至对应的所述视觉特征中,生成所述视觉时序特征; 所述U形神经网络模型包括深度可分离卷积层、全连接层和卷积层; 所述将所述长视频的帧位置和所述语义特征向量集输入至预先训练的U形神经网络模型中,确定所述视觉特征相对于所述长视频的起始帧或结束帧的相对位置,包括: 将所述语义特征向量集输入至所述深度可分离卷积层进行降维,输出低维语义特征向量集并输入至所述全连接层; 在所述低维语义特征向量集的前端进行零填充,并将所述前端作为锚点; 按照输入的所述帧位置确定所述低维语义特征向量集中的低维语义特征向量相对于所述锚点的相对位置; 将所述相对位置进行编码嵌入对应的所述低维语义特征向量中; 将嵌入后的所述低维语义特征向量输入至所述卷积层进行升维,获得所述视觉特征相对于所述长视频的所述预设帧的所述相对位置。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海人工智能创新中心;南京大学,其通讯地址为:200232 上海市徐汇区云锦路701号37、38层;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励