Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 IP管家助手 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 西北工业大学郭斌获国家专利权

西北工业大学郭斌获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网获悉西北工业大学申请的专利一种基于跨场景知识迁移的在线视频摘要生成方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN116340568B

龙图腾网通过国家知识产权局官网在2025-08-01发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202310285928.8,技术领域涉及:G06F16/738;该发明授权一种基于跨场景知识迁移的在线视频摘要生成方法是由郭斌;郝静怡;於志文;刘思聪;崔禾磊;丁亚三设计研发完成,并于2023-03-22向国家知识产权局提交的专利申请。

一种基于跨场景知识迁移的在线视频摘要生成方法在说明书摘要公布了:本发明公开了一种基于跨场景知识迁移的在线视频摘要生成方法,首先,基于轻量级目标检测方法构建多视图视频分割模块,该模块根据目标变化将视频分割成多个镜头表示;然后将包含目标的剪辑镜头输入至摘要生成模块,若模型性能超过特定场景下的性能阈值,模型直接输出基于深度强化学习生成的多视图视频摘要生成结果,否则情境无关的奖励设计模块从动态场景中提取摘要属性,进一步对场景知识进行分析和解耦;随后,动态模型微调模块同时采用表示学习并使用历史数据的样本副本加快模型的再训练以提高泛化能力和动态环境适应能力。最终利用训练完成的多视图视频摘要生成框架,计算视频摘要并输出结果。

本发明授权一种基于跨场景知识迁移的在线视频摘要生成方法在权利要求书中公布了:1.一种基于跨场景知识迁移的在线视频摘要生成方法,其特征在于,包括以下步骤: 步骤1:构建情境自适应在线强化学习多视图视频摘要生成框架,包括三个功能模块:多视图视频分割模块、情境无关的奖励设计模块和动态模型微调模块; 步骤2:多视图视频分割模块; 使用Faster-RCNN算法对基于树莓派的多视图摄像头获取的实时视频进行目标检测,经过目标检测过程,包含目标的剪辑图像作为后续模块的输入; 步骤3:情境无关的奖励设计模块; 步骤3-1:深度语义特征提取;将原始视频表示为语义空间中的一组深度特征,并使用对比学习进行提取; 从目标检测模型的主干中提取原始视频的特征Oq,将Oq输入编码器得到视频表征 针对语义信息,将视频帧的内容描述Ok输入到动量编码器中提取跳跃思维表示,即 对比学习的损失表示为: Lq=cqdFq,Fk+1-cqmax0,α-dFq,Fk 其中dFq,Fk表示特征Fq和Fk的欧氏距离,cq=1表示dFq,Fk是积极的描述,否则为0;α用于惩罚不相关描述的视频-描述对; 步骤3-2:图片熵计算; 采用图像一维表示图像灰度值的聚集特征,图片熵的具体计算如下: 其中pi表示图像中灰度值为i,0≤i≤255的像素所占的比例; 步骤3-3:视觉特征提取; 基于色彩和视觉复杂度两方面提取视觉特征,并通过以下方式测量图像的视觉特征: 其中rg=R+G,yb=12R+G-B,R、G、B分别表示红、绿、蓝通道;σ和μ分别为标准差和均值; 视觉复杂度FComplex由图片压缩前后的大小比值得到; 视觉特征为色彩和复杂性的线性加权融合; 步骤3-4:融合奖励设计; 将视觉特征融合到模型的奖励机制中;语义奖励是通过测量特征空间中所选帧之间的语义差异性来评估生成摘要的语义多样性程度; 假设候选关键帧的集合为将Rsem计算为候选关键帧之间成对差异的平均值,表示为: 其中,表示候选关键帧t的语义特征,表示候选关键帧t′的语义特征; 熵奖励是将视频片段的图片熵特征进行归一化,使结果值映射到[0,1]之间,Rentr为候选关键帧的平均熵,表示为: 视觉特征奖励Rvis是在归一化后计算候选关键帧的平均视觉特征分数; 最终,视频摘要生成的奖励表示为: R=αRsem+βRentr+γRvis 其中α、β和γ是重要性权重; 步骤4:动态模型微调模块; 当动态模型微调模块接收到来自步骤1的分割模块的触发信号时,即模型性能低于指定场景下的性能阈值,表明摄像头拍摄的情境发生变化,多视图视频摘要生成框架启动重新训练; 利用表示学习通过将图像编码为适合RL的密集向量表示来总结图像,从而减小模型状态空间的大小并加速模型再训练;将训练过程中得到的独特样本的一组额外副本附加到经验回放中;所述独特样本指获得奖励比设定高阈值高或比设定低阈值低的样本; 步骤4:生成视频摘要; 利用步骤3训练完成的多视图视频摘要生成框架,计算视频摘要并输出结果。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人西北工业大学,其通讯地址为:710072 陕西省西安市友谊西路;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。