Document
拖动滑块完成拼图
个人中心

预订订单
服务订单
发布专利 发布成果 人才入驻 发布商标 发布需求

在线咨询

联系我们

龙图腾公众号
首页 专利交易 科技果 科技人才 科技服务 国际服务 商标交易 会员权益 IP管家助手 需求市场 关于龙图腾
 /  免费注册
到顶部 到底部
清空 搜索
当前位置 : 首页 > 专利喜报 > 恭喜南京大学王利民获国家专利权

恭喜南京大学王利民获国家专利权

买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!

龙图腾网恭喜南京大学申请的专利时序边界检测方法及时序感知器获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN114494314B

龙图腾网通过国家知识产权局官网在2025-05-06发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202111615241.3,技术领域涉及:G06T7/13;该发明授权时序边界检测方法及时序感知器是由王利民;谈婧;王雨虹;武港山设计研发完成,并于2021-12-27向国家知识产权局提交的专利申请。

时序边界检测方法及时序感知器在说明书摘要公布了:时序边界检测方法及时序感知器,基于变换解码器结构和注意力机制,建立通用的无类别时序动作检测模型,检测模型的编码器中引入少量隐特征查询量,通过交叉注意力机制将输入特征压缩到固定维度,并使用变换解码器对特征进行解码,实现通用无类别时序边界的稀疏检测。本发明通过特征压缩,有效解决了长视频的时序冗余问题,并将二次模型的复杂度降低到线性级别;构建边界查询量和上下文查询量这两种隐特征查询量,以相应处理视频中语义不连贯的边界区域和连贯的上下文区域,充分利用视频的语义结构;提出基于交叉注意力计算的对齐损失函数,使网络快速稳定收敛;使用变换解码器稀疏编码边界位置,避免复杂后处理,提高模型泛化性能。

本发明授权时序边界检测方法及时序感知器在权利要求书中公布了:1.时序边界检测方法,其特征是构建一个无类别时序边界检测网络对视频进行时序边界检测,检测网络包括骨干网络和检测模型,实现方式如下:1由骨干网络生成检测样例:对视频间隔采样得到视频图像序列以每一帧生成一个视频段,第i段视频段为由第i帧图像fi的前后连续k帧组成的图像序列,由骨干网络对输入的视频段生成视频特征和连续性打分Fi和Si分别为视频段i的RGB特征和连续性打分;2由检测模型基于视频特征F和连续性打分S进行无类别时序动作检测,所述检测模型包括如下配置:2.1编码器:编码器E包括Ne层串联的变换解码层,每层包含一个多头自注意力层、一个多头交叉注意力层和一个线性映射层,自注意力层、交叉注意力层及线性映射层分别带有一个残差结构,对编码器引入M个隐特征查询量Qe,基于连续性打分S对视频特征F进行降序排序后输入编码器,编码器将排序后的视频特征压缩为M帧的压缩特征H,初始压缩特征H0为0,在第j层变换解码层,隐特征查询量Qe与当层的压缩特征Hj相加,经过自注意力层及其残差结构,在交叉注意力层和重排序的视频特征交互,再经过残差结构-线性映射层-残差结构变换后得到压缩特征Hj+1,j∈[0,Ne-1],通过堆叠的Ne个编码层后,实现输入特征的压缩和编码,得到压缩特征其中,隐特征查询量的生成为:隐特征查询量Qe被分为Mb个边界查询量和Mc个上下文查询量,随机初始化,在训练检测模型的过程随训练样本学习生成;边界查询量对应处理视频特征中的边界区域特征,上下文查询量对应处理视频特征中的上下文区域特征,视频特征中重排序后前Mb个特征为边界区域特征,其他为上下文特征;2.2解码器:解码器D包括Nd层串联的解码层,每层包含一个多头自注意力层、一个多头交叉注意力层和一个线性映射层,自注意力层、交叉注意力层及线性映射层分别带有一个残差结构;对于编码器获得的压缩特征H,解码器通过变换解码器结构进行时序边界点解析,解码器定义Np个提名查询量Qd,提名查询量Qd与隐特征查询量一样,随机初始化后再训练中学习生成,并初始化边界提名B0为0,在第j层,提名查询量Qd与边界提名Bj相加,经过自注意力层和一次残差结构,在交叉注意力层和压缩特征H交互,经过残差结构-线性映射层-残差结构变换后得到更新后的边界提名Bj+1;通过堆叠的Nd个解码层后,实现压缩特征的解析,得到时序边界提名表示2.3时序无类别边界的生成与打分:对于获得的时序边界提名表示B,送入两个不同的全连接层分支:定位分支和分类分支,两个分支分别用于输出时序无类别边界的时刻和置信度分数;2.4分配训练标签:采用严格的一对一训练标签匹配策略:根据定义的匹配代价C,利用匈牙利算法得到一组最优的一对一匹配,每个被分配到一个无类别边界真值的预测都获得正样本标签,其对应的边界真值为训练目标;匹配代价C由位置代价和分类代价两部分组成,位置代价基于预测时刻和边界真值时刻的距离绝对值定义,分类代价基于预测置信度定义;2.5时序无类别边界的提交:生成一系列的时序无类别边界后,通过置信度分数阈值γ筛选出最可信的时序无类别边界时刻,提交以进行后续性能度量;3训练阶段:对配置的模型采用训练样例进行训练,使用交叉熵、L1距离和log函数作为损失函数,使用AdamW优化器,通过反向传播算法来更新网络参数,不断重复步骤1和步骤2,直至达到迭代次数;4检测:将待测试数据的视频特征序列和连续性打分输入到训练完成的检测模型中,生成时序无类别边界时刻及打分,再通过2.3的方法,得到用于性能度量的时序无类别边界时刻序列。

如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人南京大学,其通讯地址为:210023 江苏省南京市栖霞区仙林大道163号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。

免责声明
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。