上海悠络客电子科技股份有限公司胡玉帅获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网获悉上海悠络客电子科技股份有限公司申请的专利一种连续多阶段建模的方法获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN112560950B 。
龙图腾网通过国家知识产权局官网在2025-10-31发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202011482539.7,技术领域涉及:G06V20/40;该发明授权一种连续多阶段建模的方法是由胡玉帅;沈修平设计研发完成,并于2020-12-16向国家知识产权局提交的专利申请。
本一种连续多阶段建模的方法在说明书摘要公布了:本发明提供了一种连续多阶段建模的方法,用于在连续视频流中进行活动检测的新型网络,其特征在于,该网络以一段未剪切的视频作为输入,输出每个小片时间段对应的动作建议类别,类别共分为6类:背景,准备,开始,确定,结束,后续;连续多阶段建模的方法的步骤如下:行为阶段类别分类预设;特征提取,使用各种卷积网络来进行动作识别;行为阶段分类;提案生成;候选区域评估;由于行为阶段分类的输出与真实实况非常吻合,为每个建议设置了一个预设分数;非极大值抑制:使用非最大抑制NMS删除多余的建议,最后得到最终的行为建议区域。
本发明授权一种连续多阶段建模的方法在权利要求书中公布了:1.一种连续多阶段建模的方法,用于在连续视频流中进行活动检测的网络,其特征在于,该网络以一段未剪切的视频作为输入,输出每个小片时间段对应的动作建议类别,类别共分为6类:背景,准备,开始,确认,结束,后续;网络结构如下:1特征提取:3D卷积网络或者双流网络,用于对输入视频进行编码;2行为阶段分类:输入特征序列,经过CNN网络后送入一个双向LSTM网络,再接一个分类网络,输出动作完成度类别;3建议生成网络,对动作网络进行组合以生成建议;4建议评估网络;5Soft-NMS; 连续多阶段建模的方法的步骤如下: 步骤一行为阶段类别分类预设:设视频输入v={S1,…,St,…,Sn},其中St表示第t帧,n是视频的总帧数,{Ga,Gb}表示一组建议,Ga表示开始时间,Gb表示结束时间,则持续时间D=Gb-Ga;利用上下文信息,避免硬性区分开始时间点前后的特征,首先把建议扩充如下:增加准备点Gp=Ga-D2,后续点Gf=Gb+D2;其次把{Ga,Gb}分成3段,两个分割点分别是:开始点Gs=Ga+D3,结束点Ge=Gb-D3,通过这种方式,扩展建议并按顺序分为5段,分别是准备{Gp,Ga},开始{Ga,Gs},确认{Gs,Ge},结束{Ge,Gb},后续{Gb,Gf},其他的帧属于背景阶段;按此划分,有六个行为阶段类别:背景,准备,开始,确认,结束,后续;输入视频的每个帧对应于六个行为阶段类别之一; 步骤二特征提取:为了从给定的视频中提取特征,将3D卷积网络或者双流网络用作特征提取器;所述3D卷积网络包括C3D网络;其中,C3D网络特征提取的输入为一系列RGB图片,输入帧的尺寸为[3×Li×Hi×Wi],并输出基本特征,Li指输入图片长度,Hi指输入图片的高度,Wi指输入图片的宽度;输出特征的尺寸为:[Co×Lo×Ho×Wo],Co指输出特征的通道数,Lo指输出特征的长度,Ho指输出特征的高度,Wo指输出特征的宽度;通过网络对原始输入特征大小进行缩放;设特征提取在输入长度上的缩放比例为sc,则输出特征长度Lo=Lisc; 步骤三行为阶段分类:行为阶段分类由CNN网络和LSTM网络组成;CNN网络缩放或扩大特征提取到的特征矩阵,使其适合LSTM网络的输入,包含N个卷积网络层和一个最大池化层,卷积网络层内核大小为k,隐藏大小为h;CNN网络的输出特征大小为[Lc×Lo],Lc指输出特征的通道数,Lo指输出特征的长度,输出特征的宽高比缩放为1,其中Lc是LSTM网络的输入通道数;使用的LSTM网络是具有N层的双向LSTM,LSTM网络利用上下文信息;CNN网络的输出馈入LSTM网络,并且输出动作阶段类别序列对应的长度Lo,即特征的长度不变;令Q=[q1,q2,…,qi,…,qn]表示经过LSTM网络后输出的动作阶段类别序列,qi指序列中第i个输出,n=Lo即输出的序列总长度;由于输出长度Lo是按比例缩放的,预设的帧级动作阶段类别也按相同比例缩放; 步骤四建议生成:步骤三的输出是操作类别序列Q,该序列包含了准备,开始,确认,结束,后续,背景中的一个或多个阶段;在序列Q的子序列中,令Qr=[r1,r2,…,ri,…,rn]表示准备序列,ri表示Qr中第i个输出的类别;Qs=[s1,s2,…,si,…,sn]表示开始顺序,si表示Qs中第i个输出的类别;Qc=[c1,c2,…,ci,…,cn]表示确认序列,ci表示Qc中第i个输出的类别;Qe=[e1,e2,…,ei,…,en]表示结束序列,ei表示Qe中第i个输出的类别;Qf=[f1,f2,…,fi,…,fn]表示后续顺序,fi表示Qf中第i个输出的类别;按照如下规则选择开始和结束位置,并将它们组合为候选建议: 1如果在行为类别序列Q中的位置t属于Qr或Qs或Qc的前半部分,则选择t作为开始位置;则获得候选起点集Cs={r1,…,rn,s1,…,sn,c1,…,cn2}; 2如果位置e属于Qe或Qf或Qc的后半部分,则选择e作为结束位置;然后获得候选终点集Ce={cn2,…,cn,e1,…en,f1,…fn}; 3如果从属于Cs的开始位置t到属于Ce的结束位置e中包含开始阶段,确认阶段和跟随阶段中的至少一个,并且不包括背景阶段,则将t和e所包含的时间区间组合在一起构成{t,e},这样就构成了一个候选建议区间{t,e};对两个集合里符合条件的t和e进行组合,最后获得候选建议集Ps; 步骤五候选区域评估:候选区域网络的的输入特征是行为阶段分类中CNN的输出,大小为[Lc×Lo],用候选建议集Ps对应的序列位置截取特征序列,获得特征集Pf;由于Pf中的特征具有不同的长度,因此使用3DRoI池化提取固定大小的特征;3DRoI池化的输出被馈送到隐藏大小为u的两个全连接的网络层,并输出对应于特征集Pf的得分; 步骤六由于行为阶段分类的输出与真实实况吻合,因此为每个建议设置了一个预设分数;设从“准备”到“后续”的序列为qc,以第一个“开始”为起点qs,以最后一个“结束”为终点qe;对于从序列qc生成的建议,计算建议的起点与qs之间的距离,表示为ds;计算建议末尾与qe之间的距离,表示为de;然后如下计算预得分PES:d=1-ds×i×1-de×i其中,i是衰减率;然后,对于每个建议,将PES分数与预设分数的乘积用作最终分数; 步骤七Soft-NMS:使用Soft-NMS删除多余的建议,最后得到最终的行为建议区域。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人上海悠络客电子科技股份有限公司,其通讯地址为:200000 上海市青浦区徐泾镇华徐公路888号6幢;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
以上内容由龙图腾AI智能生成。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。

皖公网安备 34010402703815号
请提出您的宝贵建议,有机会获取IP积分或其他奖励