买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：重庆大学

摘要：本发明公开了一种基于邻居网络的视频场景边界检测方法，该方法通过构建特征图和时间图，利用图卷积网络传播信息，将语义相似的镜头连接起来。特征图中的边权重通过节点对的邻居关系估算，引入邻居节点关系以抑制不同场景之间的潜在连接。时间图考虑了成对镜头的相似度及其时间邻居镜头的相似度，重新计算边权重以更好地捕捉镜头关系。该方法有效地抑制了噪声边缘，增强了同一场景内镜头的关联，减弱了不同场景间镜头的关联，解决了以往方法在同一场景内捕捉上下文信息不完整的问题，从而提高了镜头上下文的捕捉能力。

主权项：1.一种基于邻居网络的视频场景边界检测方法，其特征在于：包括如下依次执行的步骤：步骤S1：镜头序列的提取，获取M段视频，采用现有方法获取每段视频中的镜头，形成镜头序列S＝[s1,s2,…,sn]，从镜头中进行关键帧的采样，每段视频都对应一个镜头序列；步骤S2：构建场景边界检测邻居网络；步骤S21：对于镜头序列，使用视觉编码器从该镜头序列对应的关键帧中提取特征得到每个镜头的特征，所有镜头的特征构成特征序列X＝[x1,x2,…,xn]，其中一个特征xi对应一个镜头si，n为镜头与特征序列的长度；步骤S22：对于镜头序列，构建一个特征图GF,GF的节点为不同的镜头，GF的边EF为不同镜头之间的相似度ANPS，所述ANPS包括ANPS和ANNS，其中ANPS是第j个镜头sj与第i个镜头si的邻居镜头sg的相似度的集合，ANNS是第i个镜头si的邻居镜头sg与第j个镜头sj的邻居镜头sh的相似度的集合，i,j≤n，且i≠j；步骤S23:将得到的ANPS送入图卷积网络，得到序列特征XFG，与第i个镜头si对应；步骤S24:对M段视频均执行S21-S23的操作对应得到每段视频的序列特征XFG；步骤S25:对于得到序列特征XFG，构建一个时间图GT,GT的节点为不同的镜头，GT的边ET为不同镜头之间的相似度BNPS，所述BNPS包括BCPS和BTCS，其中BCPS是和之间的相似度的集合，BTCS是第j个镜头与第i个镜头邻居的上下文相似度的集合；如果第j个镜头在时间上位于第i个镜头和它的某个邻居镜头之间，则计算和之间的相似度否则相似度为-∞；步骤S26：将得到的BNPS送入图卷积网络，得到时间特征XTG；步骤S27：对M段视频均执行S25-S26的操作对应得到每段视频的时间特征XTG；步骤S28：将每段视频对应的XTG输入多层感知机，输出n个镜头的置信度，置信度为1表示是边界，置信度为0表示不是边界；步骤S3:训练场景边界检测邻居网络，计算损失，并根据损失更新场景边界检测邻居网络的参数，当损失不再下降时得到最优场景边界检测邻居网络；步骤S4：检测，将待检测视频片段通过步骤S1获取镜头序列S′，将S′输入最优场景边界检测邻居网络，输出镜头序列S′中每个镜头为场景边界的置信度。

全文数据：

权利要求：

百度查询： 重庆大学 一种基于邻居网络的视频场景边界检测方法