买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京信息工程大学

摘要：本发明公开了视音相关性特征融合策略的视频显著性预测方法及系统，涉及视频显著性预测技术领域。本发明包括：接收视频及音频数据，对视频数据进行预处理，得到连续的视频帧；采用预训练后的S3D作为视觉编码器，结合空洞空间金字塔池化和局部重要性池化，根据视频帧提取得到多尺度视觉时空特征；将多尺度视觉时空特征输入到多尺度特征协同模块中，通过在网络的不同层次提取和融合多尺度特征，得到增强特征，用于丰富其在对于不同大小物体的表征能力。本发明通过具有相关性感知的多头交叉注意力机制，根据音视频特征的语义相关性动态调整融合策略，有效避免了背景音频等无关音频对显著性预测的干扰，提高了预测的精度。

主权项：1.视音相关性特征融合策略的视频显著性预测方法，其特征在于，具体包括以下步骤：接收视频及音频数据，对视频数据进行预处理操作，得到连续的视频帧；采用预训练后的S3D作为视觉编码器，结合空洞空间金字塔池化和局部重要性池化，根据视频帧提取得到多尺度视觉时空特征；将多尺度视觉时空特征输入到多尺度特征协同模块中，通过在网络的不同层次提取和融合多尺度特征，得到增强特征，用于丰富其在对于不同大小物体的表征能力；对音频数据预处理实现与视觉数据的时序同步，采用SoundNet作为音频编码器进行特征提取，得到音频特征；构建相关性引导的视音特征融合模块，通过具有相关性感知的多头交叉注意力机制计算音频特征和具有最小空间尺度视频特征的语义相关性，并基于此相关性有选择地对视频特征与音频特征进行多模态融合，得到融合特征；构建多尺度调节门控模块，筛选融合特征中的重要信息传递给其他视觉特征，用于提高对多尺度视频特征的利用程度；根据损失函数对以上步骤构成的整体模型进行训练，直至达到预测精度要求，然后利用训练后的整体模型进行显著性预测；将多尺度视觉时空特征输入到多尺度特征协同模块中，通过在网络的不同层次提取和融合多尺度特征，得到增强特征，具体如下：将多尺度视觉时空特征与相邻尺度的特征交互，表示为： 式中分别代表从分辨率高到低分辨率的相邻多尺度特征图；是处理后的特征，多尺度特征协同模块映射MS·）表示为： 式中，代表3D卷积，代表上采样后跟随3D卷积，代表下采样后跟随3D卷积，h、m、l分别代表高、中、低三种不同的尺度，表示当前正处于第j个处理阶段的尺度为i的特征；以及分别代表当前正在被处理某一种尺度下的特征，以及与其相邻的更低或更高尺度的特征；经过多尺度特征协同模块处理后，即可得到增强特征;构建相关性引导的视音特征融合模块，通过具有相关性感知的多头交叉注意力机制计算音频特征和具有最小空间尺度视频特征的语义相关性，并基于此相关性有选择地对视频特征与音频特征进行多模态融合，得到融合特征，具有相关性感知的多头交叉注意力机制表述如下：（1）对于视觉特征和音频特征使用六种不同的仿射变换、、、、、来生成视觉查询、视觉键、视觉值、音频查询、音频键和音频值，则视觉对音频的注意力以及音频对视觉的注意力表述为： 式中softmax·）为激活函数，表示所有查询、键、值向量的维度；（2）引入了相关性加权估计模块，用以评估两种模态的综合特征，以生成动态调整不同头部影响的权重，则融合结果可表述为： 式中表示学习得到的每个注意力头的权重，用于权衡不同注意力头的影响，增强融合的相关性导向特性；构建多尺度调节门控模块，筛选融合特征中的重要信息传递给其他视觉特征，以提高对多尺度视频特征的利用程度，具体如下：接收多尺度的视觉特征，以及来自相关性引导的视音特征融合模块或前一阶段门控模块的融合特征，则有： 其中表示经过上采样处理的前一阶段的融合特征，表示连接操作，表示3D卷积层，表示sigmoid函数，表示全局平均池化，门控值用于对音视频特征进行加权。

全文数据：

权利要求：

百度查询： 南京信息工程大学 视音相关性特征融合策略的视频显著性预测方法及系统