买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：南京中科逆熵科技有限公司

摘要：本发明公开了一种基于分层时空域特征表示的端到端无参考视频质量评价方法。首先，对视频进行预处理：将原始视频分割成不重叠的时间片段，并对其进行的切块，每一片段中相同位置的区域构成一个视频块，作为神经网络的输入；其次，训练神经网络：对输入的视频片段进行特征提取，输出一系列分阶段提取的时空特征图；然后，输入各阶段特征图到卷积神经网络和循环神经网络，得到相同维度的阶段质量特征向量；最后，分别计算出各阶段质量分数，并结合注意力模型计算视频序列的全局质量分数。本发明利用三维卷积层组成特征提取器，该网络能够有效提取时空特征，进而检测视频的降质模式。

主权项：1.一种基于分层时空域特征表示的端到端无参考视频质量评价方法，其特征在于，包括以下步骤：对视频进行预处理：将原始视频分割成不重叠的时间片段，并对时间片段进行切块，每一片段中相同位置的区域构成一个视频块；对神经网络训练得到具有视频时空特征提取功能的第一网络模型，利用第一网络模型对输入的视频时间片段进行分阶段的特征提取；所述第一网络模型包含J个三维卷积层、J个广义除数归-化层以及J个最大池化层，每个阶段包括依次连接的三维卷积层、广义除数归一化层以及最大池化层；所述第一网络模型采用线性整流单元作为激活函数，J为总的阶段数；对卷积神经网络和循环神经网络训练得到具有视频时空特征融合功能的第二网络模型，输入各阶段特征图到第二网络模型，得到各个阶段相同维度的特征向量；所述第二网络模型包括J个分支，每个分支包含若干个空域卷积层，若干个门控循环单元以及一个均匀池化层，激活函数采用线性整流单元，将各阶段的特征分别输入到每个分支，得到每个分支的质量特征向量，其中，J为总的阶段数；利用训练得到的具有计算视频质量分数功能的第三网络模型，分别计算出各阶段质量分数，并结合第三网络模型中的注意力模型计算视频序列的全局质量分数；所述第三网络模型包含J个用于阶段质量回归的全连接层，由两个全连接层、一个线性整流单元和一个S型生长曲线单元组成的注意力模型，以及一个用于全局质量回归的全连接层；计算视频序列的全局质量分数具体过程为：步骤41：将各个阶段的质量特征向量分别输入到全连接层，得到视频各阶段的质量分数： 其中FCj·表示阶段j的质量特征向量输入的全连接层，qj为该阶段的质量分数；步骤42：将各阶段的质量分数输入注意力模型得到相应的权值向量，得到对感知质量影响更大的特征，计算方式如下： HW＝SigmoidFCw2ReLuFCw1H，其中，代表连接操作，FCw1·和FCw2·表示全连接层，Sigmoid·和ReLu·分别表示线性整流函数和S型生长曲线函数，H、HW分别表示特征向量和权值向量；步骤43：将全局质量特征向量输入到全连接层，得到全局质量分数：Q＝FCH⊙HW其中，⊙表示同位元素对应相乘。

全文数据：

权利要求：

百度查询： 南京中科逆熵科技有限公司 一种基于分层时空域特征表示的端到端无参考视频质量评价方法