买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：宁波大学

摘要：本发明公开了一种全景拼接图像质量评价方法，其预测了拼接视口图像和显著视口图像，在训练阶段，考虑到鬼影、形变、色差、空洞等对图像质量的影响，提取边缘感知特征、形变感知特征、颜色感知特征、信息感知特征构成特征矢量，并将拼接视口特征矢量和显著视口特征矢量结合构成全景拼接图像的特征矢量，然后利用多元线性回归对所有特征矢量进行训练，构造多元线性回归训练模型；在测试阶段，通过计算测试集中的全景拼接图像的特征矢量，并根据多元线性回归训练模型，预测得到全景拼接图像的客观质量评价预测值，由于获得的特征矢量具有较强的稳定性且较为全面地反映了全景拼接图像的失真情况，因此提高了客观评价结果与人眼主观感知之间的相关性。

主权项：1.一种全景拼接图像质量评价方法，其特征在于包括以下步骤：步骤1：选取两张由不同方位的两幅鱼眼图像拼接得到的全景拼接图像，将由90°方位和270°方位的两幅鱼眼图像拼接得到的全景拼接图像作为失真图像，并记为IS，将IS中坐标位置为u,v的像素点的像素值记为ISu,v；将由0°方位和180°方位的两幅鱼眼图像拼接得到的全景拼接图像作为参考图像，并记为IG，将IG中坐标位置为u,v的像素点的像素值记为IGu,v；其中，1≤u≤W，1≤v≤H，W表示IS和IG的宽度，H表示IS和IG的高度；步骤2：对IS进行投影变换，获得IS对应的N1个失真拼接视口图像和N2个失真显著视口图像，将IS对应的第i个失真拼接视口图像记为将IS对应的第j个失真显著视口图像记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为同样，对IG进行投影变换，获得IG对应的N1个参考拼接视口图像和N2个参考显著视口图像，将IG对应的第i个参考拼接视口图像记为将IG对应的第j个参考显著视口图像记为将中坐标位置为的像素点的像素值记为将中坐标位置为的像素点的像素值记为其中，N1≥1，N2≥1，1≤i≤N1，1≤j≤N2；步骤3：采用SIFT-Flow方法建立IG对应的每个参考拼接视口图像与IS对应的每个失真拼接视口图像之间的匹配关系，得到IG对应的每个参考拼接视口图像中的每个像素点的SIFT-Flow向量，对于与采用SIFT-Flow方法建立与之间的匹配关系，得到中的每个像素点的SIFT-Flow向量，将中坐标位置为的像素点的SIFT-Flow向量记为同样，采用SIFT-Flow方法建立IG对应的每个参考显著视口图像与IS对应的每个失真显著视口图像之间的匹配关系，得到IG对应的每个参考显著视口图像中的每个像素点的SIFT-Flow向量，对于与采用SIFT-Flow方法建立与之间的匹配关系，得到中的每个像素点的SIFT-Flow向量，将中坐标位置为的像素点的SIFT-Flow向量记为其中，用于表示水平方向，用于表示垂直方向，表示的水平偏移量，表示的垂直偏移量，表示的水平偏移量，表示的垂直偏移量；步骤4：采用简单线性迭代聚类方法对IG对应的每个参考拼接视口图像进行超像素分块，对于对进行超像素分块得到Nseed个互不重叠的超像素块，将中的第ξ个超像素块中的所有像素点的坐标位置构成的集合记为然后根据IG对应的每个参考拼接视口图像中的每个像素点的SIFT-Flow向量，确定IG对应的每个参考拼接视口图像中的每个超像素块在IS对应的每个失真拼接视口图像中匹配的超像素块，对于根据中的每个像素点的SIFT-Flow向量，确定在中与中的每个超像素块匹配的超像素块，将在中与中的第ξ个超像素块匹配的超像素块中的所有像素点的坐标位置构成的集合记为其中，Nseed≥1，1≤ξ≤Nseed；同样，采用简单线性迭代聚类方法对IG对应的每个参考显著视口图像进行超像素分块，对于对进行超像素分块得到Nseed个互不重叠的超像素块，将中的第ξ个超像素块中的所有像素点的坐标位置构成的集合记为然后根据IG对应的每个参考显著视口图像中的每个像素点的SIFT-Flow向量，确定IG对应的每个参考显著视口图像中的每个超像素块在IS对应的每个失真显著视口图像中匹配的超像素块，对于根据中的每个像素点的SIFT-Flow向量，确定在中与中的每个超像素块匹配的超像素块，将在中与中的第ξ个超像素块匹配的超像素块中的所有像素点的坐标位置构成的集合记为步骤5：根据IG对应的每个参考拼接视口图像的灰度图像的局部导向核特征张量的第一主成分、第二主成分、第三主成分中的每个超像素块及IG对应的每个参考拼接视口图像的灰度图像的局部导向核特征张量的第一主成分、第二主成分、第三主成分中的每个超像素块在IS对应的每个失真拼接视口图像的灰度图像的局部导向核特征张量的第一主成分、第二主成分、第三主成分中匹配的超像素块，计算IS对应的每个失真拼接视口图像中的每个超像素块的边缘感知特征，将在中与中的第ξ个超像素块匹配的超像素块的边缘感知特征记为其中，的维数为1×3，表示在的灰度图像的局部导向核特征张量的第一主成分中与的灰度图像的局部导向核特征张量的第一主成分中的第ξ个超像素块匹配的超像素块的边缘感知特征，表示在的灰度图像的局部导向核特征张量的第二主成分中与的灰度图像的局部导向核特征张量的第二主成分中的第ξ个超像素块匹配的超像素块的边缘感知特征，表示在的灰度图像的局部导向核特征张量的第三主成分中与的灰度图像的局部导向核特征张量的第三主成分中的第ξ个超像素块匹配的超像素块的边缘感知特征；步骤6：根据IG对应的每个参考拼接视口图像中的每个超像素块及IG对应的每个参考拼接视口图像中的每个超像素块在IS对应的每个失真拼接视口图像中匹配的超像素块，计算IS对应的每个失真拼接视口图像中的每个超像素块的形变感知特征，将在中与中的第ξ个超像素块匹配的超像素块的形变感知特征记为其中，的维数为1×2，表示中的第ξ个超像素块和在中与中的第ξ个超像素块匹配的超像素块的长宽比相似性，表示中的第ξ个超像素块和在中与中的第ξ个超像素块匹配的超像素块的边界相似性；步骤7：根据IG对应的每个参考拼接视口图像的H分量、S分量和V分量中的每个超像素块及IG对应的每个参考拼接视口图像的H分量、S分量和V分量中的每个超像素块在IS对应的每个失真拼接视口图像的H分量、S分量和V分量中匹配的超像素块，计算IS对应的每个失真拼接视口图像中的每个超像素块的颜色感知特征，将在中与中的第ξ个超像素块匹配的超像素块的颜色感知特征记为其中，的维数为1×3，表示在中与中的第ξ个超像素块匹配的超像素块的H通道的颜色感知特征，表示在中与中的第ξ个超像素块匹配的超像素块的S通道的颜色感知特征，表示中与中的第ξ个超像素块匹配的超像素块的V通道的颜色感知特征；步骤8：对IS对应的每个失真拼接视口图像中的所有超像素块的边缘感知特征进行自适应融合，得到IS对应的每个失真拼接视口图像的边缘感知特征，将的边缘感知特征记为同样，对IS对应的每个失真拼接视口图像中的所有超像素块的形变感知特征进行自适应融合，得到IS对应的每个失真拼接视口图像的形变感知特征，将的形变感知特征记为对IS对应的每个失真拼接视口图像中的所有超像素块的颜色感知特征进行自适应融合，得到IS对应的每个失真拼接视口图像的颜色感知特征，将的颜色感知特征记为其中，的维数为1×3，的维数为1×2，的维数为1×3；步骤9：通过IS对应的每个失真拼接视口图像与IG对应的每个参考拼接视口图像之间的互信息值，计算IS对应的每个失真拼接视口图像的信息感知特征，将的信息感知特征记为其中，表示的信息熵，表示的信息熵，表示和联合分布的信息熵，的维数为1×1；步骤10：根据IS对应的每个失真拼接视口图像的边缘感知特征、形变感知特征、颜色感知特征、信息感知特征，获取IS对应的每个失真拼接视口图像的特征矢量，将的特征矢量记为其中，表示将连接起来形成一个特征矢量，的维数为1×9；步骤11：按照步骤5至步骤10的过程，以相同的方式获取IS对应的每个失真显著视口图像中的每个超像素块的边缘感知特征、形变感知特征、颜色感知特征，进而获取IS对应的每个失真显著视口图像的边缘感知特征、形变感知特征、颜色感知特征，并获取IS对应的每个失真显著视口图像的信息感知特征，最终获取IS对应的每个失真显著视口图像的特征矢量，将的特征矢量记为其中，表示的边缘感知特征，的维数为1×3，表示的形变感知特征，的维数为1×2，表示的颜色感知特征，的维数为1×3，表示的信息感知特征，的维数为1×1，的维数为1×9；步骤12：根据IS对应的所有失真拼接视口图像的特征矢量和IS对应的所有失真显著视口图像的特征矢量，计算IS的特征矢量，记为F，F＝wT×FT+wA×FA；其中，FT表示拼接区域特征矢量，FT的维数为1×9，FA表示显著区域特征矢量，FA的维数为1×9，F的维数为1×9，wT为FT的权重，wA为FA的权重，wT+wA＝1，步骤13：选取n'幅全景拼接图像作为失真图像及每幅全景拼接图像对应的交叉参考图像作为参考图像，并构成图像集合；然后采用主观质量评价方法，获取图像集合中的每幅失真图像的平均主观评分值，将图像集合中的第i'幅失真图像的平均主观评分值记为MOSi'；并按照步骤2至步骤12的过程，以相同的方式获取图像集合中的每幅失真图像的特征矢量，将图像集合中的第i'幅失真图像的特征矢量记为Fi'；再将图像集合中的所有失真图像按场景内容进行分类，假设共有k'个图像类；其中，n'＞1，1≤i'≤n'，MOSi'∈[0,7]，Fi'的维数为1×9，k'＞1；步骤14：从图像集合中随机选择k'-1个图像类的所有失真图像构成训练集；然后将训练集中的所有失真图像的特征矢量和平均主观评分值构成训练样本数据集合；接着采用多元线性回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练，使得经过训练得到的回归函数值与平均主观评分值之间的误差最小，拟合得到最优的权重矢量和最优的偏置项再利用得到的最优的权重矢量和最优的偏置项构造全景拼接图像的多元线性回归训练模型，记为其中，训练集中的失真图像的总幅数为m幅，1≤m＜n'，为函数表示形式，上标“T”表示向量或矩阵的转置，Finp表示全景拼接图像的多元线性回归训练模型的输入矢量，为失真图像的特征矢量，Finp的维数为1×9，表示全景拼接图像的多元线性回归训练模型的输入矢量Finp的线性函数；步骤15：将图像集合中剩余的1个图像类的所有失真图像构成测试集；然后将测试集中的所有失真图像的特征矢量构成测试样本数据集合；接着根据构造得到的全景拼接图像的多元线性回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得到测试样本数据集合中的每个特征矢量对应的失真图像的客观质量评价预测值，将测试样本数据集合中的第η个特征矢量对应的失真图像的客观质量评价预测值记为其中，1≤η≤n'-m，Fη表示测试样本数据集合中的第η个特征矢量，Fη的维数为1×9，表示Fη的线性函数；步骤16：重复执行步骤14至步骤15共k'次，使图像集合中的每幅失真图像有且仅有一次属于测试集，得到图像集合中的每幅失真图像的客观质量评价预测值。

全文数据：

权利要求：

百度查询： 宁波大学 一种全景拼接图像质量评价方法