买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学

摘要：本发明方法公开了基于背景分离的RGB‑D视频合成视点空洞掩盖方法。本发明方法以参考彩色图、参考深度图和相机信息为单位，利用加入并行注意力的P‑UNet网络分离彩色图前景、根据参考深度图前景与背景之间的像素突变分离前景，将两种方法的背景结合并使用高斯混合模型构建更干净的背景；使用基于深度和时间一致性的修复方法修复背景；然后根据3D变换公式和相机信息绘制出虚拟视点和虚拟背景，并再次修复虚拟背景；最后使用虚拟背景填充虚拟视点空洞中的缺失像素。本发明避免了修复时产生前景渗透，生成的空洞区域在相邻帧之间更有时间一致性，减少视频播放时的帧闪，提高了视觉质量。

主权项：1.基于背景分离的RGB-D视频合成视点空洞掩盖方法，其特征在于：步骤1通过P-UNet网络、参考深度图边缘特征，分别获取参考彩色背景和参考深度背景具体是：1-1使用VOCdevkit2007数据集作为训练集和测试集，对P-UNet网络进行训练，得到网络模型，用于参考视点图像的前景分割；P-UNet网络结构为编码器-解码器结构，在编码器阶段，通过多次卷积、下采样学习图像的有效特征；在解码器阶段，对有效特征进行上采样，并与相应的编码器特征相拼接，采用拼接后的特征对参考彩色图进行分割；P-UNet网络使用并行注意力，包括：通道注意力，通过在特征图中分配通道权重，增加与前景物体相关的通道权重；反向注意力，通过对前景物体的修正，使边界的细节信息逐渐准确；将通道注意力和反向注意力产生的特征进行融合，得到更有效的特征；输入并行注意力的两个特征来自编码器提供的特征Fe和解码器提供的特征Fd；经过反向注意力后获得的特征图Rk＝ConvFe·Mk，Conv表示卷积操作，反向注意力权重Mk＝-σFd，σ为激活函数sigmoid，-为取反操作；经过通道注意力后获得的特征图Ck＝ReLuConvMaxPoolF·F，ReLu为激活函数，MaxPool表示对输入数据进行最大池化，Fe和Fd拼接后的特征F＝ConcatFe,Fd，Concat表示输入数据的拼接；将两特征融合，得到并行注意力输出特征Ok＝ReLuConcatRk,Ck；对并行注意力输出特征Ok进行一次卷积操作，获得P-UNet网络分割参考彩色图的二值图通过二值图获得P-UNet网络分割参考彩色图的背景BC；1-2首先对参考深度图进行双边滤波，然后通过Canny边缘检测，提取参考深度图的前景对象边缘图E，以前景对象边缘图E的前景边缘为边界，获取整个参考深度图前景对象；通过迭代法获取整个前景区域；每次迭代时，通过当前像素Dx,y与相邻前景像素差值，以及当前像素Dx,y是否大于设定阈值OstuFEi判断当前像素Dx,y是否属于前景；迭代后的前景像素1表示属于前景，0表示不属于前景；FEi表示能包含第i个连续边缘的最小矩形区域，F8Dx,y表示当前像素Dx,y的八邻域的前景像素，当前像素Dx,y与八邻域的前景像素F8Dx,y的相似程度DiffDx,y,F8Dx,y＝|F8Dx,y-Dx,y|，c2为判断相邻像素是否为前景的阈值；1-3网络模型对参考彩色图进行前景提取，得到参考彩色图的前景二值图对参考深度图进行前景提取，得到参考深度图的前景二值图将两个前景二值图和取并集，得到准确前景二值图，由此获得一个更干净的参考彩色背景和参考深度背景步骤2通过视频序列中每一帧的参考彩色背景和参考深度背景，利用高斯混合模型GMM对参考彩色背景和参考深度背景进行背景建模；步骤3对构建的参考深度背景序列中的每一帧空洞区域进行深度预测；对参考深度背景中的空洞区域通过线性插值进行预测，如果空洞两边仍存在背景像素，通过线性插值方法进行预测；如果空洞两边只有一侧存在像素，则直接采用存在一侧的深度用于预测缺失的深度值；由此获得每一帧深度预测后的参考深度背景图；步骤4使用BDC-Inpainting算法对高斯混合模型GMM构建的参考彩色背景图进行修复，其中BDC-Inpainting算法结合深度信息和前一帧修复后的参考彩色背景用于引导当前帧的参考背景的修复；步骤5通过3D-Warping公式将参考彩色图、参考深度图，参考彩色背景图和参考深度背景图变换为虚拟视点图像；步骤6通过步骤3对合成的虚拟深度背景图进行深度预测并通过步骤4对合成的虚拟彩色背景进行修复；由此获得修复后的虚拟参考彩色背景图Bcv；步骤7使用步骤6获得修复后的虚拟参考彩色背景图Bcv对步骤5中获得的合成虚拟彩色图Cv中的空洞区域进行填充。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 基于背景分离的RGB-D视频合成视点空洞掩盖方法