买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学

摘要：本发明公开了一种虚拟视点合成图像的空洞填充方法。本发明方法首先构建生成器，生成器包括下采样层、DCSWTransformer层、特征聚合残差层、全局‑局部融合模块和上采样层；然后构建鉴别器，鉴别器采用基于块的生成对抗网络PatchGAN，包括5个卷积层；构建总损失函数，由L1损失、边缘损失、感知损失、HVS总损失和对抗损失构成；训练生成器和鉴别器，配合生成器网络重构空洞区域的内容和纹理；最后利用训练后的生成器对原始图像进行空洞填充。本发明在虚拟视点空洞填充任务中的具有高效性和优越性能，能够广泛应用于不同的虚拟视点合成场景，具有显著实用价值和推广潜力。

主权项：1.一种虚拟视点合成图像的空洞填充方法，其特征在于：步骤1构建生成器；生成器包括下采样层、DCSWTransformer层、特征聚合残差层、全局-局部融合模块和上采样层；1-1将原始空洞图像Iin及其相应的掩膜Min进行合并，然后输入至下采样层的四个下采样卷积层，得到下采样特征图F1；1-2下采样特征图F1分别通过DCSWTransformer层和特征聚合残差层，分别进行操作；DCSWTransformer层由四个DCSWTransformer块构成，每个DCSWTransformer块包括条带窗口注意力单元、多尺度扩张注意力单元和自注意力单元；下采样特征图F1通过DCSWTransformer层执行以下操作：在第一个DCSWTransformer块中，下采样特征F1首先经过层归一化处理之后，然后被分配到两个分支中；第一个分支的数据流通过一个线性层，进入条带窗口注意力单元，得到条带窗口注意力特征F2；条带窗口注意力特征F2经过层归一化和多层感知机MLP的处理后，通过残差连接加入F2得到残差补偿后特征F3；第二个分支中的数据流通过卷积层后，依次通过多尺度扩张注意力单元和自注意力单元，得到多尺度特征F4；输出的F3和F4通过加法操作进行融合，层归一化处理后输入到多层感知机MLP，得到一级融合特征将送入下一个DCSWTransformer块，重复操作，以此类推，直到第四个DCSWTransformer块；四个DCSWTransformer块分别输出一级融合特征二级融合特征三级融合特征和四级融合特征特征聚合残差层由四个残差密集块RDB和一个全局平均池化层组成；下采样特征图F1通过特征聚合残差层执行以下操作：在第一个残差密集块RDB中，下采样特征F1首先经过第一个卷积层和ReLU激活函数，输出第一个特征被传递到第二个卷积层和ReLU激活函数，输出第二个输出特征，两个输出特征级联后，传递到第三个卷积层和ReLU激活函数，输出第三个输出特征，三个输出特征级联后，传递到第四个卷积层和ReLU激活函数，输出第四个输出特征；四个输出特征级联后通过一个1×1卷积层进行通道数压缩，然后与下采样特征F1通过残差连接相加，形成一级输出特征将一级输出特征送入下一个残差密集块RDB，重复操作，以此类推，直到第四个残差密集块RDB，四个残差密集块RDB分别输出一级输出特征二级输出特征三级输出特征和四级输出特征全局平均池化层接收每个残差密集块RDB的输出，得到全局平均池化后特征FA，将FA、和F1经过相加操作，得到特征聚合残差层最终输出特征1-3全局-局部融合模块中，二级融合特征和二级输出特征做逐像素相乘操作，得到二级相乘特征四级融合特征和四级输出特征做逐像素相乘操作，得到四级相乘特征二级相乘特征四级相乘特征和特征聚合残差层最终输出特征做逐像素相加操作，得到第一相加特征二级相乘特征四级相乘特征和四级融合特征做逐像素相加操作，得到第二相加特征将和按通道拼接，得到全局-局部融合模块输出特征Ffusion；1-4上采样层包括四个卷积层，对Ffusion进行四次上采样卷积操作，得到空洞修复后图像Iout；步骤2构建鉴别器；鉴别器采用基于块的生成对抗网络PatchGAN，包括5个卷积层，每个卷积层的卷积核尺寸为4×4，步长为2，采用LeakyReLU激活函数，斜率k＝0.2；步骤3构建总损失函数其中，表示L1损失函数，是边缘损失函数，表示感知损失函数，表示HVS总损失函数，表示对抗损失函数，λ1、λedge、λperc、λtotalHVS和λadv为对应损失函数的损失权重；3-1空洞修复后图像Iout与真实图像Igt之间的L1距离作为重建损失；||·||1表示L1距离；3-2边缘损失函数其中，N表示Iout和Igt中的像素数，⊙表示逐像素相乘，||·||2表示矩阵平方运算；边缘掩膜Medge＝1-Iedge+10′Iedge，Iedge为通过应用Canny边缘检测算法得到的边缘图像；3-3感知损失函数用来提高感知重建的准确性，将Iout和Igt送入VGG-19模型，得到五个激活图；感知损失函数其中，φkIout表示Iout作为输入的激活图，φkIgt表示Igt作为输入的激活图，k＝1,2,3,4,5为激活图序号；表示期望；3-4HVS总损失函数其中：HVS损失函数边缘HVS损失函数HVSout为空洞修复后视觉系统图，HVSgt为真实图像视觉系统图，λHVS和λHVSedge为对应损失函数的损失权重；3-5对抗损失函数其中：生成器损失函数D×表示鉴别器输出结果；鉴别器损失函数梯度惩罚项表示梯度，设定梯度惩罚权重λGP＝1′10-3；步骤4训练生成器和鉴别器，配合生成器网络重构空洞区域的内容和纹理；步骤5利用训练后的生成器对原始图像进行空洞填充。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 一种虚拟视点合成图像的空洞填充方法