买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：杭州电子科技大学

摘要：本发明方法公开了语境特征融合的虚拟视点合成图像空洞填充方法。本发明方法首先以参考视图、参考深度图和相机信息为单位，检测出深度图的前景信息并进行前景扩散，然后根据3D变换和参考信息绘制出虚拟视点图像，最后在生成对抗网络中加入具有语境特征融合的注意力生成空洞区域的像素。本发明根据3D‑warping、空洞和前景之间的位置关系和注意力机制原理，改进了已有的注意力提取特征的方法，尤其是在视频序列中包含快速运动的物体在修复工作中起重要作用。本发明加强了同一空洞区域的连续特征块之间的联系，消除前景信息对背景区域修复的影响，可以直接应用在3D视频处理，3D视频图像物体修复等领域。

主权项：1.语境特征融合的虚拟视点合成图像空洞填充方法，其特征在于：首先以参考视图、参考深度图和相机信息为单位，检测出深度图的前景信息并进行前景扩散，然后根据3D变换和参考信息绘制出虚拟视点图像，最后在生成对抗网络中加入具有语境特征融合的注意力生成空洞区域的像素；步骤如下：步骤1通过canny边缘检测方法识别出深度图的前景边缘轮廓，得到边缘轮廓图；根据边缘轮廓图对深度图的前景物体进行边缘扩散，得到深度图的前景扩散图；步骤2基于3D-warping技术在参考视图、深度图的前景扩散图及相机信息，获取虚拟视点图像；步骤3在生成对抗网络训练提取图像的卷积特征；具体是：3-1使用微软3DVideos-distrib数据集作为网络模型的训练集和测试集；其中，网络模型由两个阶段的生成对抗网络组成，网络模型的输入图像都分割为256×256分辨率的图像，对应的空洞掩膜图MASK使用自由形状的掩膜；前阶段的网络通过简单的编解码层在空洞区域生成了大致纹理信息，后阶段的网络以前阶段的输出和同样的空洞掩膜图MASK作为输入，结合扩张卷积和注意力层进行进一步网络训练；经过多层的卷积编解码学习到了图像的像素特征；3-2在后阶段网络的结合注意力机制的编码路线和结合扩张卷积的编码路线输入、输出部分整合卷积层；3-3在两阶段的解码部分添加像素级的损失函数L2＝|ΦnIgt-ΦnIpre|2，Igt和Ipre分别是真实图像和该阶段生成的图像；在后阶段的编码部分还加入了感知损失函数通过Keras库中的预训练的VGG-16网络模型生成该阶段预测特征；其中，Φn表示图像特征在预训练的网络第n层，Hn、Wn和Cn分别表示VGG-16网络模型中第n卷积层特征的高度、权值和通道数，N表示VGG-16网络模型中卷积层数量；步骤4使用具有语境特征融合的注意力机制，重建空洞区域的特征；具体是：4-1在经过卷积编码获取卷积特征后，测量不同区域和空洞区域的余弦相似性： ＜·＞表示余弦相似性计算；通过softmax将获得的余弦相似性值进行归一化处理获取注意力分数： 其中，bx,y和fx′,y′分别表示输入卷积层的非空洞区域特征和空洞区域特征，x和y表示非空洞区域特征矩阵的具体位置坐标，x′和y′表示空洞区域特征矩阵的具体位置坐标，m表示余弦相似性函数值的个数，softmax表示将所有余弦相似性函数值进行归一化处理；第一个特征的最佳注意力分数直接取最大注意力分数scoremax，其他所有特征的最佳注意力分数选取上，都与前一次相邻的注意力分数进行联系：首先获取当前空洞特征的最大注意力分数和最小注意力分数获得当前注意力分数scorecur＝scoremax-scoremin，然后将scorecur与前一次相邻的空洞特征的注意力分数scorepre进行权值相加，获取最佳注意力分数scoreopt＝w1·scorepre+w2·scorecur；w1、w2为权值；在获取了注意力分数之后，根据scoreopt选取最佳的注意力匹配特征块，通过反卷积重建虚拟视点图像的分辨率和纹理信息。

全文数据：

权利要求：

百度查询： 杭州电子科技大学 语境特征融合的虚拟视点合成图像空洞填充方法