买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：兰州交通大学

摘要：本发明公开了一种基于条件隐扩散模型的敦煌壁画数字化修复方法，属于图像修复技术领域。本发明利用先进的图像修复算法，可以精确分析壁画上的缺损区域，并根据周围已有的图案和色彩信息，自动生成与原始壁画风格一致的新内容。修复后的壁画不仅填补了缺损部分，还能够保持与原始壁画相似的纹理、色彩和形态，有效消除修复过程中可能产生的伪影和不连贯现象，使得修复后的壁画与周围环境自然融合。此外，本发明还具有自动化的修复流程，用户只需提供原始壁画的图像，系统即可自动分析缺损并生成修复后的图像，大大节省了修复工作的时间和人力成本。

主权项：1.一种基于条件隐扩散模型的敦煌壁画数字化修复方法，其特征在于：包括VQGAN学习网络和条件隐扩散模型两部分，并且这两部分为独立训练；具体修复步骤如下：首先给定RGB空间中真实壁画图像以及灰度空间中二进制掩码M和线描图IL，由于自然灾害和人为破坏的影响，导致壁画丢失了部分细节信息，从真实壁画图像Igt退化成了缺损壁画Im＝Igt⊙M；其次，通过编码器Eq将图像多次下采样到潜在空间，之后基于一个码本量化下采样对应的图像向量，将量化向量输送到解码器Dq去恢复原始图像；再次，基于隐空间训练条件扩散模型，通过编码Ed和E1分别将加噪后特征和线描图约束在先验高斯分布并实现高斯注意力模块融合；最后，通过解码器Dd预测添加的噪声，不断迭代最终完成壁画修复；其中，具体VQGAN学习网络和条件隐扩散模型内容如下：①VQGAN学习网络：首先利用编码器Eq来获得真实壁画图像Igt的特征变量其中h×w表示空间分辨率，nz表示潜在的向量通道；然后，解码器Dq将量化特征反向重建壁画Iout＝Dqz；其中，量化算子q·为每个空间编码匹配码本中最接近的条目zk： 其中argmin||·||表示绝对值取得最小值时的参数值；VQGAN学习网络中的网络损失函数：像素距离损失函数将重建壁画Iout等分成四个部分，计算各部分间的平均差值： 其中||·||表示绝对值；最后，编码器Eq、编码本和解码器Dq被联合损失函数训练，包括重建损失函数感知损失函数风格损失函数量化损失函数和对抗损失函数 在公式3中，通过LSGAN计算，超参数值被设定为λpd＝0.5、λrec＝20、λper＝10、λstyle＝10和λadv＝5；其他损失函数被定义如下： 其中φi是来自19层VisualGeometryGroup网络的高级特征，φiT表示对φi转置，sg[·]代表停止梯度算子，表示绝对值后取平方操作；损失超参数β被设定为0.25；②条件隐扩散模型：包括前向扩散和反向去噪，在前向扩散过程的T个时间步长内，通过不断地向量化特征z0＝z中添加不同尺度的高斯噪声其均值和标准差由固定值βt∈0，1决定；由于前向扩散是马尔可夫过程，因此随着t不断增大，输入特征最终变成一个各项独立的高斯白色噪声zT；任何t时刻的噪声添加结果zt被定义为： 在公式8和公式9中，为了从随机噪声中恢复原始特征，需要实现反向去噪过程，即从标准高斯分布逐渐计算后验分布qzt-1|zt；因此，扩散模型被训练估计后验条件分布pθzt-1|zt的参数μθzt，t和∑θzt，t： 其中 其中，μθ被建模去估计zt-1： 之后，训练参数化模型∈θ去预测z0到zt中间累积的噪声∈以获得zt-1，其训练目标为： 在条件去噪过程中，使用zt、Im和线描图IL作为模型的输入，这确保了它可以为掩蔽的区域生成新内容，同时保留其他区域；根据公式14，训练一个参数化模型∈θEd，E1和Dd从zt中预测噪声∈： 其中，通过双编码器Ed和El分别将量化特征zt、线描图IL和缺损壁画Im非线性压缩映射到隐空间nd和nl；然后利用Kullback-LeiblerKL散度将隐变量约束在先验高斯分布中来完成分布正则化： 其中，qφ和是后验分布，是标准高斯分布，和分别表示KL损失函数；其中，高斯注意力模块：在获得隐向量nd和nl之后，将隐向量nd和nl有效融合，GSA使用三个5×5高斯卷积滤波器wq，wk，andwv去获得特征Q＝wqnd、K＝wknl和V＝wvnl；由于注意力机制无法捕获像素的位置信息，并在注意力分数A中引入2D高斯绝对位置偏差参数Gi，j： 其中 其中，σ是标准偏差，i，j表示空间位置坐标，h和w是图像的高和宽来控制高斯函数在图像中心的位置，Softmax是激活函数，d表示特征K的维度，KT表示对特征K转置；最后，GSA的输出O被定义为：o＝A+FFNLNA20其中LN·表示层归一化，FFN·由两个全连接层组成；在推断阶段，随机生成高斯噪声zT，其中T是采样步数；然后在Im和IL条件下迭代逆扩散过程并获得去噪结果最后，根据公式1得到量化特征并通过解码器Dq重建出图像Iout损失函数：针对敦煌壁画藻井图像，设置了余弦距离损失函数将量化向量z划分成四等分块，旨在最大化四等分块之间的相似性： 其中，NM表示二进制掩码M的值，Ci代表四等分块之间的余弦距离 其中，函数·表示余弦距离；最后，条件隐扩散模型的训练目标为： 其中，设置损失超参数λd＝5，λL＝15和λcd＝0.1。

全文数据：

权利要求：

百度查询： 兰州交通大学 一种基于条件隐扩散模型的敦煌壁画数字化修复方法