买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华侨大学

摘要：本发明设计图像修复技术领域，公开了一种基于流形约束扩散模型的人脸图像复原方法及系统，方法包括以下步骤：S1，制作数据集并利用数据集预训练一个基础扩散模型；S2，构建受流形约束启发的额外校正项并添加到基础扩散模型，构建语义扩散引导统一框架并添加到基础扩散模型，获得人脸图像复原模型；S3，输入待复原人脸图像和引导信息到人脸图像复原模型，生成复原人脸图像。本发明基于扩散概率模型（DDPM）反向生成过程设计了一个受流形约束（ManifoldConstrained）启发的额外校正项并引入语义扩散引导（SemanticDiffusionGuidance）框架控制生成过程，与之前的求解器协同使用，综合考虑了复原图像的正确性、真实性、一致性问题。

主权项：1.一种基于流形约束扩散模型的人脸图像复原方法，其特征在于，包括以下步骤：S1，制作数据集并利用数据集预训练一个基础扩散模型；S2，构建受流形约束启发的额外校正项并添加到基础扩散模型，构建语义扩散引导统一框架并添加到基础扩散模型，获得人脸图像复原模型；S3，输入待复原人脸图像和引导信息到人脸图像复原模型以输出复原人脸图像；其中，所述引导信息包括指导图像复原的信息；所述S2中，构建受流形约束启发的额外校正项并添加到基础扩散模型，具体为：S21，构建流形约束梯度项，表示为： 其中，xi表示待复原人脸图像进入反向扩散中生成的当前时间步状态向量，表示状态向量的初始估计值，y表示观测数据，Qi为表示第i个状态向量的过程噪声协方差矩阵，H为表示将状态向量映射到观测空间的观测矩阵，J为表示描述状态向量变化对观测数据影响的雅可比矩阵，W表示权重矩阵，U表示状态空间切平面，M为表示所有可能状态集合的状态空间；S22，将流形约束梯度项结合到基础扩散模型反向扩散的梯度更新步骤中，结合了流形约束梯度项的反向扩散表示为： 其中，x′i-1表示当前时间步的噪声图像，sθ表示评分函数，gxi表示前向扩散过程中的扩散项，N表示高斯噪声，z表示从高斯噪声中采样的噪声，I表示单位矩阵；S23,将数据一致性结合到基础扩散模型反向扩散的投影约束步骤中，结合了数据一致性的反向扩散表示为：xi-1＝Ax′i-1+bi；其中，xi-1表示待复原人脸图像进入反向扩散中生成的上一时间步状态向量，A表示线性变换矩阵，bi表示对xi-1进行修正或调整的向量；S24，在反向扩散的每个时间步重复S22-S23；所述S2中，构建语义扩散引导统一框架并添加到基础扩散模型，具体为：S31，所述引导信息包括图像引导和或文本引导，对于同时输入图像引导和文本引导的，使用视觉语义嵌入模型进行图像-文本对齐，将图像引导和文本引导联合嵌入；引导信息表示为：Fxt,x′t,t＝E′Ixt,t·E′Ix′t,t；其中，Fxt,x′t,t表示当前时间步的引导信息，E′I表示特征向量，xt表示当前时间步的待复原人脸图像，x′t表示当前时间步的噪声图像，t表示当前时间步；S32，结合引导信息和当前生成的图像计算出一个梯度方向g，表示为： 其中，pφ表示在给定条件下的概率密度函数；y表示给定条件，用于代入引导信息；表示对xt偏导；S33，根据计算得到的梯度方向g调整当前生成的图像xt，表示为：xt+s·g→xt；其中，→表示赋值，s是一个用户可控的超参数，用于确定引导强度；S34，在反向扩散的每个时间步重复S31至S33步骤。

全文数据：

权利要求：

百度查询： 华侨大学 一种基于流形约束扩散模型的人脸图像复原方法及系统