买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：浙江大学

摘要：本发明公开了一种基于多条件扩散模型的人脸匿名化方法、存储介质及设备，方法的具体步骤为：将待匿名的人脸图像分别经过专家人脸特征提取网络和3DMM系数提取模块，提取身份特征潜向量和3DMM系数，由人脸掩膜提取器中，提取人脸面部各部位的掩膜，并进行处理，得到掩膜后的待匿名人脸图像；分别由两个潜去噪隐式扩散模型生成匿名身份特征潜向量和匿名化的身份表示系数，通过计算相似度得到最终匿名化身份表示系数和最终匿名身份特征潜向量；由人脸重建模型处理后得到匿名化的二维渲染人脸图像，最后由多条件扩散模型对身份敏感，由经过训练的多条件扩散模型对加噪后的人脸图像经过多步去噪后，得到匿名化人脸图像。

主权项：1.一种基于多条件扩散模型的人脸匿名化方法，其特征在于，包括以下步骤：S1、将待匿名的人脸图像输入到经过预训练的专家人脸特征提取网络中，提取身份特征潜向量，将待匿名的人脸图像输入到经过预训练的3DMM系数提取模块中，提取原始3DMM系数，将待匿名的人脸图像输入到预训练的注视方向提取模块中，得到注视方向系数，将注视方向系数加入到原始3DMM系数中，获得优化后的3DMM系数；其中，优化后的3DMM系数由5个系数组成，分别为真实身份表示系数、表情表示系数、纹理表示系数、光照系数、姿势系数以及注视方向系数；S2、将待匿名的人脸图像输入到经过预训练的人脸掩膜提取器中，得到人脸面部各部位的掩膜，将各部位的掩膜相互连接，得到原始的人脸面部掩膜，在原始的人脸面部掩膜中将口腔区域对应的掩膜去掉，得到处理后的人脸面部掩膜，由处理后的人脸面部掩膜对待匿名的人脸图像进行逐像素判断，得到掩膜后的待匿名人脸图像；S3、从零均值、单位方差的正态分布中采样，得到三个随机高斯噪声，将第一随机高斯噪声输入到经过训练的第一潜去噪隐式扩散模型中，生成匿名身份特征潜向量，将第二随机高斯噪声输入到经过训练的第二潜去噪隐式扩散模型中，生成匿名化的身份表示系数，分别计算每个匿名化的身份表示系数与步骤S1中真实身份表示系数之间的第一余弦相似度，将与第一余弦相似度计算结果最小值对应的匿名化的身份表示系数作为最终匿名化身份表示系数，将最终匿名化身份表示系数替换优化后的3DMM系数中的真实身份表示系数，得到匿名化后的3DMM系数，分别计算匿名身份特征潜向量和步骤S1中身份特征潜向量之间的第二余弦相似度，将与第二余弦相似度计算结果最小值对应的匿名身份特征潜向量作为最终匿名身份特征潜向量，用于保证匿名程度的多样性与最大化；其中，所述第一潜去噪隐式扩散模型和所述第二潜去噪隐式扩散模型在训练时，各自采用一个损失函数进行更新；S4、将匿名化后的3DMM系数作为预训练的人脸重建模型的输入，根据步骤S1中的表情表示系数、纹理表示系数以及注视方向系数经过人脸重建模型处理后，得到渲染后的三维人脸模型，根据光照系数和姿势系数将三维人脸模型投影到二维平面，得到匿名化的二维渲染人脸图像；S5、将步骤S4得到匿名化的二维渲染人脸图像与第三随机高斯噪声连接，得到加噪后的人脸图像，将步骤S3得到的最终匿名身份特征潜向量以及步骤S2掩膜后的待匿名人脸图像作为条件，使得多条件扩散模型对身份敏感，由经过训练的多条件扩散模型对加噪后的人脸图像经过多步去噪后，得到匿名化人脸图像。

全文数据：

权利要求：

百度查询： 浙江大学 基于多条件扩散模型的人脸匿名化方法、存储介质及设备