恭喜成都信息工程大学李孝杰获国家专利权
买专利卖专利找龙图腾,真高效! 查专利查商标用IPTOP,全免费!专利年费监控用IP管家,真方便!
龙图腾网恭喜成都信息工程大学申请的专利基于面部属性信息预测的自适应人脸修复方法和装置获国家发明授权专利权,本发明授权专利权由国家知识产权局授予,授权公告号为:CN118134809B 。
龙图腾网通过国家知识产权局官网在2025-03-28发布的发明授权授权公告中获悉:该发明授权的专利申请号/专利号为:202410408260.6,技术领域涉及:G06T5/77;该发明授权基于面部属性信息预测的自适应人脸修复方法和装置是由李孝杰;邓英杰;黄占鳌;彭静;杨善敏;吴锡设计研发完成,并于2024-04-07向国家知识产权局提交的专利申请。
本基于面部属性信息预测的自适应人脸修复方法和装置在说明书摘要公布了:本发明提出基于面部属性信息预测的自适应人脸修复网络和装置,通过面部解析网络的微调,从缺失人脸中预测获得完整脸部属性信息,以提供面部结构信息,如缺失人脸应有的姿势、表情和角度等;在面部修复中,区别现有人脸先验信息的方法,通过可分离自适应归一化模块自适应地提取结构信息并进行归一化,将预测的属性信息和输入人脸图像的特征信息进行自适应融合,以准确的结构指导面部结构的生成,最后通过多头判别器的身份提取器获取生成的图像和原始图像的身份信息,使用身份损失约束保证生成中身份的准确性。实验结果表明,本发明方法与现有方法相比,即使在复杂的遮挡部位不同的情况下,也能修复出具有准确结构和清晰纹理的面部图像。
本发明授权基于面部属性信息预测的自适应人脸修复方法和装置在权利要求书中公布了:1.基于面部属性信息预测的自适应人脸修复方法,其特征在于,针对大面积缺失人脸的修复网络,构建自适应人脸修复网络,包括面部解析网络、面部修复网络和包括身份检测器的多头判别器,其中,所述面部解析网络用于从缺失人脸中预测获得完整的脸部属性信息,以提供面部结构信息;所述面部修复网络利用可分离自适应归一化模块提取所述面部解析网络输出的面部结构信息并进行归一化,以面部结构信息指导面部结构的生成,所述多头判别器的身份提取器获取生成的预测人脸图像和原始人脸图像的身份信息,来确保预测结果的分布与原始人脸图像的分布接近,所述方法具体包括:步骤1:准备用于人脸修复的开放人脸数据集,即CelebA数据集与CelebA-HQ数据集,将两个数据集中的原始人脸图像进行遮掩得到掩膜图像Im;步骤2:对步骤1所获取数据集进行数据集划分,按照8:1:1划分成训练集、验证集和测试集;步骤3:构建并初始化基于面部属性信息预测的自适应人脸修复网络,所述自适应人脸修复网络由第一阶段的面部解析网络、第二阶段的面部修复网络构成;在第一阶段,所述面部解析网络包括空间路径和上下文路径,空间路径通过小步幅的卷积以保留空间信息并生成高分辨率特征,上下文路径通过快速下采样策略,并通过注意力优化模块来获得大感受野,在两条路径之间使用特征融合模块来组合特征;在第二阶段,所述面部修复网络采用LinkNet网络作为生成器的主干网络,包括编码器和解码器,两者采用残差连接,编码器由谱归一化模块构成,解码器由可分离自适应归一化模块和谱归一化模块组成,多头判别器对面部修复网络输出的预测人脸结果和原始人脸图像进行判别;步骤4:将所述训练集输入构建完成的所述人脸修复网络中进行训练,具体包括:步骤41:将掩膜图像Im输入所述面部解析网络中获得人脸面部的区域信息,依次通过所述上下文路径的4倍、18倍、16倍和32倍下采样操作得到第一特征图D1、第二特征图D2、第三特征图D3和第四特征图D4,通过所述空间路径得到空间特征图Is,并将第三特征图D3、第四特征图D4分别输入注意力优化模块,得到优化特征图U3和优化特征图U4;步骤42:将所述优化特征图U3、所述优化特征图U4与所述第四特征图D4逐元素相加后得到上下文特征图It,最后将所述空间特征图Is与所述上下文特征图It输入特征融合模块中,得到人脸结构信息Pm;步骤43:将训练集的掩膜图像Im输入面部修复网络的编码器中,编码器通过依次连接的谱归一化模块与下采样模块获得人脸的属性特征,具体的,掩膜图像通过第一个谱归一化模块生成编码特征图,再下采样2倍后输入下一级的谱归一化模块,分别得到编码特征图F1、编码特征图F2、编码特征图F3和编码特征图F4;步骤44:将所述编码特征图F4通过上采样2倍后与编码特征图F3残差连接求和融合后输入解码器的谱归一化模块得到解码特征图F1m,将解码特征图F1m与所述人脸结构信息Pm输入可分离自适应归一化模块得到中间权重特征图W1;然后,所述中间权重特征图W1上采样2倍后与所述编码特征图F2通过残差连接求和融合后输入下一个谱归一化模块得到解码特征图F2m,将解码特征图F2m与所述人脸结构信息Pm输入下一个可分离自适应归一化模块生成中间权重特征图W2;最后,所述中间权重特征图W2上采样2倍后与所述编码特征图F1通过残差连接求和融合后输入下一个谱归一化模块得到解码特征图F3m,将解码特征图F3m与所述人脸结构信息Pm输入下一个可分离自适应归一化模块得到输出特征图Fout;步骤5:将步骤44生成的输出特征图Fout当作预测人脸图像,输入多头判别器中进行判别,所述多头判别器通过损失拉近预测人脸图像与原始人脸图像的分布;步骤6:步骤4和步骤5依次经过预设次数的训练,每经过10回合保留一次模型权重,训练结束后将测试集传入训练完成的人脸修复网络进行测试,判断当前测试的人脸修复客观评价指标是否稳定,并通过主观视觉观察生成结果是否修复成功,若是,则保存当前模型参数,若否则跳过,测试下一个模型权重;步骤7:选取测试过程中表现最好的网络,然后将验证集送入该网络,计算客观评价指标,并保存最终的预测人脸图像。
如需购买、转让、实施、许可或投资类似专利技术,可联系本专利的申请人或专利权人成都信息工程大学,其通讯地址为:610200 四川省成都市西南航空港经济开发区学府路1段24号;或者联系龙图腾网官方客服,联系龙图腾网可拨打电话0551-65771310或微信搜索“龙图腾网”。
1、本报告根据公开、合法渠道获得相关数据和信息,力求客观、公正,但并不保证数据的最终完整性和准确性。
2、报告中的分析和结论仅反映本公司于发布本报告当日的职业理解,仅供参考使用,不能作为本公司承担任何法律责任的依据或者凭证。