买专利卖专利找龙图腾，真高效！ 查专利查商标用IPTOP,全免费！专利年费监控用IP管家,真方便！

申请/专利权人：华东交通大学

摘要：本发明提出一种用于红外‑可见光人脸识别的双编码人脸合成方法与系统，该方法采用身份编码器和风格编码器的双编码结构，以红外人脸照片作为真实照片，将真实照片输入身份编码器，获取身份特征编码；以随机可见光人脸照片作为参考照片，将参考照片和真实照片输入风格编码器，获取具有参考照片风格信息的内容编码；将内容编码和身份特征编码进行融合增强，获取增强后的特征；将增强后的特征输入风格内嵌解码器中，并在风格编码器和解码器之间建立各层的跳跃连接，以将风格编码器捕获的特征信息传递给风格内嵌解码器，从而引导解码特征的生成。本发明方法利用目标域参考照片的先验信息，提高NIR图像转换生成VIS图像的真实性，提高了NIR人脸识别精度。

主权项：1.一种用于红外-可见光人脸识别的双编码人脸合成方法，其特征在于，所述方法包括如下步骤：步骤1、采用身份编码器和风格编码器的双编码结构，以红外人脸照片作为真实照片，将真实照片输入身份编码器，获取身份特征编码；步骤2、以随机可见光人脸照片作为参考照片，将参考照片和真实照片输入风格编码器，获取具有参考照片风格信息的内容编码；步骤3、将内容编码和身份特征编码进行融合增强，获取增强后的特征；步骤4、将增强后的特征输入风格内嵌解码器中，并在风格编码器和风格内嵌解码器之间建立各层的跳跃连接，以将风格编码器捕获的特征信息传递给风格内嵌解码器，从而引导解码特征的生成，得到生成结果；在所述步骤4中，将增强后的特征输入风格内嵌解码器中，并在风格编码器和风格内嵌解码器之间建立各层的跳跃连接，以将风格编码器捕获的特征信息传递给风格内嵌解码器，从而引导解码特征的生成，得到生成结果的方法具体包括如下步骤：将增强后的特征经过全连接层拉伸，得到拉伸后的向量，以便后面进行上采样，对应的过程存在如下关系式： ；其中，表示全连接层，表示拉伸后的向量；将调整后的特征输入进解码器之后进行反卷积操作，再与风格编码器中第五层参考照片的风格特征向量局部融合，得到第一层上采样融合特征，对应的过程关系式如下： ； ；其中，表示反卷积层，表示用于融合内容与局部风格信息的局部风格转移模块，表示第i层反卷积向量，表示第i层上采样融合特征；利用跳跃连接，将第一层上采样融合特征与风格编码器中第五层真实照片的内容特征向量相加再进行反卷积，后与第四层参考照片的风格特征向量再进行融合，生成第二层上采样融合特征，以此类推，直到获得第五层上采样融合特征，对应的过程关系式如下： ； ；将第五层级的上采样融合特征卷积后获取掩膜操作，并结合真实图像以获取输出图像；局部风格转移模块由两个风格模块组成，每个风格模块由风格注意模块和卷积层组成，对应的过程存在如下关系式： ； ； ； ； ；其中，表示第i层反卷积向量经过第一个风格模块的融合特征，表示第一个风格模块，表示第二个风格模块，表示风格注意模块；将第五层级的上采样融合特征卷积后获取掩膜操作，并结合真实图像以获取输出图像的方法具体包括如下步骤：将第五层级的上采样融合特征与第一层真实照片的特征向量相加再进行卷积得到最后的输出特征，对应的过程关系式如下： ；其中，表示卷积残差块，表示第五层的上采样融合特征，F表示卷积后的输出特征；将输出特征施以掩膜操作，以获取内容掩膜和注意掩膜，根据内容掩膜和注意掩膜生成最终结果，对应的过程关系式如下： ；其中，表示内容掩膜，表示注意掩膜，表示融合内容掩膜，注意力掩膜和输入图像得到输出图像；获取注意力掩膜的过程存在如下关系式： ；其中，表示激活函数，表示维度扩充函数，表示取输出向量中所有行的第1列数据；获取内容掩膜的过程存在如下关系式： ； 表示取输出向量中所有行的除第1列以外的所有列的数据。

全文数据：

权利要求：

百度查询： 华东交通大学 用于红外-可见光人脸识别的双编码人脸合成方法与系统