MDFR：基于人脸图像复原和人脸转正联合模型的人脸识别方法

MDFR：基于人脸图像复原和人脸转正联合模型的人脸识别方法

2021-08-11 21:10·

AI 科技评论报道

编辑 | 陈大鑫

AI 科技评论今天介绍一篇能够对此有着很好的解决方案的论文，在本文中，作者提出一种 多退化因子的人脸复原模型(Multi-Degradation Face Restoration，MDFR)，来一次性解决所有的这些影响因素。

原文标题：《Joint Face Image Restoration and Frontalization For Recognition》

MDFR 可以从给定的多姿态、多重低质量因素影响的人脸图像中复原其高质量的正面人脸图像。MDFR是一个设计良好的编码器-解码器网络结构。

在模型的构建中，作者引入了姿态残差学习策略，以及一个基于3D的姿势归一化模块(3D-based Pose Normalization Module，PNM)，该模块可以感知输入人脸姿态和正面人脸姿态之间的差异，以此差异来指导人脸的转正学习。

1 背景及简介

文章的贡献如下：

• 提出了一种多退化因子人脸复原模型（Multi-Degradation Face Restoration, MDFR），将给定的任意姿态和受多重低质量因子影响的人脸图像恢复为正面且高质量的图像；
• 在人脸转正过程中，使用了姿态残差学习策略，并且提出了一种基于3D的姿态归一化模块；

2 方法描述

MDFR结构如图1所示。在训练过程中，MDFR主要包含两个模块，即双代理生成器(Dual-Agent Generator)和双代理判别器(Dual-Agent Discriminator)。姿态归一化模型模块(Pose Normalization Module, PNM)被嵌入到网络中对人脸的姿态进行归一化。

图1. MDFR模型的结构，包括双代理生成器，姿态归一化模型，以及双代理判别器。

（1）双代理生成器

双代理生成器包含一个人脸复原子网络(Face Restoration sub-Net, FRN)和一个人脸转正子网络(Face Frontalization sub-Net, FFN)。FRN网络的作用是将低质量人脸图像重建为高质量人脸图像，而FFN网络将FRN生成的侧脸图像进行转正。其中每个子网络均包含一个编码器和解码器，前者用来将输入映射到特征空间，而后者主要将编码后的特征重建为相应的目标人脸图像。两个子网络具有相同的网络结构，但是输入有所不同。FRN的编码器对输入的人脸图像进行编码，随后解码器对编码器的特征进行解码。FFN的解码器的输入除了人脸的编码特征外，还包含人脸两种姿态的编码残差，如图2所示。

图2生成网络的网络结构

（2）姿态归一化模块

作者设计了一个姿态归一化模块(PNM)对姿态进行归一化。PNM提供了标准的、并且尺度统一的真实正面姿态来来引导人脸转正。基于3D形变模型(3D Morphable Model, 3DMM)，二维人脸图像对应的三维顶点可以通过人脸正交基线性加权相加而得到：

通过尺度正交映射将三维人脸顶点映射到二维图像平面，二维侧脸人脸图像可以表示为：

其中，参数

是相应的旋转矩阵，t 为平移向量。当移去旋转矩阵和平移向量后，归一化后真实转正的人脸密集二维坐标可以表述为：

在文章中，作者使用3D人脸转正方法 2DAL 从一张给定的二维人脸图像中获取人脸密集坐标，最后选取18个常用的关键点来生成相应的高斯热力图(Gaussian Heatmaps)。

（3）双代理先验引导判别器

在人脸超分辨率领域使用的判别损失能够很好的提高重建人脸的真实度。因此，在本文中，作者在判别器中加入两种额外的先验信息：目标人脸的landmarks以及正脸的身份特征图，使得生成的人脸不仅能够获得目标姿态，还具有真实的身份信息。对应的判别器分别为PCD(Pose Conditioned Discriminator)以及ICD(Identity Conditioned Discriminator)。

在实现过程中，作者将两种先验信息分别作用到输入判别器中引导人脸的生成，然后再输入到相应的判别器中进行判别损失的求解。PCD和ICD不仅可以区分真实人脸和生成的人脸，同时可以学习到真实人脸和生成人脸的姿态和身份差异。

（4）网络训练

网络的训练主要分为两个阶段：Separate Training和TI Training。

Separate Training:文章首先分别训练FRN和FFN两个子网络，两个训练过程分别简写为FRN-S和FFN-S。FRN-S训练过程中所用到的损失函数如下：

身份信息损失：

重建像素损失：

总的损失：

FFN-S训练过程中所用到的损失函数如下：

转正损失：

条件对抗损失：

总的损失：

Task-Integrated (TI) training：在FRN和FFN完成了相应的分开训练后，作者在预训练模型的基础上进行整合训练。在这个阶段，作者使用FFN模型的输出作为ground-truth来训练FRN。同时，使用PNM归一化后的真实转正面部landmarks来引导FFN中人脸的转正。为了生成更好的人脸效果，在这一阶段作者还使用了特征对齐损失（Feature Alignment Loss, FA），具体的定义如下：

整体的训练损失函数为：

3 实验结果

作者首先探索了不同的网络结构和损失函数的组合来观察FFN-S和FRN-TI相应部分对人脸生成的影响，实验结果如图3所示。

图3. 消融实验在Multi-PIE数据库上的对比结果。

图4. 不同方法在多重低质量因素影响下的人脸复原效果

作者在多重低质量因素影响的人脸图像上进行相应的验证，包括低分辨率、不良光照、噪声以及模糊。实验表明，文章提到的方法不仅可以充分应对多种低质量因子，而且都可以生成相应的高质量人脸图像。图4展示了不同方法在多重低质量因素影响下的人脸复原效果。可以看出不同于之前只能处理单一的任务的方法，文中所提出的方法既可以对人脸进行转正也可以进行高质量复原，且取得了最好的视觉效果。

由于微信公众号试行乱序推送，您可能不再能准时收到的推送。为了第一时间收到的报道， 请将“”设为星标账号在看”。

哥也要色 http://www.cityruyi.com/lm-4/lm-1/1184.html