吉安网站开发,景观平台设计,wordpress 图片自动分页,深圳设计网站公司The Elements of End-to-end Deep Face Recognition: A Survey of Recent Advances 人脸识别是计算机视觉社区中最基础和历史悠久的话题之一。随着深度卷积网络和大尺度数据集发展#xff0c;深度人脸识别取得极大进步并且应用到许多领域。给定一个自然图像或者视频帧作为输入… The Elements of End-to-end Deep Face Recognition: A Survey of Recent Advances 人脸识别是计算机视觉社区中最基础和历史悠久的话题之一。随着深度卷积网络和大尺度数据集发展深度人脸识别取得极大进步并且应用到许多领域。给定一个自然图像或者视频帧作为输入一个端到端人脸识别系统输出人脸特征进行识别。 为了达到这个目标整个系统通常由三个关键组件构成:人脸检测人脸预处理和人脸表示。人脸检测定位出图像或者视频帧中的人脸接着人脸预处理用于矫正人脸角度并且裁剪出一个归一化的像素尺寸最后在识别阶段从预处理后的人脸中提取具有判别性特征进行识别。这三个阶段由深度卷积网络完成。本文回顾近年来人脸识别中三个组件的进展。作为开始我们介绍端到端人脸识别系统框架接着分别回顾三个组件的进展包含许多先进算法评价指标数据集性能比较挑战和进一步研究方向。我们希望这项调查能够为我们带来有益的想法以便更好地了解端到端人脸识别的概况并以系统的方式进行更深入的探索。1 简介人脸识别是计算机视觉中一个广泛研究的话题。在人类生物识别技术的现有技术中人脸识别是身份验证和监视系统等现实应用中使用最广泛的技术。根据数据模态可以分为基于2D图像和基于3D扫描方法它们在发展和应用中不同。本文关注于基于2D图像端到端人脸识别以图像或视频帧为输入输出人脸特征表示。我们全面回顾人脸识别系统中核心的三个组件:人脸检测人脸预处理和人脸识别。下面分别简要介绍每一个组件。人脸检测是人脸识别的第一步骤。旨在找到人脸区域。在深度学习之前划时代意义的人脸检测工作是Viola-Jones[32]人脸检测器基于Haar特征使用AdaBoost分类器构建一个级联结构。后来一系列工作研究基于人工设计特征[7,165,172]和不同分类器【16127155】来提高检测性能。同时一些方法[59,281]研究DPM进行人脸检测。**读者可以从[304]中了解更多传统人脸检测方法。**近来随着DCNNs发展人脸检测变得更加鲁棒可以更好适应大范围人脸姿态和遮挡。接着人脸预处理旨在矫正人脸到一个固定角度同时裁剪出一个归一化尺寸然后用于后续人脸特征表示。这是人脸识别系统中重要的中间环节。在本文中我们介绍了两种主要的人脸预处理方法即人脸对齐和人脸正面化。一般来说人脸对齐是利用空间变换参照面部关键点将人脸扭曲到一个规范的位置。因此人脸定位是人脸对齐的必要步骤。大多数传统的面部地标定位研究都集中在生成方法[3637]或识别方法[158354]上并且有一些关于它们的详尽调查[100249371]。有些方法没有利用人脸关键点而是直接从输入的人脸生成对齐的人脸。另外人脸正面化研究从非正面输入合成正面人脸这是处理大姿态人脸识别的常用方法。在人脸识别阶段从预处理后的人脸中提取出具有判别性特征。这是人脸识别最后也是核心步骤。在早期研究中许多方法都是通过将面部图像投影到低维子空间中来计算面部表示的例如Eigenfaces [229]和Fisherfaces [12]。后来更多的基于局部描述符的手工制作方法[3137]出现在人脸表示中。对于这些传统方法的详细回顾可以参考[6233312]。最近人脸表示受益于DCNN的发展见证了高性能人脸识别的巨大进步。本文研究关注于近来每一个组件的进展。人脸识别的性能取决于所有组件的贡献也就是任意一个组件性能不佳都会损害最终的表现。为了建立一个高性能端到端人脸识别系统有必要讨论每一个组件及其相互影响。前面出现很多人脸识别综述工作本文工作与他们的差别在表1中。特别的早期综述[6,233,312]没有包含基于深度学习方法另外[15,206]关注于3D人脸识别和特殊任务[48,369]。本文关注2D人脸识别这在实际应用中最广泛。[181]回顾三个组件的进展但是不包含近年来发展的技术。如图1所示近年来出现了大量的工作。[246]系统研究深度人脸识别但他们关注深度人脸表示并且基于训练损失进行分类是不全面的。例如他们通过基于欧几里得距离的损失基于角/余弦余量的损失softmax损失及其变化对深度人脸表示的监督学习进行了分类但是几乎所有基于角度/余弦余量的损失都实现为 softmax损失的变化而不是单个集合的变化。我们建议一个更加合理的分类如5.2部分。[2]研究基于传统和深度学习的2D和3D人脸识别但是缺少人脸表示。总之人脸识别技术需要系统全面的回顾三个组件但是很少有工作做到.因此本文系统回顾基于深度学习方法的每一个组件。回顾内容包含算法设计评价指标数据集性能比较挑战和发展方向。本文贡献如下:全面回顾基于深度学习的端到端人脸识别系统的三个组件:人脸检测人脸预处理和人脸表示从多个角度讨论三个组件:算法评价标准数据集性能等等。我们进一步整理现存挑战和发展方向。2.概述如图2所示人脸识别系统包含人脸检测人脸预处理和人脸表示三个部分。人脸表示用于计算二者相似性以进一步判断人脸是否属于同一个个体。我们针对这三个要素来构造正文部分(第3、4、5节)每个要素都是一个研究主题涉及计算机视觉方面的大量文献。在本节中我们简要概述了这三个要素并在以下正文部分中深入探讨了这三个要素。人脸检测需要找到图像中所有人脸多位置返回边界框和置信度第三部分详细讨论了人脸检测技术。人脸预处理根据人脸关键点进行对齐通常情况下使用图3中四点和五点进行对齐。3.人脸检测人脸检测代表性的发展如图4所示。下面首先把人脸检测技术进行分类然后介绍人脸检测数据集和常用评价指标最后是人脸检测挑战和方向。3.1 人脸检测分类图4 人脸检测发展表2把人脸检测技术划分为基于多阶段单阶段基于anchoranchor-free多任务CPU实时和面向问题的方法。图5 单阶段和多阶段人脸检测器比较表3 CPU实时人脸检测器比较3.2 评价指标和数据集表4人脸检测数据集评价指标AP,IoU,ROC,FPS,图6是WIDER FACE是先进的方法PR曲线。3.3挑战和方向运行实效性图像变化有效和统一的anchor设置anchor-free 人脸检测框架高效检测框架4.人脸预处理给定人脸检测区域人脸预处理用于矫正人脸。图7是人脸预处理方法进展表5是预处理方法分类。4.1 基于关键点人脸对齐图8是沙漏网络用于关键点定位。图9是3D模型用于人脸对齐。图10是不基于关键点对齐工作。在一个可训练网络中同时进行人脸对齐和表示。图11人脸正面化从侧脸合成正脸。表6是人脸关键点数据集评价指标归一化平均误差NME图12是300W数据集上不同方法性能比较5.人脸表示人脸表示的目标是把对齐的人脸映射到特征空间其中相同主体的特征尽可能相似不同个体之间特征尽可能不同。在实际应用中人脸识别包含人脸认证和人脸识别。人脸认证是指预测一对面部图像是否属于同一身份。人脸识别可以被认为是人脸认证的扩展其目的是确定一组身份(即画廊)中人脸的特定身份(即探针)此外在开放式面部识别的情况下需要先前的任务其任务是预测面部是否属于画廊身份之一。无论是哪一个任务都需要人脸表示用于计算人脸相似性。图13 人脸表示的训练和测试阶段图14人脸表示发展表7人脸表示方法分类表8 在LFW和MegaFace数据集上人脸识别性能对比。表9深度人脸识别常用训练和测试集6.讨论和结论表10深度人脸识别中主要挑战在这项调查中我们系统地回顾了端到端深层人脸识别要素的最新进展这些要素包括人脸检测人脸预处理和人脸表示。尽管有很多关于人脸识别的调查但它们主要关注人脸表示问题而没有考虑其他渠道因素的相互影响而本次调查是第一个对端到端深度要素进行全面回顾的调查人脸识别。我们从多方面对每个元素中的许多方法进行了详细的讨论和比较。此外我们分析了现有挑战并收集了它们的某些有前途的未来研究方向。此外我们讨论了它们的相互作用以及整体框架的未来工作。我们希望这项调查能够为我们带来有益的想法以便更好地了解端到端人脸识别的概况并以系统的方式进行更深入的探索。 微信公众号 如果你绝对本文对你有帮助欢迎关注微信公众号计算机视觉前沿获取更多精彩内容每天进步一点点小编等你来- END -
