導讀

作者單位：上海大學， 京東AI研究院

本文全面介紹了端到端深度學習人臉識別技術，包括人臉檢測，人臉預處理和人臉 表徵等方向，詳細介紹了最新的演算法設計，評估指標，資料集，效能比較等。

論文連結：

https：//

arxiv。org/abs/2009。1329

0

為了方便下載可以透過下面的連結下載：

連結：

https：//

pan。baidu。com/s/1Pqmoa9

F1F4Oec2yZiJW96A

提取碼： aicv

摘要

人臉識別是計算機視覺領域中最基本、最悠久的研究課題之一。隨著深度卷積神經網路和大規模資料集的發展，基於深度學習的人臉識別應運而生識別技術已經取得了顯著的進展，並在實際應用中得到了廣泛的應用。給定一個以自然影象或影片幀為輸入，端到端人臉識別系統能輸出人臉特徵用於識別。

為了做到這一點，整個系統一般由三個關鍵要素構成：

人臉檢測（face detection）、人臉預處理（face preprocess），人臉表徵（face representation）。

人臉檢測定點陣圖像或影片幀中的人臉。然後，人臉預處理是進行人臉標定到一個規範的視角並將他們裁剪到一個標準化畫素大小。最後，在人臉表徵階段，從預處理後的影象中提取具有鑑別性的特徵用於識別。這三個要素都是由深度卷積神經網路實現的。在本文深度人臉識別中端到端的各個要素的最新進展進行了全面綜述，自深度學習技術的蓬勃發展以來，大大提高了人臉識別的能力。首先，我們介紹端到端深度人臉識別的概述，如上所述包括人臉檢測、人臉預處理和人臉表徵。然後，對深度學習進行了回顧基於各要素的發展，包括最新的演算法設計等多方面，評估指標，資料集，效能比較，現有的挑戰，和未來有前途的方向研究。我們希望這個調查能帶來有益的想法，以更好地理解大局端到端人臉識別系統的深入探索。

1、簡介

圖 1 2013-2020 人臉檢測，人臉預處理，人臉表徵相關的論文發表論文數量

表 1 近20年人臉綜述

對每個要素的回顧包括許多方面： 演算法設計，評估指標，資料集，效能比較，剩下的挑戰，以及未來研究的發展方向。我們希望這次調查能帶來一些有益的想法，為了更好的理解端到端人臉識別的大圖和更深層次。

本文的主要貢獻：

我們提供了端到端的的人臉識別的最新進展的全面調查包括人臉檢測、人臉預處理、人臉表徵。

我們從演算法設計、評價指標、資料集，效能比較等。

我們進一步收集了每個組成存在的挑戰和有前景的方向，以促進未來的研究，並從整體框架的觀點討論未來的趨勢。

圖 2 標準的端到端的人臉識別系統

首先，人臉檢測階段的目標是定位輸入影象上的人臉區域。然後，進行人臉預處理，將檢測到的人臉歸一化為標準檢視。最後，人臉表示致力於提取判別特徵用於人臉識別。

2、OVERVIEW

2。1 Face Detection

給定一幅輸入影象，人臉檢測的目標是找到影象中所有的人臉，並給出所有人臉的包圍框的座標和置信度得分。人臉檢測的主要挑戰包括變化的解析度、比例、姿態、光照、遮擋等。傳統的方法側重於設計手工製作的特徵來區分人臉和背景區域。

2。2 Face Preprocessing

在第二階段，人臉預處理的目標是將檢測到的人臉標定為一個規範的檢視（即人臉對齊或正面化），這是提高人臉識別端到端效能的必要步驟。

通常，人臉對齊利用空間變換技術將人臉校準為標準化檢視。在現有的人臉對齊方法中，人臉landmark或所謂的人臉關鍵點（如圖3所示）是必不可少的，因為它們是進行相似變換或仿射變換的參考。因此，人臉關鍵點定位是人臉對齊的先決條件。

基於深度學習的人臉landmark定位方法可以分為三種：coordinate regression based approaches， heatmap regression based approaches and 3D model fitting based approaches

2。3 Face Representation

人臉表徵致力於學習深度人臉模型，利用深度人臉模型從預處理的人臉中提取特徵進行識別。這些特徵用於計算匹配人臉的相似度

我們回顧了學習人臉特徵的兩個重要方面網路架構和監督訓練的一些方法。對於網路架構結構，我們介紹了一般設計用於廣泛的計算機視覺任務的網路架構結構，以及專門用於人臉表徵特殊的架構。

在監督訓練方面，我們主要介紹四種方案，包括分類、特徵嵌入、混合和半監督等方案。具體地說，分類方案將人臉表徵學習視為一個分類問題（即一個ID被認為是一個類），它通常使用softmax loss及其變體作為監督訓練。特徵嵌入方案透過不同樣本之間的最佳化距離來學習人臉表徵。混合方案是指綜合使用訓練深度人臉模型的分類和特徵嵌入。這三個方案側重於監督訓練。最近，深度半監督人臉表徵學習中增加註意力，因為它們可以透過使用大量未標記人臉，來提高人臉表徵的學習。此外，我們還展示了幾個具體的人臉識別場景，包括跨域、少樣本學習和基於影片的場景。

3、人臉檢測

3。1 Categorization of Face Detection

圖 4 人臉檢測方法發展。

藍色和灰色分別代表多階段和單階段方法；按anchor的使用方法，矩形、橢圓形、菱形分別為anchor-based、anchor-free及其他方法。對於這些方法的引用，可以參考表2。

3。2 Evaluation Metrics and Datasets

Challenges and Future Work

挑戰：

Running efficiency

Image variations

有前景的研究方向

Effective and unified anchor settings

Anchor-free face detection framework

More efficient detection framework

4、人臉預處理

4。1 Landmark-based Face Alignment

圖 7 具有代表性的人臉預處理方法的發展。橙色，藍色，綠色，黃色灰色代表座標迴歸、熱圖迴歸、三維模型擬合、landmark-free人臉對齊方法和正面化。對於這些方法的引用，可以參考表5。

Challenges and Future Work

挑戰：

Facial Variations

Runtime efficiency

The annotation ambiguity

The annotation granularity

High-fidelity face frontalization

有前景的研究方向

High-fidelity face frontalization

High robustness and efficiency

Dense landmark localization

Video-based landmark localization

Semi-supervised landmark localization：

High-fidelity face frontalization and its metrics

5、人臉表徵

5。1 Network Architectures

圖14 監督訓練用於人臉表徵學習的發展。橙色、綠色、灰色和藍色分別代表分類，特徵嵌入、混合和半監督學習方法。

Challenges and Future Work

挑戰

Under limited conditions

Surveillance video face recognition

Label noise

Imbalance data

有前景的研究方向

Lightweight face recognition

Robustness to variations in video：

Noisy label learning

Cross domain face recognition

Learning with imbalance data：

Learning with unlabeled faces

更多內容歡迎關注：公眾號 AI演算法與影象處理

學習交流群可 + v：nvshenj125

內容推薦：