Intelligence home robot and face recognition with deep learning PEGATRON Mobile Communication Product Develop Center Intelligence vision applications software dept. Wing Tseng Wing_Tseng@pegatroncorp.com wingtseng123@gmail.com 54
PEGATRON AI development
PEGA AI Product Development
PEGA AI Product Development
PEGA AI Product Development
Face recognition with deep learning in AQUA Facebook Deep ID2+ Google Center loss Baidu 1. 收集資料 2. 清洗資料 3. 設計類神經網路架構 : 我們可以從需求對硬體平台的需求, 挑選準確率最高的網路架構, 同時不斷吸收最新研究成果, 如新的損失函數導入設計, 以提升準確率 4. 調整類神經網路參數 5. 進行訓練 在 PC 上使用 Nvidia GPU 卡加上 Caffe/Tensorflow 針對訓練資料進行訓練 6. 評估訓練結果
AI 深度學習人臉辨識發展 : 學習人臉辨識研究 Deep Face - Facebook Scratch Face Lightend face VGG Face DeepID FaceNet - Google Baidu Face Center loss Norm Face
AI 深度學習人臉辨識發展 : DeepFace Facebook 提出的人臉辨識, 使用 8 層卷積類神經網路, 先用 5 百萬張人臉進行分類的訓練, 影像分類利用 Softmax 損失函數的力量將不同人臉差異變大. 訓練完畢後, 分類層之倒數第 2 層的輸出當作特徵, 之後人臉辨識時將 2 人臉輸入, 然後計算 2 個特徵的相似度. LFW 可以做到 97.35% 準確度
AI 深度學習人臉辨識發展 : Lighted Face 已經有一些研究可以作到 99%, 但是速度太慢, 此 paper 提出一個新的網路架構可以比 VGG 快 9 倍而作到 98.13 的準確度
AI 深度學習人臉辨識發展 : Learn from Scratch 此 paper, 重點在收集一新的 dataset, 包含有 1 萬人, 50 萬影像. 在此資料集上訓 練一卷積類神經網路可以達到 97.73, 大於 DeepFace 可證明此 dataset 的有效性
AI 深度學習人臉辨識發展 : VGG Face 此 paper, 重點在收集一新的 dataset, 包含有 260 萬影像. 在此資料集上訓練一卷積類神 經網路可以達到 98.95, 可證明此 dataset 的有效性
AI 深度學習人臉辨識發展 : Deep ID 2/2+ 此 paper, 也利用訓練人臉分類加上另外一個 1 對 1 的人臉特徵相似度的損失函數 Contrastive, 目的使同一人的距離近, 不同人的距離遠
AI 深度學習人臉辨識發展 : Google Facenet Google Facenet 使用了 triple-loss 的損失函數, 這損失函數同時考慮減低同 一個人的人臉的特徵距離距離, 並拉大不同人的人臉特徵距離, 加以 Google 大量的資料 (5 億的人臉影像 ), 計算力 (1000 台主機 ), 在 LFW 上作到 99.63
AI 深度學習人臉辨識發展 : Baidu 百度使用 9 個卷積類神經網路, 針對人臉的不同位置, 先作分類的訓 練, 如同 DeepFace, 取得分類的特徵值後, 再對它進行 Triple-loss 的 訓練. 在 LFW 上可以作到 99.7% 的準確度
AI 深度學習人臉辨識發展 : Center loss 此 paper, 重點把人臉特徵與所屬類別的中心向量距離考慮到損失函數, 目的要最同一人臉與中 心向量的小化這距離 55
AI 深度學習人臉辨識發展 : Normface 此 paper, 重點把人臉特徵作 Normalization, 有助於縮 小同一類的人臉向量距離
AI 深度學習人臉辨識神經網路設計與訓練 1. 調整網路架構 2. 增加訓練資料 3. Study paper 並實作 4. 研究發展自己的損失函數 5. 切分模組, 分而治之 Network type layers Training image number Accuracy at LFW sc2 9 160,000 93 使用 public data set 訓練第一個網路 sc4 5 160,000 94.4 不同網路架構可以用更少 layers 達到更高準確度 sc5 9 650,000 95.9 收集更多資料達到更高準確度 sc24 12 2,500,000 97.5 自行收集到 250 萬的人臉資料庫, 達到更高準確度 sc25 11 2,500,000 97.7 不同網路架構可以用更少 layers 達到更高準確度 sc93 26 8,500,000 98.6 同時提高深度與訓練資料 sc146 28 8,500,000 99.5 加入最新研究算法 center loss (99.2%), normalization face(99.17%), 並自行加入 inter-loss 損失函數 sc184 40 10,000,000 99.73 Face align 拓展 20% 面積, 改變損失函數直接優化 cosine similarity
Face Recognition Benchmark Benchmark dataset : LFW (Labeled Faces in the Wild) Benchmark purpose: 13000 face images from 5749 people for test the face recognition performance in different angle, illumination et. Facebook Current PEGATRON status: Submit accuracy 99.58 % at LFW at last year. The result is outperform the face++, face++ is world s largest face-recognition platform Improved to 99.73% at 2018.4, it is top14 in the world Google http://vis-www.cs.umass.edu/lfw/
PEGA AI Product Development?? Smart Video Conference 360 video conference phone Sound location detection Face detection Face recogntion AQUA (Stationary Robot) Face detection Object/person detection Face verification and recognition Behavior analysis Object tracking Heimdall (Mobile Robot) Face detection Object/person detection Face verification and recognition Reception and guide users Surveillance Video Tag System Surveillance Event Composition Autonomous Navigation with LiDAR SLAM Obstacle Avoidance with LiDAR & Camera sensor fusion