<453A5C E675CC4A3CABDCAB6B1F05CC4A3CABDCAB6B1F0BFCEBCFED5D4C6F4BEFC5C30392EC8CBC1B3BCECB2E2D7A8CCE22E707074>

Size: px

Start display at page:

Download "<453A5C E675CC4A3CABDCAB6B1F05CC4A3CABDCAB6B1F0BFCEBCFED5D4C6F4BEFC5C30392EC8CBC1B3BCECB2E2D7A8CCE22E707074>"

黍索农
5 years ago
Views:

1 春学期第九讲模式识别引论人脸检测专题赵启军四川大学计算机学院

2 课程安排模式识别概述 ( 第 1 周 ) 贝叶斯决策理论密度函数估计 ( 第 2-3 周 ) 线性非线性判别函数 ( 第 4-5 周 ) 近邻分类器 ( 第 6 周 ) 特征提取与选择 ( 第 7-8 周 ) 人脸检测专题 ( 第 9 周 ) 非监督学习聚类分析 ( 第 10 周 ) 统计学习理论支持向量机 ( 第周 ) 人脸识别专题 ( 第 13 周 ) 指纹识别专题 ( 第 14 周 ) 习题课及课程设计专题 ( 第周 ) 2

3 人脸检测解决什么问题? 图像中有没有人脸? 如果有, 人脸在什么位置? 为什么重要? 自动人脸识别的第一步许多视频监控系统中的第一步智能人机交互中的第一步 3

4 自动人脸检测的困难之处姿态变化 ( 平面外旋转 ) 结构性特征的出现或缺失眼镜胡子表情变化遮挡口罩头发围巾等成像条件光照分辨率噪音等 4

5 自动人脸检测的评估两类错误漏检 (false negative) 没能将人脸检测出来误检 (false positive) 将非人脸检测成了人脸漏检误检一个好的人脸检测算法应该具有较低的漏检与误检率漏检率 : 没有检测出的人脸占全部人脸的比例误检率 : 错误检测成人脸的非人脸占检测出来的人脸总数的比例 5

6 自动人脸检测方法的分类根据传感器的不同人脸检测视频图像彩色灰度彩色灰度 6

7 自动人脸检测方法的分类根据检测原理的不同两类分类问题 : 人脸与非人脸人脸检测基于知识的方法基于不变特征的方法基于模板的方法 Knowledge-based Feature-based Template-based 基于表观的方法 Appearance-based 7

8 基于知识的人脸检测将人类有关人脸构成的知识定义成规则用来检测人脸自上而下的搜索策略常用的规则如人脸的中间区域灰度值变化不大中间与上部区域的平均灰度相差很大有两只基本对称分布的眼睛, 下方依次是一个鼻子和一张嘴巴 8

9 基于知识的人脸检测优点能够方便地描述人脸的特征及其结构关系能够有效地检测简单背景中的正面人脸缺点难以将人类的知识精确地转化成规则详细的规则常常会漏检一般的规则很容易误检难以检测不同姿态下的人脸遍历不同姿态的人脸代价太高难以施行 9

10 基于不变特征的人脸检测自下而上的搜索策略首先检测人脸的不变特征, 而后将这些特征组合成候选的人脸区域常用的不变特征如边缘形状纹理肤色 10

11 基于不变特征的人脸检测优点特征对于姿态具有不变性缺点在存在干扰因素 ( 如光照遮挡等 ) 的情况下, 特征检测比较困难当背景比较复杂时, 特征检测也比较困难 11

12 基于模板的人脸检测将人脸用预定义的模板或参数化的函数 ( 可变形模板 ) 表示检测人脸时, 将模板与图像进行相关运算 ( 模板匹配 ), 相关值较大的位置即为潜在的人脸区域平均人脸形状预定义人脸模板基于活动轮廓 (Active Shape Model) 的人脸模板 12

13 基于模板的人脸检测优点实现比较简单缺点难以为所有不同的姿态定义模板 ( 与基于知识的方法类似 ) 13

14 基于表观的人脸检测利用人脸和非人脸样本训练分类器, 用来检测人脸 14

15 基于表观的人脸检测基于分布的方法 15

16 基于表观的人脸检测基于神经网络的方法 16

17 基于表观的人脸检测基于其他分类器的方法支持向量机筛选稀疏网络 (SNoW) 分类目标加权边特征 17

18 基于肤色检测的人脸检测基于不变特征的方法基于 AdaBoost 的人脸检测基于表观的方法 18

19 皮肤色彩空间皮肤人类皮肤的颜色位于一定的范围之类如 : 集中于 RGB 空间的某一区域皮肤检测如果某个象素的颜色位于皮肤色彩区域, 则该象素属于皮肤 19

20 皮肤色彩空间非皮肤象素皮肤象素从训练样本学习皮肤色彩空间 1. 手工标注训练样本中的皮肤和非皮肤象素 2. 将这些象素的 R 和 G 色彩分量描绘在 R-G 坐标系中 3. 皮肤象素的聚类区域即为皮肤的色彩空间 ( 确定皮肤和非皮肤象素的分界面 ) 20

21 皮肤检测在色彩空间中可以使用下述方法将某个象素 X 分类为皮肤或者非皮肤最近邻分类器判别函数法贝叶斯决策 21

22 皮肤检测结果缺点受光照影响比较大不同人种的影响需要结合其它方法以实现精确的人脸检测 22

23 基于肤色检测的人脸检测基于不变特征的方法基于 AdaBoost 的人脸检测基于表观的方法 23

24 基于 AdaBoost 的人脸检测由 Viola 和 Jones 提出 (V-J 算法 ) 最著名的人脸检测算法开启了人脸检测的新时代训练过程比较费时但是检测人脸很快 ( 可实现实时人脸检测 ) 主要技术积分图像 ( 用于快速提取特征 ) AdaBoost( 用于特征选择 ) 级联分类器 ( 用于分类器设计 ) 24

图像特征提取 Haar 特征矩形滤波器 1 2 3 3 3 0 1 3 Haar 特征 f = (

25 图像特征提取 Haar 特征矩形滤波器 Haar 特征 f = ( 白色区域中的象素 ) ( 灰色区域中的象素 ) 该 Haar 特征值等于 14 25

26 使用 Haar 特征描述人脸将图像区域的 Haar 特征值和某个阈值进行比较若大于阈值则属于人脸区域否则不属于人脸区域眼睛区域比其下方区域的要暗 26

27 积分图像积分图像中的象素 (x,y) 处的值等于原始图像中该象素左上方矩形区域类的象素值的和计算非常方便 (x,y) ii(x, y-1) s(x-1, y) i(x, y) 积分图像 ii(x, y) = ii(x, y-1) + s(x, y) = ii(x, y-1) + s(x 1, y) + i(x, y) 27

28 积分图像利用积分图像可以快速地计算原始图像中任意矩形区域的 Haar 特征以 A,B,C,D 分别表示矩形区域 R 的四个顶点处对应的积分图像值, 则 R 内的象素值和等于 D B Area_R = A B C + D 矩形区域 R= Area_R C A 28

29 积分图像利用积分图像计算 EFBD 区域的 Haar 特征 : 1. 首先计算 6 个顶点的积分图像值 2. 然后计算 ABCD 区域和 ACEF 区域的值 3. 最后计算 EFBD 区域的 Haar 特征值 D C A E B F 29

30 人脸图像上的 Haar 特征眼睛区域 = (Area_A-Area_B) 鼻子区域 =(Area_C+Area_E- Area_D) 嘴巴区域 =(Area_F+Area_H- Area_G) A B C D E F G H Haar 特征区域可以使用不同的大小方向或比例 30

31 Haar 特征的不同类型 5 种基本的 Haar 特征及其变形 1) 2) 3) 4) 5) 在 36x36 象素的图像区域上可以提取出多少个基本的 Haar 特征? 个 31

32 利用 Haar 特征检测人脸使用 24x24 的子窗口从左向右从上向下用子窗口依次扫描图像, 提取子窗口中的 Haar 特征 ( 共有个 ), 并判断这些特征是否对应于人脸区域 (x,y) 24x24 子窗口 X 轴 (1,1) Y 轴 1280 特征数太过庞大, 计算太慢 32

33 利用 Haar 特征检测人脸需要对特征进行选择使用提升算法 (Boosting) 将若干弱分类器组合成强分类器每个弱分类器使用一个 Haar 特征不同分类器通过加权组合 (x,y) 24x24 子窗口 X 轴 (1,1) Y 轴

34 分段线性分类器 Boosting 算法 34

35 基于 Boosting 的人脸检测每个弱分类器使用一个 Haar 特征 Haar 特征值 h t ( x) 子窗口 = 1 如果 ptft ( x) < 0 否则 p θ t t P t = Haar 特征的极性 {+1,-1} 阈值 35

36 基于 Boosting 的人脸检测 AdaBoost 训练搜集人脸和非人脸训练样本 ( 包含尽可能多的不同情况 ) 使用 AdaBoost 训练强分类器 ( 迭代 ) AdaBoost 能选择具有不同尺寸和位置的合适的 Haar 特征 AdaBoost 测试扫描图像中的子窗口 ( 缩放到训练样本的大小 ) 利用 AdaBoost 训练好的强分类器进行分类以决定是否属于人脸区域 36

37 利用级联降低误检率将多个 AdaBoost 强分类器进行级联 (Attentional Cascade) 首先用简单的分类器排除尽量多的非人脸区域大量非人脸区域在早期就会被排除, 从而提高系统的效率输入图像 Adaboost 分类器一 True Adaboost True Adaboost True 人脸分类器二分类器三 False False False 非人脸非人脸非人脸 37

38 利用级联降低误检率后端的分类器使用更多的特征类型 2 类型 3 两个特征 10 个特征 25 个特征 50 个特征输入图像 Adaboost 分类器一 True Adaboost True Adaboost True 人脸分类器二分类器三 False False False 非人脸非人脸非人脸 38

39 基于肤色的方法人脸检测结果 39

40 基于 SNoW 的方法人脸检测结果 40

41 人脸检测结果 V-J 算法 41

42 人脸检测面临的难点非正面人脸检测多视角训练低光照人脸检测有遮挡人脸检测有表情人脸检测视频监控户外环境人脸检测 42

43 延伸阅读论文 M.H. Yang et al., "Detecting Faces in Images: A Survey," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24(1), pp , 2002 C. Zhang and Z. Zhang, "A Survey of Recent Adavances in Face Detection," MSR-TR 期刊 IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI), Information Forensics and Security (TIFS), Image Processing (TIP) International Journal on Computer Vision (IJCV) Pattern Recognition (PR), Computer Vision and Image Understanding (CVIU) 会议 CVPR ICCV ECCV ICB(Internation Conference on Biometrics) BTAS 其它人脸识别网站 : OpenCV: Google 百度 43

44 本回回顾人脸检测的背景和现状基于皮肤检测的人脸检测 V-J 算法人脸检测的难点 44

45 下回预告非监督学习聚类分析非监督学习的概念典型的聚类算法准备好了吗? 相似性度量距离迭代算法设计与实现 45

untitled

untitled 100084 E-mail: ahz@mail.tsinghua.edu.cn (Look Up Table, LUT) Adaboost 300 Adaboost TP391 Real Time Facial Expression Classification WANG Yubo, AI Haizhou, WU Bo, HUANG Chang Computer Science and Technology