第 37 卷第 9 期 Vol.37 No.9 计算机工程 Computer Engineering 2 年 5 月 May 2 人工智能及识别技术 文章编号 : 3428(2)9 223 3 文献标识码 :A 组合型人眼识别方法及其应用 张欧平, 丁志刚 2,3, 彭娟春 (. 上海市计算技术研究所, 上海 24; 2. 上海计算机软件技术开发中心, 上海 22; 3. 上海嵌入式系统应用工程技术研究中心, 上海 22) 2,3 中图分类号 :TP8 摘要 : 提出一种快速实时的组合型人眼识别方法, 该方法由人眼检测和人眼跟踪 2 个部分组成 在检测过程中, 采用级联 AdaBoost 分类器检测出人眼位置 ; 在跟踪过程中, 先利用卡尔曼滤波器追踪瞳孔, 若瞳孔追踪失败, 则使用平均位移追踪 该方法已在 DM6446 嵌入式系统中实现, 实验结果证明该方法能快速识别人眼的位置 关键词 : 级联 AdaBoost 分类器 ; 卡尔曼滤波器 ; 平均位移跟踪器 ; 嵌入式系统 Integrated Method for Eye Recognition and Its Application ZHANG Ou-ping, DING Zhi-gang 2,3, PENG Juan-chun 2,3 (. Shanghai Institute of Computing Technology, Shanghai 24, China; 2. Shanghai Development Center of Computer Software Technology, Shanghai 22, China; 3. Shanghai Engineering Technology Research Center of Embedded System Application, Shanghai 22, China) Abstract This paper proposes a real-time robust integrated method for eye recognition which consists of two parts: eye detection and eye tracking. Eye detection is accomplished by cascade AdaBoost classifiers to find out the location of eyes. Eye tracking is a conventional Kalman filtering tracker based on the bright pupil. In case Kalman eye tracker fails, eye tracking based on the mean shift tracker to continue tracking the eyes. This method is applied to the embedded system DM6446. Experimental results show that this method can quickly recognize eyes position. Key words cascade AdaBoost classifier; Kalman filter; mean shift tracker; embedded system DOI:.3969/j.issn.-3428.2.9.78 概述随着人工智能和计算机科学技术的发展, 机器视觉技术已经取得了相当大的进步, 受到人们的广泛关注, 快速的人眼检测和跟踪是其中的关键技术之一 人眼检测和跟踪的目标就是对于给定的视频序列, 根据前一帧已定位到的眼睛位置, 在后续的每帧图像中实时捕捉人眼的运动信息 目前人眼定位主要有基于学习 基于模板匹配和基于特征的方法 [] 本文提出一种组合型人眼检测和跟踪方法, 采用 AdaBoost 算法构建人眼检测分类器, 检测到眼睛位置后, 结合卡尔曼滤波器与平均位移追踪瞳孔的位置 该方法具有高检测率, 适用于嵌入式平台 本文采用 DM6446 嵌入式平台作为组合型人眼识别方法的实现平台, 通过双核处理技术提高了视频处理的性能 2 相关理论 2. AdaBoost 分类器文献 [2] 提出一种快速的人脸检测方法, 提取简单的 Haarlike [3] 特征, 其能很好地反映出人脸图像中的灰度分布 同理, 该方法也适用于人眼检测, 找人眼的过程就被转化为找到较好的 Haar-like 特征来描述人眼图像的灰度分布 ;AdaBoost 就是从大量的 Haar-like 特征中挑选出最优的描述人眼图像灰度分布的特征 使用 AdaBoost 来训练分类器, 其核心思想是针对同一个训练集训练不同的分类器 ( 弱分类器 ), 把这些弱分类器集合起来, 构成一个更强的最终分类器 ( 强分类器 ) 2.2 卡尔曼滤波器卡尔曼滤波器用于估计目标在下一帧中的位置, 即在下 一帧的预测区域内应该搜寻多大的区域才能找到待检测目 标 卡尔曼滤波器分为预测和更新 2 个阶段 : () 状态预测 : 为加快运算, 在实际中用误差估计 [][] Σ 和 Σ [][] 来计算搜寻范围的大小, 值越大, 不确 定的估计越多, 搜寻的范围越大 (2) 状态更新 : 通过 Xt X + = + Kt ( Zt HX + + ) 得到新 的状态估计 X t + 2.3 平均位移位移追踪平均位移追踪是基于目标物外表的目标追踪方法 基于 前一帧检测到的人眼, 构造眼睛模型密度分布 ˆq, 匹配的过 程就是寻找 Bhattacharyya 系数最大值的寻优过程 卡尔曼滤 波器预测当前图像中眼睛的位置 y, 作为初始位置, 然后平 [4] 均位移使用以下的算法在当前图像中找到与眼睛模型最相 似的眼睛候选区域 算法步骤如下 : () 初始化当前图像中眼睛位置 y, 计算模型密度 ˆq 与目 标候选区域密度 ˆp 的相似度 (2) 通过公式推导得到人眼新的位置 y, 并更新候选区域 密度分布, 然后计算模型密度 ˆq 与目标候选区域密度 ˆp 的相 似度 基金项目 : 上海市科委 嵌入式重大专项 基金资助项目 (7dz5, 8dz545) 作者简介 : 张欧平 (984-), 女, 硕士研究生, 主研方向 : 嵌入式系 统, 模式识别 ; 丁志刚, 研究员 ; 彭娟春, 硕士 收稿日期 :2--7 E-mail:zhangouping23@26.com
224 计算机工程 2 年 5 月 5 日 (3) 为了避免平均位移跟踪器移动到不正确的位置 当 ρ[ pˆ ( y ˆ ˆ ˆ ), q] < ρ[ p( y), q] 时, 令 y =.5( y+ y ) (4) 如果 y y < ε, 则停止, 其中,ε 为终止阈值 ; 否 则 y = y, 跳到步骤 () 3 组合型人眼识别方法组合型人眼识别方法中检测过程和跟踪过程交替进行, 这样可提高系统处理的平均速度和目标检测的准确性 在检 测过程中, 采用 AdaBoost 分类器尺度缩放机制的人眼检测算 法, 并利用 Canny 裁减技术以减少分析的候选区域 在跟 踪过程中, 采用 2 级眼睛跟踪, 卡尔曼滤波器与平均位移交 替着起作用 若连续 5 帧图像的检测人眼的位置都正确, 则 进入眼睛的追踪阶段 ; 利用检测到眼睛的位置预测下一帧图 像眼睛的位置并定出一个搜寻范围 每经过 帧图像, 重 新使用 AdaBoost 分类器检测, 接着又进入追踪阶段 组合型 人眼识别方法的流程如图 所示 图 组合型人眼识别方法别方法的流程 3. AdaBoost 分类器由于训练分类器需要相当长的时间, 实际应用中把训练 好的 AdaBoost 分类器做成 XML 文件, 检测目标时只需加载 相应的级联分类器 为了检测未知大小的目标物体, 分类器 通常需要用不同比例大小的搜索窗口对图片进行几次扫描, 移动搜索窗口, 检测每一个位置来确定可能的目标 3.. 预处理 利用 Canny 边缘检测器做边缘检测和特征提取, 目的是 排除一些边缘很少或者很多的图像区域, 因为这样的区域一 般不含检测目标 3..2 人眼检测算法 初始分类器检测窗口大小为 24 24, 当小的窗口移动扫 描完待检测图像没有发现目标时, 调整分类器的大小, 然后 继续检测, 直到检测到目标或者窗口与待检测图片的大小相 当为止 在每一次扫描图像过程中, 级联分类器窗口大小是固定 目标检测过程中, 分类器每移动一个像素的间隔都利用 Canny 裁减技术对待检测窗口进行筛选, 以减少分析的候选 区域 在经过 Canny 裁减筛选后的候选区域中, 利用针对某 目标物理训练的级联分类器训练在图像中找到包含目标物体 的矩形区域, 并且将这些区域作为一序列的矩形框返回 以 不同比例大小的扫描窗口对图像进行几次搜索, 每次都要对 图像中的这些重叠区域利用训练好的级联分类器进行检测 在处理和收集到候选的方框 ( 全部通过级联分类器各层的区 域 ) 之后, 接着对这些区域进行组合并且返回一系列各个足够 大的组合中的平均矩形, 返回的平均矩形就是检测目标的人 眼区域 人眼检测流程如图 2 所示 图 2 人眼检测检测流程 3.2 组合型人眼跟踪器在初始的几帧图像中 AdaBoost 分类器定位到人眼位置后, 对随后的每帧采用追踪的方式以减少计算量 在脸部正面旋转并睁眼的情况下, 卡尔曼滤波器是有效的 ; 然而由于闭眼 头部突然移动或外部光源的干扰, 卡尔曼滤波器会失效, 为此提出了平均位移 如果在一帧图像中卡尔曼滤波器失效, 此时追踪就交给由平均位移接管, 平均位移算法根据眼睛区域的亮度的概率统计分布来跟踪眼睛, 不需要亮瞳 采用平均位移算法识别眼睛的候选区域, 就亮度分布而言, 该区域与给定的眼睛模型有着最相似的亮度分布 因此, 无论眼睛是闭合还是脸部倾斜, 平均位移算法都能跟踪到眼睛 此外, 平均位移算法能快速地检测目标并能很好地处理噪声, 但其会受到附近相似目标的干扰 因为平均位移算法不具有纠错能力, 跟踪过程中误差累积并传递给后面的每一帧图像, 最后导致追踪失败, 除此之外, 其不具有更新眼睛模型的功能, 脸部移动会引起眼睛的变化, 使得待检测目标与目标模型有明显的区别, 此时追踪器就识别不出人眼的正确位置 归纳起来, 本文结合两者并采取以下措施 : 眼睛模型不断地被更新为卡尔曼滤波器成功检测到的眼睛, 避免了平均位移的误差繁衍 跟踪流程如图 3 所示 图 3 人眼跟踪流程先利用卡尔曼滤波器追踪瞳孔, 在预测阶段, 滤波器使用上一状态的估计, 做出对当前状态的估计 ; 在更新阶段, 滤波器利用对当前状态的观测值来优化在预测阶段所获得的预测值, 以取得一个更精确的新估计值 假如瞳孔追踪失败, 使用平均位移追踪, 计算模型的密度与目标候选区域密度的
第 37 卷第 9 期张欧平, 丁志刚, 彭娟春 : 组合型人眼识别方法及其应用 225 相似度, 以 2 个分布的相似性最大为原则, 通过平均位移算 法的迭代计算, 使搜寻窗口沿密度增加最大的方向移动, 并 取得收敛于最佳的位置 因此, 平均位移追踪是在卡尔曼滤 波追踪瞳孔失败后执行的 4 实验与分析本文在 DM6446 平台上采用 ARM+DSP 双核结构对程序 控制和运算部分作出有效区别, 从而提高视频处理的性能, 使得系统在占用较少资源的情况下能有效检测并定位到眼 睛 ARM 端从摄像头读取原始视频数据, 对图像滤波加载分 类器, 并将结果输出到显示器 DSP 端运行人眼检测和跟踪 算法 两端通过 DSP-Link 及共享内存空间进行交互 在不同的眼睛条件下,2 种不同跟踪器在 DM6446 嵌入 式平台中的实验统计数据如表 所示 共设置 4 组实验条件, 第 行表示采集左眼睁开的 42 帧图像, 卡尔曼滤波器检测 到 3 帧, 组合型跟踪器检测到 4 帧 可以看出, 组合型 跟踪器比卡尔曼滤波器能更准确地定位到人眼 帧数 表 状态 2 种不同跟踪器的实验数据 卡尔曼 滤波器检测 / 帧 组合型 跟踪器检测 / 帧 组合型 检测率 /(%) 左眼 42 帧睁开 3 4 97.86 左眼 8 帧闭合 63 78.75 右眼 46 帧睁开 336 453 98.48 右眼 8 帧闭合 8. 证明, 组合型人眼跟踪器仍然能正确实时地跟踪到目标 (a) 正面转 45 (b) 向后仰 (c) 闭眼正面转 45 图 4 大范围头部移动头部移动的实验结果 5 结束语本文提出了一种组合型人眼识别方法, 在不同的亮度和 脸部移动情况下, 无论是闭眼还是睁眼, 都能够快速地检测 跟踪到人眼 实验结果表明, 本文方法能提高人眼检测跟踪 的速度和精确度 此外, 组合型人眼识别方法还能应用于驾 驶员疲劳度检测嵌入式车载系统, 并能处理闭眼状态 带眼 镜状态和同时检测出处于不同姿势和距离的多目标人眼 参考文献 [] 江水郎, 杨明. 面向驾驶员疲劳度检测的双空间人眼定位方 法 [J]. 计算机工程, 28, 34(24): 8-82. [2] Viola P, Jones M. Robust Real-time Object Detection[J]. Interna- tional Journal of Computer Vision, 24, 57(2): 37-54. [3] Viola P, Jones M. Rapid Object Detection Using a Boosted Cascade of Simple Features[C]//Proc. of IEEE Conf. on Computer Vision and Pattern Recognition. Kauai Marriott, USA: [s. n.], 在大范围的头部移动情况下的实验结果如图 4 所示 无 2. 论睁眼 闭眼还是人眼被遮挡,2 种追踪方法交替着起作用, [4] Ji Qiang, Zhu Zhiwei, Lan Peilin. Real-time Nonintrusive Moni- 其中, 黑框代表平均位移跟踪器 ; 白框代表卡尔曼滤波器 toring and Prediction of Driver Fatigue[J]. IEEE Trans. on 在不同的亮度环境下, 实验中先关掉周围的光源, 然后用强 Vehicular Technology, 24, 53(4): 52-68. 光朝着人的方向照射, 目的是产生强的外部光源干扰 实验编辑顾姣健 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ( 上接第 222 页 ) 5 结束语本文针对传统粒子滤波器不能很好地对跟踪状态进行判 图 3 传统颜色粒子滤波器跟踪结果 (Frame=65) 在第 6 帧时, 跟踪窗口 x 方向的速度和加速度均超过 阈值, 改进后粒子滤波器随即进入再捕获模式, 恢复粒子状 态, 恢复模板, 增大搜索区域, 速度和加速度也逐渐恢复正 常, 趋于平稳 限于篇幅, 这里只给出了 2 种粒子滤波器得 到的目标运动轨迹和对偏离目标中心真实坐标 ( 手动标注 ) 的 跟踪误差曲线, 如图 4 所示, 可以看出改进的颜色粒子滤波 器在跟踪精度上明显占优 均方根误差 / 像素 图 4 跟踪误差曲线对比 断的缺陷, 设计基于运动特征的颜色粒子滤波器 通过视频 序列的测试, 证明了本文方法能够很好地对粒子滤波器跟踪 状态进行判断, 能及时地进入再捕获模式, 增大了再捕获目标 的概率, 跟踪精度明显提高 然而, 本文暂未考虑多个目标 的干扰问题, 当背景较复杂且伴有颜色相近的多目标时, 如 何准确定位跟踪目标是需要进一步研究的问题 参考文献 [] Sutharsan S, Sinha A, Kirubarajan T. Optimization Based Parallel Particle Filter for Multitarget Tracking[C]//Proc. of SPIE. San Diego, USA: [s. n.], 25. [2] Nummiaro K, Koller-Meier E, van Gool L. Object Tracking with an Adaptive Color-based Particle Filter[C]//Proc. of Symposium for Pattern Recognition of the DAGM. Zurich, Switzerland: [s. n.], 22. [3] 蒋旻, 许勤, 尚涛, 等. 基于粒子滤波和 Mean-shift 的跟 踪算法 [J]. 计算机工程, 2, 36(5): 2-22. [4] 朱胜利. Mean Shift 及相关算法在视频跟踪中的研究 [D]. 杭州 : 浙江大学, 26. [5] 白大明. 相关算法在体育视频目标跟踪中的研究 [D]. 哈尔滨 : 哈尔滨工业大学, 27. [6] Paris S. Tracking an Object in a Video with a Color Particle Filter[EB/OL]. (27-2-). http://www.mathworks.com/matlab central/fileexchange/796. 编辑 顾姣健
第 37 卷第 9 期张欧平, 丁志刚, 彭娟春 : 组合型人眼识别方法及其应用