Microsoft Word C

Size: px

Start display at page:

Download "Microsoft Word C"

侃船应
7 years ago
Views:

1 第 37 卷第 9 期 Vol.37 No.9 计算机工程 Computer Engineering 2 年 5 月 May 2 人工智能及识别技术文章编号 : 3428(2) 文献标识码 :A 组合型人眼识别方法及其应用张欧平, 丁志刚 2,3, 彭娟春 (. 上海市计算技术研究所, 上海 24; 2. 上海计算机软件技术开发中心, 上海 22; 3. 上海嵌入式系统应用工程技术研究中心, 上海 22) 2,3 中图分类号 :TP8 摘要 : 提出一种快速实时的组合型人眼识别方法, 该方法由人眼检测和人眼跟踪 2 个部分组成在检测过程中, 采用级联 AdaBoost 分类器检测出人眼位置 ; 在跟踪过程中, 先利用卡尔曼滤波器追踪瞳孔, 若瞳孔追踪失败, 则使用平均位移追踪该方法已在 DM6446 嵌入式系统中实现, 实验结果证明该方法能快速识别人眼的位置关键词 : 级联 AdaBoost 分类器 ; 卡尔曼滤波器 ; 平均位移跟踪器 ; 嵌入式系统 Integrated Method for Eye Recognition and Its Application ZHANG Ou-ping, DING Zhi-gang 2,3, PENG Juan-chun 2,3 (. Shanghai Institute of Computing Technology, Shanghai 24, China; 2. Shanghai Development Center of Computer Software Technology, Shanghai 22, China; 3. Shanghai Engineering Technology Research Center of Embedded System Application, Shanghai 22, China) Abstract This paper proposes a real-time robust integrated method for eye recognition which consists of two parts: eye detection and eye tracking. Eye detection is accomplished by cascade AdaBoost classifiers to find out the location of eyes. Eye tracking is a conventional Kalman filtering tracker based on the bright pupil. In case Kalman eye tracker fails, eye tracking based on the mean shift tracker to continue tracking the eyes. This method is applied to the embedded system DM6446. Experimental results show that this method can quickly recognize eyes position. Key words cascade AdaBoost classifier; Kalman filter; mean shift tracker; embedded system DOI:.3969/j.issn 概述随着人工智能和计算机科学技术的发展, 机器视觉技术已经取得了相当大的进步, 受到人们的广泛关注, 快速的人眼检测和跟踪是其中的关键技术之一人眼检测和跟踪的目标就是对于给定的视频序列, 根据前一帧已定位到的眼睛位置, 在后续的每帧图像中实时捕捉人眼的运动信息目前人眼定位主要有基于学习基于模板匹配和基于特征的方法 [] 本文提出一种组合型人眼检测和跟踪方法, 采用 AdaBoost 算法构建人眼检测分类器, 检测到眼睛位置后, 结合卡尔曼滤波器与平均位移追踪瞳孔的位置该方法具有高检测率, 适用于嵌入式平台本文采用 DM6446 嵌入式平台作为组合型人眼识别方法的实现平台, 通过双核处理技术提高了视频处理的性能 2 相关理论 2. AdaBoost 分类器文献 [2] 提出一种快速的人脸检测方法, 提取简单的 Haarlike [3] 特征, 其能很好地反映出人脸图像中的灰度分布同理, 该方法也适用于人眼检测, 找人眼的过程就被转化为找到较好的 Haar-like 特征来描述人眼图像的灰度分布 ;AdaBoost 就是从大量的 Haar-like 特征中挑选出最优的描述人眼图像灰度分布的特征使用 AdaBoost 来训练分类器, 其核心思想是针对同一个训练集训练不同的分类器 ( 弱分类器 ), 把这些弱分类器集合起来, 构成一个更强的最终分类器 ( 强分类器 ) 2.2 卡尔曼滤波器卡尔曼滤波器用于估计目标在下一帧中的位置, 即在下一帧的预测区域内应该搜寻多大的区域才能找到待检测目标卡尔曼滤波器分为预测和更新 2 个阶段 : () 状态预测 : 为加快运算, 在实际中用误差估计 [][] Σ 和 Σ [][] 来计算搜寻范围的大小, 值越大, 不确定的估计越多, 搜寻的范围越大 (2) 状态更新 : 通过 Xt X + = + Kt ( Zt HX + + ) 得到新的状态估计 X t 平均位移位移追踪平均位移追踪是基于目标物外表的目标追踪方法基于前一帧检测到的人眼, 构造眼睛模型密度分布 ˆq, 匹配的过程就是寻找 Bhattacharyya 系数最大值的寻优过程卡尔曼滤波器预测当前图像中眼睛的位置 y, 作为初始位置, 然后平 [4] 均位移使用以下的算法在当前图像中找到与眼睛模型最相似的眼睛候选区域算法步骤如下 : () 初始化当前图像中眼睛位置 y, 计算模型密度 ˆq 与目标候选区域密度 ˆp 的相似度 (2) 通过公式推导得到人眼新的位置 y, 并更新候选区域密度分布, 然后计算模型密度 ˆq 与目标候选区域密度 ˆp 的相似度基金项目 : 上海市科委嵌入式重大专项基金资助项目 (7dz5, 8dz545) 作者简介 : 张欧平 (984-), 女, 硕士研究生, 主研方向 : 嵌入式系统, 模式识别 ; 丁志刚, 研究员 ; 彭娟春, 硕士收稿日期 :2--7 zhangouping23@26.com

2 224 计算机工程 2 年 5 月 5 日 (3) 为了避免平均位移跟踪器移动到不正确的位置当 ρ[ pˆ ( y ˆ ˆ ˆ ), q] < ρ[ p( y), q] 时, 令 y =.5( y+ y ) (4) 如果 y y < ε, 则停止, 其中,ε 为终止阈值 ; 否则 y = y, 跳到步骤 () 3 组合型人眼识别方法组合型人眼识别方法中检测过程和跟踪过程交替进行, 这样可提高系统处理的平均速度和目标检测的准确性在检测过程中, 采用 AdaBoost 分类器尺度缩放机制的人眼检测算法, 并利用 Canny 裁减技术以减少分析的候选区域在跟踪过程中, 采用 2 级眼睛跟踪, 卡尔曼滤波器与平均位移交替着起作用若连续 5 帧图像的检测人眼的位置都正确, 则进入眼睛的追踪阶段 ; 利用检测到眼睛的位置预测下一帧图像眼睛的位置并定出一个搜寻范围每经过帧图像, 重新使用 AdaBoost 分类器检测, 接着又进入追踪阶段组合型人眼识别方法的流程如图所示图组合型人眼识别方法别方法的流程 3. AdaBoost 分类器由于训练分类器需要相当长的时间, 实际应用中把训练好的 AdaBoost 分类器做成 XML 文件, 检测目标时只需加载相应的级联分类器为了检测未知大小的目标物体, 分类器通常需要用不同比例大小的搜索窗口对图片进行几次扫描, 移动搜索窗口, 检测每一个位置来确定可能的目标 3.. 预处理利用 Canny 边缘检测器做边缘检测和特征提取, 目的是排除一些边缘很少或者很多的图像区域, 因为这样的区域一般不含检测目标 3..2 人眼检测算法初始分类器检测窗口大小为 24 24, 当小的窗口移动扫描完待检测图像没有发现目标时, 调整分类器的大小, 然后继续检测, 直到检测到目标或者窗口与待检测图片的大小相当为止在每一次扫描图像过程中, 级联分类器窗口大小是固定目标检测过程中, 分类器每移动一个像素的间隔都利用 Canny 裁减技术对待检测窗口进行筛选, 以减少分析的候选区域在经过 Canny 裁减筛选后的候选区域中, 利用针对某目标物理训练的级联分类器训练在图像中找到包含目标物体的矩形区域, 并且将这些区域作为一序列的矩形框返回以不同比例大小的扫描窗口对图像进行几次搜索, 每次都要对图像中的这些重叠区域利用训练好的级联分类器进行检测在处理和收集到候选的方框 ( 全部通过级联分类器各层的区域 ) 之后, 接着对这些区域进行组合并且返回一系列各个足够大的组合中的平均矩形, 返回的平均矩形就是检测目标的人眼区域人眼检测流程如图 2 所示图 2 人眼检测检测流程 3.2 组合型人眼跟踪器在初始的几帧图像中 AdaBoost 分类器定位到人眼位置后, 对随后的每帧采用追踪的方式以减少计算量在脸部正面旋转并睁眼的情况下, 卡尔曼滤波器是有效的 ; 然而由于闭眼头部突然移动或外部光源的干扰, 卡尔曼滤波器会失效, 为此提出了平均位移如果在一帧图像中卡尔曼滤波器失效, 此时追踪就交给由平均位移接管, 平均位移算法根据眼睛区域的亮度的概率统计分布来跟踪眼睛, 不需要亮瞳采用平均位移算法识别眼睛的候选区域, 就亮度分布而言, 该区域与给定的眼睛模型有着最相似的亮度分布因此, 无论眼睛是闭合还是脸部倾斜, 平均位移算法都能跟踪到眼睛此外, 平均位移算法能快速地检测目标并能很好地处理噪声, 但其会受到附近相似目标的干扰因为平均位移算法不具有纠错能力, 跟踪过程中误差累积并传递给后面的每一帧图像, 最后导致追踪失败, 除此之外, 其不具有更新眼睛模型的功能, 脸部移动会引起眼睛的变化, 使得待检测目标与目标模型有明显的区别, 此时追踪器就识别不出人眼的正确位置归纳起来, 本文结合两者并采取以下措施 : 眼睛模型不断地被更新为卡尔曼滤波器成功检测到的眼睛, 避免了平均位移的误差繁衍跟踪流程如图 3 所示图 3 人眼跟踪流程先利用卡尔曼滤波器追踪瞳孔, 在预测阶段, 滤波器使用上一状态的估计, 做出对当前状态的估计 ; 在更新阶段, 滤波器利用对当前状态的观测值来优化在预测阶段所获得的预测值, 以取得一个更精确的新估计值假如瞳孔追踪失败, 使用平均位移追踪, 计算模型的密度与目标候选区域密度的

第 37 卷第 9 期张欧平, 丁志刚, 彭娟春 : 组合型人眼识别方法及其应用 225 相似度, 以 2 个分布的相似性最大为原则, 通过平均位移算法的迭代计算, 使搜寻窗口沿密度增加最大的方向移动, 并取得收敛于最佳的位置因此, 平均位移追踪是在卡尔曼滤波追踪瞳孔失败后执行的 4 实验与分析本文在 DM6446 平台上采用 ARM+DSP 双核结构对程序控制和运算部分作出有效区别,

3 第 37 卷第 9 期张欧平, 丁志刚, 彭娟春 : 组合型人眼识别方法及其应用 225 相似度, 以 2 个分布的相似性最大为原则, 通过平均位移算法的迭代计算, 使搜寻窗口沿密度增加最大的方向移动, 并取得收敛于最佳的位置因此, 平均位移追踪是在卡尔曼滤波追踪瞳孔失败后执行的 4 实验与分析本文在 DM6446 平台上采用 ARM+DSP 双核结构对程序控制和运算部分作出有效区别, 从而提高视频处理的性能, 使得系统在占用较少资源的情况下能有效检测并定位到眼睛 ARM 端从摄像头读取原始视频数据, 对图像滤波加载分类器, 并将结果输出到显示器 DSP 端运行人眼检测和跟踪算法两端通过 DSP-Link 及共享内存空间进行交互在不同的眼睛条件下,2 种不同跟踪器在 DM6446 嵌入式平台中的实验统计数据如表所示共设置 4 组实验条件, 第行表示采集左眼睁开的 42 帧图像, 卡尔曼滤波器检测到 3 帧, 组合型跟踪器检测到 4 帧可以看出, 组合型跟踪器比卡尔曼滤波器能更准确地定位到人眼帧数表状态 2 种不同跟踪器的实验数据卡尔曼滤波器检测 / 帧组合型跟踪器检测 / 帧组合型检测率 /(%) 左眼 42 帧睁开左眼 8 帧闭合右眼 46 帧睁开右眼 8 帧闭合 8. 证明, 组合型人眼跟踪器仍然能正确实时地跟踪到目标 (a) 正面转 45 (b) 向后仰 (c) 闭眼正面转 45 图 4 大范围头部移动头部移动的实验结果 5 结束语本文提出了一种组合型人眼识别方法, 在不同的亮度和脸部移动情况下, 无论是闭眼还是睁眼, 都能够快速地检测跟踪到人眼实验结果表明, 本文方法能提高人眼检测跟踪的速度和精确度此外, 组合型人眼识别方法还能应用于驾驶员疲劳度检测嵌入式车载系统, 并能处理闭眼状态带眼镜状态和同时检测出处于不同姿势和距离的多目标人眼参考文献 [] 江水郎, 杨明. 面向驾驶员疲劳度检测的双空间人眼定位方法 [J]. 计算机工程, 28, 34(24): [2] Viola P, Jones M. Robust Real-time Object Detection[J]. Interna- tional Journal of Computer Vision, 24, 57(2): [3] Viola P, Jones M. Rapid Object Detection Using a Boosted Cascade of Simple Features[C]//Proc. of IEEE Conf. on Computer Vision and Pattern Recognition. Kauai Marriott, USA: [s. n.], 在大范围的头部移动情况下的实验结果如图 4 所示无 2. 论睁眼闭眼还是人眼被遮挡,2 种追踪方法交替着起作用, [4] Ji Qiang, Zhu Zhiwei, Lan Peilin. Real-time Nonintrusive Moni- 其中, 黑框代表平均位移跟踪器 ; 白框代表卡尔曼滤波器 toring and Prediction of Driver Fatigue[J]. IEEE Trans. on 在不同的亮度环境下, 实验中先关掉周围的光源, 然后用强 Vehicular Technology, 24, 53(4): 光朝着人的方向照射, 目的是产生强的外部光源干扰实验编辑顾姣健 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ ( 上接第 222 页 ) 5 结束语本文针对传统粒子滤波器不能很好地对跟踪状态进行判图 3 传统颜色粒子滤波器跟踪结果 (Frame=65) 在第 6 帧时, 跟踪窗口 x 方向的速度和加速度均超过阈值, 改进后粒子滤波器随即进入再捕获模式, 恢复粒子状态, 恢复模板, 增大搜索区域, 速度和加速度也逐渐恢复正常, 趋于平稳限于篇幅, 这里只给出了 2 种粒子滤波器得到的目标运动轨迹和对偏离目标中心真实坐标 ( 手动标注 ) 的跟踪误差曲线, 如图 4 所示, 可以看出改进的颜色粒子滤波器在跟踪精度上明显占优均方根误差 / 像素图 4 跟踪误差曲线对比断的缺陷, 设计基于运动特征的颜色粒子滤波器通过视频序列的测试, 证明了本文方法能够很好地对粒子滤波器跟踪状态进行判断, 能及时地进入再捕获模式, 增大了再捕获目标的概率, 跟踪精度明显提高然而, 本文暂未考虑多个目标的干扰问题, 当背景较复杂且伴有颜色相近的多目标时, 如何准确定位跟踪目标是需要进一步研究的问题参考文献 [] Sutharsan S, Sinha A, Kirubarajan T. Optimization Based Parallel Particle Filter for Multitarget Tracking[C]//Proc. of SPIE. San Diego, USA: [s. n.], 25. [2] Nummiaro K, Koller-Meier E, van Gool L. Object Tracking with an Adaptive Color-based Particle Filter[C]//Proc. of Symposium for Pattern Recognition of the DAGM. Zurich, Switzerland: [s. n.], 22. [3] 蒋旻, 许勤, 尚涛, 等. 基于粒子滤波和 Mean-shift 的跟踪算法 [J]. 计算机工程, 2, 36(5): [4] 朱胜利. Mean Shift 及相关算法在视频跟踪中的研究 [D]. 杭州 : 浙江大学, 26. [5] 白大明. 相关算法在体育视频目标跟踪中的研究 [D]. 哈尔滨 : 哈尔滨工业大学, 27. [6] Paris S. Tracking an Object in a Video with a Color Particle Filter[EB/OL]. (27-2-). central/fileexchange/796. 编辑顾姣健

5 第 37 卷第 9 期张欧平, 丁志刚, 彭娟春 : 组合型人眼识别方法及其应用

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位

自然科学版预处理视盘粗定位视盘垂直坐标的粗定位视盘水平坐标的粗定位自然科学版文章编号视网膜图像中视盘的快速自动定位方法赵晓芳林土胜李碧摘要基于眼底视网膜血管的分布结构及视盘本身的特点提出一种快速自动定位视盘的方法首先根据视网膜血管的网络分布结构大致定位视盘的垂直坐标然后根据视盘的亮度信息及视盘与血管的关系来定位视盘的水平坐标最后把视盘限定在以粗定位的视盘为中心的一个小窗口内用变换精确定位视盘中心该方法不需要事先分割视网膜血管也不需要对算法进行训练