一种基于特征三角形的驾驶员头部朝向分析方法 朱玉华段晓东刘宏北京大学深圳研究生院集成微系统重点实验室 58055 北京大学机器感知与智能重点实验室 0087 e-mal:zhuyh06240@szce.pku.edu.cn 摘要 : 疲劳驾驶可以从不规范的驾驶员行为中反映出来, 实时判断并得到驾驶员头部朝向是检测疲劳驾驶的关键技术之一 为解决驾驶员头部旋转不确定性问题, 本文提出一种基于特征三角形的驾驶员头部朝向分析方法 这种方法先使用 AdaBoos 方法快速定位出驾驶员头部区域, 然后使用垂直 水平灰度投影方法快速定位驾驶员左 右眼中心点位置, 进而将头部质心 左眼中心点和右眼中心点构成一个特征三角形确定驾驶员头部朝向 实验证明, 该方法具有较好的实时性并能够解决头部旋转不确定性问题 关键词 : 头部朝向特征三角形 AdaBoos 灰度投影 A Feaure Trangle Based Mehod for Deecng Drver's Head Orenaon Yuhua Zhu, Xaodong Duan, Hong Lu Key Laboraory of Inegraed McroSysem Pekng Unversy, Shenzhen Graduae School, 58055 Key Laboraory of Machne Percepon and Inellgence, Pekng Unversy, 0087 e-mal:zhuyh06240@szce.pku.edu.cn Absrac: Fague drvng can be refleced n rregular drver behavor. Real-me udgng and geng hs head orenaon s one of he key echnologes n he drver drvng fague. In order o solve he problem of head roaon uncerany, hs paper presens a feaure rangle based mehod for deecng drver s head orenaon. In hs mehod, AdaBoos mehod s used o ge drver's head area quckly, and hen vercal and horzonal gray negral proecon mehod s used o locae he cener poson of he drver's lef and rgh eye. A las, head cenrod, he cener poson of lef and rgh eye s used o form a feaure rangle o deermne he head orenaon. Expermens ndcae ha he mehod s no only real me bu also able o solve he problem of head roaon uncerany ell. Key ords: head orenaon, feaure rangle, AdaBoos, gray negral proecon. 引言 随着社会经济的发展, 机动车辆与日俱增, 随之而来的人身安全越来越受到人们的关注 最近的研究表明 : 造成汽车碰撞事故原因的 25%-30% 产生于驾驶疲劳 疲劳驾驶, 是指驾驶员在连续行车后所产生的生理和心理机能以及驾驶操作效能下降的现象 主要表现为过低的眼球转动频率 不正确的头部朝向和长时间的闭眼等各种异常现象 实时监测和智能评估驾
驶员的驾驶行为和驾驶状态, 有助于及早发现可能的操作失误, 避免交通事故的发生 因此, 许多国家都积极开展有关驾驶疲劳的研究工作, 也取得了一定的进展 但目前仍然缺乏一套 可靠的系统 目前, 国内外关于驾驶员状态分析的研究可以分为两类 [] : 基于视觉的驾驶员状态分析, 主要判断依据是驾驶员眼球 眼睑和头部动作等信息, 此类方法是车载非接触的 易于安装 成本相对较低 ; 其它驾驶员状态分析方法, 主要依据脑电图 脉搏 血压 体内新陈代谢产 物等信息进行相关判断, 此类方法需要一些额外的设备 成本相对较高 不利于便捷使用 999 年 4 月美国联邦公路管理局 FHWA(Federal Hghay Admnsraon) 召集各个大学有 关研究驾驶疲劳方面的专家学者, 讨论了 PERCLOS 和其他眼睛活动测量方法的有效性, 研究 认为应该优先考虑把测量机动车辆驾驶员的 PERCLOS 作为车载的 实时的 非接触式的疲劳 测评方法 [2] 测量头部位置的传感器 [3], 安装三个传感器在司机座位上方的不同位置, 每个 传感器都能输出司机头部距离传感器的位置, 利用三角代数算法就可以计算出头在 X Y Z 三维空间中的位置, 也能够实时跟踪头部的位置, 根据各个时间段头部位置的变化特征, 可 [4] 以表现出司机处于清醒还是瞌睡状态 文献中提出一种基于视觉的实时的驾驶员疲劳检测系统 首先, 使用肤色特征对驾驶员脸部进行定位 ; 然后, 对驾驶员脸部区域进行边缘检测 [5] 定位出人眼中心点位置 ; 进而, 使用人眼动态模板对人眼进行实时跟踪 王荣本等人提出一种基于皮肤颜色模型的驾驶员面部定位算法 首先对图像的 R G B 进行归一化处理 分别计算出 R G B 三分量的均值 方差, 并利用 3σ 规则进行初步提取 通过对提取出来的 [6] 图像进行卡尔曼滤波定位出面部 文献检测人脸后, 将脸部区域三等分, 取最上面的区域为人眼区域 然后对人眼区域依次进行边缘检测 形态学膨胀 霍夫变换, 同时对应眼睛部位的封闭区域进行封闭区域凸面积测量得到左 右眼的位置 最后, 计算实时检测到的人眼与睁眼模板的互相关系数, 互相关系数大于阈值确定驾驶员睁眼, 否则驾驶员闭眼, 一旦闭 [7] 眼时间超过一定时间就会自动向驾驶员发生警告 王炳浩等用 KT98-2000A 动态脑电仪描记了健康汽车驾驶员驾车行驶时的动态脑电波, 并与静止条件下, 睁眼 坐在椅子上描记得到的清醒状态和瞌睡状态的脑电波进行对比, 推断出汽车驾驶员瞌睡时的脑电波特征 : 当脑 电波出现 α 波且 α 波功率谱密度与 δ 波功率谱密度的比值满足一定条件, 那么驾驶员很可 能处于瞌睡状态 基于视觉的驾驶员状态分析中关键的要求是非接触式 实时性和准确率 考虑各种方法的特点, 为解决驾驶疲劳检测的实时性和头部旋转不确定性问题, 本文提出一种基于特征三角形的驾驶员头部朝向分析的方法, 具体分析过程如图 所示 : 驾驶员头部检测 驾驶员眼部检测 确定人脸特征三角形 与预先设定的正脸特征三角形比较 确定驾驶员头部运动状态 图 头部运动姿态分析过程图 2. 驾驶员头部检测 驾驶员头部检测的目的是在视频序列中快速定位驾驶员头部, 以便缩小下一步驾驶员眼 [8] 部的检测区域 出于实时性的考虑, 使用 AdaBoos 方法进行人脸的检测 这种方法将 Harr-lke 特征作为人脸检测的特征向量, 常用 Harr-lke 特征描述如图 2(a) 所示 采用一种 积分图 的图像表示方法, 可以快速计算出 Harr-lke 特征值, 且特征值计算只与此特征端点的积分图有关, 而与图像坐标值无关 如图 2(b) 所示, 对于图像中的某
一点, 如公式 (), 定义积分图为 : S f( mn, ) px py = () m= n= (a) 常用 Harr-lke 特征描述 图 2 特征值的计算 (b) 积分图 其中,f(m,n) 为区域 A 中某点的灰度值 ;px py 为点 在图像中的坐标 可见 S 即为即为区域中所有灰度值之和 于是, 可得 : D 灰度之和 =S + S ( S + S ) (2) 4 2 3 AdaBoos 方法的主要思想是通过学习建立多层次级联结构的分类器, 最终形成一个有效的分类器, 将候选子窗口的人脸和非人脸区分开来 其中每一级分类器都是若干个被称之为 弱分类器 的集成, 而每一个分类器对应一个 弱特征, 该特征可以在一定程度上区分人脸和非人脸 这种级联的强分类器通过以下步骤训练获得 : () 给定 N 个训练样本组成的集合, 已知训练样本包含有 k 个假样本 l 个真样本 ; (2) 初始化权重, = D () 当样本为真样本时, D ( ) = /2k, 为假样本时, D ( ) = /2l ; (3) 对于每个 =,2,,T,T 为弱分类器个数 操作如下 :. 归一化权重 : q, =, N =,, p f ( x) < p 2. 对每个特征, 训练得到相应的弱分类器 : h ( x) = 0, 其他 θ (3) (4) 其中, p 表示不等式的方向, 只能取 ± ; f ( x ) 表示特征值 ; θ 为阈值 3. 计算对应所有特征的弱分类器的加权 ( q ) 错误率 ε : ε = q h ( x ) y (5) 4. 选择具有最小误差 ε 的简单分类器 h ( x ) 加入到强分类器中 : ε = mn q h f, p, ( x ) y θ (6) 5. 按照最佳简单分类器 h ( x ) 更新样本对应的权重 : e,, β + =
ε 其中, 如果第 个样本 x 被正确分类则 e = 0 ; 反之, e =, β = ε T T, hx ( ) (4) 最后形成的强分类器为 : Rx ( ) = = 2 = 0, 其他 其中 = lg (7) β 经过多层扫描得到的所有子窗口图像 待检测图像 T 2 T 3 T 4 T 后续处理 F F F F 被拒绝的子窗口 图 3 检测人脸的过程 当采集到图像时, 将待检测图像按比例依次缩放, 穷举每个尺度图像的所有 20 20 的 子窗口依次判别是人脸还是非人脸 如图 3 所示 3. 驾驶员眼部检测 作为脸部特征的重要组成部分, 眼睛的检测对于驾驶员头部朝向的判断具有重要的意义 目前国内外对人眼的检测已经有了一定的进展, 但还没有一个通用的系统 人眼检测中存在的问题有 : 眉毛 头发等脸部特征与眼部的色彩相近 ; 针对侧脸的研究比较少 ; 大多数研究没有考虑佩戴眼镜的影响 由于, 眼睛在头部运动过程中会发生相应的运动, 那么在分析驾驶员头部朝向时可以依据眼睛的相关信息进行判断 于是, 在对驾驶员头部进行检测的基础上, 就需要进行人眼定位 最经常使用的人眼检测方法是灰度投影法 这种方法是指对脸部灰度图像进行水平和垂直方向的投影, 分别统计出两个方向上的灰度值和灰度函数值和, 找出特定的变化点 ; 然后根据先验知识将不同方向上的变化点位置相结合, 即得到人眼的位置 也有人利用水平和垂直两个方向上的梯度信息来代替原始灰度值, 以减小光照条件的影响 当前基于灰度投影算法来定位眼睛的方法已经得到较为广泛的应用, 且算法得到了很多改进和完善 图 4 头部图像中确定眼部位置的步骤 图 4 显示了驾驶员眼部检测的主要步骤为 : Sep. 使用肤色阈值, 将得到的驾驶员头部图像进行二值化 在不知道图像灰度分布的情况下, 可以采用模式识别中最大类间方差准则确定分割的最佳阈值 [9] 设图像 f 中, 灰
度值为 K 的像素的数目是 n, 总像素数目是 N = n, 各灰度出现的概率为 p L = n N = 设 以灰度 k 为门限将图像分为两个区域, 灰度为 k 的像素和灰度为 k+ L的像素分别属于区域 A 和 B, 则区域 A 和 B 的概率分别为 : 区域 A 和 B 的平均灰度为 : k L A = p B = = k+ = p (8) u A k uk ( ) = p A = A u B= L µ µ ( k) p (9) B = k+ A 两个区域的方差为 : [ µ k µ kµ ] k ( )[ k ( )] 2 2 2 ( ) ( ) σ = ( µ µ ) + ( µ µ ) = A A B B 按照最大类间方差的准则, 从 到 L 改变 k, 并计算类间方差, 使式 (0) 最大的 k 就是区域分割的门限 Sep2. 粗定位眼睛区域, 通过人眼与人脸的几何位置关系初步定位出人眼区域 正常情况下, 驾驶员眼部位于头部上方 /5 到 2/5 的位置 ; 若发生异常情况, 则需依据不同的情况采用不同的方法进行人眼区域检测 Sep3. 精确定位左 右眼的中心点位置 首先, 对眼睛区域进行垂直投影, 得到图 5 (a) 然后, 从坐标中点往两边寻找满足某一条件的凸峰对应的位置作为左 右眼水平坐标并根据左 右眼水平坐标的中值得到左 右眼区域 最后, 分别对左 右眼区域进行水平方向投影得到左 右眼垂直坐标 Sep4. 根据精确定位结果, 在原头部图像中标示左 右眼, 两个红色小圆圈的圆心为确定出的左 右眼中心点位置 (0) (a) 垂直投影 (b) 左眼水平投影 (c) 右眼水平投影 图 5 眼部区域垂直 水平灰度投影, 纵坐标均表示黑色像素的个数,(a) 横坐标表示眼部 区域水平坐标 (b) 横坐标表示左眼区域垂直坐标 (c) 横坐标表示右眼区域垂直坐标 4. 驾驶员头部朝向判断 [0] 文献中当人脸图像为正面人脸, 则以两眼中心和嘴部中央构成等腰三角形 ( 如图 6 所示 ); 当人脸图像为侧面人脸, 以耳洞 嘴部以及眼中心构成直角三角形 ( 如图 7 所示 ) 同时根据人脸特点, 制定三角形的刚性约束条件 文章分为两个阶段 : 利用已制定的刚性约
束条件寻找人脸候选区域 进行人脸确认 第一阶段进行的主要步骤是 :. 读入图像, 将其进行二值化 ;2. 标记二值图中的 4 连通域, 并找出连通块的中心点 ;3. 连接任意三个中心点构成三角形 ;4. 将满足三角形刚性约束准则对应的区域作为可能存在人脸的区域 第二阶段首先, 归一化所有的潜在人脸区域 ; 接着, 应用模板函数计算权值 ; 最后, 根据计算得到的权值与预设阈值比较, 确认人脸 这种方法没有考虑正面与侧面之外的人脸状态 图 6 正面人脸构成的等腰三角形 图 7 侧面人脸构成的等腰三角形 基于人脸平面的对称性, 利用人脸图像中三个特征点估计驾驶员头部朝向 把人脸近似地看作是对称的, 定义二维坐标 (OXY) 的坐标原点位于正脸时左右眼 (A 和 B) 连线的中点 这里, 选取两眼球中心和人脸质心这三个特征点, 连接这三个特征点可以得到如图 8 所示的三角形, 称这个为特征三角形 图 8 中点 A 到 B 为两只眼睛之间的连线为 l, 人脸质心到 l 的垂线为 h, 垂足为 E 图 8 人脸正面的特征三角形 如图 9 所示, 有转角时两眼长度为 AB, 即侧面人脸两眼长度 AB 在二维坐标 XY 面的 投影, 构造直角三角形 ABB,AB 与 AB 构成的角就是侧脸和正脸之间的夹角, 也就是人脸 在平行于成像平面的转角
图 9 确定转角 BAB 图 0 确定仰 ( 俯 ) 角 CEC 如图 0, 有仰 ( 俯 ) 角时人脸质心到两眼连线的距离为 CE, 即仰 ( 俯 ) 面人脸质心到两眼连线的距离长度 CE 在二维坐标 XY 面的投影, 构造直角三角形 CCE,CE 与 CE 构成的角就是仰 ( 俯 ) 脸和正脸之间的夹角, 也就是人脸在垂直于成像平面的仰 ( 俯 ) 角 预设正脸 l:h 计算当前帧图像 l:h < 人脸绕 y 轴转动由 BEC 决定左右方向 l h l ==? h = > 人脸绕 x 轴转动由人脸质心的位移决定上下方向 l h θ = arccos h l θ = 0 h l θ = arccos l h 结束 图 驾驶员头部朝向判断过程
驾驶员头部朝向判断过程如图, 首先预设正脸状态时, 特征三角形边 l( 左 右眼中心点距离 ) 和边 h( 人脸质心到两眼连线的距离 ) 的比例 对于待确定的人脸图像计算得到一个特征三角形和对应的边 l 和边 h 如果 l:h 小于 l:h, 则认为人脸绕 y 轴转动, 对特征三角形进行缩放直到 h 等于 h 的长度 这时 l 的长度等于 l 绕 y 轴转动后在 xy 面上的投影, 根据两条直线长度计算旋转角度, BEC>90 则头部向右转, 反之, 向左转 ; 如果 l:h 大于 l:h, 则认为头部绕 x 轴转动, 缩放特征三角形直到 l 等于 l 同样 h 是 h 在 xy 面上的投影, 人脸质心的位移向上, 则头部向上仰, 反之, 向下俯, 再根据 h 和 h 计算旋转角度 通过以上计算得到驾驶员头部的朝向情况 5. 实验结果 实验平台是汽车模拟器 ( 长.6m* 宽 0.5m* 高.4m) 一个摄像头加上一台笔记本电脑 实验中, 我们设置采集的图像的大小为 320 像素 *256 像素 (a) 头部向右 (b) 头部向左 (c) 头部朝前 (d) 头部朝前 (e) 头部向上 (f) 头部向下 图 0 检测结果 出于实际需求, 检测某一小段时间内驾驶员头部朝向将是主要工作, 于是选择每 0 帧进行一次状态检测 在图像左上角的红色圆圈内有四个方向标, 分别代表上 下 左 右 初始或驾驶员头部朝向前方时圆圈内的所有方向标均为绿色 ; 当驾驶员头部朝向其他方向, 则圆圈内相应的方向标就变为红色 由于使用 AdaBoos 方法进行人脸的检测和灰度投影法进行左 右眼中心点的检测, 可以使算法具有很好的实时性 同时 AdaBoos 方法能够检测偏转较小角度的人脸, 可以在驾驶员正常驾驶时有效地检测到人脸, 于是当漏检的情况持续设定的时间就认为驾驶员处于疲劳驾驶状态 如图 0 是检测的结果, 以驾驶员为参考,(a) 检测的结果是驾驶员头部转向右,(b) 检测的结果是驾驶员头部转向左,(c) 检测的结果是驾驶员头部朝向前方,(d) 检测的结果是驾驶员头部朝向前方,(e) 检测的结果是驾驶员头部转向上, (f) 检测的结果是驾驶员头部转向下 我们在室内 白天和夜晚两种光照情况下各实时采集和处理了 2 段视频, 总共 252 帧, 需进行状态检测的有 25 帧, 漏检 2 帧, 检测正确的有 68 帧, 正确检测率为 78.%
6. 结论 本文提出一种基于特征三角形的驾驶员头部朝向分析的方法 先使用 AdaBoos 方法快速定位出驾驶员头部, 接着使用垂直 水平灰度投影方法快速定位左 右眼中心点, 然后将头部质心 左眼中心点和右眼中心点作为特征三角形确定驾驶员头部朝向 该方法能够较好地解决实时性和头部旋转不确定性问题 虽然人脸检测的方法比较鲁棒, 但是在驾驶员头部旋转角度较大时存在漏检情况 同时在检测驾驶员眼部时没有考虑不同的光照条件导致在非均匀光照情况下检测率不高 因此, 在驾驶员头部旋转角度较大的情况下进行人脸检测以及在此情况下如何选择特征三角形等方面都有待改进 致谢 本文研究工作得到国家自然科学基金项目 (60675025,60875050) 国家 863 课题 (2006AA04Z247) 和广东省自然科学基金项目 (9580600000025) 深圳市科技计划项目及基础研究计划项目 (JC20090360369A) 支持 参考文献 [] 李力, 王飞跃, 郑南宁, 张毅. 驾驶行为智能分析的研究与发展 [J]. 自动化学报,2007,33(0):04-022 [2] Federal Hghay Admnsraon.Commercal Moor Vehcle Drver Fague and Alerness Sudy.hp://.fha.do.gov/.999- [3] Anneke Hemann,Raner Gukuhn e al.technologes for he Monorng and Prevenon of Drver Fague.Proceedngs of he Frs Inernaonal Drvng Symposum on Human Facors n Drver Assessmen, Tranng and Vehcle Desgn[C].200: 8-86. [4] Horng Wen-Bng, Chen Chh-yuan. Drver Fague Deecon Based on Eye Trackng and Dynamc Templae Machng[C]. IEEE Inernaonal Conference on Neorkng, Sensng and Conrol. Tape, Chna: IEEE Press, 2004:7-2 [5] 王荣本, 郭客友, 刘锐, 储江伟, 初秀民. 驾驶员驾驶行为监测中的面部定位方法的研究. 公路交通科技, 2003, 20(2):96-99 [6] M.Imran Khan, A.Bn Mansoor. Real Tme Eyes Trackng and Classfcaon for Drver Fague Deecon[C]. Inernaonal Conference on Image Analyss and Recognon. 2008: 729 738 [7] 王炳浩, 魏建勤, 吴永红. 汽车驾驶员瞌睡状态脑电波特征的初步探索. 汽车工程, 2004, 26(): 70-73 [8] Paul Vola, Mchael Jones. Rapd Obec Deecon usng a Boosed Cascade of Smple Feaures. IEEE Compuer Socey on Compuer Vson and Paern Recognon, 200: I5-58 [9] 贺兴化, 周媛媛, 王继阳, 周晖等. MATLAB7.x 图像处理. 人民邮电出版社.37-38 [0] Chunhsun Ln, Kuo-Chn Fan. Trangle-based approach o he deecon of human face[j].paern Recognon,200,34(6):27-284