140 哈尔滨工业大学学报第 43 卷器. 通过训练挑选出检测率高的弱分类器, 再将选出的弱分类器按照权重组成强分类器, 进而形成级联分类器. 最终经过反复实验调整参数, 在 PC 机上运行获得较高的人眼检测率. 1.2 检测与识别算法的数字信号处理器移植在 TI 公司的 CCS31 软件中对人脸

Size: px

Start display at page:

Download "140 哈尔滨工业大学学报第 43 卷器. 通过训练挑选出检测率高的弱分类器, 再将选出的弱分类器按照权重组成强分类器, 进而形成级联分类器. 最终经过反复实验调整参数, 在 PC 机上运行获得较高的人眼检测率. 1.2 检测与识别算法的数字信号处理器移植在 TI 公司的 CCS31 软件中对人脸"

梁于
5 years ago
Views:

1 第 43 卷第 5 期 2011 年 5 月哈尔滨工业大学学报 JOURNALOFHARBININSTITUTEOFTECHNOLOGY Vol43 No5 May2011 驾驶员疲劳驾驶预警系统的设计马乐 1,2, 姜立标 3, 王会荣 4 5, 王蒙 (1. 中国农业大学工学院, 北京,hitmyy@163.com;2. 华南理工大学广州汽车学院, 广州 ; 3. 华南理工大学机械与汽车工程学院, 广州 ;4. 哈尔滨工业大学 ( 威海 ) 汽车工程学院, 山东威海 ; 5.GrifithColegeDublin,Dublin) 摘要 : 针对疲劳驾驶监测的要求, 设计了一种基于 TI 公司高速图像处理芯片 TMS320DM642 的疲劳驾驶预警系统, 用以判定驾驶员的疲劳程度, 降低交通事故. 系统采用机器视觉的方法, 先通过 CCD 摄像头拍下驾驶员的面部图像序列, 然后检测出脸部, 从而定位眼睛, 再利用 PERCLOS 算法判定疲劳状态. 实验结果表明, 该系统准确率高速度快, 可以满足非接触式全天候实时监测的要求. 关键词 : 疲劳驾驶 ; 数字信号处理器 ; 人脸检测 ;PERCLOS 算法 ; 级联分类器中图分类号 :U46333 文献标志码 :A 文章编号 : (2011) Designofdriverdrowsinesdetectionsystem MALe 1,2,JIANGLibiao 3,WANGHuirong 4,WANGMeng 5 (1.ColegeofEngineeringofChinaAgricultureUniversity,100083Beijing,China,hitmyy@163.com; 2.GuangzhouAutoColege,SouthChinaUniversityofTechnology,510800Guangzhou,China; 3.SchoolofMechanical&AutomotiveEngineering,SouthChinaUniversityofTechnology,510640Guangzhou,China; 4.SchoolofAutomotiveEngineering,HarbinInstituteofTechnologyAtWeihai,264209WeihaiShandong,China; 5.GrifithColegeDublin,Dublin,Ireland.) Abstract:Aimingatthedemandsoffatiguedrivingmonitoring,adrowsinesdetectionsystembasedonHigh speeddsptms320dm642fromtiincwasdesigned.itcandeterminethedriver slevelofatention,andre ducethenumberoftraficaccident.thissystem usesthemachinevisionmethodtogetvideosequencesofa driverfromtheccd camera,andthandetectstheface,eyelidtodeterminethestateofdrowsinesbythe PERCLOScriterion.Theexperimentalresultsshowthatthissystem hashigheraccuracyandspeed,andcan satisfythedemandsofnoncontact,aliluminationconditionandrealtimemonitoring. Keywords:fatiguedriving;DSP;facedetection;PERCLOScriterion;cascade 疲劳驾驶已经成为引发交通事故的主要原因之一. 在当前的疲劳驾驶检测技术领域, 基于驾驶员脸部特征的非接触式疲劳检测算法的研究和疲劳预警系统的开发已经成为了主流之一. 驾驶员脸部主要特征的人脸和眼睛检测是指对于任意一幅给定的图像, 通过一定的方法和策略, 搜索并确定其中是否存在人脸, 如果存在则返回人脸相应的信息 [1] ; 在人脸检测的基础上, 定位检测眼睛是睁开还是闭合, 并返回眼睛相应的收稿日期 : 基金项目 : 广东省自然科学基金资助项目 ( ). 作者简介 : 马乐 (1968 ), 女, 副教授. 信息. 人脸和眼睛检测系统的精度与速度直接影响疲劳预警系统的性能. 驾驶员疲劳驾驶预警系统的应用超越了人脸识别系统的范畴, 在视频会议智能人机交互虹膜识别系统等方面也有重要的应用价值. 1 系统设计 1.1 人脸检测和人眼定位算法开发本文选用现在比较热门的 MB-LBP 特征描述人脸和人眼, 该特征具有噪声敏感度小的优点. 选用 adaboost 算法家族中性能最为优异的 Gentle adaboost 算法来训练人脸检测和人眼定位分类

2 140 哈尔滨工业大学学报第 43 卷器. 通过训练挑选出检测率高的弱分类器, 再将选出的弱分类器按照权重组成强分类器, 进而形成级联分类器. 最终经过反复实验调整参数, 在 PC 机上运行获得较高的人眼检测率. 1.2 检测与识别算法的数字信号处理器移植在 TI 公司的 CCS31 软件中对人脸检测和人眼定位算法进行仿真, 然后移植到以数字信号处理器 (DSP) 为核心的 DM642 开发板中. 在移植过程中运用多种优化手段, 最终算法在 DSP 中运行能够达到 18 帧 /s 的检测速度, 满足实时检测的性能要求. 1.3 实验分析完成算法的开发后, 分别建立以 PC 机和 DSP 为基础的实验装置, 对算法的正确性和实时性进行分析. 通过实验, 使得本文所研究的疲劳驾驶预警装置能够基本上达到预期目的. 因驾驶防瞌睡装置的应用特殊性 [2], 设计的系统必须满足 :1) 非接触式, 即不对驾驶员的驾驶行为产生干扰影响 ;2) 实时性, 能实时地检测驾驶员驾驶疲劳生理特征参数, 迅速准确及时地对处于疲劳状态的司机发出警告 ;3) 全天候, 无论工作在光照充足微光无光状态下, 系统都可以对司机的疲劳状态做出正确的分析. 疲劳驾驶预警系统如图 1. 格低廉的设备. 21 图像采集采用 CCD 摄像头拍下驾驶员头部图像, 经过高精度的 A/D 转换成 DSP 可以读取的数字图像. 本文使用了 SONY420 线彩色红外夜视海螺型 CCD 摄像头作为图像的采集设备. 这款 CCD 能自动感应外界光线, 当外界光线充足时得到普通的彩色图像, 而光线不足时由 CCD 自动开启镜面上自带的两圈红外 LED 灯, 利用 LED 发出的近红外作为光源获得红外图像, 满足系统全天候工作的要求. 采用 Philips 公司的视频采集处理芯片 SAA7113H [3] 作为视频解码器, 来实现模拟视频的数字化. 22 图像处理图像处理和分析由 DSP 完成, 图像处理包括图像的预处理及面部图像眼部图像的处理. 由于实际环境中图片背景较复杂, 容易使程序对人脸区域进行错误划分. 利用图像预处理技术对噪声光照不足图像扭曲等问题进行纠正, 保证人脸图像中人脸大小位置以及人脸图像质量的一致性. 在预处理的基础上, 进行面部图像和眼部图像的处理, 使系统能更好地判定人眼的状态, 进而进行疲劳状态的判定. 图像处理流程如图 2 所示. #$%&' 图 1 疲劳驾驶预警系统的实物图 2 系统硬件电路设计系统硬件电路主要由 5 部分组成 : 图像采集图像处理疲劳判定报警和电源管理. 系统设计应遵循以下原则 : 1) 准确性. 系统力求能够准确定位人脸定位眼睛计算眼睛状态和 PERCLOS 值, 并在标定阀值后实现疲劳判断, 尽量减少误判. 2) 实时性. 系统硬件的选择要保证系统能运行流畅, 程序的编写应尽量选择经典的优化算法, 以快速实现图像的截取人脸和眼睛的定位以及眼睛状态和 PERCLOS 值的计算. 3) 经济性. 选择市场易购买性能匹配和价图 2 图像处理的流程图选用 TI 公司的 TMS320DM642 作为核心处理器, 其主要原因为 :1) 为便于将开发的疲劳驾驶监测技术运用于实际驾驶环境中, 必须将疲劳驾驶监测技术从体积大的 PC 机上移植到体积小稳定性高和功耗低的嵌入式系统中, 由于 DSP 的应用日渐广泛且体积小功耗低, 为此可将疲劳驾驶监测技术移植到 DSP 中, 以组装成一个完整的疲劳驾驶监测系统.2)TI 公司的编译器 CCS (CodeComposerStudio) 产生代码的平均效率是其他 DSP 编译器的 3 倍, 可借助 CCS 编译器降低开发难度, 缩短系统的开发周期.3) TMS320DM642 工作频率高, 计算速度快, 可轻松处理 25~30 帧的图像, 满足系统实时性的要求, 非常吻合本系统的设计需要 [4-5].

3 第 5 期马乐, 等 : 驾驶员疲劳驾驶预警系统的设计疲劳判定和报警在图像预处理和人脸检测的基础上, 利用 PERCLOS(PercentageofEyelidClosureOverthe PupilOverTime) 算法对人眼进行检测,PERCLOS (PercenteyeClosure) 是指在一定的时间内眼睛闭合时所占的时间比例 [6]. 实验表明, 眼睛闭合时间的长短与疲劳程度有密切关系, 驾驶员眼睛闭合时间越长, 疲劳程度越严重. 在实际驾驶中, 连续检测司机的 PERCLOS 和眼睛持续闭合时间, 如果有,PERCLOS>40%, 眼睛持续闭合时间 > 3s, 就判定该司机处于疲劳状态, 疲劳预警系统对驾驶员给出语音提示. 语音报警电路如图 3 所示. # 24 电源模块图 3 语音报警电路 %& ' $ 系统采用的电源是 220V 直流电. 针对本系统所购买的器件, 需要考虑 2 个问题 : 首先, 外围电路 (SONY420 线彩色红外夜视海螺型 CCD 摄像头 ) 所需电压为 +12V, 需要将 220V 直流电压转换成摄像头所需的 +12V 电压 ; 其次,DSP 开发板电源 (J12) 接口需要的电压是 +5V, 需要将 220V 直流电压转换成 DSP 开发板所需的 +5V 电压. DSP 工作电压 :I/O 电压 +33V, 核电压 +14V, 系统采用 TPS54310 芯片, 经降压芯片把 DSP 开发板电源 (J12) 接口的 5V 电压转换成 DSP 工作电压 +33V 和 +14V, 稳压电路如图 4 5 所示. && $% &' 图 4 +33V 稳压电路 # '' %&& % $ # 图 5 %' ( $ %&% +14V 稳压电路 3 人脸和人眼的检测原理 31 MB-LBP 特征的应用 %&$ # % 本文所应用的 MB-LBP 特征是 LBP 特征的一种扩展 [7]. 这种特征可以解决原始 LBP 特征只能描述小范围的图像信息以及易受噪声影响的问题. 实验发现, 在视频监控数据以及人脸检测数据上,MB-LBP 特征相比原始 LBP 特征有更好的分辨能力, 同时,MB-LBP 特征保持了 LBP 特征运算复杂度低, 灰度尺寸的鲁棒性好, 计算速度较快的优点. 由于 MB-LBP 特征将目标图像升维成相当高的维度,Gentleboost 学习算法被用来降维并且构建分类器. 另外, 设计了多叉树型的弱分类器来针对 MB-LBP 特征的非度量特性问题. MB-LBP 还有一个优点 [8], 即特征数目少, 在训练阶段所耗费的时间会大大减少. 在 2020 的图像中, 大概含有上万个 haar 特征, 但是只包含 2000 左右的 MB-LBP 特征, 特征数目减小约 80%, 利用 MB-LBP 特征训练样本库的时间会少很多. 在实际操作过程中, 由于 haar 的特征是表示度量意义的, 在每次迭代中都需要将全部的 m 个 haar 特征的特征值排序, 从中选择最优的阈值作为单个 haar 特征弱分类器的分类标准. 但是,MB-LBP 特征是非度量的, 因此在每次迭代中不需要对特征编码进行排序, 所以利用 MB- LBP 特征来训练样本库又会快很多. 32 Gentleboost 的训练过程假设训练集中共有 m 张人脸图像,n 张非人脸图像, 尺寸为 NN 训练集中的图像被定义为二元组 (x i,y i ),x i 代表图像,y i 代表该图像的归类, 如果是人脸图像则 y i 为 1, 否则为 -1 [9-10]. 具体训练过程如下. 1) 初始化样本的权重 : W t i =(m+n) -1,i=1,2,,m+n;t=1. 2) 迭代 T 次 : 对每个 MB-LBP 特征进行测试, 得到一个弱分类器,h t {0,1}. $ $

4 142 哈尔滨工业大学学报第 43 卷计算其分类的错误率, ε=left - eror+right - eror, left - eror= N W i (y i -α) 2, i=1 right - eror= M j=1w j (y j -β) 2. 记录其能够得到的 min{ε} 作为该特征的分类错误率. 在所有特征中, 将具有最小错误率的特征加入到强分类器中. 更新样本的权重,W i =W i e -h(x i )y i. 归一化样本权值,W t+1 i t=t+1. =W t+1 i / W t+1 i. 3) 得到最终的强分类器 : { 1, T h t (x i )> 1 t=1 2 t; H(x)= 0, T h t (x i ) 1 2 t. t=1 式中, t 表示设定的阈值,T 表示弱分类器的数目. 33 基于 MB-LBP 的级联分类器级联分类器由多个强分类器组合而成, 它的每一层都是由 gentleboost 算法训练得到的强分类器, 从第一层分类器出来的正确结果触发第二层分类器, 而从第二层出来的正确结果将触发第三层分类器, 以此类推. 相反, 从任何一个结点输出的被否定了的结果都会导致对这个子窗口的检测立即停止. 通过设置每层的阈值, 使得绝大多数人脸都能通过, 而绝大部分的非人脸不能通过, 靠近级联分类器后端的层拒绝了大部分的非人脸, 其过程如图 6 所示. 图 6 级联分类器 4 系统的抗干扰措施 41 硬件抗干扰措施硬件抗干扰总的设计原则就是抑制干扰源, 切断干扰传播路径, 提高敏感器件的抗干扰性能. 抑制干扰源的措施如下 :a. 尽量缩短信号线的长度 ;b. 为防止电磁感应, 信号线应采用屏蔽线 ;c. 使电源线地线的走向与数据传递的方向一致, 应尽量使用 45 折线而不要使用 90 折线, 以减少高频噪声辐射. 切断干扰传播路径的措施如下 :a.pcb 合理布局, 将继电器电机等噪声元件与单片机尽量远离 ;b. 布线时要减小信号线间的交叉干扰 ;c. 时钟振荡电路部分用地线包围以来, 让周围的电场趋近于零. 提高敏感器件的抗干扰性能的措施如下 :a. 不同的电源电压数字和模拟高速和低速电流的大小电路分别设置地线, 防止产生公共地阻抗的干扰 ;b. 电源线和接地线尽量布粗, 使它能通过三倍于印制板上的允许电流. 如有可能, 接地线应在 2~3mm 以上 ;c. 在 PCB 布线时尽量减少环路的面积, 以降低感应噪声. 42 软件抗干扰措施嵌入式系统的可靠性由多种因素决定, 其中系统的软件抗干扰性能是系统可靠性的重要指标之一. 尽管采取了硬件抗干扰措施, 但仍然很难保证系统完全不受干扰. 因为软件抗干扰是一种廉价灵活方便的抗干扰方法, 不改变硬件的环境, 不需要对干扰源精确定位, 不需要定量分析, 因此本系统采取软件抗干扰技术加以补充, 作为硬件抗干扰措施的辅助手段, 采用的软件抗干扰方法主要有数字滤波技术和软件看门狗技术 [11]. 5 实验平台本实验的运行环境包括硬件和软件 2 个部分, 硬件部分为 : 摄像头,TMS320DM642 开发板 XDS510-USB20 仿真器 AMD turion(tm)64 X2mobiletechnology 内存为 768MB; 软件环境包括 :matlab2009a CCS31 及 windowsxp 系统, 可运行程序由 matlab 语言和 C 语言混合编程. 利用 matlab 良好的图形界面设计和 C 语言高效的运行效率, 将这 2 种语言混合编程, 核心算法由 C 语言实现, 而输入输出则由 matlab 语言来完成. 训练基于 MB-LBP 特征的级联分类器时, 使用个正样本, 个负样本, 正样本中包括 -30 ~+30 内的人脸图像. 所有的负样本均来源于 4433 张非人脸图像, 采用 bootstrap 策略, 在每张图中随机采张 2020 的非人脸图像. 正样本来源不一, 包括从人脸数据库中得到, 以及 viola-jones 库自带的 4916 张图片. 本文的重点放在基于 MB-LBP 特征的人脸检测上, 因此, 最终的系统构建是利用 gentleboost

第 5 期马乐, 等 : 驾驶员疲劳驾驶预警系统的设计 143 训练基于 MB-LBP 特征的强分类器. 利用 gentle boost 训练的 MB-LBP 特征强分类器对静态图像的测试效果如图 7(a) 所示 ; 对 CCD 摄像头拍摄的图片的仿真结果如图 7(b) (c) 所示.

根据系统设定的阈值, 就可判断出司机是否处于疲劳状态. (a)dsp 中睁眼实验结果 (b)dsp 中闭眼实验结果图 8 DSP 中的实验结果 6 结论 1) 利用最新的数字图像处理方法, 设计了一种基于机器视觉的驾驶员疲劳驾驶预警系统, 该系统满足防瞌睡装置的非接触式实时性全天候要求, 并且设计可靠, 体积小, 便于携带.

参考文献 : [1]YANGMH,KRIEGMAND,AHUJAN.Detectingfaces inimages:asurvey[j].transactionsonpaternanaly sisandmachineinteligence,2002,24(1):34-58. [2] 刘志强. 基于机器视觉的驾驶疲劳检测方法 [J]. 中国制造业信息化,2006,35(3):64-66.

5 第 5 期马乐, 等 : 驾驶员疲劳驾驶预警系统的设计 143 训练基于 MB-LBP 特征的强分类器. 利用 gentle boost 训练的 MB-LBP 特征强分类器对静态图像的测试效果如图 7(a) 所示 ; 对 CCD 摄像头拍摄的图片的仿真结果如图 7(b) (c) 所示. 图 7 眼睛的实验结果将疲劳驾驶检测与识别算法移植到 DSP 芯片中, 经过算法的调试和优化, 运行成功后,CCD 摄像头拍下的驾驶员面部图像序列经 DSP 处理后的试验结果如图 8 所示. 司机清醒时, 眼睛是睁开的, 实验中能检测到人眼, 检测到人眼时用小方框标定出人眼位置, 表示人眼是睁开的, 如图 8(a) 所示 ; 司机疲劳时, 眼睛闭合, 实验中检测不到人眼, 如图 8(b) 所示. 根据系统设定的阈值, 就可判断出司机是否处于疲劳状态. (a)dsp 中睁眼实验结果 (b)dsp 中闭眼实验结果图 8 DSP 中的实验结果 6 结论 1) 利用最新的数字图像处理方法, 设计了一种基于机器视觉的驾驶员疲劳驾驶预警系统, 该系统满足防瞌睡装置的非接触式实时性全天候要求, 并且设计可靠, 体积小, 便于携带. 2) 用 gentleboost 训练基于 MB-LBP 特征的强分类器, 利用 PERCLOS 算法对眼睛的状态特征进行检测, 能够实时快速地反映驾驶员的疲劳状态. 3) 利用级联分类器的手段, 经过反复实验调整参数, 在 PC 机上运行, 获得较高的人眼检测率 ; 并在移植过程中运用多种优化手段, 实现了算法在 DSP 中运行能够达到 18 帧 /s 的检测速度. 参考文献 : [1]YANGMH,KRIEGMAND,AHUJAN.Detectingfaces inimages:asurvey[j].transactionsonpaternanaly sisandmachineinteligence,2002,24(1): [2] 刘志强. 基于机器视觉的驾驶疲劳检测方法 [J]. 中国制造业信息化,2006,35(3): [3]PHILIPS.SAA7113H9bitvideoinputprocesor[EB/ OL].[S.l.]:Philips,2000[ ].ht tp:// [4]TEXASINSRUMENTS.TMS320DM642video/imaging fixedpointdigitalsignalprocesor[m].[s.l.]:texas lnsmmentsincorporated,2003:1-6. [5] 陶芬. 全天候疲劳驾驶监测系统的研究及实现 [D]. 南京 : 南京理工大学,2009. [6]DAVIDF,RICHARDD.PERCLOS:Avalidpsycho physiologicalmeasureofalertnesasasesedbypsycho motorvigilance[eb/ol].washington,dc:federal MotorCarierSafetyAdministration,1998[ ].htp:// [7]ZHANGLei,STANZL.QUZhiyi,etal.Boostinglo calfeaturebasedclasifiersforfacerecognition[c]// 2004ConferenceonComputerVisionandPaternRecog nitionworkshop(cvprw'04).washington,d.c: [s.n.],2004:84. [8] 张伦.MB-LBP 特征在视觉目标检测和分类中的应用 [D]. 北京 : 中国科学院研究生院,2005. [9]OJALAT,PIETIKINENM,HARWOODD.Acompar ativestudyoftexturemeasureswithclasficationbased onfeaturedistribution[j].paternrecognition,1996, 29: [10]FREUND Y,SCHAPIRE R E.A decisiontheoretic generalizationofonlinelearningandanapplicationto boosting[j].journalofcomputerandsystem Science, 1997,55: [11] 胡谦, 赵丹阳. 单片机应用系统抗干扰技术 [J]. 黑龙江科技信息,2007(15):52. ( 编辑杨波 )

第卷第期年月半导体学报! " # $%&'%' $!&' #% #$1 /#1 $'! / ?/ ?/ / 3 0,?/ ) * +!!! '!,!! -. & ' $! '! 4% %&1)/1(7%&)03 (% )

第卷第期年月半导体学报! # $%&'%' $!&' #% #$1 /#1 $'! / ?/ ?/ / 3 0,?/ ) * +!!! '!,!! -. & ' $! '! 4% %&1)/1(7%&)03 (% ) 第卷第期年月!"# $%&'%' $!&'#%#$1/#1 $'! /18103 2?/03101?/18103 /3 0,?/0301.13 )*+!!! '!,!! -.&' $!'! 4%%&1)/1(7%&)03(%)%&,%*(1&0)%$-0*,%30)17*1*)0(+1(1+&1*+*),)1; &113(%44(10&.0701&0-&00*/)%;()1%-1+%&0)0*1*)%