标题

Size: px

Start display at page:

Download "标题"

染伏
5 years ago
Views:

1 第 46 卷第 5 期 0 4 年 5 月哈尔滨工业大学学报 JOURNAL OF HARBIN INSTITUTE OF TECHNOLOGY Vol 46 No 5 May 04 驾驶员疲劳检测技术的算法设计与硬件实现姜思羽, 吴斌, 邱少健, 羊梅君 ( 华南理工大学广州学院, 广州 ) 摘要 : 为了减少由疲劳驾驶而引起的交通事故, 提出了一种基于非接触式的驾驶员疲劳驾驶检测方法. 利用摄像头对驾驶员的面部图像进行采集, 经过图像前处理, 采用在线识别的方法对驾驶员的面部特征进行识别, 获取其疲劳状态 ; 硬件采用 DSP 系列的 TMS0DM64 作为核心处理器, 在判定驾驶员疲劳之后发出报警. 实验结果表明, 使用脉冲耦合神经网络方法对图像进行增强与在线识别, 可以有效地确定人脸与人眼区域, 主控芯片 TMS0DM64 的运算处理能力满足系统的要求, 摄像头焦距为 8 mm 时, 系统有效检测距离为 0~ 50 cm. 脉冲耦合神经网络方法对于驾驶员疲劳状态检测可靠性较高, 合理地选择硬件平台以及系统的安装位置对检测效果有重要的影响. 关键词 : 疲劳驾驶 ; 神经网络 ; 训练样本 ; 在线识别 ;DM64 中图分类号 : U469.7 文献标志码 : A 文章编号 : (04) Algorithm design and hardware implementation of driver fatigue monitoring JIANG Siyu, WU Bin, QIU Shaojian, YANG Meijun ( Guangzhou College, South China University of Technology, Guangzhou, China) Abstract: To reduce the loss of people s property caused by traffic accidents because of driver fatigue, a new driver fatigue monitoring method based on non contact is proposed. First, a camera gets driver's facial image, and then by using online method of identifying to identify the driver's facial features after pre processing, the fatigue state of the driver can be acquired. Hardware system including TMS0DM64 as the core processor will alarm when driver is fatigue. Experimental results show that the use of pulse coupled neural network method to enhance and identify image, can determine the area of face and eye effectively, the master chip TMS0DM64 meets the requirement of detection distance between 0 cm and 50 cm when camera focal length is 8 mm. Coupled pulse neural network method has high reliability in driver fatigue detection, and choosing the right hardware platform and installation position have important influences on the detection results. Keywords: fatigue driving; neural networks; training samples; online identify; DM64 随着汽车数量的不断增加, 一方面给人们的生活带来了便利, 同时也引发了许多问题, 汽车驾驶安全成为世界性的问题. 疲劳驾驶已经成为交通事故的严重隐患, 在这样严峻的交通事故形势下, 人们越来越多地关注汽车的安全问题. 000 年, 美国 Ellison Research Labs 实验室利用检测车收稿日期 : 基金项目 : 广东省自然科学基金资助项目 ( ); 省部产学研结合资金资助项目 ( 0B ); 花都区产学研结合资金资助项目 ( HDCXY 00; HDZD 007). 作者简介 : 姜思羽 (99 ), 女, 助教. 通信作者 : 姜思羽, jiangsy@ gcu.edu.cn. 道标志线的方式来判定驾驶员是否疲劳 [].00 年日本电脑便民公司通过安装在方向盘上的探测装置来获取手握方向盘时的脉搏跳动信息, 再利用软件进行实时分析判断驾驶员是否疲劳 []. 美国研制的驾驶员疲劳检测系统通过获取驾驶员烦躁不安的情绪活动眨眼的频率和眼睛闭合的持续时间等疲劳数据, 来判断驾驶员是否在打瞌睡或已睡着 []. 在国内,000 年, 上海交通大学通过传感器检测驾驶员驾驶时方向盘踏板等运动参数来提高驾驶员的行车安全, 发现方向盘的操纵情况与驾驶员的疲劳程度之间具有一定的关联性 [4] [5].00 年, 吉林大学交通学院的王荣本等研究用眼睛和嘴部状态来检测驾驶疲劳. 006

2 96 哈尔滨工业大学学报第 46 卷年, 同济大学道路与交通工程教育部重点试验室通过记录瞳孔直径变化来进行疲劳驾驶检测. 上述研究主要存在接触式检测方式对驾驶员产生一定的影响, 检测准确率不高等问题. 针对当前研究存在的问题, 本文提出了一种非接触式的驾驶员疲劳驾驶检测方法, 通过对驾驶员面部图像的检测可以判断驾驶员是否处于疲劳状态, 若系统认定驾驶员已经疲劳则会以语音的方式提醒驾驶员, 有效地减少交通事故, 提高交通的安全性 []. 驾驶员疲劳驾驶检测技术软件算法的基本思路是 : 监测驾驶员眼睛的活动状态, 如果驾驶员的眼睛连续闭合时间超过 s 以上, 则根据 PROCELS 方法, 可以判定驾驶员已经出现疲劳症状, 此时必须对驾驶员做出提醒.PERCLOS 方法是 994 年卡内基梅隆研究所提出的, 指的是根据单位时间眼睛闭合时间所占的比例来判断是否出现疲劳, 在驾驶员疲劳检测领域具有良好的应用基础 [6]. 软件算法的设计流程如图所示 [7]. 正负样本的训练学习跟踪眼部区域图采集眼部状态测试样本软件的设计流程训练样本和图像采集样本训练学习判断疲劳状态特征提取与识别 ) 采集训练样本图像, 将人眼闭合的图像作为训练正样本, 而将非疲劳时的人脸图像作为训练负样本, 构成图像训练样本集, 每幅图像均有 56 个灰度级, 系统训练的正样本数为 500 个, 负样本数为 500 个, 神经网络的层数为层. ) 将图像转化为一维向量, 并定义瞌睡状为类眼部特征, 非瞌睡状为 - 类眼部特征. 因此第 i 个样本图像的一维向量 x i 可以表达为 x i = [x i x i x im ] T = [x ij ] T. 式中 :x ij 表示类第 i 个样本第 j 个像素灰度值 ;i =,,,n 为类眼部样本 ;m 为每个样本图像所取像素,m = u v,u 和 v 分别为样本图像的列和行像素数. ) 训练样本特征值及特征向量计算. 计算疲劳时样本的均值, 称为疲劳眼部平均图, 计算方法如式 () 所示 : x = m n n i = m j = x ij. () 对上述训练样本进行规范化后可以表达为 v i = x i - x, i =,,,n. 由训练样本组成的疲劳眼部规范化向量 v = [v v v n ] T, 疲劳眼部协方差矩阵为 Q = [v v v n ] T [v v v n ], Q R n n. () 利用式 () 求取 Q 的特征值 λ 及其特征向量, 并将其从大到小重新排列后生成特征向量 P = [λ λ λ ] T. 式中 λ λ λ. 4) 对训练样本进行线性变换后投影到特征空间. 由于较大的特征值对应的特征向量包含了较多的人脸眼部特征信息, 因此可以选取前 s 个较大的特征值所对应的特征向量构成的向量空间, 就可以近似地表示人脸眼部图像的主要信息 [8]. 对于图像库中的 n 个图像 x i = [x i x i x im ] T, (i =,,,n) 都可以向此特征空间投影, 得到投影向量 Ω i = [ω i ω i ω im ] T. 从 v = [v v v s ] T 中选取前 s 个较大的特征值所对应的规范化值构成新的规范化向量 v = [v v v s ] T. 因此, 可以直接用 v 来代表类人脸眼部特征. 在建立了人脸眼部特征规范化向量后, 就可以依次作为识别驾驶员是否疲劳而呈现瞌睡状的依据. 在线实时识别方法.. 图像增强利用脉冲耦合神经网络 (pulse coupled neural network, PCNN) 法对摄像头采集到的图像进行增强,PCNN 与传统的神经网络有着根本的不同, 其能从复杂背景下提取有效信息, 具有同步脉冲发放和全局耦合等特性, 更符合人类视觉神经系统的特征. 由于硬限幅函数的作用, 标准的 PCNN 模型输出是一个二值图像帧. 为了使所建立的 PCNN 输出映射函数能更有效地进行图像整体对比度增强的处理, 在人眼视觉特征的基础上, 采用类对数映射函数, 将图像的亮度强度映射到一个合适的视觉范围 [9].PCNN 输出映射函数为 Y ij (n) = In I max - Δt(n - ) / τ θ. 式中 : I max 是原图像中最亮像素点的强度值 ; Δt 为采样时间周期, 亦即迭代时间步长, τ θ 为时间常数, Δt(n - ) / τ θ 表示 PCNN 中动态阈值函数在 (n - ) 点火时刻的衰减步长 ; Y ij (n) 是神经元 N ij 在 n 点火时刻的感知输出, 即为增强图像的亮度强度 [0].

第５期１２２９７姜思羽等驾驶员疲劳检测技术的算法设计与硬件实现彩色空间转换将增强后的图像进行彩色空间转换即将增强后的数字图像从ＲＧＢ彩色空间转换至ＨＳＶ彩色空间转换后的亮度Ｖ饱和度Ｓ和色调Ｈ分别表示为ＶｍａｘＲＧＢｖｍｉｎＲＧＢ ìï 当Ｖ０ ïｓｖ í ï 其他 îｓ０ＧＢ ìï ６０当ＶＲＳ ï ïï ＢＲ当Ｖ

3 第５期１２２９７姜思羽等驾驶员疲劳检测技术的算法设计与硬件实现彩色空间转换将增强后的图像进行彩色空间转换即将增强后的数字图像从ＲＧＢ彩色空间转换至ＨＳＶ彩色空间转换后的亮度Ｖ饱和度Ｓ和色调Ｈ分别表示为ＶｍａｘＲＧＢｖｍｉｎＲＧＢ ìï 当Ｖ０ ïｓｖ í ï 其他 îｓ０ＧＢ ìï ６０当ＶＲＳ ï ïï ＢＲ当ＶＧＨ í１８０６０Ｓ ï ï ＲＧ当ＶＢ ïï２４０６０Ｓ î 图２正常状态检测效果图３疲劳状态检测效果在计算过程中如果出现Ｈ０则取ＨＨ３６０Ｈ为Ｈ的实际取值１２３监测驾驶员眼部区域首先要确定人脸区域在采集到的人脸图像中按照像素坐标从左到右从上到下扫描检测像素的景物色调将人脸区域与背景区分开来在人脸肤色调集合中以最接近人脸肤色的色调值所对应的像素点作为人脸中心点经过人脸区域搜索结果可以确定ｉｋｊｋ为人脸中心位置坐标ｉ表示像素的列坐标ｊ表示像素的行坐标脚标表示列数和行数以人脸中心点为基点向上扩张ｕ行像素和向两侧各扩张ｖ２列像素即可获取ｕｖ的眼部跟踪区域１１采用一阶预测算法作为人脸眼部区域跟踪的方法根据系统跟踪到的人脸中心坐标ｉｋｊｋ依２疲劳驾驶监测装置的硬件实现２１疲劳驾驶监测装置硬件框架疲劳驾驶装置的硬件主要由摄像头中央处次向上扩张ｕ行像素和向两侧各扩张ｖ２列像素截取ｕｖ的眼部区域图像作为带入测试样本按理器以及语音报警装置组成由摄像头采集驾驶照训练样本同样的方法对测试样本进行图像特征提醒驾驶员注意行车安全图４为驾驶员疲劳检值及其特征向量的计算将测试样本投影到特征子空间当前ｕｖ的眼部区域图像就对应于特征子空间中的一个点１２把投影到特征子空间中的ｕｖ的眼部区域员的面部头像输入至中央处理器进行处理若判断驾驶员已经出现疲劳则由报警装置发出报警测装置硬件框架图其中ＣＣＳ为ＤＳＰ系列芯片的编译开发环境ＪＴＡＧ仿真器主要作用是将程序烧入至ＤＳＰ电路板中不带红外但可夜视摄像头测试图像与训练图像逐一进行比较确定待识别的样本所属类别采用距离分类函数进行分类判 PC机接口断驾驶员的状态是否疲劳如果判定驾驶员已经视频解码芯片 SAA7 H 疲劳则通过语音报警装置发出报警在软件测试过程中图２为第１９帧图像人眼处于正常睁开状语音报警装置图３为测试的第２７帧图像被测试者眼睛闭合此 S TC LE5 A6 0 S 单片机 CCS开发软件态可以看到软件很好地识别出人脸和人眼区域时软件能够检测到人脸区域但检测不到人眼区域判定驾驶员处于疲劳状态图４ DS P TMS 0 DM64 电路板 J TAG仿真器疲劳驾驶检测装置硬件框架图

4 98 哈尔滨工业大学学报第 46 卷驾驶员疲劳驾驶检测装置的处理流程是 : 首先由摄像头采集驾驶员的面部图像, 摄像头输出的数据流格式为 PAL 制式, 数据流经过视频解码芯片 SAA7H 的解码, 得到标准的 BT.656 并行数据. 再将数据输送到 DSP 芯片当中, 提取其中的 YCbCr 数据并存储在内部的缓冲器中, 然后将数据传输到外接的 SDRAM 中, 在 DSP 处理数据之前, SDRAM 中的数据会被调入到 DSP 的 RAM 中 []. ) 图像采集装置摄像头. 要求摄像头能够清晰准确地采集驾驶员的面部图像, 并且外部对光照条件的适应性很好, 不出现曝光等现象. 另外, 国家规定红外线不能一直对着人眼照射, 所以摄像头应该是不带红外, 但是要在夜间也能够采集到清晰的人脸图像, 摄像头采用 V 供电. 为了连接牢固可靠, 摄像头与 DSP 主机之间采用 4 端口的工业端子相连, 分别是电源接地视频信号接地. ) 中央处理器 : 本次采用的中央处理器芯片为 DSP 系列的 TMS0DM64, 其显著特点是运算效率高处理速度快. ) 语音报警装置 : 当检测到驾驶员疲劳时通过语音报警的方式提醒驾驶员注意行车安全. 电源管理系统设计疲劳驾驶监测装置由汽车点烟器提供 V 电压. 摄像头工作电压为 V, 而 TMS0DM64 芯片的工作电压需要 5 V V 以及 4 V 等, 控制语音报警芯片的单片机 STCLE5A60S 工作电压也为 V, 所以控制器需要电源管理系统. 图 5 为 V 到 5 V 电压转换电路, 图 6 和图 7 分别为 5 V V 和 4 V 的电压转换电路 [4]. J CON.5mm 内芯图 5 S L0 SW SPST 0μH L9 0μH FA +5V TV C C59 SMB5 汽车点烟器 V 到 5 V 电压转换电路 C84 0μF/ 5V TP CON J7 JUMP L6 0μH +.V C04 +5V 47μF/5V + C8 04 U7 BOOT PH 8 VIN GND 7 EN COMP 6 4 SS VSNS 5 C8 0 D5 SS4 C97 0pF R4 9.4K% C98 47pF + R4 C80 0.K% 0μF/6.V R4.K% D7 RED R4 K 图 6 5 V 到 V 电压转换电路 47μF/5V C99 04U8 +5V BOOT PH VIN GND +C05 4 EN COMP VSNS SS TPS54 C L 0μH D6 SS4 C0 000pF R9 9.4K% C0 47pF + R5 C8 0.K% 0μF/6.V EN J8 JUMP R6.4K-.6K%.4V 图 7 5 V 到 4 V 电压转换电路

5 第 5 期姜思羽, 等 : 驾驶员疲劳检测技术的算法设计与硬件实现 99 图像存储与结果输出.. 外部存储器 SDRAM 因为系统需要不断地实时处理大量的图片, 而 DSP 的片内存储容量往往不够, 本次采用两片 MT48LC4MB - 7 作为 DSP 芯片的外部 SDRAM, TMS0DM64 通过 EMIF ( external memory interface ) 接口来访问和管理外部 SDRAM, 并且选择合适的读写策略来降低 SDRAM 的功耗,MT48LC4MB - 7 的工作电压亦为 V [5]... 判定结果的输出 TMS0DM64 通过 GPIO 口与单片机 STCLE5A60S 连接, 当 DSP 判定驾驶员已经出现疲劳时, 则通过 GPIO 口给 STCLE5A60S 单片机的 INT0 和 INT 外部中断, 告知驾驶员已经疲劳, 再由 STCLE5A60S 单片机控制语音芯片发出报警, 本次选用的报警芯片是 TH040, 其工作原理是向芯片发送不同的脉冲数, 语音芯片会播报不同的声音片段, 工作电压为 V, 其电路如图 8 所示. P P P 04 U TGPWM TG VDD TGPW M 4 VDDLVSS C57 TH040 图 V C60 + 语音芯片 TH040 外部电路 0μF P CON 为了使系统能够适合不同的人群, 在电路上设计了一个旋转电位器, 可以旋转至 8 个档位, 代表 8 个不同的灵敏度, 检测驾驶员疲劳状态的灵敏度依次从低到高 [0]... 电路板的 PCB 布线由于电路板上要走高频信号线, 所以抗干扰设计是电路板设计的一个重点, 注意信号线之间的最小间隙和信号线的走向, 本次设计布线分为 6 层. 测试. 摄像头测试由于训练样本采用的是一定规格大小的正负样本, 因此要求摄像头采集的人脸大小与训练样本基本一致, 摄像头镜头的焦距决定了人脸与摄像头之间的距离, 根据驾驶员实际的座位情况以及疲劳驾驶监测装置摄像头的安装位置, 合理选择摄像头镜头的焦距, 本次系统选择焦距为 8 mm 的镜头, 经测试其有效距离为 0 ~ 50 cm, 可以很好地满足实际使用情况. 并且为了避免红外线对人眼的直接照射, 选择不带红外但是具有夜视效果的摄像头 [6].. 主机效果测试经过加工测试将电路板制作出来之后, 分别向 TMS0DM64 和 STCLE5A60S 芯片中烧入程序, 置于实车上, 由汽车点烟器提供 V 电源, 将摄像头安装在汽车的太阳挡板上, 进行测试. 实验结果表明, 所设计的系统可以很好地满足实际使用条件, 在白天以及夜间均能对驾驶员的疲劳状态做出正确的反应, 误报率低于 %. 图 9 为样机实车测试图. 图 9 样机实车测试

6 00 哈尔滨工业大学学报第 46 卷 4 结论 ) 对大量正负样本进行训练, 提取特征, 可以很好地表达人脸和人眼, 通过得到的向量空间判定测试图像准确率高. ) 脉冲耦合神经网络符合人类视觉特征, 通过图像增强彩色空间转换以及眼部区域跟踪等措施, 有利于图像的处理与识别. )TMS0DM64 硬件平台的运算和处理能力满足系统的要求, 摄像头的安装位置和焦距的选择对测试效果影响显著, 本系统当镜头焦距为 8 mm 时效果最好. 参考文献 [] LEE J D, MCGEEHEE D V, BROWN T L, et al. Collision warning timing, driver distraction, and driver response to immient rear end collision in a high fidelity driving simulator[ J]. Human Factors, 00, 44( ): 4-4. [] YANG M H, KRIEGMAN D, AHUJA N. Detecting faces in images: A survey[ J]. Transactions on Pattern Analysis and Machine Intelligence,00,4( ): [] WANG Qiong, YANG Jingyu, REN Mingwu, et al. Driver fatigue detection[ C] / / A Survey Proceedings of the 6th World Congress on Intelligent Control and Automation. Dalian,China:[ s.n.], 006: [4] 石坚, 吴远鹏, 卓斌, 等. 汽车驾驶员主动安全性因素的辨识与分析 [ J]. 上海交通大学学报,000 ( 4): [5] 王荣本, 郭克友. 适用驾驶员疲劳状态监测的人眼定位方法研究 [J]. 公路交通科技,00,0(5):. [ 6 ] Socity of Automotive Engineers. Intelligent vehicle initiative technology and navigation systems [ M ]. Virginia: Society of Automotive Engineers, 00: [7] FREUND Y, SCHAPIRE R. A Short Introduction to Boosting[ J]. Journal of Japanese Society for Artificial Intelligence,999,4(5): [8] 张秀彬, 应俊豪. 汽车智能化技术原理 [ M]. 上海 : 上海交通大学出版社,0:-0. [9] 张志. 全景视觉大图像的分割及图像增强 [D]. 哈尔滨 : 哈尔滨工程大学,009. [0] 石美红, 李永刚, 张军英, 等. 一种新的彩色图像增强方法 [J]. 计算机应用, 004, 4(0): [ ] LIENHART R, KURANOV A, PISAREVSKY V. Empirical analysis of detection cascades of boosted classifiers for rapid object detection [ C] / / Proceedings of the 5th German pattern recognition Symposium. Heideburg: Springer, 00: [] JIANG Libiao, WANG Huirong, GAO Shengying,et al. Research of the automotive driver fatigue driving early warning system[ C] / / 00 rd International Conference on Computational Intelligence and Industrial Application. Hefei: Intelligent Information Technology Application Association, 00:00-0. [] 王鹏程. 汽车驾驶员疲劳驾驶预警装置设计及实验研究 [D]. 威海 : 哈尔滨工业大学 ( 威海 ),0. [4 ] Texas Instrument. TMS0DM64 Evaluation Module Technical Reference [ S ]. Dallas: Texas Instrument, 00: 7-. [ 5] Texas Instrument. TMS0DM64 Video/ Imaging Fixed Point Digital Signal Processor [ S ]. Dallas: Texas Instrument Inc, 00: [6]MAY J F, BALDWIN C L. Driver fatigue: the importance of identifying causal factors of fatigue when considering detection and countermeasure technologies [ J ]. Transportation Research, 009():8-4. ( 编辑杨波 )

2 3. 1,,,.,., CAD,,,. : 1) :, 1,,. ; 2) :,, ; 3) :,; 4) : Fig. 1 Flowchart of generation and application of 3D2digital2building 2 :.. 3 : 1) :,

2 3. 1,,,.,., CAD,,,. : 1) :, 1,,. ; 2) :,, ; 3) :,; 4) : Fig. 1 Flowchart of generation and application of 3D2digital2building 2 :.. 3 : 1) :, 3 1 Vol. 3. 1 2008 2 CAA I Transactions on Intelligent Systems Feb. 2008, (,210093) :.,; 3., 3. :; ; ; ; : TP391 :A :167324785 (2008) 0120001208 A system f or automatic generation of 3D building models