颜色域信息时深度图像可以代替双目成像是对于研究领域还是非常昂贵一家以色列的公理想的深度图像如图 1 所示其中左图是立体司 PrimeSense 于 2010 年 4 月推出为微软 XBOX 专结构的可见光图像右图是深度图像距离相机越用的三维测量技术的外部设备 K

Size: px

Start display at page:

Download "颜色域信息时深度图像可以代替双目成像是对于研究领域还是非常昂贵一家以色列的公理想的深度图像如图 1 所示其中左图是立体司 PrimeSense 于 2010 年 4 月推出为微软 XBOX 专结构的可见光图像右图是深度图像距离相机越用的三维测量技术的外部设备 K"

枚贲
7 years ago
Views:

1 DOI: /j. issn 基于 Kinect 深度图像的人体识别分析李红波, 丁林建, 冉光勇 ( 重庆邮电大学网络智能研究所, 重庆 ) 摘要 : 介绍了深度图像在模式识别中的研究现状及其在人体识别中的应用针对目前普通相机拍摄的图像识别在光照姿态遮挡等因素影响下性能下降的问题, 以微软推出的 Kinect 设备为平台, 通过分析 Kinect 相机获取的深度图的特征, 提出以综合点特征和梯度特征的局域梯度特征的方式来对人体部位区分判定, 并以手肘为例作了简要论证关键词 : Kinect; 深度图像 ; 局域梯度特征 ; 人体识别中图分类号 : TP37 文献标识码 : A 文章编号 : ( 2012) 引言健全的交互式人体追踪已经在游戏人机交互安全工程远程呈现以及卫生保健等行业中得到应用 [1] 然而, 既能识别一般的身体动作, 同时又要以满足实时交互所需的速率在硬件上进行实现的技术研究目前还远远不能满足需求 [2] 随着微软 Kinect 深度摄像机的出现, 这一工作被大大简化面向交互应用, 基于深度图像进行动态动作识别, 最明显的技术特点就是识别的高速率, 即能够实现实时识别功能, 以及识别的精确度利用深度图像进行模式识别是近年来兴起的技术, 这主要得益于深度图摄像机的成本降低特别是微软推出 Kinect 设备, 极大地激发了研究者们的兴趣与飞行时间技术 ( time of flight,tof) 结构光三维激光扫描等深度相机相比,Kinect 深度相机的优势在于拍摄的深度图分辨率高, 成本低以往的利用可见光图像的单目识别常常遭遇光照变化阴影物体遮挡以及环境变化等因素的干扰利用深度图像进行模式识别可以很好地克服以上可见光图像模式识别常遇到的困难深度图像中像素的灰度值仅与视场窗口平面到物体表面的距离有关因此, 深度图像首先具有空间颜色收稿日期 : 无关性, 不会遇到光照阴影等因素的影响其次, 深度图像的灰度值与图像的横纵坐标组合在一起, 在一定的空间范围内, 可以用来表示物体在 3D 空间中的坐标, 因此可以等效成在 3D 空间中进行模式识别再者, 如果利用图像深度信息进行模式识别, 就相当于单目 3D 空间模式识别, 可以克服遮挡或重叠问题更重要的是, 深度图摄像机的成像原理可以很好地保证相机标定的鲁棒性, 适应各种环境变化, 使之容易自调节重新标定且不需要测量标定物这样, 系统研发可以更多关注识别算法本身, 而不会过分依赖于标定等前端工作的准确性, 极大地简化了实际应用系统的复杂程度 1 深度图像与人体识别的研究现状 1. 1 深度图像的概念与特征在 3D 计算机图形学中, 深度图像指从观察视角看去, 图像所包含信息与场景物体表面距离相关的一种图像或一个图像通道这样, 假设图像深度值的变化方向 ( 即摄像机拍摄方向 ) 与所需要描述的三维场景的视场方向 Z 方向相同的话, 那么就能够很容易地描述整个三维场景因此, 深度图像也称为距离图像与彩色图像相比, 深度图像能直接反映物体表面的三维特征, 且不受光照阴影和色度等因素的影响 [3] 在局部空间范围内和不需要 21

2 颜色域信息时深度图像可以代替双目成像是对于研究领域还是非常昂贵一家以色列的公理想的深度图像如图 1 所示其中左图是立体司 PrimeSense 于 2010 年 4 月推出为微软 XBOX 专结构的可见光图像右图是深度图像距离相机越用的三维测量技术的外部设备 Kinect ( 由动力学近的位置灰度值越小 kinetic 与连接 connect 2 个词汇组成的原创混合词) 该设备使用一种类似结构光而不是向空间发射特定形状的技术叫光编码 ( light coding) 技术其检测装置只需要一块普通的 CMOS 芯片因此成本大大降低可作为民用化设备其原理是对三维空间进行纵深标记标记的信号光源采用的是激光散斑( laser speckle) 当激光照射到粗糙物体或穿透毛图1 理想深度图像外观示意图玻璃后形成随机衍射斑点这些斑点会随着距离而根据深度图像的定义可以得到深度图如下 2 产生不同的图案因此相机拍摄前首先对三维空间 14 进行一次标定在 PrimeSense 的专利上标定的个性质: 1) 颜色无关性该性质表明深度图像与彩色方法是: 每隔一段距离取一个参考平面把参考平图像不同不会有光照阴影以及环境变化的干扰; 面上的散斑图案记录下来当检测物体时所拍摄 2) 灰度值变化方向与视场 Z 方向相同该性场景的散斑图像与标定的参考图像依次计算相关质表明利用深度图像可以在一定范围内重建 3D 系数存在物体的位置会出现峰值将每一层参考空间区域并且可以在一定程度上解决物体遮挡或平面处的峰值叠加然后经过一些插值计算就能同一物体各部分重叠的问题利用该特性即使 2 够得到整个三维场景形状了个物体有遮挡部分物体前后关系在深度图中产生 Kinect 设备的出现极大地激发了研究者们的兴的距离差别即灰度值的分层性也可以用某个阈趣特别是计算视觉和模式识别的研究者们其中值将遮挡物体或者同一物体的不同部分分割开来较为著名的应用有人体检测与跟踪姿势识这是可见光图像无法做到的别 1. 2 定的相通性其技术发展呈螺旋上升趋势 Lu 深度图像模式识别研究现状深度摄像机按照成像原理划分主要有飞行时和头部识别等这几篇文献中的工作有一 Xia 4 首先对深度图像利用 Canny 算子 8 进行边缘间法( TOF) 结构光 ( structured light) 三维激光扫提取然后通过计算距离变换和模型匹配的方法描( laser scanner) 等几种主要应用于机器人互动计算出头部的位置并根据经验比例定位整个人体游戏等领域其中飞行时间法的原理是通过给目进而达到检测与跟踪的目的与 Lu Xia 相比 Abh- 标连续发送光脉冲然后用传感器接收从物体返回的光通过计算光脉冲的往返飞行时间来得到目标物体的距离结构光法是一种主动光学测距技术其基本原理是由结构光投射器向被测物体表面投 ishek Kar 5 也是通过距离变换与模型匹配的方法但是在头部定位的时候选取的是训练过的 Haar 特征级联的分类模型训练方法采用 Adaboost 算法 Shotton 6 等提出一种对整幅图像逐点分类的方法射可控制的光点光条或光面结构并由图像传感特征采用像素差分分类方法采用随机森林训练过器( 如摄像机 ) 获得图像通过系统化的几何关系的分类器训练样本采用计算机图形学技术的人工利用三角原理计算得到物体的三维坐标三维激光扫描是利用脉冲激光或者相位激光结合快速扫描技术瞬间得到三维空间中坐标的点云 ( point 合成的人体深度图像与 Shotton 相比 G Fanelli 7 的方法也是采用人工合成深度图与变种的随机森林分类器训练的思路但是所解决的问题是人体 cloud) 数据测量值可以快速构建结构复杂不规则头部位置与方向的检测并采用头部非头部分别的场景作为正负样本做训练利用深度图像进行模式识别是近年来兴起的一种方法其原因是虽然上述 3 种深度图摄像机价格越来越便宜并且在工业上得到广泛应用但 22 DIGITAL COMMUNICATION / 深度图像在人体识别中的应用利用深度图像对人体进行识别主要包括人体部位的静态识别 ( 部分识别和全身识别 ) 对骨骼

3 关节位置的判定以及人体动作的动态识别等在 9 全身识别方面 Grest 运用迭代最近点法来追踪已 10 知大小的骨架和起始姿势 Anguelov 等人通过分割图像以及马尔可夫随机场( MRF) 模型将 3D 范围扫描数据中的人模型分割为头四肢躯干以及 11 背景几部分 Kalogerakis 用全封闭的三维网格从头顶开始进行分类并分割为不同的部分然而并没有解决遮挡问题以及对划分拓扑敏感问题 Plagemann 12 等建立了一个三维网格以找出与测量极值相关的点并将这些点分为头部手部脚部 3 部分 2. 2 Kinect 深度成像的基本原理 14 根据 PrimeSense 公司的专利记载 Kinect 深度成像的原理是一种叫做光编码 ( light coding) 的技术组成成像系统的三个核心元件包括: 激光发射器不均匀透明介质 CMOS 感光器件其构造图如 14 图 3 所示其中激光发射器与 CMOS 感光器件成一定角度对准目标场景而不均匀透明介质放置于激光发射器镜头前激光发射器透过不均匀介质发射激光在场景中形成激光散斑 CMOS 感光元件可以拍摄散斑图像人脸识别的研究主要集中在二维人脸图像 ( 灰度或彩色图像) 目前的二维人脸识别系统在受控条件下能取得很好的性能但在光照姿态化妆等因素影响下性能将急剧下降基于深度图像的三维人脸识别可以有效克服或减轻这些因素的影响天 13 津大学的叶剑华等采用局部二值模式 ( local bi- nary pattern LBP) 算子分别提取人脸灰度图像和深度图像的区域 LBP 直方图序列 ( LBP histogram sequence LBPHS) 对图像进行分块从不同层次进行分析将基于深度图像和灰度图像的算法进行融合以提高识别率 2 图3 成像系统构造图光编码技术的成像过程如图 4 所示第 1 步标定首先在目标区域距光源的多个不 Kinect 技术同位置分别用 CMOS 感光元件采集散斑图案然后存储这些不同位置的图案作为参考图像此时标定完 2. 1 Kinect 简介 Z2 Z3 Z4 成图 3 中参考图像的位置分别记为 Z1 Kinect 是微软在 2010 年 6 月 14 日对 XBOX360 第 2 步取样当不透明物体放入场景或者物体感周边外设正式发布的名字如图 2 所示 Ki- 体在场景中运动时在物体表面形成新的散斑得 nect 内置了用于语音识别的阵列麦克风系统带 1 到测试图像此时的散斑图样发生变化与所有参个 XBOX360 外接的 3D 体感摄影机利用即时动态考图像均不同在图 3 中物体 A 和物体 B 表面形捕捉影像辨识麦克风输入语音辨识等功能让玩成散斑的位置是 Z A Z B 家摆脱传统游戏手柄地束缚通过自己的肢体控制游戏第 3 步定位将测试图像与所有参考图像分别计算相关系数选取产生相关系数最大的参考图 Kinect 共有 3 个摄像头中间的镜头是 RGB 彩像即物体在该参考图像所在位置的可能性最大色摄像机左右两边镜头分别为红外线发射器和红在图 3 中场景放入 A 物体所拍摄的 Z A 位置散斑外线 CMOS 摄像机此外 Kinect 还搭配了追焦技测试图与 Z2 处参考图像相关系数最大即认为 A 物术底座马达会随着对焦物体的移动而转动体在 Z2 距离处同理 B 物体认为在 Z3 距离处第 4 步重建根据所选取的参考图像与光源间的标定关系通过几何变换计算得出物体到光源的距离构建 3D 图像并对距离数据归一化转换成图像灰度值最后将所生成的深度图像输出给外部处理设备此时即完成对场景某一时刻的深度图像拍摄向外部处理系统输出然后返回执行图2 Kinect 结构图第 2 步得到连续不断的深度图像视频流 23

4 3. 2 深度图像特征提取的问题分析在特征提取中好的特征是能够对不同类别的样本有很高的区分度并且尽可能的减少特征的维数以及计算量梯度与点特征是可见光人体识别的特征提取中两大类常见的特征梯度特征包括 Canny 算子 8 Laplace-Gaussian 15 算子和方向梯度 16 直方图 ( HOG) 等对于前 2 种算子能够比较好地检测出图像中所有边缘处的点即灰度值变化较大的点但是这 2 种方法很可能将图像分割成几个不连通的区域块对于复杂场景中的人体识别还需要进一步进行图像处理以排除其他噪声地干扰如果选用经典的形态学方法结合阈值分割虽然能够去除一部分细小噪声; 也有可能同时破坏被检测目标的形态方向梯度直方图是人体检测与识别中非常经典的方法其优点是处理精度高检测效果好但是缺点是维数高计算开销大动辄几千维因此实时处理很难保证另一方面常见的点 SIFT 19 等虽然维度不高但特征包括角点图光编码技术成像过程图深度图像的人体识别分析利用 Kinect 获取深度图像数据对常见的姿势进行识别试验需要收集用以训练的大量的人体姿态图像由于目前没有公开的深度图像人体姿态标准库因此利用微软 Kinect 设备自制小样本库如图 5 所示仅人的双手就能产生各种各样不同方式的动作人体能够做出的动作是无法统计完全的为避免在动作选取阶段进行大量重复性工作从中选取变化明显的动作样本从而生成人的不同形状及尺寸所对应的深度图该图位深是 16 bit 因此图像灰度值的范围是当取值为 0 时距离为最近有效距离; 当取值为时距离为 Kinect 深度摄像机所能支持的最远距离是点特征在背景比较凌乱的情况下难以适应人体多变的姿态而且点特征还需要进行聚类等操作加大了解决问题的难度因此单纯的采用梯度特征或者点特征都不是一个好的解决方案 3. 3 深度图像局域梯度特征的提出在分析深度图像的性质之后结合所要处理的深度图像如图 5 所示采用以下被本文称作深度图像局域梯度特征的方式该特征是点特征与梯度特征的良好结合并且很好地利用深度图像的性质能够反映特征点周围的局域信息梯度局域特征的示意图如图 6 所示设深度图像为 I 任意像素为 x d1 ( x) 是 x 点处的深度值( 灰度值) 另设集合 D 为方向集是平面八等分角的集合 tπ D = { α α = t Z} ( 1) 4 另外 K α = ( k1 k2 ) 代表以原点为起点与水平向右方向呈 α 角度的偏移向量满足 k1 k2 = 图5 24 深度图像样本 DIGITAL COMMUNICATION / {0常数 2 2 且 k1 + k2 0 α D ( 2) 式 ( 1) 中: t = 2* ( 2m + 1) ( m Z) 时 k1 = 0 k2 取常数值; t = 2* ( 2m) ( m Z) 时 k2 = 0 k1 取常数值; 其他情况下 k1 k2 取常数值另设 θ 是由任意 2 个偏移向量组成的向量对 θ = ( K u K v ) U V D 共 28 对对每个 θ 局域梯度特征计算如下 f θ ( l x) = d1 ( x + K u ) d1 ( x + K v ) ( 3)

5 式( 3) 中: f θ ( l x) 反映像素 x 周围的梯度信息并以此来表示像素 x 的特征既属于一种点特算术运算总共 28 维那么有 3 28 次加减法算术运算; 征也是一种类梯度特征是二者的良好组合对于同一个物体局域梯度特征具有空间位置不变性即当该物体在场景中自由平移时其表面上点 2) 深度图像不受光照颜色阴影或者纹理等因素的影响; 3) 采用梯度特征具有空间位置不变性的特征数值是不变的特别的对于球表面绝对不变即不随球体沿任意方向的旋转而改变因此该特征能够很好地区分表面凹凸不平的物体 4) 该特征已经包含邻域信息即用周围 8 个 4 举例论证对于人体部位与姿势深度图像局域梯度特征有很好的区分度以手肘为例取 28 维特征向量的其中 2 维来进行说明如图 6 图 a 是某一张深度图样本该人面朝镜头矩形框中是该人的左右两个手肘其左手肘是 90 向上弯曲右手肘向斜下方伸直图 b 与图 c 分别是左右手肘的放大图像设该 2 维特征分别是按照 θi = ( K u K vi ) θi = ( K u K vj ) 的偏移向量对计算得来对 θi 的特征值在图 b 中 f θi ( l X b ) 是一个较大的差值而 c 图中对应的一维特征值 f θi ( l X c ) 趋于 0; 反过来对于 θj 特征值对图 b 的手肘 f θi ( l X b ) 趋于 0 而图 c 中 f θi ( l X c ) 是一个很大的值此外可以直观地粗略估计对其他 26 维特征值 b 图与 c 图差别不大那么和的这 2 维特征值即可区分左右手肘以及左右手肘的姿势 ( 左手肘向上弯曲右手肘向斜下方伸直 ) 对于其他的动作或者姿势也可以用公式 ( 3) 计算得来的 28 维特征向量区分道理与图 6 所示相同点之间的相互梯度值代替中心像素周围一个常量尺度区域块因此该特征是颜色无关性与空间不变性的优美组合 5 结束语本文主要讲述了利用 Kinect 提取的深度图像进行人体部位识别的方法从深度图像在模式识别中的研究现状及其在人体识别中的应用出发结合 Kinect 摄像机及其成像原理针对可见光图像识别在光照姿态遮挡等因素影响下性能下降问题提出采用综合点特征与梯度特征相结合的局域梯度特征方式来区别人体部位和姿势的方法该方法对人体部位的区分提供了一种可行的解决方案由于深度图像的人体识别在一些细微动作识别以及处理速率上均有进一步提升和改进的空间所以在未来的工作中我们将在积极关注深度图像人体识别领域发展的同时努力改进识别算法进一步提高识别精确率和速率利用 Kinect 相机的深度图像人体识别在未来将有着广阔的发展空间参考文献: 1 王晓光苏群星虚拟维修通用仿真软件系统的设计 J 计算机仿真 ( 8) : YUKIHIRO M TOSHINORI Y VR-based interactive learning environment for power plant operator C Proceedings of the International Conference on Computers in Education Washington DC: IEEE Computer Society 2002: 图6 深度图像局域梯度特征这种深度图的局域梯度特征受启发于前人的工作不止一篇文献中提到了类似的思想或者变 Fanelli G 16 提出的思想是在此基础上加种上空间归一化系数且偏移半径尺度为随机数; Lepetit V 20 的思想是单纯的可见光灰度图像邻域偏移量相加减进而作为三叉树结构的分类; Shotton J 21 思想是中心像素 R G B 三个通道交叉相减深度图的局域梯度特征至少有 4 个优点: 1) 计算量小因为只涉及图像像素数值的 3 范剑英于舒春王洋基于法向分量边缘融合的深度图像分割 J 计算机工程 ( 17 ) : XIA Lu CHEN C C AGGARWAL J K Human detection using depth information by Kinect EB / OL ( ) http: download csdn net / download / guoming0000 / ABHISHEK K Skeletal tracking using Microsoft Kinect J Methodology 2010: SHOTTON J FITZGIBBON A COOK M Real-time human pose recognition in parts from single depth images 25

6 EB / OL ( ) http: www computer org / csdl / proceedings / cvpr /2011 /0394 /00 / abs html B Biological Sciences London : s n 1980: DALAL N TRIGGS B Histograms of oriented gradients for human detection C Proceedings of CVPR San 7 FANELLI G WEISE T GALL J Real time head pose Diego: s n 2005: estimation from consumer depth cameras EB / OL 17 HARRIS C STEPHENS M A combined corner and edge ( ) http: wenku baidu com / detector EB / OL http: www bmva view /4df718b569dc5022aaea0017 html org / bmvc /1988 / avc pdf 8 CANNY J A computational approach to edge detection J Pattern Analysis and Machine Intelligence ( 6) : SMITH S M BRADY J M S A new approach to low level image processing J International Journal of Computer Vision ( 1) : GREST D WOETZEL J KOCH R Nonlinear body pose estimation from depth images J Computer Science : 赵海李桐林于国锋复杂矩形网等值线图的剪切 J 中国图象图形学报 ( 4) : KALOGERAKIS E HERTZMANN A SINGH K Learning 3D mesh segmentation and labeling J ACM Transactions on Graphics ( 3) : LOWE D Distinctive image features from scale-invariant key points J International Journal of Computer Vision ( 2) : LEPETIT V LAGGER P FUA P Randomized trees for real-time key point recognition EB / OL ( ) http: cmp felk cvut cz / zimmerk / track3d / papers / LepetitLF05 pdf 12 PLAGEMANN C GANAPATHI V KOLLER D et al Re- 21 SHOTTON J JOHNSON M CIPOLLA R Semantic tex- al-time identification and localization of body parts from ton forests for image categorization and segmentation EB / depth images C Proceedings of the 2010 IEEE Interna- OL ( ) http: jamie shot- tional Conference on Robotics and Automation ( ICRA2010) ton org / work / publications / cvpr08 pdf Anchorage Alaska: s n 2010: 叶剑华刘正光多模态人脸识别融合方法比较研究 J 计算机工程与应用 ( 19) : 作者简介: 李红波( 1970-) 男甘肃兰州人高级工程师重庆邮电 14 GARCIA J VALENCIA E S ZALEVSKY Z et al 大学工程研究院副院长产学研办公室副主任主要研究方 Range mapping using speckle decorrelation: The United 向为数字媒体机器视觉虚拟现实; 丁林建( 1989-) 男安 States of America US B2 P 徽安庆人硕士研究生研究方向为数字媒体技术; 冉光勇 15 MARR D HILDRETH E Theory of edge detection C ( 1988-) 男重庆铜梁人硕士研究生研究方向为数字媒体 Proceedings of the Royal Society of London Series 技术 Analysis of human identification based on kinect depth image LI Hongbo DING Linjian RAN Guangyong ( Institute of Network Intelligence Chongqing University of Posts and Telecommunications Chongqing ) Abstract: Nowadays somatosensory human-computer interaction devices have become hotspot applications in the field of digital media These devices capture the depth images of players through several inner cameras and sensors from which human skeletons can be extracted and players' movement can be tracked and captured We introduce the research status of depth image in the field of pattern recognition and application of human recognition Since the recognition of images captured by common cameras shows poor performance in the influence of illumination posture and overlap based on the device of Microsoft Kinect the features of depth images captured by Kinect cameras are analyzed Then local gradient features integrating point features and gradient features have been put forward to identify human body Brief demonstration and analysis are given by taking elbow as an example Key words: Kinect; depth image; local gradient features; human recognition ( 责任编辑: 张 26 DIGITAL COMMUNICATION / 诚)

第 2 期王向东等 : 一种运动轨迹引导下的举重视频关键姿态提取方法 257 竞技体育比赛越来越激烈, 为了提高体育训练的效率, 有必要在体育训练中引入科学定量的方法许多

第 2 期王向东等 : 一种运动轨迹引导下的举重视频关键姿态提取方法 257 竞技体育比赛越来越激烈, 为了提高体育训练的效率, 有必要在体育训练中引入科学定量的方法许多 2014 年 4 月图学学报 April 2014 第 35 卷第 2 期 JOURNAL OF GRAPHICS Vol.35 No.2 一种运动轨迹引导下的举重视频关键姿态提取方法王向东 1, 张静文 2, 毋立芳 2, 徐文泉 (1. 国家体育总局体育科学研究所, 北京 100061;2. 北京