标题

Size: px

Start display at page:

Download "标题"

许黎
7 years ago
Views:

1 第 43 卷增刊吉林大学学报 ( 工学版 ) Vol. 43 Sup 年 3 月 Journal of Jilin University (Engineering and Technology Edition) Mar 步态能量图的局部纹理特征分析方法张元元 1, 李静 2, 姜树明 1, 杨子江 1 1, 张江州 (1. 山东省科学院情报研究所, 济南 ;2. 山东省工会管理干部学院信息工程学院, 济南 ) 摘要 : 基于步态能量图表示方法, 采用纹理特征分析方法对其亮度值的局部空间分布特性进行分析, 得到局部变化幅度局部标准差局部熵三种纹理特征采用经典的欧氏距离和最近邻分类器完成分类识别 CASIA 步态数据库上的实验结果验证了算法的有效性关键词 : 步态识别 ; 步态能量图 ; 灰度图像 ; 亮度分布 ; 局部纹理特征中图分类号 :TP391 文献标志码 :A 文章编号 : (2013)Sup Local features of gait energy image through the method of texture analysis ZHANG Yuan-yuan 1,LI Jing 2,JIANG Shu-ming 1,YANG Zi-jiang 1,ZHANG Jiang-zhou 1 (1. Information Research Institute, Shandong Academy of Sciences, Jinan , China;2. School of Information Engineering, Shandong Institute of Trade Unions Administration Cadres,Jinan ,China) Abstract:Based on the representation of gait energy image ( GEI),the method of texture analysis was used to describe the local space distribution of pixel brightness. Three different local textural features which are the range of local brightness ( ROLB),the standard deviation of local brightness ( SDOLB),and the entropy of local brightness ( EOLB) were obtained. The classic Euclidean distance and nearest neighbor classifier were adopted to discriminate different patterns. The experiments on CASIA gait database demonstrate the effectiveness of the proposed method. Key words:gait recognition;gait energy image;gray image;brightness distribution;local texture features 步态是指人走路的姿态和方式, 相应的步态识别是指根据人走路的姿态和方式以及动力学特征来识别人的身份相较于其他生物特征, 步态具有其独特优势首先, 步态不需要被监测人的配合及肢体上的物理接触 ; 其次, 步态难以伪装模仿或隐藏, 并具有非侵犯性 ; 此外, 步态是远距离情况下唯一可感知的生物特征, 可实现低分辨率识别 [1] 步态识别在特殊场合的访问控制和安全鉴定及智能视觉监控等方面具有广泛的应用价值, 近年来受到越来越多的关注, 同时也涌现出大量有意义的步态识别算法根据建模与否, 可将现有的步态识别方法概括为模型方法和非模型方法两大类 [2] 模型方 [3] 法尝试对人体结构或运动方式建模, 但模型建立和参数估计的计算复杂度较高非模型方法从人体运动的时空模式中提取步态特征, 是目前的 [4] 主流方法例如,Wang 等提出的序列轮廓变化统计表达方法, 他将一个序列的步态轮廓统计 [5] 表达为一个均值轮廓 Zhang 等利用形状上下 [6] 文描述子和切向角特征得到了均值轮廓的更好表达步态能量图 ( Gait energy image,gei) [7] 是二值侧影序列的紧致表示, 具有较好的鲁棒性收稿日期 : 基金项目 : 山东省科技发展计划项目 (2012GSF12004). 作者简介 : 张元元 (1984-), 男, 博士, 助理研究员. 研究方向 : 图像处理, 模式识别与计算机视觉. zhangyy@ sdas. org

山东省工会管理干部学院信息工程学院, 济南 250100) 摘要 : 基于步态能量图表示方法, 采用纹理特征分析方法对其亮度值的局部空间分布特性进行分析, 得到局部变化幅度局部标准差局部熵三种纹理特征采用经典的欧氏距离和最

2 194 吉林大学学报 ( 工学版 ) 第 43 卷和识别性能, 其改进算法较多, 如帧间差能量图方法 [8] [9] 运动能量图方法等步态能量图是一幅灰度图像, 利用纹理分析方法分析其灰度值的空间分布情况的研究比较鲜见本文从步态图像序列的能量图表示的局部亮度值变化规律着手, 提取其亮度值变化的幅度标准差和熵等纹理信息, 得到了增强型能量图步态特征表示识别结果均优于现有方法 1 步态序列的能量图表示 GEI [7] 是一种步态序列的紧致表示, 它用二值侧影步态序列的均值图像表示步态的时空变化模式, 具有较好的鲁棒性和识别性能, 对噪声不敏感, 能较大程度地降低存储量和计算量对一个具有 N 帧图像的步态侧影序列,GEI 实际上是所有图像的平均侧影图像, 定义为 GEI(x,y) = 1 N N B t (x,y) (1) t = 1 式中 :(x,y) 为像素点的二维坐标 ;B t ( x,y) 表示第 t 帧二值侧影图像 ;0 GEI( x,y) 1 得到的 GEI 是一幅灰度图像, 图 1 展示了 CASIA 数据库中 4 个目标的 GEI 图像图 1 Fig. 1 原始 GEI 图像 The original GEI 关于 GEI 的改进算法较多, 如帧间差能量图方法 [8] [9] 运动能量图方法等, 但这些方法基本上都是对 GEI 进行某种全局变换, 这些变换往往忽略了局部细节之间的差异本文考虑利用纹理特征分析方法对步态能量图做进一步的特征提取与分析, 得到新的增强型步态特征表示从图像中计算出来的一个值, 它对区域内部灰度级变化的特征进行量化与其他特征相比, 纹理特征是一种不依赖于物体表面色调或亮度的反映图像灰度 ( 或色彩 ) 的空间排列分布模式, 能够反映图像中同质现象的视觉特征 [10] 基于以上理论, 本文认为从步态图像的纹理特征中能得到可鉴别的模式 GEI 是一幅灰度图像, 理论上可对 GEI 进行纹理分析不同于灰度 [10] 共生矩阵统计整幅图像灰度级变化的空间依赖性, 本文尝试从局部考察 GEI 的亮度变化, 得到了局部变化幅度 (The range of local brightness, ROLB) 局部标准差 ( The standard deviation of local brightness,sdolb) 和局部熵 ( The entropy of local brightness,eolb) 等三种不同的局部纹理特征 2. 1 局部变化幅度纹理特征对于任意步态序列的 GEI, 确定图像中的任一参考像素点 p(x,y), 其中 (x,y) 是点 p 的坐标定义一个以 p 为中心, 大小为 t t 的邻域 P 假定 P 中元素的最大亮度值为 F max, 元素的最小亮度值为 F min, 则点 p 处的局部变化幅度 ROLB( x,y) 为 ROLB(x,y)= F max -F min (2) 当 p 遍历整幅 GEI 图像时, 可得到一个与 GEI 大小相同的局部变化幅度矩阵这个矩阵反映了原 GEI 图像亮度值的局部变化情况, 是一种局部纹理特征在纹理较平滑的区域, 局部变化幅度矩阵的值相对较小 ; 而在纹理较粗糙的区域, 局部变化幅度矩阵的值相对较大以图像化的方式表示局部变化幅度矩阵, 可直观地看出原 GEI 的亮度变化情况图 1 中 4 个目标的局部变化幅度图像如图 2 所示 2 GEI 的纹理特征分析纹理是图像的重要特征之一, 它反映了图像灰度的性质及其空间关系, 是图像中一个重要而又难以描述的特征普遍认为纹理是一种区域性特征, 依赖于所考察的邻域 ; 纹理描述的是灰度值的空间分布情况 ; 纹理的感知与图像的分辨率有较大关系纹理特征提取是将纹理的空间结构差异映射为特征灰度值差异, 所提取的纹理特征是图 2 局部变化幅度图像 Fig. 2 The ROLB image 2. 2 局部标准差纹理特征与局部变化幅度不同, 局部标准差反映的是图像在某一邻域内亮度变化的强度, 即邻域内各亮度值偏离亮度均值的程度, 它量化了亮度值的离散程度标准差越大, 代表亮度值和其平均值

步态序列的均值图像表示步态的时空变化模式, 具有较好的鲁棒性和识别性能, 对噪声不敏感, 能较大程度地降低存储量和计算量对一个具有 N 帧图像的步态侧影序列,GEI 实际上是所有图像的平均侧影图像, 定义为 GEI(x,y) = 1 N

3 增刊张元元, 等 : 步态能量图的局部纹理特征分析方法 195 之间差异较大 ; 一个较小的标准差, 意味着亮度值分布在离平均值较近的区域内给定一个像素点 p(x,y) 及其邻域 P t t, 点 p 的标准差 SDOLB( x, y), 可从邻域内所有像素点亮度值的二阶中心距计算得到 : SDOLB( x,y) = 1 M-1 (F(i,j) -m - ) 2 (3) (i,j) p 式中 :F(i,j) 为像素点 ( i,j) 的亮度值 ;M 为 P 内像素点的个数 ;m - 表示该邻域内所有像素点亮度值的平均值类似地, 计算原始 GEI 中每一点的局部标准差, 可得到与原图像大小相同的局部标准差矩阵将局部标准差矩阵表示成灰度图像, 便得到局部标准差图像, 可直观地看出原灰度图像局部亮度值变化的剧烈程度图 1 中 4 个目标的局部标准差图像如图 3 所示 3 相似性度量从图 2 ~ 图 4 可直观看出, 不同目标之间的纹理图像差别较大, 可为分类判决提供有效信息本文采用最简单的欧氏距离衡量任意两个纹理图像之间的距离对于任意 GEI 的局部纹理特征图像 Q 1, 它与另一 GEI 的同类纹理特征图像 Q 2 之间的距离 ( 相似性 ) 可用下式来算 : d(q 1,Q 2 )= Q 1 -Q 2 = i (Q i (i,j) -Q 2 (i,j)) 2 (5) j 式中 :(i,j) 表示纹理特征图像的像素点坐标 Q 1 和 Q 2 可分别同时为局部变化幅度图像局部标准差图像局部熵图像分类时, 本文采用标准的有监督模式分类技术来实现分类, 选用最简单的分类方法, 即最近邻分类器 ( NN), 它将测试样本分类为离其最近的训练样本所属的类别 4 实验结果与分析图 3 Fig 局部熵纹理特征局部标准差图像 The SDOLB image 熵是图像中信息量的测度, 是测量灰度级分布随机性的一种特征参数, 其定义最早由 [11] Shannon 等给出计算某邻域内亮度值的熵, 可得到该邻域中心点的局部熵假定邻域的大小为 t t, 一般 t 为奇数指定某个像素点 p( x,y), 该点处的局部熵 EOLB(x,y) 可用下式计算 : EOLB(x,y) = - j i F(i,j)log 2 F(i,j),(i,j) P (4) 熵反映了某邻域内像素亮度值的不确定性, 熵越大表明不确定性程度越高计算原图像中所有点的局部熵, 可得到局部熵矩阵将局部熵矩阵表示成灰度图像, 便得到局部熵图像, 可直观地看出原灰度图像局部亮度值变化的不确定程度图 1 中 4 个目标的局部熵图像如图 4 所示 Fig. 4 图 4 局部熵图像 The EOLB image [12] 本文采用 CASIA 步态数据库中两个不同规模的数据集来验证算法的有效性其中, 小规模库为 CASIA-A 数据集 ( 即以前的 NLPR 数据库 ) 该数据集共有 20 个人, 每人分别在三个拍摄视角 (0,45,90 ) 下行走 4 次实验中采用视角为 90 时的全部 80 个步态序列大规模库为 CASIA-B 数据集, 共有 124 个人, 每个人有 11 个视角 (0,18,36,,180 ), 在三种行走条件 ( 普通条件穿大衣携带包裹等 ) 下采集这里使用了该数据集中 90 视角下的全部 744 个步态序列本文在上述两个数据库上测试了提出算法的识别性能 ( Classification performance) 和校验性能 ( Verification performance) 原始 GEI 图像的分辨率为 90 60, 相应的纹理特征图像也具有相同的分辨率计算局部变化幅度图像和局部标准差图像时, 邻域大小为 3 3 而计算局部熵图像时, 邻域大小为 9 9 为表述方便, 将 GEI 的三种局部纹理特征按如下方式简记 : 局部变化幅度记为 GEI-ROLB ; 局部标准差记为 GEI-SDOLB ; 局部熵记为 GEI-EOLB 此外, 将原始 GEI 算法简记为 Original-GEI 4. 1 识别性能测试识别性能时, 采用留一交叉校验 (Leave-one-out cross-validation) 获得正确识别率 (Correct classification rate,ccr) 的无偏估计, 即

一点的局部标准差, 可得到与原图像大小相同的局部标准差矩阵将局部标准差矩阵表示成灰度图像, 便得到局部标准差图像, 可直观地看出原灰度图像局部亮度值变化的剧烈程度图 1 中 4 个目标的局部标准差图像如图 3 所示 3 相似

4 196 吉林大学学报 ( 工学版 ) 第 43 卷每次留出一个样本序列作为测试样本, 依据与余下样本的相似性分类被留出的样本三种纹理特征在 CASIA-A 和 CASIA-B 数据集上的 CCR 如表 1 所示从表 1 中可容易地看出, 使用纹理特征后,CCR 得到了显著提高表 1 Table 1 两个数据集上的 CCR The CCR of two datasets 方法 CASIA-A-CCR / % CASIA-B-CCR / % Original-GEI [7] GEI-EOLB GEI-SDOLB GEI-ROLB 此外, 本文还采用累积匹配度 ( Cumulative match scores,cms) 来评估算法性能 CMS 定义为一个测试度量的实际类别在它的前 Rank 个匹配值之间的累积概率 p (Rank) CCR 是 Rank 等于 1 时的累计识别率三种局部纹理特征在两个数据集上的 CMS 曲线分别如图 5 图 6 所示图 5 图 6 算法在 CASIA-A 数据集上的 CMS 曲线 Fig. 5 The CMS curves on CASIA-A 算法在 CASIA-B 数据集上的 CMS 曲线 Fig. 6 The CMS curves on CASIA-B 从图 5 和图 6 所示的实验结果可知, 三种局部纹理特征在两个数据集上的识别性能均优于原始 GEI 算法局部纹理特征在两个数据集上的识别性能均有所提升, 说明 GEI 图像中从局部亮度的变化规律中提取的纹理特征具有更强的鉴别能力为了进一步说明纹理特征的优越性, 我们将提出算法与近年来的主要算法进行了对比, 在 CASIA-A 数据集和 CASIA-B 数据集上的对比情况分别如表 2 和表 3 所示表 2 Table 2 CASIA-A 数据集上与其他算法的对比情况 Comparison to other algorithms on CASIA-A 方法 Top1 / % Top5 / % Top10 / % Wang 2003 [4] Wang 2004 [3] Cheng 2008 [13] Lee 2009 [14] Zhang 2009 [5] Zhang 2009 [15] Zhang 2010 [6] Table 3 GEI-ROLB 表 3 B 数据集上与其他算法的对比情况 Comparison to other algorithms on CASIA-B 方法 CCR / % Wang 2003 [4] Sarkar 2005 [16] Wang 2009 [17] Zhang 2009 [18] Zhang 2009 [5] Zhang 2010 [6] GEI-SDOLB 从表 2 和表 3 中的结果可知, 通过与其他算法的对比, 提出算法较好地展示了优越性特别是在 CASIA-A 数据集上, 局部变化幅度纹理特征 [3] ( GEI-ROLB ) 的识别率与 Wang 等融合静态特征和动态特征后的结果相当, 而本文的纹理特征的计算复杂度远低于 Wang 的方法, 无需复杂的模型建立与参数估计过程此外, 在 CASIA-B 数据集上本文算法更是达到了 % 的高识别率 4. 2 校验性能基于留一交叉校验, 本文还评估了算法的校验性能, 即评估算法防止恶意攻击或入侵的能力校验性能由错误接受率 ( False acceptance rate, FAR ) 和错误拒绝率 ( False rejection rate, FRR) 来表征为了直观地表示 FAR 与 FRR, 可将 FAR 与 FRR 在同一相似性阈值下变化用接受者操作特性曲线 ( Receiver operating characteristic,roc) 表示一般 ROC 曲线下的面积越小, 说明算法的校验性能越好三种局部纹理特征在两个数据集上的 ROC 曲线分别如图 7 和图 8 所示由图可见, 提出算法的校验性能优于原始算法

5 增刊张元元, 等 : 步态能量图的局部纹理特征分析方法 197 为身份识别和鉴别的依据参考文献 : 图 7 算法在 CASIA-A 数据集上的 ROC 曲线 Fig. 7 The ROC curves on CASIA-A 图 8 算法在 CASIA-B 数据集上的 ROC 曲线 Fig. 8 The ROC curves on CASIA-B 此外, 本文还用等错误率 ( Equal error rate, EER) 衡量 FAR 与 FRR 之间的平衡性, 它是一个与阈值无关的校验性能评估参数 EER 值越低, 则系统的性能越好, 反之, 则越差三种纹理特征在 CASIA-A 和 CASIA-B 数据集上的 EER 列于表 4 表 4 中的数据表明, 纹理特征的 EER 较原始算法总体上有所下降, 说明提出算法的校验性能更好表 4 两个数据集上的 EER Table 4 The EER of two datasets 方法 CASIA-A-EER CASIA-B-EER Original-GEI [7] GEI-EOLB GEI-SDOLB GEI-ROLB 结论从纹理分析的角度提取 GEI 的纹理特征来实现基于步态的身份识别提取的纹理特征包括局部变化幅度局部标准差和局部熵等三种 CASIA 数据库上的大量实验结果和对比数据验证了提出算法的有效性, 表明 GEI 的纹理特征具有较强的模式鉴别能力, 步态图像的纹理信息可作 [ 1 ] Nixon M S,Carter J N. Advances in automatic gait recognition [ C] Proc of Sixth IEEE International Conference on Automatic Face and Gesture Recognition, 2004: [ 2 ] 张元元. 基于序列统计特性的步态识别算法研究 [D]. 济南 : 山东大学,2010. Zhang Yuan-yuan. Gait recognition based on statistical characteristics of image sequences[ D]. Jinan:Shandong University,2010. [ 3 ] Wang L,Ning H Z,Tan T T,et al. Fusion of static and dynamic body biometrics for gait recognition [ J]. IEEE Transactions on Circuits and Systems for Video Technology,2004,14(2): [ 4 ] Wang L,Tan T T,Hu W M,et al. Automatic gait recognition based on statistical shape analysis [ J]. IEEE Transactions on Image Processing,2003,12 (9): [ 5 ] Zhang Y Y,Wu X J,Ruan Q Q. Combining procrustes shape analysis and shape context descriptor for silhouette-based gait recognition [ J ]. Electronics Letters, 2009,45(13): [ 6 ] 张元元, 吴晓娟, 阮秋琦. 基于切向角特征的统计步态识别 [ J]. 模式识别与人工智能,2010,23 (3): Zhang Yuan-yuan,Wu Xiao-juan,Ruan Qiu-qi. Statistical gait recognition based on tangent angle features[ J]. Pattern Recognition and Artificial Intelligence,2010,23 (3): [ 7 ] Han J,Bhanu B. Individual recognition using gait energy image [ J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2006,28(2): [ 8 ] Chen C,Liang J,Zhao H,et al. Frame difference energy image for gait recognition with incomplete silhouettes [ J]. Pattern Recognition Letters,2009,30 ( 11): [ 9 ] Lee H,Hong S,Nizami I F,et al. A noise robust gait representation: motion energy image [ J]. International Journal of Control, Automation and Systems, 2009, 7 (4): [10] Haralick R M, Shanmugam K, Dinstein I H. Textural features for image classification [ J]. IEEE Transactions on Systems, Man, and Cybernetics,1973,3 ( 6 ): [11] Shannon C E, Weaver W. The mathematical theory of communication[ M]. Urbana, IL: University of Illinois

CASIA-B 数据集上的 EER 列于表 4 表 4 中的数据表明, 纹理特征的 EER 较原始算法总体上有所下降, 说明提出算法的校验性能更好表 4 两个数据集上的 EER Table 4 The EER of two datasets 方法 CASIA-A-EER CASIA-B-EER

6 198 吉林大学学报 ( 工学版 ) 第 43 卷 Press,1949. [12] Yu S, Tan D, Tan T. A framework for evaluating the effect of view angle,clothing and carrying condition on gait recognition [ C ] Proc 18th ICPR, 2006: [13] Cheng M H,Ho M F,Huang C L. Gait analysis for human identification through manifold learning and HMM [ J]. Pattern Recognition,2008,41(8): [14] Lee H,Hong S,Kim E. Neural network ensemble with probabilistic fusion and its application to gait recognition [ J]. Neurocomputing,2009,72(7): [15] 张元元, 吴晓娟, 阮秋琦. 基于快速形状匹配的步态识别算法 [C] 2009 年全国模式识别学术会议暨中日韩模式识别学术研讨会,2009: Zhang Yuan-yuan, Wu Xiao-juan, Ruan Qiu-qi. Gait recognition based on fast shape matching. [ C] Proc of 2009 Chinese Conference on Pattern Recognition ( CCPR2009),2009: [16] Sarkar S,Phillips P J,Liu Z,et al. The humanid gait challenge problem:data sets,performance,and analysis [ J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2005,27(2): [17] 王科俊, 贲晛烨, 刘丽丽, 等. 基于能量的信息融合步态识别 [J]. 华中科技大学学报 : 自然科学版,2009, 37(5): Wang Ke-jun,Ben Xian-ye,Liu Li-li,et al. Gait recognition using information fusion of energy [ J]. Journal of Huazhong University of Science and Technology ( Nature Science Edition),2009,37(5): [18] Zhang E,Ma H,Lu J,et al. Gait recognition using dynamic gait energy and PCA+LPP method [ C] Proc of International Conference on Machine Learning and Cybernetics,Baoding,China,2009:50-53.

Gait analysis for human identification through manifold learning and HMM [ J]. Pattern Recognition,2008,41(8):2541-2553. [14] Lee H,Hong S,Kim E.

1 引言

1 引言 P P 第 40 卷 Vol.40 第 7 期 No.7 计算机工程 Computer Engineering 014 年 7 月 July 014 开发研究与工程应用文章编号 :1000-348(014)07-081-05 文献标识码 :A 中图分类号 :TP391.41 摘基于图像识别的震象云地震预测方法谢庭,