幻灯片 1

Size: px

Start display at page:

Download "幻灯片 1"

群镌皮
5 years ago
Views:

1 硕士学位论文答辩报告基于深度学习的步态识别关键技术研究答辩人 : 张诚导师 : 马华东教授

2 提纲研究背景与意义基于传统卷积神经网络的步态识别技术步态识别中的距离度量学习模型基于时空联合深度神经网络的步态识别技术工作总结与展望

3 提纲研究背景与意义基于传统卷积神经网络的步态识别技术步态识别中的距离度量学习模型基于时空联合深度神经网络的步态识别技术工作总结与展望

步态的定义步态, 即人行走的姿态包括行走过程中上肢下肢关节处呈现出有规律的运动趋势和变化步态识别是一种生物识别技术, 通过对步态的分析, 可以得到身份和属性 ( 性别年龄种族等 ) 信息 Gait analysis is the systematic study of animal locomotion, more

4 步态的定义步态, 即人行走的姿态包括行走过程中上肢下肢关节处呈现出有规律的运动趋势和变化步态识别是一种生物识别技术, 通过对步态的分析, 可以得到身份和属性 ( 性别年龄种族等 ) 信息 Gait analysis is the systematic study of animal locomotion, more specifically the study of human motion, using the eye and the brain of observers, augmented by instrumentation for measuring body movements, body mechanics, and the activity of the muscles.

5 选题背景现代智能监控 / 安防系统 : 以人为中心目标识别技术 : 外观 / 形态特征融合生物特征对行人进行识别时, 由于人体具有非刚性, 外观在不同环境下变化剧烈, 仅仅依靠外形特征难以识别, 而诸如步态这种生物特征却十分有效不同场景监控视频样例碟中谍 5 中的步态识别黑科技

6 步态特征的优势生物识别技术可远程获取可以通过一定距离获取特定目标的步态信息, 采用非接触性的方式进行隐蔽采集 ( 指纹虹膜 ) 鲁棒性在低质监控画面下仍然有较好的识别效果 ( 人脸声纹 ) 安全性难以模仿, 在公共场合行人要刻意改变自己的步态, 往往会变得更加可疑而引起注意虹膜识别人脸识别指纹识别声纹识别步态识别

The Journal of Bone & Joint Surgery, 1964, 46(2): 335-360. [2] Johansson G.

7 步态模式的唯一性步态特征可识别性的生理学解释人体关节点示例步态是一种可识别的周期性运动模式 [1] Murray M P, Drought A B, Kory R C. Walking patterns of normal men[j]. The Journal of Bone & Joint Surgery, 1964, 46(2): [2] Johansson G. Visual perception of biological motion and a model for its analysis[j]. Attention, Perception, & Psychophysics, 1973, 14(2):

8 难点不同行人之间的类间差异太小 (Intra-class) 如何在步态识别场景下设计更加鲁棒的特征相同行人不同场景下的类内差异太大 (Inter-class) 行走速度观察视角衣着佩戴不同行人侧面 90 视角特征轮廓图相同行人不同穿戴示意图正常大衣背包

9 研究现状步态识别运动检测特征提取运动模式分析 GMM 运动检测方法 VIBE 基于二维结构基于非结构分析基于三维结构基于动态匹配的分析基于周期特征的分析基于时序建模的分析基于时间切片的分析腿部二维结构全身二维结构实心轮廓图轮廓线分析光流分析深度相机预处理空间维度分析时间维度分析

et al] 基于外观匹配的方法 (Appearance-based) 适合于户外场景步态识别,

10 存在的问题基于模型匹配的方法 (Model-based) 从步态序列中抽取人体结构特征进行匹配对采集图像分辨率要求较高椭圆拟合结果 [Huang et al] 全身结构模型提取结果 [Wang et al] 基于外观匹配的方法 (Appearance-based) 适合于户外场景步态识别, 对采集图像分辨率要求有所降低如何选择合适的特征是一大挑战 (SIFT,HOG,LBP 等 ) 人工特征很难打破特征表示的瓶颈

11 深度学习 (Deep Learning) 2012 年以来, 深度模型在语音视觉和自然语言处理领域取得了巨大的成功深度学习 BP 神经网络限制性玻尔兹曼机自编码器卷积神经网络稀疏编码深度置信网络卷积神经网络 LeNet

12 研究框架基于深度学习的步态识别关键技术研究

13 技术路线图输入 : 步态能量图领域鸿沟 ( 分类 vs 问题 ) 输入 : 步态序列 Siamese Network 能够解决目标识别场景下的特征度量问题 3D-Conv. Network 能够提取步态序列特征, 充分利用步态的周期性特征辅助识别

14 提纲研究背景与意义基于传统卷积神经网络的步态识别技术步态识别中的距离度量学习模型基于时空联合深度神经网络的步态识别技术工作总结与展望

15 步态识别的基本框架

The OU-ISIR gait database comprising the large population dataset and performance

16 步态特征图的生成目前广泛使用的步态特征包括以下几种 : GEI (Gait Energy Image) 是最为有效的特征图步态能量图步态频繁域图步态熵步态掩模步态时序图步态流图 Iwama H, Okumura M, Makihara Y, et al. The OU-ISIR gait database comprising the large population dataset and performance evaluation of gait recognition[j]. IEEE Transactions on Information Forensics and Security, 2012, 7(5):

17 步态能量图对一个周期内的步态序列进行加权平均计算简单最大化保留运动的时序信息对于单帧轮廓分割不佳带来的噪声具有很强的鲁棒性 GEI 的合成不同视角 GEI GEI 的合成

18 基于传统 CNN 的步态特征提取实现方法 : 用分类模型来处理识别问题网络配置 :AlexNet 初始化模型 :Caffe model 特征输出层类别 :3835 subjects in OU-ISIR LP database 策略 : 参数微调,Fine-tuning 参数设置 : 固定卷积层参数, 优调全连接层参数特征选择 : 抽取 CNN.FC1 层参数, 使用 K 近邻法进行行人匹配

19 基于传统 CNN 的步态特征提取基于深度学习的层次化步态特征提取两大优点 CNN 能够从简单的抽象输入图像中自动提取出具有区分性的特征而不需要了解领域知识 Fine-tuning 能够防止过拟合现象以及随机参数训练可能导致的新模型不收敛问题, 同时加快训练速度

Automatic gait recognition based on statistical shape analysis[j]. IEEE T-IP, 2003, 12(9): 1120-1131.

20 数据库 CASIA-B 中科院自动化所于 2005 年 1 月采集常用步态数据库 93 名男性和 31 名女性 11 个视角 3 种行走条件 ( 普通大衣背包 ) OU-ISIR Large Population 日本大阪大学于 2012 年采集, 持续更新中世界上最大的步态数据库使用范围广泛, 最具挑战性的身份识别数据库划分好的查询集和源数据集, 适合算法对比 [1] Wang L, Tan T, Hu W, et al. Automatic gait recognition based on statistical shape analysis[j]. IEEE T-IP, 2003, 12(9): [2] Iwama H, Okumura M, Makihara Y, et al. The OU-ISIR gait database comprising the large population dataset and performance evaluation of gait recognition[j]. IEEE T-IFS, 2012, 7(5):

21 属性识别 vs 身份识别研究目标属性识别粗分类, 例如性别年龄种族体型等身份识别精确定位, 中远距离人数较少等场景中对特定目标的查找和验证问题模型方法二分类或者类别较少识别与验证问题数据获取代价数据广泛, 统计建模特定身份行人的多视角数据解决方法的通用性挑战运动检测, 特征特区, 运动模式分析类内差异大类间差异小

22 性别分类数据库 :CASIA-B 实验设置 : 随机选取了 31 名男性和所有的 31 名女性普通行走状态步态数据评价指标 :62 段样本交叉验证的结果作为正确分类率流程 : 前景背景分割周期检测步态能量图的生成 CNN Fine-tune 训练 Softmax 分类 90 视角下性别分类准确率不同视角下性别分类准确率方法准确率 % 提出的方法 Li et al. [T-SMC 08] % 95.00% T-SMC 11 Yu et al. [T-IP 09] % 90.00% Hu et al. [ICPR 10] % 85.00% Hu et al. [T-SMC 11] % 80.00% 提出的方法 % 75.00%

23 身份识别数据库 :OU-ISIR Large Population 实验设置 : 只使用 Gallery 库进行训练, 其他测试条件同 [1] 评价指标 :Rank-1 和 Rank-5 正确识别率流程 : 前景背景分割周期检测步态能量图的生成 CNN Fine-tune 训练 CNN 特征提取 K 近邻查询 Rank-1 正确率 Rank-5 正确率 [1] Iwama H, Okumura M, Makihara Y, et al. The OU-ISIR gait database comprising the large population dataset and performance evaluation of gait recognition[j]. IEEE Trans. on Information Forensics and Security, 2012, 7(5):

24 面临问题训练数据量太小深度学习需要依赖于庞大的训练数据为了学习到丰富的特征,CNN 需要每一类目中都包含大量的训练样本与之矛盾的是, 在步态识别领域的数据库中, 行人的身份数据很多, 但是同一样本的数据却很少步态数据库的数量远远小于 ImageNet 图像库, 步态图像与 ImageNet 图像存在较大差异领域鸿沟分类模型和识别问题存在领域鸿沟大部分的可以被用于预训练的深度模型都是来源于分类任务, 而识别任务与分类任务的具有本质的区别

25 提纲研究背景与意义基于传统卷积神经网络的步态识别技术步态识别中的距离度量学习模型基于时空联合深度神经网络的步态识别技术工作总结与展望

26 距离度量学习 (Distance Metric Learning) 度量学习基本理论度量学习在计算机视觉中的应用从 Euclidean 距离到 Mahalanobis 距离人脸识别直接使用 CNN 存在领域鸿沟手写字母识别将深度学习应用于小规模数据集相似图像块匹配图像检索中的排序 Small Large

27 基于 Siamese 网络的步态识别技术传统的 CNN 将步态识别问题转化为行人分类问题, 但是二者之间存在巨大的领域鸿沟基于 Siamese Neural Network 的步态识别整体框架图

28 本文设计的并行深度神经网络样本距离度量函数 : 对比损失函数 : 样本数量样本标签 (1/0) 优化的参数集合 Margin

29 训练样本集的构建训练数据集是高度不平衡的正负样本集须保证平衡, 防止偏置 (biased) 负样本集须保证多样性, 防止模型在某一类负样本例上发生过拟合具体操作从步态数据库中选择正负样本构建神经网络训练数据集, 其中身份相同的两段步态序列为正样本对, 同时设置标签为 1; 身份不同的两段步态序列为负样本对, 同时设置标签为 0 从 OU-ISIR LP 数据库中的 Gallery 集合中抽取所有的 20,000 对正样本, 并且使用了一个 Sampler 抽取了等量的负样本作为最终的训练集

30 实验数据库 :OU-ISIR Large Population 评价指标 :Rank-1 和 Rank-5 正确识别率对比方法 : 目前最优的步态识别方法, 包括 : GEI [TIFS12] FDF[TIFS12] HWLD [CVPR13] VTM [TIP15] 和 RankSVM [ECCV12] 流程 : 前景背景分割周期检测步态能量图的生成 CNN 训练 CNN 特征提取 K 近邻查询

31 同一视角下步态识别同一视角下步态识别准确率

32 不同视角下步态识别交叉视角下步态识别 Rank-1 准确率

33 讨论从视频帧到特征图的转换存在信息损失步态是一种周期性运动模式具有空间和时间两个维度的特征

34 提纲研究背景与意义基于传统卷积神经网络的步态识别技术步态识别中的距离度量学习模型基于时空联合深度神经网络的步态识别技术工作总结与展望

35 基于 CNN 的视频处理方法 CNN 对视频单帧进行处理的不同方式 [1] Karpathy A, Toderici G, Shetty S, et al. Large-scale video classification with convolutional neural networks. In Proc. of IEEE CVPR, 2014:

36 三维卷积神经网络 C3D 能够利用步态的周期性模式, 直接基于步态序列提取更为丰富的特征二维卷积特征图的计算 : 三维卷积特征图的计算 : 2D-CNN 3D-CNN C3D [1] D. Tran, L. Bourdev, R. Fergus, L. Torresani, and M. Paluri, Learning Spatiotemporal Features with 3D Convolutional Networks, arxiv 2015.

37 基于 3D-Siamese 结构的步态识别技术

38 实验数据库 :OU-ISIR Large Population 评价指标 :Rank-1 和 Rank-5 正确识别率对比方法 : 目前最优的步态识别方法, 包括 : GEI [TIFS12] FDF[TIFS12] 和 HWLD [CVPR13] 流程 : 前景背景分割周期检测 3D-Siamese 训练 CNN 特征提取 K 近邻查询

39 实验结果在 OU-ISIR LP 上的身份识别准确率时空联合深度神经网络能够进一步提高侧面视角的步态识别准确率

40 提纲研究背景与意义基于传统卷积神经网络的步态识别技术步态识别中的距离度量学习模型基于时空联合深度神经网络的步态识别技术工作总结与展望

41 工作总结与展望贡献设计了一个基于深度学习的步态识别技术框架提出了一种基于 Siamese 神经网络的步态识别方法将步态能量图作为卷积神经网络的输入对网络进行调优, 解决了步态数据库样本量小以及分类和识别任务的领域鸿沟提出了一种基于时空联合深度神经网络的步态识别方法从连续的周期性步态序列中捕捉空间维度和时间维度的信息, 进一步提高了步态识别的准确率和实用性在目前最大的步态识别数据库上表现出比目前最优方法更高的识别准确率, 为步态识别走向应用提供了坚实的技术支持未来工作大规模真实场景步态数据库端到端的步态识别系统半周期或不完全周期步态识别多模态生物识别

42 刷脸时代人脸识别人工特征 Labeled Faces in the Wild Home 深度学习步态识别从生理学研究到视觉研究从几人到几千人的步态数据库深度学习刷退时代 High st Queen of state, Great Juno comes; I know her by her gait The Tempest [Act 4 Scene 1], Shakespeare

43 谢谢请各位老师批评指正

报告 1: 郑斌教授, 美国俄克拉荷马大学医学图像特征分析与癌症风险评估方法摘要 : 准确的评估癌症近期发病风险和预后或者治疗效果是发展和建立精准医学的一个重要前

报告 1: 郑斌教授, 美国俄克拉荷马大学医学图像特征分析与癌症风险评估方法摘要 : 准确的评估癌症近期发病风险和预后或者治疗效果是发展和建立精准医学的一个重要前东北大学中荷生物医学与信息工程学院 2016 年度生物医学与信息工程论坛会议时间 2016 年 6 月 8 日, 星期三,9:30 至 16:00 会议地址会议网址主办单位东北大学浑南校区沈阳市浑南区创新路 195 号生命科学大楼 B 座 619 报告厅 http://www.bmie.neu.edu.cn