报告人基本信息姓名 : 田莹专业技术职务 : 教授最高学历 ( 学位 ): 博士毕业院校 : 沈阳工业大学研究领域 : 模式识别, 生物特征识别, 数字图像处理, 机器学习等

Size: px

Start display at page:

Download "报告人基本信息姓名 : 田莹专业技术职务 : 教授最高学历 ( 学位 ): 博士毕业院校 : 沈阳工业大学研究领域 : 模式识别, 生物特征识别, 数字图像处理, 机器学习等"

钲井
5 years ago
Views:

1 深度学习技术及其在模式识别中应用

2 报告人基本信息姓名 : 田莹专业技术职务 : 教授最高学历 ( 学位 ): 博士毕业院校 : 沈阳工业大学研究领域 : 模式识别, 生物特征识别, 数字图像处理, 机器学习等

3 模式识别 ---- 智能程序的诞生人工智能是人类一个非常美好的梦想, 跟星际漫游和长生不老一样我们想制造出一种机器, 使得它跟人一样具有一定的对外界事物感知能力, 比如看见世界当我们人眼看到一幅画时, 我们能够很清晰的知道其中哪里是动物, 哪里是山, 水, 人等等人眼又是如何识别和分辨的呢, 其实人类也是在先验知识和对以往多个此类事物的具体实例进行观察的基础上得到的对此类事物整体性质和特点的认识的模式识别 : 是一种从大量信息和数据出发, 在专家经验和已有认识的基础上, 利用计算机和数学推理的方法对形状模式曲线数字字符格式和图形自动完成识别的过程, 是信息科学和人工智能的重要组成部分

4 广义的模式识别属计算机科学中智能模拟的研究范畴, 内容非常广泛, 包括声音和语言识别文字识别指纹识别声纳信号和地震信号分析照片图片分析化学模式识别等等模式识别强调的是如何让一个计算机程序去做一些看起来很智能的事情, 例如识别 3 这个数字而且在融入了很多的智慧和直觉后, 人们也的确构建了这样的一个程序

6 机器是否具有真正的智能? 计算机看到的图像人眼中图像

7 从图灵测试提出来到本世纪初,50 多年时间有无数科学家提出很多机器学习的算法, 试图让计算机具有与人一样的智力水平

8 机器学习 ---- 从样本中学习的智能程序在 90 年代初, 人们开始意识到一种可以更有效地构建模式识别算法的方法, 那就是用数据 ( 可以通过廉价劳动力采集获得 ) 去替换专家 ( 具有很多图像方面知识的人 ) 因此, 我们搜集大量的人脸和非人脸图像, 再选择一个算法, 然后冲着咖啡晒着太阳, 等着计算机完成对这些图像的学习这就是机器学习的思想机器学习强调的是, 在给计算机程序 ( 或者机器 ) 输入一些数据后, 它必须做一些事情, 那就是学习这些数据, 而这个学习的步骤是明确的就算计算机完成学习要耗上一天的时间, 也会比手工为这个任务设计一些分类规则要好

9 机器学习 (Machine Learning) 是一门多领域交叉学科, 涉及概率论统计学逼近论凸分析算法复杂度理论等多门学科机器学习专门研究计算机怎么模拟或实现人类的学习行为, 其目的在于使得机器可以根据数据进行自动学习, 通过算法使得机器能从大量历史数据中学习规律从而对新的样本做出决策包括相互关联的两个阶段, 即学习阶段和实现阶段, 学习阶段是对样本进行特征选择, 寻找分类的规律 ; 实现阶段是根据分类规律对未知样本集进行分类和识别机器学习是人工智能的一个分支, 它也是人工智能的核心, 是使计算机具有智能的根本途径, 其应用遍及人工智能的各个领域

11 在 21 世纪中期, 机器学习成为了计算机科学领域一个重要的研究课题, 计算机科学家们开始将这些想法应用到更大范围的问题上, 不再限于识别字符识别猫和狗或者识别图像中的某个目标等等这些问题研究人员开始将机器学习应用到机器人基因数据的分析和金融市场的预测中每一个机器人专家都无奈地成为了机器学习专家, 同时, 机器学习也迅速成为了众人渴望的必备技能之一然而, 机器学习这个概念对底层算法只字未提我们已经看到凸优化核方法支持向量机和 Boosting 算法等都有各自辉煌的时期再加上一些人工设计的特征, 那在机器学习领域, 我们就有了很多的方法, 很多不同的思想流派

12 机器学习五大流派符号主义 : ( 逻辑学 ) 使用符号规则和逻辑来表征知识和进行逻辑推理, 最喜欢的算法是 : 规则和决策树联结主义 : ( 反向传播 ) 使用概率矩阵和加权神经元来动态地识别和归纳模式, 最喜欢的算法是 : 神经网络进化主义 :( 进化生物学 ) 生成变化, 然后为特定目标获取其中最优的, 最喜欢的算法是 : 遗传算法贝叶斯主义 : ( 统计学 ) 获取发生的可能性来进行概率推理, 最喜欢的算法是 : 朴素贝叶斯或马尔可夫行为类推主义 :( 心理学 ) 根据约束条件来优化函数 ( 尽可能走到更高, 但同时不要离开道路 ), 最喜欢的算法是 : 支持向量机

13 然而, 对于一个新人来说, 对特征和算法的选择依然一头雾水, 没有清晰的指导原则但, 值得庆幸的是, 这一切即将改变

14 深度学习 ---- 一统江湖的架构如果不手动设计特征, 不挑选分类器, 有没有别的方案呢? 能不能同时学习特征和分类器? 即输入某一个模型的时候, 输入只是图片, 输出就是它自己的标签深度学习 (Deep Learning) 理论提出了一种让计算机自动学习出模式特征的方法, 并将特征学习融入到了建立模型的过程中, 不需要人参与特征的选取过程, 不需要挑选分类器, 同时学习特征和分类器深度学习是近年来发展起来的一种神经网络模型, 神经网络曾经在八九十年代非常流行, 它试图通过模拟大脑认知的激励, 解决各种机器学习的问题但是它具有学习不充分深度不足等特点, 后来由于种种原因大多数学者在相当长一段时间放弃了神经网络深度学习则克服了这些缺点可用于模式分类目标跟踪等领域

15 深度学习在很多学术领域, 比非深度学习算法往往有 20-30% 成绩的提高很多大公司也逐渐开始出手投资这种算法, 并成立自己的深度学习团队, 其中投入最大的就是谷歌,2008 年 6 月披露了谷歌脑项目 2014 年 1 月谷歌收购 DeepMind, 然后 2016 年 3 月其开发的 Alphago 算法在围棋挑战赛中, 战胜了韩国九段棋手李世石, 证明深度学习设计出的算法可以战胜这个世界上最强的选手在硬件方面,Nvidia 最开始做显示芯片, 但从 2006 及 2007 年开始主推用 GPU 芯片进行通用计算, 它特别适合深度学习中大量简单重复的计算量目前很多人选择 Nvidia 的 CUDA 工具包进行深度学习软件的开发

16 传统机器学习算法为什么没有达到深度学习的精度? 传统机器学习去解决图像识别问题思路是这样的 : 通过传感器来获得数据, 然后经过预处理特征提取特征选择, 再到识别分类推理或者预测而中间的三部分, 概括起来就是特征表达, 对最终算法的准确性起了非常关键的作用在采用这些机器学习方法的时候, 不得不自己设计前面 3 个部分但对任何人来说这都是一个比较难的任务传统的计算机识别方法把特征提取和分类器设计分开来做, 然后在应用时再合在一起, 比如如果输入是一个摩托车图像的话, 首先要有一个特征表达或者特征提取的过程, 然后把表达出来的特征放到学习算法中进行分类的学习

17 过去 20 年中出现了不少优秀的特征算子, 比如最著名的 SIFT 算子, 即所谓的对尺度旋转保持不变的算子它被广泛地应用在图像对比与识别中, 有一些成功的应用例子另一个是 HoG 算子, 它可以提取物体, 比较鲁棒的物体边缘, 在物体检测中扮演着重要的角色这些算子还包括 Textons,Spin image,rift 和 GLOH, 都是在深度学习诞生之前或者深度学习真正的流行起来之前, 占领视觉算法的主流但这种成功例子太少了, 因为手工设计特征需要大量的经验, 需要你对这个领域和数据特别了解, 设计出来特征还需要大量的调试工作另一个难点在于, 你不只需要手工设计特征, 还要在此基础上有一个比较合适的分类器算法同时设计特征然后选择一个分类器, 这两者合并达到最优的效果, 几乎是不可能完成的任务

18 对于图像的处理是深度学习算法最早尝试应用的领域深度学习在机器视觉领域最具影响力的突破是在 2012 年 10 月,Hinton 的研究小组采用深度学习赢得了 ImageNet 图像分类的比赛 ImageNet 是当今计算机视觉领域最具影响力的比赛它的训练和测试样本都来自互联网图片, 训练样本超过百万, 任务是将测试样本分成 1000 类在 2012 年的测试中, 排名 2 到 4 位的小组采用传统模式识别方法, 他们的准确率的差别不超过 1%, 而作为首次参加的 Hinton 研究小组采用的是深度学习方法, 且准确率超出第二名 10% 以上, 这个结果在计算机视觉领域产生极大的震动, 也使得对于图像识别的领域研究更进一步

19 在深度学习的模型中, 受宠爱最多的就是被用在大规模图像识别任务中的卷积神经网络 (Convolutional Neural Nets,CNN) 早在 1989 年, 加拿大多伦多大学教授 Yan LeCun 就提出了卷积神经网络一种包含卷积层的深度神经网络模型 2006 年 Hinton 等提出了深度置信网络和相应的高效学习算法, 成为了其后至今深度学习算法的主要框架一个深度学习框架结构

20 卷积神经网络 Convolutional Neural Nets ----CNN 卷积神经网络,(CNN), 是一种对人脑比较精准的模拟卷积神经网络的主要操作是 : 卷积和池化卷积就是两个函数之间的相互关系, 然后得出一个新的值, 他是在连续空间做积分计算, 然后在离散空间内求和的过程实际上在计算机视觉里面, 可以把卷积当做一个抽象的过程, 就是把小区域内的信息统计抽象出来比如, 对于一张爱因斯坦的照片, 我可以学习 n 个不同的卷积和函数, 然后对这个区域进行统计可以用不同的方法统计, 比如着重统计中央, 也可以着重统计周围, 这就导致统计的和函数的种类多种多样, 为了达到可以同时学习多个统计的累积和池化操作在统计上的概念更明确, 就是一个对一个小区域内求平均值或者求最大值的统计操作

23 目前以深度学习为核心的某些机器学习应用, 在满足特定条件的应用场景下, 已经达到了超越现有算法的识别或分类性能本人从事模式识别与数字图像处理方面的研究近十年, 主持辽宁省教育厅项目 2 项, 鞍山市科技项目各 1 项, 作为主要成员参与完成国家自然基金项目辽宁省自然基金项目和辽宁省教育厅项目各多项, 研究过模式识别领域相关的问题包括人耳识别人脸识别字符识别车牌识别等等目前已在国内核心期刊外文期刊及国内国际会议上发表论文二十余篇近几年开始关注深度学习算法, 并进行初步研究, 目前已应用在人耳检测识别人脸识别车牌检测识别字符识别等领域有些进展, 有 3 名已毕业研究生的硕士论文采用深度学习方法进行模式识别

24 基于卷积神经网络的人耳检测 Ear? Yes. (1) 为输入图片生成 2000 个左右的候选区域 (2) 将生成的每个候选区域与人工进行标注的区域进行交并比, 筛选出正负样本集 (3) 设计适用于人耳检测的卷积神经网络, 并将两类样本集作为卷积神经网络的输入并提取特征 (4) 将特征进入人耳的 SVM 分类器, 根据评分判断是否属于该类别 (5) 经过分类器选择后得到符合人耳图像的阈值范围内的有限候选框, 利用非极大抑制算法去分类结果中的冗余的选框 (6) 最后使用回归方法对分类结果进行精细修正, 并确认候选框最终位置 CNN

25 设计的深度学习网络模型包含 4 个卷积层,3 个池化层 (pooling-layer),1 个全连接层 (fully- connected layer), 作用在每个卷积层和全连接层的激活函数为 ReLU 激活函数 (Rectified Linear Units)

26 第一层为图像的输入层, 根据采集到的样本图像中实际包含人耳部分的分辨率范围, 以及我们的硬件环境的计算能力, 将输入层的维度设定为网络的第一层卷积层为 C1, 卷积核大小为 7 7, 步长为 2, 卷积核数量为 96 个, 经过卷积运算得到 96 个的特征图像 (feature map) 网络的第二层为池化层, 设定为 S2: 池化窗口大小为 3 3, 步长为 2, 得到 96 个的特征图像第三层为卷积层 C3,128 个 5 5 大小卷积核, 步长为 2, 得到 128 个的特征图像第四层为池化层 S4 同样经过 3 3 大小池化窗口得到 128 个的特征图像第五层为卷积层 C5,256 个卷积核大小为 3 3,pad = 1, 得到 256 个的特征图像同样卷积层 C6 存在 256 个 3 3 大小的卷积核, 得到 256 个的特征图像 S7 为最后一个池化层, 池化窗口大小为 3 3, 经过池化操作后得到 256 个 6 6 大小的特征图最后一层为全连接层包含 4096 个神经元, 得到最终的特征向量进入 SVM 分类器进行人耳与非人耳的检测

27 支持向量机一是将 K 分类问题转化为 K 个二分类问题, 样本的正负类也与传统二分类相同, 每个分类的输出为该目标属于该分类的概率, 其最终分类结果为各个二分类输出的最大值另一是需要构建 K (K-1) 个分类器, 以两两组合的方式最为二分类依据, 每个分类结果作为该分类的选票, 其中选票最多的分类为最为本次分类的结果支持向量机的在二分类领域的识别精度高, 并解决了函数映射过程中凸优化问题

28 非极大值抑制由于在训练的过程中通过选择搜索生成的候选区域数量较大, 且与人工标注的人耳区域 IoU>0.7 的所有候选区域作为正类样本对卷积神经网络进行训练所以在测试的过程中会检测出多个人耳相似区域使用该算法的主要目的就是为了通过迭代 - 遍历 - 消除的过程来去掉测试结果中的冗余的选框假设所有的候选区域经过 CNN 的特征提取过程后, 使用 SVM 分类器进行分类评分, 其中有 6 个候选区域符合人耳图像的阈值范围, 如图, 根据 SVM 分类器的分类概率将这个 6 个候选区域进行从大到小排列

边界框回归通过非极大值抑制算法后, 将会剩余一个或者几个符合条件的候选区域, 再与分值最高的候选区域的 IoU 大于设定阈值的其他区域进行重合, 得到了一个最为可能的候选框尽管该候选框的为最终检测区域的概率很高, 但也有可能出现定位不够准确的情况上图, 其中绿色框中为真正的人耳检测区域,

29 边界框回归通过非极大值抑制算法后, 将会剩余一个或者几个符合条件的候选区域, 再与分值最高的候选区域的 IoU 大于设定阈值的其他区域进行重合, 得到了一个最为可能的候选框尽管该候选框的为最终检测区域的概率很高, 但也有可能出现定位不够准确的情况上图, 其中绿色框中为真正的人耳检测区域, 红色框为经过计算获得的候选区域, 所以需要对红色区域进行微调, 使得微调后的区域与人耳检测区域更加接近针对候选区域的微调建立一个线性回归器, 下图红色的框 P 代表着计算得出的候选区域窗口, 绿色的框 G 代表人耳检测区域窗口, 线性回归器的目标就是找到一个映射过程, 得到一个与人耳检测区域更加接近的回归窗口 G1

30 实验用部分正样本和负样本

31 部分检测结果

32 人耳识别 ReLU CONV6:3 3 Input layer ReLU CONV 3:3 3 ReLU CONV7:3 3 ReLU CONV 1:5 5 ReLU CONV 4:3 3 ReLU CONV8:3 3 Pool 2:3 3 Pool 5:3 3 Pool9:3 3 Part 1 Part 2 Part3 人耳识别网络结构图, 包含 6 个卷积层和 3 个池化层, 一个全连接层选择最优的激活函数 ReLU(Rectified Linear Units) 全连接层引入了 Dropout 技术, 其原理是在每次迭代随机更新网络参数, 把不工作的神经元节点划分为非网络的一部分, 暂停其权重的更新, 等下次样本输入, 恢复其工作状态

33 Softmax 分类器定义训练集中的第 i 个样本数据为 x i, 得分函数会在参数 W 下计算出一个对于所有类的得分结果记作 f(x i,w), 其中第 j 个类别的得分结果我们记作 f(x i,w) j,y j 为实际类别, 则对于第 i 张图片, 损失函数使用互熵损失 /cross-entropy loss, 形式 : L i f e y i lo g ( ) f j e 其中 f j 代表分向量 f 的第 j 个元素值总的 loss 是通过 L i 遍历训练集 Z k e 之后得到的均值, 再加上正则化项 R(W), 而函数 f ( Z k ) Z j e j 为 Softmax 函数 : 他的输入值是一个实数向量 Z, 在指数域做了一个归一化 ( 保证和为 1) 映射为概率 f j 在计算中间项 e y 和 e f j 因为指数运算可能变得非常大, 所以我们在分子分母前乘以常数 C, 整理得到 : f f f e y i C e y i e y i lo g C f j f j f j e C e e lo g C j j j j

34 假设 y 是输入样本 z 对应的类别,y=0,1,,N 对于 z, 其损失函数定义为 : z j zy L( y, z) log f ( zy ) loge 对上式求导, 有 : 梯度下降方向即为 : L ( y, z ) 1 f ( z y ) z 对于 Softmax 的反向传导设 Softmax 的输出为 a, 输入为 z,l 为损失函 zi 数, 则 e,, 其中在 caffe 框架中 ai L L a z j 为已知量, 需 e j z a z a z 要计算, 直接求导可得 : 最后得到 : L( y, z) z Z y e 1 f ( z ) 1 Z j y e j { j a i a i a k, i k z k a i z k a k a k a k, i k L L a L L (. a)* ak * ak a a a Z Z k k k

35 训练网络在训练集迭代次数为时趋势逐渐变得平缓, 距离训练样本所表现的抽象特征越来越接近到迭代次数为时损失函数的 loss 值已经降低到左右, 损失函数是用来衡量某个类别的概率,loss 值越小说明网络的收敛速度越快

36 反卷积可视化结果以上为 3 个阶段的可视化结果

37 实验结果方法 0% 10% 20% 30% 40% 50% HOG CNN

38 基于深度学习的复杂场景下车牌检测定位为车牌识别设计的深度学习网络结构输入图像一次卷积一次池化二次卷积二次池化 13 三次卷积三次池化全连接

39 部分检测结果

40 基于深度卷积神经网络人脸相似性检测相似度相似度 0.972

41 深度学习的重点是对模型的运用, 模型中需要的参数是通过对大量数据的学习和分析中得到的由于深度学习中, 图模型的复杂化导致了算法的时间复杂度急剧提升, 为了保证算法的实时性, 需要更高的并行编程技巧以及更好更多的硬件支持, 才能完成一些比较前沿而又实用的应用对于深度学习, 还存在很多没有解决的问题既没有完整的关于深度学习有效性的理论, 也没有任何一本能超越机器学习实战经验的指南或者书目前的深度模型有用于视觉和语音识别的卷积神经网络, 以及能够进行自我演绎的深度回归神经网络和会自主玩游戏的深度强化学习模型深度学习不是万能的, 它有足够的理由能日益流行, 但始终无法接管整个世界只要不断增加你的机器学习技能, 你的饭碗无忧但也不要对深度框架过于崇拜, 不要害怕对这些框架进行裁剪和调整, 以得到和你的学习算法能协同工作的软件框架

42 2016 年份近几年发表论文学术期刊或出版社名称 ( 影响因子 ) 卷 ( 期 ) 基于 L0 稀疏约束的近似稀疏解人耳识别 2016 计算机应用研究 33(7) 1 作 ( 著 ) 者名次他引次数一种稀疏表示的多姿态人耳识别方法 2014 系统仿真学报 26(9) 1 基于 Gabor 小波和 ASIFT 特征点的人耳识别 L0 gradient based image smoothing method for ear identification 2015 一种模块化神经网络的人耳识别方法 Ear recognition based on point feature Watermarking Algorithm Based on Quantization Index Modulation and Singular Value Decomposition Ear Recognition Based on Weighted Wavelet Transform and DCT Image registration based on improved ant colony algorighm 2013 计算机应用与软件 30(11) 1 International Journal of Signal Processing, Image Processing and Pattern Recognition 8(6) 辽宁科技大学学报 39(3) International Conference on Vehicle and Mechanical Engineering and Information Technology Electronic Commerce,Web Application and Communication 26 th Chinese Control and Decision Conference Advanced information and computer technology in engineering and manufacturing. mang

43 谢谢!

泰迪杯全国数据挖掘挑战赛 OCR (CNN) OCR() CNN % 92.1% 15% 90%. Viterbi. OCR..,,,,,

泰迪杯全国数据挖掘挑战赛 OCR (CNN) OCR() CNN % 92.1% 15% 90%. Viterbi. OCR..,,,,, 泰迪杯全国数据挖掘挑战赛 www.tipdm.org 第四届泰迪杯全国数据挖掘挑战赛优秀作品作品名称 : 基于深度学习和语言模型的印刷文字 OCR 系统荣获奖项 : 特等并获企业冠名奖作品单位 : 华南师范大学作品成员 : 苏剑林曾玉婷泰迪杯全国数据挖掘挑战赛 www.tipdm.org OCR 2016 5 15 (CNN) OCR(). +.... CNN 140 99.7%

报告人基本信息 姓名 : 田莹 专业技术职务 : 教授 最高学历 ( 学位 ): 博士 毕业院校 : 沈阳工业大学 研究领域 : 模式识别, 生物特征识别, 数字图像处理, 机器学习等

报告人基本信息姓名 : 田莹专业技术职务 : 教授最高学历 ( 学位 ): 博士毕业院校 : 沈阳工业大学研究领域 : 模式识别, 生物特征识别, 数字图像处理, 机器学习等