PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

婵崔
5 years ago
Views:

1 深度学习 : 现在与未来李航诺亚方舟实验室华为技术有限公司

2 议题深度学习概览深度学习领域的最新研究进展深度学习的未来华为在深度学习领域的研究 2

3 机器学习全景图人工智能深度学习机器学习数据挖掘深度学习是机器学习的重要和有前途的一个分支领域 3

4 机器学习简史感知器 Rosenblatt 神经网络 Rumelhart et al SVM( 支持向量机 ) Vapnik et al 深度学习 Hinton et al 两层线性模型三层非线性模型 SVM 核心 = 三层非线性模型深度学习意味着学习复杂的非线性模型多层非线性模型 4

5 深度神经网络深度学习是在数据中学习多层的非线性模型 5

6 问题解答为什么深度学习很强大? 为什么深度学习很流行? 深度学习是万能的吗? 深层神经网络与人类大脑的相似点与不同点是什么? 6

7 问题 : 为什么深度学习很强大? 强大的表现能力深层网络 = 复杂的非线性函数举例 : XOR 分类问题, 不能被线性函数模型化简单的非线性分类问题, 能够被内核 SVM( 支持向量机 ) 模型化复杂的非线性分类问题, 能够被深层卷积神经网络模型化 7

8 举例 : XNOR 网络 8 a XNOR 逻辑能够由三层神经网络实现 1 1 e (2) a 1 20 z (3) a (2) a (2) (2) a 1 a Eample from Andrew Ng XNOR (3) a 1

9 举例 : XOR/XNOR 分类问题 XOR / XNOR 分类问题 : 线性模型不能处理 ; 多层神经网络能够处理 ; 9

10 举例 :RBF 内核 SVM( 支持向量机 ) f () RBF 内核 SVM 是一个三层网络 w 1 wn 1 N b +1 scalar vector f ( ) i w i i ep( i y i ep( i 2 ) i b 2 ) b 10

11 举例 : 复杂的非线性分类问题 f N ( ) y ep( i1 i i i 2 ) b Eample from Andrew Ng RBF SVM 能够有效地分离正例和负例 11

12 举例 : Ale Net ( 用于图像分类的卷积神经网络 ) 11 层 ; 650,000 个神经元 ; 6 千万个参数 5 个卷积层, 3 个全连接层, 3 个最大池化层 Krizhevsky et al,

13 举例 : Ale Net 模型解决 ImageNet 上的图像分类挑战 13 ILSVRC 2012: 将 1.2 亿图象分成 1000 类前 5 错误率 : 15.2% v.s. 26.2% ( 第二位 )

14 问题 : 为什么深度学习很强大? 统计效率深度模型拥有更高的统计效率, 相对需要更少的训练数据深层网络比浅层网络拥有更加紧凑的表示举例 : Sum-Product Network( 和积网络 ) 14

15 举例 :Deep Sum-Product Network( 深和积网络 ) (( 1 2)( 3 4))( 5 6) 4 层 ; 11 神经元深层网络拥有更少的参数, 因此拥有更高的统计效率 15

16 16 举例 : Shallow Product-Sum Network ( 浅积和网络 ) 层 ; 15 神经元

17 结论 : 深度学习有能力处理复杂的问题 Picture from Nvidia.com 17

18 为什么深度学习现在很流行? 计算机变得更加强大更多的可用数据参数数量 vs. 训练数据量参数化 vs. 非参数化简单的问题已经被解决 18

19 计算机变得更加强大在 20~30 年前, 神经网络无法战胜当时的先进技术现在我们知道其原因, 是因为那时的机器运行速度还不够快 Geoffrey Hinton 采访 Google s AI 与深度学习教父 ' Geoffrey Hinton, 2015/7 19

20 学习更多参数模型需要更多训练数据样本的复杂性奥卡姆剃须刀定理对于二值分类 : precision, 1- : confidence, h : model compleity 经验样本复杂度 (Empirical Sample Compleity) 经验样本数至少是参数的 100 倍 20

21 参数化问题 vs. 非参数化问题参数数量 (Number of parameters) 参数化问题 : 当数据量超过一定值后, 参数数量将不再增加参数数量 (Number of parameters) 训练数据量 (Size of training data) 非参数化问题 : 当数据量增加时, 参数数量还会继续增加 21 训练数据量 (Size of training data)

22 举例 : 高斯分布 2 2 2 ) ( ep 2 1 ) ( u f 2 1 2 1 ˆ) ( 1 ˆ 1 ˆ N i i

22 22 举例 : 高斯分布 ) ( ep 2 1 ) ( u f ˆ) ( 1 ˆ 1 ˆ N i i N i i u N N u ) 1 ( sample compleity : N O 参数化问题可以被轻松解决, 无论数据量有多大

词汇量举例 : 文本数据中的词汇量非参数化问题 : 需要持续增加模型参数 1400000 新华新闻数据 1200000 1000000 800000 23 600000 400000 200000 0

23 词汇量举例 : 文本数据中的词汇量非参数化问题 : 需要持续增加模型参数新华新闻数据 Data from Xiao Chen 当数据量增加时, 词汇量也同时增加

24 问题 : 深度学习是全能的么? 适合于 : 复杂的非线性问题大数据没有免费午餐定理解读 : 没有哪个算法能够永远胜过其他算法 24

25 没有免费午餐定理 (Wolpert & Macready, 1997) Acc (L) = generalization accuracy of learner L = accuracy on test eamples Theorem: for any learners L 1, L 2 if learning problem, s.t. Acc ( L1 ) Acc ( L2 ) then learning problem, s.t. Acc ( L2 ) Acc ( L1 ) 25

26 用正确的工具做正确的事情简单的问题可以被简单的模型解决 ( 线性与非线性 ) 深度学习更适合通过大量数据解决复杂非线性问题 26

27 问题 : 与人类大脑的相似点与不同点? 大脑与计算机 = 自动机 Von Neumann 人工神经网络是机器学习模型, 受人类大脑的启发, 但是以解决问题为驱动的相似点元素 : 例如, 神经元, 神经突触架构 : 例如, 串联结构, 局部感受区域 (local receptive field) 信号 : 例如, 数字的和模拟的信号不同点学习机制不同, 例如 : 反向传播 ( back propagation) 27

28 议题深度学习概览深度学习领域的最新研究进展深度学习的未来华为在深度学习领域的研究 28

29 深度学习领域的最新研究进展受限的玻尔兹曼机 (Boltzmann) (Hinton 2006) Ale Net: 深层卷积网络用于图像分类 (Krizhevsky et al, 2012) 深度神经网络用于语音识别 (Dahl et al, 基于自动编码器的高层次特征的无监督学习 (Le et al, 雅达利游戏机 : 深度强化学习 (Mnih et al, Deep Mind 神经图灵机 (Graves et al, Deep Mind 记忆网络 (Memory Networks) (Weston et al, 29

30 基于自动编码器的高层次特征的无监督学习 (Le et al, 2012) 能够学习高层次特征以识别猫 9 层 : 复制相同 stage 三遍每个 stage: 过滤池化对比标准化训练 : 自动编码与自动解码的学习权重 1 千万图像 10 亿参数 1000 机器 (1600 核 ), 训练 3 天 30

31 雅达利游戏 (Atari Game): 深度强化学习 (Mnih et al, 2013) 学习在动态和不确定性环境中的控制举例 : 雅达利游戏机深度学习系统在 6 个游戏中的 3 个打败人类玩家. 形式化为 Q 学习问题输入 : 原始像素动作 : 游戏动作奖励 : 游戏积分使用卷积神经网络建模学习 Q 函数 31

32 神经图灵机 (Graves et al, 2014) 外部记忆 : 读写操作可微分的计算机 : 利用梯度下降法进行训练可以实现包括拷贝排序等任务 32

33 记忆网络 (Weston et al, 2014) 长期记忆 + 推理模型是学习得到的能够回答简单事实类问题准确率 = 40%+ 举例 John is in the playground. Bob is in the office. John picked up the football. Bob went to the kitchen. Q: where is the football? A: playground memory q pre-process i match m i a generate o 33

34 议题深度学习概览深度学习领域的最新研究进展深度学习的未来华为在深度学习领域的研究 34

35 深度学习的未来 - 超越复杂模式识别? 更加复杂的任务例如, 图像检索更加有效地使用人类知识例如, 自然的对话结合推理例如, 问题解答 35

36 议题深度学习概览深度学习领域的最新研究进展深度学习的未来华为在深度学习领域的研究 36

37 华为在深度学习的研究机器翻译自然语言对话自动问答图片搜索语音识别匹配学习深度学习平台 37

38 自然语言对话海量可用的对话数据深度学习等强大技术被开发单轮对话 vs. 多轮对话两个路径基于检索的方法基于生成的方法图灵 38

39 自然语言对话系统 - 基于检索的方法信息检索信息与响应匹配响应排序响应在线检索匹配排序最佳响应 ( 应答 ) 线下信息与响应索引匹配模型排序模型 39

40 深度匹配 CNN - 架构 I 首先得到 2 个句子的表示, 然后进行匹配 40 40

41 基于检索的方法 : 精度 = 70% 上海今天好熱, 堪比新加坡上海今天热的不一般想去武当山有想同游的么? 我想跟帅哥同游 ~ 哈哈 It is very hot in Shanghai today, just like Singapore. It is unusually hot. I want to go to Mountain Wudang, it there anybody going together with me? Haha, I want to go with you, handsome boy 41

42 自然语言对话系统 - 基于生成的方法响应 y y 1 y 2 Decoder c Generator h y t 编码信息到中间表示解码中间表示到响应递归神经网络 (RNN) Encoder 1 2 T 42 信息

43 基于生成的方法准确率 = 76% 我想买三星手机 I want to buy a Samsung phone 还是支持一下国产的吧 Why not buy our national brands? 43

44 总结深度学习概览强大, 但不是万能适合复杂非线性模型用正确的工具做正确的事情深度学习领域的最新研究进展 2012 年以后有重大突破, 如深度强化学习神经图灵机深度学习的未来规模知识推理华为在深度学习领域的研究已开发出许多业界领先技术 44

45 Copyright 2015 Huawei Technologies Co., Ltd. All Rights Reserved. The information in this document may contain predictive statements including, without limitation, statements regarding the future financial and operating results, future product portfolio, new technology, etc. There are a number of factors that could cause actual results and developments to differ materially from those epressed or implied in the predictive statements. Therefore, such information is provided for reference purpose only and constitutes neither an offer nor an acceptance. Huawei may change the information at any time without notice.

PowerPoint 演示文稿

PowerPoint 演示文稿华为最高级别技术认证演讲人 : 徐一鸣 / yiming.xu@huawei.com 职位 : HCIE 讣证系统架构师 HCIE 深度解析目录 1 2 3 4 为什么参加 HCIE 讣证 HCIE 讣证考试大揭秘怎么获得 HCIE 讣证 HCIE 相关信息获取途径为什么选择 HCIE? 知