幻灯片 1

Size: px

Start display at page:

Download "幻灯片 1"

姻汪
5 years ago
Views:

1 面向自然语言处理的机器学习近一年主要进展孙栩北京大学

2 主要内容回顾主要进展全局学习 (Global Learning) 动态记忆网络 (Dynamic Memory Networks) 深度增强学习 (Deep Reinforcement Learning) 展望 2

3 回顾近几年, 机器学习领域的重要突破集中于深度学习领域序列到序列模型 (Sequence to Sequence Model) 注意机制 (Attention Mechanism) 深度残差学习 (Deep Residual Learning) 神经图灵机 (Neural Turing Machine) 丢弃算法 (DropOut) 深度增强学习 (Deep Reinforcement Learning) Goodfellow et al. Deep Learning. 3

4 回顾近一年来, 在主流会议中有以下工作发表 ICML 2016 Best Papers Dueling Network Architectures for Deep Reinforcement Learning (Wang et al.) Pixel Recurrent Neural Networks (van den Oord et al.) Ensuring Rapid Mixing and Low Bias for Asynchronous Gibbs Sampling (Sa et al.) NIPS 2015 Best Papers Competitive Distribution Estimation: Why is Good-Turing Good (Orlitsky & Suresh) Fast Convergence of Regularized Learning in Games (Syrgkanis et al.) 这些工作大多不与自然语言处理直接相关基础理论游戏对抗图像生成 4

5 回顾 : 以自然语言处理的视角自然语言处理相关领域, 近一年有一些值得注意的进展全局学习动态记忆网络深度增强学习这些进展主要解决以下挑战单点分类难以捕捉输出的全局结构化信息模型与任务紧密耦合, 缺少通用化深度学习框架 5

6 主要进展深度增强学习全局学习动态记忆网络 6

7 全局学习借鉴 CRF 全局归一化的思想最大化输出序列在所有可能输出序列中的概率而不是最大化每一步的输出在该步所有可能输出中的概率不严格的类比感知器 -> 结构化感知器局部学习 -> 全局学习应用于基于转移的神经网络 Zhou et al. (ACL 2015) 依存句法分析 Andor et al. (ACL 2016) 依存句法分析词性标注语句压缩 7

8 全局学习示例 : 基于转移的依存句法分析图片来自 Google SyntaxNet 2016 年 5 月 12 日开源公布的 Google SyntaxNet 是该算法实现 8

9 全局学习优势速度较快前馈神经网络较循环神经网络有较大的计算速度优势 beam search 限定了可能输出序列的空间效果较好解决了局部学习的标签偏置问题为深度学习在结构化预测中的应用提供了新思路 9

10 主要进展全局学习动态记忆网络深度增强学习 10

11 记忆网络记忆网络的核心思想 : 模拟计算机存储一般构成 Memory Networks (Weston et al., ICLR 2015) 记忆 (Memory) 存储器 : 可以看成由对象构成的数组输入映射 (Input Map) 将输入转换为某种表示概括构件 (Generalization Component) 根据输入更新记忆 ( 增删改 ) 输出映射 (Output Map) 根据输入选择记忆中有用的内容输出 ( 查 ) 响应构件 (Response Component) 根据输出做出响应相关工作 : 神经图灵机 (Neural Turing Machine) 11

12 动态记忆网络 (Dynamic Memory Networks) 主要改进 : 片段记忆模块 (Episodic Memory Module) 大致是记忆概括构件和输出映射的整合 (Kumar et al., ICML 2016) 转换 / 整合输入为记忆片段, 多个记忆片段转换 / 整合为输出注意机制 (attention) 通过注意机制优化记忆片段 12

13 动态记忆网络特点整合了现阶段的几乎所有深度学习成果端到端模型 (Seq-to-seq Model) 注意机制 (Attention Mechanism) 门控循环单元 (Gated Recurrent Unit) 模块化每个模块有特定的目标模块耦合度低每个模块内部可以单独设计通用化模型适应几乎所有输出为序列的自然语言处理任务未来发展是否有模型能够近一步涵盖输出为树或图结构的任务? 13

14 主要进展动态记忆网络深度增强学习全局学习 14

15 增强学习何为增强学习? 决策学习给定如下模型 Agent 是学习的对象目标是最大化 reward 图片来自 David Silver 15

16 深度增强学习深度增强学习是用神经网络表示基于值的学习如 Deep Q-Networks (DQN) 基于策略的学习如 Deep Policy Networks 基于模型的学习如 AlphaGo 深度增强学习首先在游戏对抗中取得优异表现 Mnih et al. (2013), Mnih et al. (Nature 2015) 目前该技术开始被用于自然语言处理中的特定任务基于文本的游戏文本生成对话机器人图片来自 David Silver, Google DeepMind 16

17 深度增强学习学会玩基于文本的游戏 (Narasimhan et al., EMNLP 2015; He et al., ACL 2016) 自然语言理解任务 : 通过填写部分关键语句, 完成故事的编写不同的填写方式会导致不同的故事结局目标 : 填写最少的句子完成一个有好结局的故事深度增强学习的应用 (DQN 架构 ) state: 每次的描述文本 action: 固定的选项 reward: 对每个结局根据情感偏向有得分, 对中间步骤给定负值 17

18 深度增强学习更多应用消除无用句以改进对话生成 (Li et al., EMNLP 2016) 引入外部佐证以改进信息抽取 (Narasimhan et al., EMNLP 2016) 通过引用排序以进行指代消解 (Clark & Manning, EMNLP 2016) 预测和追踪热点讨论话题 (He et al., EMNLP 2016) 特点可以无限地自动生成训练数据深度学习的表示能力扩展了增强学习的能力 18

19 深度增强学习前景广阔主要观点 : 增强学习在未来的 Deep Learning 的发展中会有重要作用 Yann Lecun Yoshua Bengio Geoffery Hinton Nature

20 展望总结探索更为有效的结构化深度学习方式探索更为通用的计算模型探索深度增强学习在自然语言处理领域中的应用困难与挑战缺少严格的数学理论基础梯度计算带来的速度瓶颈发展趋势自然语言处理领域中的深度学习将进一步结构化通用化更为有效的训练手段将推动深度学习进入一般实用领域深度增强学习将开辟新的领域 20

21 谢谢! Thank You 21

22 22

23 增强学习本质都是学最佳策略 (Policy), 但 Agent 的实现方式有多种基于值的学习 (Value-based Learning) 基于策略的学习 (Policy-based Learning) 基于模型的学习 (Model-based Learning) 之后会用一个简单例子来辅助说明 : 走迷宫模型 state:agent 的当前位置 reward: 每步获得 -1 action: 上下左右移动一格 agent 目标最少步数走出迷宫图片来自 David Silver 23

24 增强学习基于值的学习 (Value-based Learning) 为每个 state 和 / 或 action 赋予一个价值 : 动作价值函数将问题转化为求解最优价值函数的问题典型实现 :Q-learning 走迷宫 : 数值代表每个 state 的价值不了解模型不知道有哪些 state 不知道某个 state 可以有哪些 action 极为简略的价值函数价值仅与 state 相关在每个 state 下选择可以导致最大价值的 action 图片来自 David Silver 24

25 增强学习基于策略的学习 (Policy-based Learning) 直接根据 reward 或 result 优化 policy 不严格的说类似感知器 : 如果结果好, 那么这个动作就好典型实现 :Policy Gradient 走迷宫 : 方向代表每个 state 的 action 同样不了解模型每个 state 下根据给定的策略选择 action 图片来自 David Silver 25

26 增强学习基于模型的学习 (Model-based Learning) 建立 environment 的模型接下来的 state 是什么, 对应的 reward 是什么除非环境完全已知, 这个模型大多数情况下是不完善的通过规划的方式得到最优动作走迷宫 : 建构环境建立或估计了 environment 的模型有哪些 state? reward 是怎样的? 在每个 state 下通过规划选择最优 action 图片来自 David Silver 26

Natural Neural Networks

Natural Neural Networks 深度学习讨论班黄雷 2016-11-29 内容大纲 1. 深度学习介绍神经网络的历史深度学习的应用 2. 多层感知机 (multi-layer perceptron machine) 前向神经网络 (feedforward neural network) 3. 卷积神经网络 (Convolution neural networks) 4. 递归神经网络 (Recursive neural networks)