年 6 月 29 日第 13 章深度生成模型 z y x (a) 带隐变量的生成模型 x (b) 带类别的生成模型图 13.1 生成模型 13.1 概率生成模型生成模型一般具有两个基本功能 : 密度估计和生成样本密度估计给定一组数据 D = {x (i) },

Size: px

Start display at page:

Download "年 6 月 29 日第 13 章深度生成模型 z y x (a) 带隐变量的生成模型 x (b) 带类别的生成模型图 13.1 生成模型 13.1 概率生成模型生成模型一般具有两个基本功能 : 密度估计和生成样本密度估计给定一组数据 D = {x (i) },"

磐瑛卓
5 years ago
Views:

1 第 13 章深度生成模型我不能创造的东西, 我就不了解理查德菲利普费曼概率生成模型, 简称生成模型 (Generative Model), 是概率统计和机器学习中的一类重要模型, 指一系列用于随机生成可观测数据的模型假设在一个连续的或离散的高维空间 X 中, 存在一个随机向量 X 服从一个未知的数据分布 p r (x), x X 生成模型是根据一些可观测的样本 x (1), x (2),, x (N) 来学习一个参数化的模型 p θ (x) 来近似未知分布 P r (X), 并可以用这个模型来生成一些样本, 使得生成的样本和真实的样本尽可能地相似生成模型的应用十分广泛, 可以用来不同的数据进行建模, 比如图像文本声音等比如图像生成, 我们将图像表示为一个随机向量 X, 其中每一维都表示一个像素值假设自然场景的图像都服从一个未知的分布 p r (x), 希望通过一些观测样本来估计其分布高维随机向量一般比较难以直接建模, 需要通过一些条件独立性来简化模型但是, 自然图像中不同像素之间的存在复杂的依赖关系 ( 比如相邻像素的颜色一般是相似的 ), 很难用一个明确的图模型来描述其依赖关系, 因此直接建模 p r (x) 比较困难深度生成模型就是利用深层神经网络可以近似任意函数的能力来建模一个复杂的分布 p r (x) 假设一个随机向量 Z 服从一个简单的分布 p(z), z Z( 比如标准正态分布 ), 我们使用一个深层神经网络 g : Z X, 并使得 g(z) 服从 p r (x) 本章介绍两种深度生成模型 : 变分自动编码器 Kingma and Welling, 2013, Rezende et al., 2014] 和对抗生成式网络 Goodfellow et al., 2014]

2 年 6 月 29 日第 13 章深度生成模型 z y x (a) 带隐变量的生成模型 x (b) 带类别的生成模型图 13.1 生成模型 13.1 概率生成模型生成模型一般具有两个基本功能 : 密度估计和生成样本密度估计给定一组数据 D = {x (i) }, 1 i N, 假设它们都是从独立地从相同的概率密度函数为 p d ata(x) 的未知分布中产生的密度估计 (density estimation) 是根据数据集 D 来估计其概率密度函数 p θ (x) 密度估计参见第 9.2 节 EM 算法参见第节在机器学习中, 密度估计是一种非常典型的无监督学习问题如果要建模的分布包含隐变量 ( 如图 13.1a), 比如高斯混合模型, 就需要利用 EM 算法来进行密度估计应用于监督学习生成模型也可以应用于监督学习监督学习的目标是建模输出标签的条件概率密度函数 p(y x) 根据贝叶斯公式, p(y x) = p(x, y) (13.1) p(x, y). y 我们可以将监督学习问题转换为联合概率密度函数 p(x, y) 的密度估计问题图 13.1a) 给出了生成模型用于监督学习的图模型表示型在监督学习中, 比较典型的生成模型有朴素贝叶斯分类器隐马尔可夫模

3 13.2 变分自编码器 2018 年 6 月 29 日 279 ϕ z θ x N 图 13.2 变分自编码器实线表示生成模型, 虚线表示变分近似判别模型和生成模型相对应的另一类监督学习模型是判别模型 (discriminative model) 判别式模型直接建模条件概率密度函数 p(y x), 并不建模其联合概率密度函数 p(x, y) 常见的判别模型有 logistic 回归支持向量机神经网络等由生成模型可以得到判别模型, 但由判别模型得不到生成模型生成样本生成样本就是给定一个概率密度函数为 p moel (x) 的分布, 生成一些服从这个分布的样本, 也称为采样我们在第 11.3 节中介绍了一些常用的采样方法采样方法参见第 11.3 节对于图 13.1a 中的图模型, 在得到 p(z, θ) 和 p(x z, θ) 之后, 我们就可以生成数据 x, 具体过程可以分为两步进行 : 1. 根据隐变量的先验分布 p(z, θ) 进行采样, 得到样本 z; 2. 根据条件分布 p(x z, θ) 进行采样, 得到 x 因此在生成模型中, 重点是估计条件分布 p(x z, θ) 含隐变量的生成模型 13.2 变分自编码器假设一个生成模型 ( 如图 13.2 所示 ) 中包含隐变量, 即有部分变量是不可观测的, 其中观测变量 X 是一个高维空间 X 中的随机向量, 隐变量 Z 是一个相对低维的空间 Z 中的随机向量这个生成模型的联合概率密度函数可以分解为邱锡鹏 : 神经网络与深度学习本章中, 我们假设 X 和 Z 都是连续随机向量

4 年 6 月 29 日第 13 章深度生成模型 p(x, z θ) = p(x z, θ)p(z θ), (13.2) 其中 p(z θ) 为隐变量 z 先验分布的概率密度函数,p(x z, θ) 为已知 z 时观测变量 x 的条件概率密度函数,θ 表示两个密度函数的参数一般情况下, 我们可以假设 p(z θ) 和 p(x z, θ) 为某种参数化的分布族, 比如正态分布这些分布的形式已知, 只是参数 θ 未知, 可以通过最大化似然来进行估计给定一个样本 x, 其对数边际似然 log p(x θ) 可以分解为 log p(x θ) = ELBO(q, x θ, ϕ) + D KL (q(z ϕ) p(z x, θ)), (13.3) 参见公式 (11.96) EM 算法参见第节其中 q(z ϕ) 是额外引入的变分密度函数, 其参数为 ϕ,elbo(q, x θ, ϕ) 为证据下界, ELBO(q, x θ, ϕ) = E z q(z ϕ) log ] p(x, z θ) q(z ϕ). (13.4) 最大化对数边际似然 log p(x θ) 可以用 EM 算法来求解, 具体可以分为两步 : E-step: 寻找一个密度函数 q(z ϕ) 使其等于或接近于后验密度函数 p(z x, θ); M-step: 保持 q(z ϕ) 固定, 寻找 θ 来最大化 ELBO(q, x θ, ϕ) 这样个步骤不断重复, 直到收敛在 EM 算法的每次迭代中, 理论上最优的 q(z ϕ) 为隐变量的后验概率密度函数 p(z x, θ), p(z x, θ) = z p(x z, θ)p(z θ) (13.5) p(x z, θ)p(z θ)dz. 后验密度函数 p(z x, θ) 的计算是一个统计推断问题, 涉及到积分计算当隐变量 z 是有限的一维离散变量, 则计算起来比较容易在一般情况下, 这个后验概率密度函数是很难计算的此外, 概率密度函数 p(x z, θ) 一般也比较复杂, 很难直接用已知的分布族函数进行建模变分自编码器 (variational autoencoder,vae) 是一种深度生成模型, 其思想是利用神经网络来分别建模两个复杂的条件概率密度函数 1. 用神经网络来产生变分分布 q(z ϕ), 称为推断网络理论上 q(z ϕ) 可以不依赖 x 但由于 q(z ϕ) 的目标是近似后验分布 p(z x, θ), 其和 x 相关, 因

5 13.2 变分自编码器 2018 年 6 月 29 日 281 此变分密度函数一般写为 q(z x, ϕ) 推断网络的输入为 x, 输出为变分分布 q(z x, ϕ) 2. 用神经网络来产生概率分布 p(x z, θ), 称为生成网络生成网络的输入为 z, 输出为概率分布 p(x z, θ) 将推断网络和生成网络合并就得到了变分自编码器的整个网络结构, 如图 13.3 所示, 其中实线表示网络计算操作, 虚线表示采样操作 p(, θ) q(, ϕ) x 1 x 2 网络计算采样 ˆx 1 ˆx 2 推断网络 f I (, ϕ) 生成网络 f G (, θ) 图 13.3 变分自编码器的网络结构变分自编码器的名称来自于其整个网络结构和自编码器比较类似推断网自编码器参见第 9.4 节络看作是编码器, 将可观测变量映射为隐变量生成网络可以看作是解码器, 将隐变量映射为可观测变量但变分自编码器背后的原理和自编码器完全不同变分自编码器中的编码器和解码器的输出为分布 ( 或分布的参数 ), 而不是确定的编码推断网络为了简单起见, 假设 q(z x, ϕ) 是服从对角化协方差的高斯分布, q(z x, ϕ) = N (z µ I, σ 2 II), (13.6) 其中 µ I 和 σ 2 I 是高斯分布的均值和方差, 可以通过推断网络 f I (x, ϕ) 来预测 µ I = f I (x, ϕ), (13.7) σ I

6 年 6 月 29 日第 13 章深度生成模型其中推断网络 f I (x, ϕ) 可以是一般的全连接网络或卷积网络, 比如一个两层的神经网络, h = σ(w (1) x + b (1) ), (13.8) µ I = W (2) h + b (2), (13.9) σ I = softplus(w (3) h + b (3) ), (13.10) softplus(x) = log(1 + e x ). 其中 ϕ 代表所有的网络参数 {W (1), W (2), W (3), b (1), b (2), b (3) },σ 和 softplus 为激活函数推断网络的目标推断网络的目标是使得 q(z x, ϕ) 来尽可能接近真实的后验 p(z x, θ), 需要找到变分参数 ϕ 来最小化两个分布的 KL 散度 ϕ = arg min D KL (q(z x, ϕ) p(z x, θ)). (13.11) ϕ 然而直接计算上面的 KL 散度是不可能的, 因为 p(z x, θ) 一般无法计算传统方法是利用采样或者变分方法来近似推断基于采样的方法效率很低且估计也不是很准确, 所以一般使用的是变分推断方法, 即用简单的分布 q 去近似复杂的分布 p(z x, θ) 但是在深度生成模型中,p(z x, θ) 是非常复杂的分布, 很难用简单的分布去近似因此, 我们需要找到一种间接的计算方法根据公式 (13.3) 可知, 变分分布 q(z x, ϕ) 与真实后验 p(z x, θ)) 的 KL 散度等于对数边际似然 log p(x θ) 与其下界 ELBO(q, x θ, ϕ) 的差 D KL (q(z x, ϕ) p(z x, θ)) = log p(x θ) ELBO(q, x θ, ϕ), (13.12) 相当于 EM 算法中的 E 步因此, 推断网络的目标函数为生成网络 ϕ = arg min D KL (q(z x, ϕ) p(z x, θ)) ϕ = arg min log p(x θ) 第一项与 ELBO(q, ϕ 无关 x θ, ϕ) ϕ = arg max ELBO(q, x θ, ϕ). ϕ (13.13) (13.14) (13.15) 生成模型的联合分布 p(x, z θ) 可以分解为两部分 : 隐变量 z 的先验分布 p(z θ) 和条件概率分布 p(x z, θ)

7 13.2 变分自编码器 2018 年 6 月 29 日 283 先验分布 p(z θ) 一般假设隐变量 z 的先验分布为各向同性的标准高斯分布 N (z 0, I) 隐变量 z 的每一维之间都是独立的条件概率分布 p(x z, θ) 建模条件分布 p(x z, θ) 通过生成网络来建模为了简单起见, 我们同样用参数化的分布族来表示条件概率分布 p(x z, θ), 这些分布族的参数可以用生成网络来计算得到根据变量 x 的类型不同, 可以假设 p(x z, θ) 服从不同的分布族如果 x {0, 1} d 是 d 维的二值的向量, 可以假设 log p(x z, θ) 服从多变量的伯努利分布, 即 p(x z, θ) = = d p(x i z, θ) (13.16) i=1 d i=1 γ xi i (1 γ i ) (1 xi), (13.17) 其中 γ i p(x i = 1 z, θ) 为第 i 维分布的参数 γ = γ 1,, γ d ] T 可以通过生成网络来预测如果 x R d 是 d 维的连续向量, 可以假设 p(x z, θ) 服从对角化协方差的高斯分布, 即 p(x z, θ) = N (x µ G, σ 2 GI), (13.18) 其中 µ G 和 σ G 同样可以用生成网络 f G (z, θ) 来预测生成网络的目标生成网络的目标是找到一组 θ 最大化证据下界 ELBO(q, x θ, ϕ) θ = arg max ELBO(q, x θ, ϕ). (13.19) θ 相当于 EM 算法中的 M 步模型汇总结合公式 (13.15) 和 (13.19), 推断网络和生成网络的目标都为最大化证据下界 ELBO(q, x θ, ϕ) 因此, 变分自编码器的总目标函数为 max θ,ϕ ELBO(q, x θ, ϕ) = max θ,ϕ E z q(z ϕ) log ] p(x z, θ)p(z θ) q(z ϕ) (13.20)

8 年 6 月 29 日第 13 章深度生成模型 ] ( ) = max E z q(z x,ϕ) log p(x z, θ) D KL q(z x, ϕ) p(z θ), (13.21) θ,ϕ 其中先验分布 p(z θ) = N (z 0, I),θ 和 ϕ 分别表示生成网络和推断网络的参数公式 (13.21) 中的期望 E z q(z x,ϕ) log p(x z, θ)] 一般通过采样的方式进行计算对于每个样本 x, 根据 q(z x, ϕ) 采集 M 个 z (m), 1 m M, E z q(z x,ϕ) log p(x z, θ)] 1 M M log p(x z (m), θ). (13.22) m=1 从 EM 算法角度来看, 变分自编码器优化推断网络和生成网络的过程, 可以分别看作是 EM 算法中的 E 步和 M 步但在变分自编码器中, 这两步的目标合二为一, 都是最大化证据下界此外, 变分自编码器可以看作神经网络和贝叶斯网络的混合体贝叶斯网络中的节点可以看成是一个随机变量在变分自编码器中, 我们仅仅将隐藏编码对应的节点看成是随机变量, 其它节点还是作为普通神经元这样, 编码器变成一个变分推断网络, 而解码器可以看作是将隐变量映射到观测变量的生成网络训练给定一个数据集 D, 包含 N 个从未知数据分布中抽取的独立同分布样本 x (1), x (2),, x (N) 变分自编码器的目标函数为 J (ϕ, θ D) = ( N 1 M log p(x (n) z (n,m), θ) D KL (q(z x (n), ϕ) N (z 0, I)) ), M n=1 m=1 其中 z (n,m) 为第 n 个样本的变分分布 q(z x (n), ϕ) 的第 m 个采样 (13.23) 如果采用随机梯度方法, 每次从数据集中采一个样本 x, 然后根据 q(z x, ϕ) 采一个隐变量 z, 则目标函数变为 ) J (ϕ, θ x) = log p(x z, θ) D KL (q(z x, ϕ) N (z 0, I). (13.24) 析解假设 q(z x, ϕ) 是正态分布, 公式 (13.24) 中的 KL 散度可以直接计算出解

9 13.2 变分自编码器 2018 年 6 月 29 日 285 对于两个正态分布 N (µ 1, Σ 1 ) 和 N (µ 2, Σ 2 ), 其 KL 散度为 D KL (N (µ 1, Σ 1 ) N (µ 2, Σ 2 )) = 1 ( tr(σ Σ 1) + (µ 2 µ 1 ) Σ 1 2 (µ 2 µ 1 ) k + log Σ ) 2, (13.25) Σ 1 其中 tr( ) 表示矩阵的迹 ; 表示矩阵的行列式这样当 q(z x (n), ϕ) 为 N (µ I, σ 2 I I) 时, ) D KL (q(z x, ϕ) p(z, θ) = 1 ( ) tr(σ 2 2 II) + µ I µ I k log( σ 2 II ), (13.26) 矩阵的迹为主对角线 ( 从左上方至右下方的对角线 ) 上各个元素的总和其中 µ I 和 σ I 为推断网络 f I (x, ϕ) 的输出再参数化在变分自编码器中, 一个问题是如何求随机变量 z 关于参数 ϕ 的导数因为随机变量 z 采样自后验分布 q(z x, ϕ), 和参数 ϕ 相关但由于是采样的方式, 无法直接计算函数 z 关于 ϕ 的导数如果 q(z x, ϕ) 的随机性独立于参数 ϕ, 我们可以通过再参数化 (reparameterization) 方法来计算导数再参数化是实现通过随机变量实现反向传播的一种重要手段, 并用随机梯度下降训练整个网络, 可以提高变分自编码器的训练效率假设 q(z x, ϕ) 为正态分布 N(µ I, σ 2 I I), 我们可以通过下面方式来采样 z z = µ I + σ I ϵ, (13.27) 其中 ϵ N (0, I),µ I 和 σ I 是推断网络 f I (x, ϕ) 的输出这样 z 和 µ I, σ I 的关系从采样关系变为函数关系, 就可以求 z 关于 ϕ 的导数如果进一步假设 p(x z, θ) 服从高斯分布 N (x µ G, I), 其中 µ G = f G (z, θ) 是生成网络的输出, 则目标函数可以简化为 ) J (ϕ, θ x) = x µ G 2 + D KL (N (µ I, σ I ) N (0, I), (13.28) 其中第一项可以近似看作是输入 x 的重构正确性, 第二项可以看作是正则化项这和自编码器非常类似变分自编码器的训练过程如图 13.4 所示

286 2018 年 6 月 29 日第 13 章深度生成模型 µ G 2 µ G ) D (N (µ I, σ I ) N (, ) 生成网络 f G (, θ) + µ I σ I 推断网络 f

5a 是将训练集上每个样本 x 通过推断网络映射到 2 维的隐变量空间, 图中的每个点表示 Ez x], 不同颜色表示不同的数字图 13.

10 年 6 月 29 日第 13 章深度生成模型 µ G 2 µ G ) D (N (µ I, σ I ) N (, ) 生成网络 f G (, θ) + µ I σ I 推断网络 f I (, ϕ) ϵ N (, ) 图 13.4 变分自编码器的训练过程, 空心矩形表示目标函数图 13.5 给出了在 MNIST 数据集上, 变分自编码器学习到的隐变量流形的可视化示例图 13.5a 是将训练集上每个样本 x 通过推断网络映射到 2 维的隐变量空间, 图中的每个点表示 Ez x], 不同颜色表示不同的数字图 13.5b 是对 2 维的标准高斯分布上进行均匀采样得到不同的隐变量 z, 然后通过生成网络产生的 Ex z] (a) 训练集上所有样本在隐空间上的投影 (b) 隐变量 z 在图像空间的投影图 13.5 在 MNIST 数据集上, 变分自编码器学习到的隐变量流形可视化示例

13.3 生成对抗网络 2018 年 6 月 29 日 287 13.3 生成对抗网络 13.3.1 显式密度模型和隐式密度模型在本书之前介绍的深度生成模型, 比如变分自编码器深度信念网络等, 都是显示地构建出样本的密度函数 p(x θ), 并通过最大似然估计来求解参数, 称为显式密度模型 (explicit density model) 比如变分自编码器的密度函数为 p(x, z θ) =

11 13.3 生成对抗网络 2018 年 6 月 29 日生成对抗网络显式密度模型和隐式密度模型在本书之前介绍的深度生成模型, 比如变分自编码器深度信念网络等, 都是显示地构建出样本的密度函数 p(x θ), 并通过最大似然估计来求解参数, 称为显式密度模型 (explicit density model) 比如变分自编码器的密度函数为 p(x, z θ) = p(x z, θ)p(z θ) 虽然使用了神经网络来估计 p(x z, θ), 但是我们依然假设 p(x z, θ) 为一个参数分布族, 而神经网络只是用来预测这个参数分布族的参数这在某种程度上限制了神经网络的能力如果只是希望有一个模型能生成符合数据分布 p r (x) 的样本, 那么可以不显示地估计出数据分布的密度函数假设在低维空间 Z 中有一个简单容易采样的分布 p(z),p(z) 通常为标准多元正态分布 N (0, I) 我们用神经网络构建一个映射函数 G : Z X, 称为生成网络利用神经网络强大的拟合能力, 使得 G(z) 服从数据分布 p r (x) 这种模型就称为隐式密度模型(implicit density model) 所谓隐式模型就是指并不对显示地建模 p r (x), 而是建模生成过程图 13.6 给出了隐式模型生成样本的过程 N (, ) 生成网络 G(, θ) = 图 13.6 隐式模型生成样本的过程网络分解判别网络隐式密度模型的一个关键是如何确保生成网络产生的样本一定是服从真实的数据分布既然我们不构建显示密度函数, 就无法通过最大似然估计等方法来训练生成对抗网络 (Generative Adversarial Networks,GAN) 是通过对抗训练的方式来使得生成网络产生的样本服从真实数据分布在生成对抗网络中, 有

12 年 6 月 29 日第 13 章深度生成模型两个网络进行对抗训练一个是判别网络, 目标是尽量准确地判断一个样本是来自于真实数据还是生成网络产生的 ; 另一个是生成网络, 目标是尽量生成判别网络无法区分来源的样本这两个目标相反的网络不断地进行交替训练当最后收敛时, 如果判别网络再也无法判断出一个样本的来源, 那么也就等价于生成网络可以生成符合真实数据分布的样本生成对抗网络的流程图如图 13.7 所示 D 判别网络 D(, ϕ) 1/0 N (, ) 生成网络 G(, θ) 图 13.7 生成对抗网络的流程图判别网络 (Discriminator Network)D(x, ϕ) 的目标是区分出一个样本 x 时来自于真实分布 p r (x) 还是来自于生成模型 p θ (x), 因此判别网络实际上是一个两类分类器用标签 y = 1 来表示样本来自真实分布,y = 0 表示样本来自模型, 判别网络 D(x, ϕ) 的输出为 x 属于真实数据分布的概率, 即 p(y = 1 x) = D(x, ϕ), (13.29) 则样本来自模型生成的概率为 p(y = 0 x) = 1 D(x, ϕ) 交叉熵等于负的对数似然给定一个样本 (x, y),y = {1, 0} 表示其自于 p r (x) 还是 p θ (x), 判别网络的目标函数为最小化交叉熵, 即最大化对数似然 min (E x y log p(y = 1 x) + (1 y) log p(y = 0 x)] ) (13.30) ϕ ( ] = max E x pr(x) log D(x, ϕ) + E x p θ (x ) log(1 D(x, ϕ))] ) (13.31) ϕ = max ϕ ( E x pr(x) ] ( log D(x, ϕ) + E z p(z) log(1 D G(z, θ), ϕ))] ), (13.32) 其中 θ 和 ϕ 分布时生成网络和判别网络的参数生成网络生成网络 (Generator Network) 的目标刚好和判别网络相反, 即让判别网络将自己生成的样本判别为真实样本 ( max (E z p(z) log D G(z, θ), ϕ)] ) (13.33) θ

13 13.3 生成对抗网络 2018 年 6 月 29 日 289 ( ( = min (E z p(z) log 1 D G(z, θ), ϕ))] ). (13.34) θ 上面的这两个目标函数是等价的但是在实际训练时, 一般使用前者, 因为其梯度性质更好我们知道, 函数 log(x), x (0, 1) 在 x 接近 1 时的梯度要比接近 0 时的梯度小很多, 接近饱和区间这样 (, 当判别网络 ( D )) 以很高的概率认为生成网络 G 产生的样本是假样本, 即 1 D G(z, θ), ϕ 1 这时目标函数关于 θ 的梯度反而很小, 从而不利于优化还有一种改进生成网络的梯度的方法是将真实样本和生成样本的标签互换, 即生成样本的标签为训练和单目标的优化任务相比, 生成对抗网络的两个网络的优化目标刚好想反因此生成对抗网络的训练比较难, 往往不太稳定一般情况下, 需要平衡两个网络的能力对于判别网络来说, 一开始的判别能力不能太强, 否则难以提升生成网络的能力然后也不能太弱, 否则针对它训练的生成网络也不会太好在训练时需要使用一些技巧, 使得在每次迭代中, 判别网络比生成网络的能力强一些, 但又不能强太多生成对抗网络的训练流程如算法 13.1 所示每次迭代时, 判别网络更新 K 次而生成网络更新一次, 即首先要保证判别网络足够强才能开始训练生成网络

14 年 6 月 29 日第 13 章深度生成模型在实践中 K 是一个超参数, 其取值一般取决于具体任务算法 13.1: 生成对抗网络的训练过程输入 : 训练集 D, 对抗训练迭代次数 T, 每次判别网络的训练迭代次数 K, 小批量样本数量 M 1 随机初始化 θ, ϕ; 2 for t 1 to T do // 训练判别网络 D(x, ϕ) 3 for k 1 to K do // 采集小批量训练样本 4 从训练集 D 中采集 M 个样本 {x (m) }, 1 m M; 5 从分布 N (0, I) 中采集 M 个样本 {z (m) }, 1 m M; 6 使用随机梯度上升更新 ϕ, 梯度为 7 end 1 ϕ M M m=1 // 训练生成网络 G(z, θ) ( log D(x (m), ϕ) + log ( 1 D ( G(z (m), θ), ϕ )))] ; 8 从分布 N (0, I) 中采集 M 个样本 {z (m) }, 1 m M; 9 使用随机梯度上升更新 θ, 梯度为 10 end 输出 : 生成网络 G(z, θ) 1 θ M M ( )] D G(z (m), θ), ϕ ; m= 一个生成对抗网络的具体实现 :DCGAN 生成对抗网络是指一类采用对抗训练方式来进行学习的深度生成模型, 其包含的判别网络和生成网络都可以根据不同的生成任务使用不同的网络结构本节介绍一个生成对抗网络的具体例子深度卷积生成对抗网络 (Deep Convolutional Generative Adversarial Networks,DCGAN)Radford et al., 2015] 在 DCGAN 中, 判别网络是一个传统的深度卷积网络, 但使用了带步长的卷积来实现下采样操作, 不用最大汇聚 (pooling) 操作生成网络使用一个特殊的

13.3 生成对抗网络 2018 年 6 月 29 日 291 深度卷积网络来实现, 如图 13.8 所示, 使用微步卷积来生成 64 63 大小的图像微步卷积参见第 5.5.1 节图 13.

, 2015] DCGAN 的主要优点是通过一些经验性的网络结构设计使得对抗训练更加稳定比如,(1) 使用代步长的卷积 ( 在判别网络中 ) 和微步卷积 ( 在生成网络中 ) 来代替汇聚操作, 以免损失信息 ;(2) 使用批量归一化 ;(3) 去除卷积层之后的全连接层 ;(4) 在生成网络中, 除了最后一层使用 Tanh 激活函数外, 其余层都使用 ReLU 函数 ;(5)

15 13.3 生成对抗网络 2018 年 6 月 29 日 291 深度卷积网络来实现, 如图 13.8 所示, 使用微步卷积来生成大小的图像微步卷积参见第节图 13.8 DCGAN 中的生成网络第一层是全连接层, 输入是从均匀分布中随机采样的 100 维向量 z, 输出是的向量, 重塑为的张量 ; 然后是四层的微步卷积, 没有汇聚层图片来源 :Radford et al., 2015] DCGAN 的主要优点是通过一些经验性的网络结构设计使得对抗训练更加稳定比如,(1) 使用代步长的卷积 ( 在判别网络中 ) 和微步卷积 ( 在生成网络中 ) 来代替汇聚操作, 以免损失信息 ;(2) 使用批量归一化 ;(3) 去除卷积层之后的全连接层 ;(4) 在生成网络中, 除了最后一层使用 Tanh 激活函数外, 其余层都使用 ReLU 函数 ;(5) 在判别网络中, 都使用 LeakyReLU 激活函数模型分析将判别网络和生成网络合并, 整个生成对抗网络的整个目标函数看作最小化最大化游戏 (minimax game), ( ] ( min max E x pr(x) log D(x, ϕ) + E x pθ (x) log(1 D x, ϕ))] ) (13.35) θ ϕ = min max θ ϕ ( E x pr(x) ] ( log D(x, ϕ) + E z p(z) log(1 D G(z, θ), ϕ))] ), (13.36) 因为之前提到的生成网络梯度问题, 这个最小化最大化形式的目标函数一般用来进行理论分析, 并不是实际训练时的目标函数假设 p r (x) 和 p θ (x) 已知, 则最优的判别器为参见习题 13-1 D (x) = p r (x) p r (x) + p θ (x). (13.37)

16 年 6 月 29 日第 13 章深度生成模型将最优的判别器 D (x) 代入公式 (13.35), 其目标函数变为 L(G D ) = E x pr(x) = E x pr(x) log ] ] log D (x) + E x pθ (x) log(1 D (x)) p r(x) p r(x) + p θ (x) ] + E x pθ (x) p θ (x) p r(x) + p θ (x) ] (13.38) log (13.39) ( ) ( ) = D KL p r p a + D KL p θ p a 2 log 2 (13.40) JS 散度参见第 E.3.3 节 = 2D JS (p r p θ ) 2 log 2, (13.41) 其中 D JS 为 JS 散度,p a (x) = 1 2 ( ) p r (x) + p θ (x) 为一个平均分布在生成对抗网络中, 当判断网络为最优时, 生成网络的优化目标是最小化真实分布 p r 和模型分布 p θ 之间的 JS 散度当两个分布相同时,JS 散度为 0, 最优生成网络 G 对应的损失为 L(G D ) = 2 log 2 然而,JS 散度的一个问题是 : 当两个分布没有重叠时, 它们之间的 JS 散度恒等于常数 log 2 对生成网络来说, 目标函数关于参数的梯度为 0 L(G D ) θ = 0. (13.42) 图 13.9 给出了生成对抗网络中的梯度消失问题的示例当真实分布 p r 和模型分布 p θ 没有重叠, 最优的判断网络对所有生成数据的输出都为 0,D (G(z, θ)) = 0, z 因此, 生成网络的梯度消失 1 最优判断函数 D 0 真实数据 pr 生成数据 p θ 图 13.9 生成对抗网络中的梯度消失问题因此, 在实际训练生成对抗网络时, 我们一般不会将判别网络训练到最优, 只进行一步或多步梯度下降, 使得生成网络的梯度依然存在然而, 判别网络也不能太差, 否则生成网络的梯度为错误的梯度如何使得判别网络在梯度消失和梯度错误之间取得平衡并不是一件容易的事

17 13.3 生成对抗网络 2018 年 6 月 29 日模型坍塌如果使用公式 (13.33) 作为生成网络的目标函数, 将最优判断网络 D 代入, 得到 ] L (G D ) = E x pθ (x) log D (x) (13.43) p r(x) = E x pθ (x) log p r(x) + p θ (x) pθ(x) ] (13.44) p θ (x) = E x pθ (x) log p ] ] θ(x) p θ (x) + E x pθ (x) log (13.45) p r(x) p r(x) + p θ (x) ( ) = D KL p θ p r + E x pθ (x) log ( ] 1 D (x)) (13.46) ( ) ] = D KL p θ p r + 2D JS (p r p θ ) 2 log 2 E x pr(x) 根据公式 log (13.41) D (x), (13.47) 其中后两项和生成网络无关, 因此 ( ) max L (G D ) = min D KL p θ p r 2D JS (p r p θ ), (13.48) θ θ 其中 JS 散度 D JS (p θ p r ) 0, log 2] 为有界函数, 因此生成网络的目标为更多的是受逆向 KL 散度 D KL (p θ p r ) 影响, 使得生成网络更倾向于生成一些更安全的样本, 从而造成 mykey 模型坍塌 Model Collapse 问题前向和逆向 KL 散度因为 KL 散度是一种非对称的散度, 在计算真实分布 p r 和模型分布 p θ 之间的 KL 散度时, 按照顺序不同, 有两种 KL 散度 : 前向 KL 散度 (forward KL divergence)d KL (p r p θ ) 和逆向 KL 散度 (reverse KL divergence) D KL (p θ p r ) 前向和逆向 KL 散度分别定义为 D KL (p r p θ ) = p r (x) log p r(x) dx, (13.49) p θ (x) D KL (p θ p r ) = p θ (x) log p θ(x) dx. (13.50) p r (x) 在前向 KL 散度中, (1) 当 p r (x) 0 而 p θ (x) > 0 时,p r (x) log pr(x) p θ (x) 0 不管 p θ (x) 如何取值, 都对前向 KL 散度的计算没有贡献 (2) 当 p r (x) > 0 而 p θ (x) 0 时,p r (x) log pr(x) p θ (x), 前向 KL 散度会变得非常大因此, 前向 KL 散度会鼓励模型分布 p θ (x) 尽可能覆盖所有真实分布 p r (x) > 0 的点, 而不用回避 p r (x) 0 的点

18 年 6 月 29 日第 13 章深度生成模型在逆向 KL 散度中, (1) 当 p r (x) 0 而 p θ (x) > 0 时,p θ (x) log p θ(x) p r(x) 即当 p θ (x) 接近于 0, 而 p θ (x) 有一定的密度时, 逆向 KL 散度会变得非常大 (2) 当 p θ (x) 0 时, 不管 p r (x) 如何取值,p θ (x) log p θ(x) p r(x) 0 因此, 逆向 KL 散度会鼓励模型分布 p θ (x) 尽可能避开所有真实分布 p r (x) 0 的点, 而不需要考虑是否覆盖所有布 p r (x) > 0 的点图给出数据真实分布为一个高斯混合分布, 模型分布为一个单高斯分布时, 使用前向和逆向 KL 散度来进行模型优化的示例蓝色曲线为真实分布 p r 的等高线, 红色曲线为模型分布 p θ 的等高线真实分布 pr 前向散度 DKL(pr pθ) 逆向散度 DKL(pθ pr) 图前向和逆向 KL 散度改进模型生成对抗网络的改进主要有以下几个方面 : GAN 中交叉熵 (JS 散度 ) 不适合衡量生成数据分布和真实数据分布的距离, 如果通过优化 JS 散度训练 GAN 会导致找不到正确的优化目标, 所以, W-GAN Wassertein 距离参见第 E.3.4 节 W-GAN 是一种通过用 Wassertein 距离替代 JS 散度来优化训练的生成对抗网络 Arjovsky et al., 2017] 对于真实分布 p r 和模型分布 p θ, 它们的 1st-Wasserstein 距离为 W 1 (p r, p θ ) = ] inf E (x,y) γ x y, (13.51) γ Π(P r,p g) 其中 Γ(p r, p θ ) 是边际分布为 p r 和 p θ 的所有可能的联合分布集合

19 13.3 生成对抗网络 2018 年 6 月 29 日 295 当两个分布没有重叠或者重叠非常少时, 它们之间的 KL 散度为 +,JS 散度为 log 2, 并不随着两个分布之间的距离而变化而 1st-Wasserstein 距离可以依然衡量两个没有重叠分布之间的距离根据 Kantorovich-Rubinstein 对偶定理, 两个分布 p r 和 p θ 之间的 1st-Wasserstein 距离的对偶形式为 : W 1 (p r, p θ ) = 其中 f : R d R 为 1-Lipschitz 函数, 满足 sup E x pr f(x)] E x pθ f(x)], (13.52) f L 1 f(x) f(y) f L sup 1. (13.53) x y x y 我们可以将 1-Lipschitz 连续的约束宽松为 K-Lipschitz 连续, 等于计算 p r 和 p θ 之间的 K W 1 (p r, p θ ) 数学小知识 Lipschitz 连续函数在数学中, 对于一个实数函数 f : R R, 如果满足函数曲线上任意两点连线的斜率一致有界, 即任意两点的斜率都小于常数 K > 0, f(x 1 ) f(x 2 ) K x 1 x 2, (13.54) 则函数 f 就称为 K-Lipschitz 连续函数,K 称为 Lipschitz 常数 Lipschitz 连续要求函数在无限的区间上不能有超过线性的增长如果一个函数可导, 并满足 Lipschitz 连续, 那么导数有界如果一个函数可导, 并且导数有界, 那么函数为 Lipschitz 连续参见习题 13-2 令 f(x, ϕ) 为一个神经网络, 假设存在参数集合 Φ, 对于所有的 ϕ Φ,f ϕ (x) 为 K-Lipschitz 连续函数那么公式 (13.52) 中的上界可以转换为 max E x p r f(x, ϕ)] E x pθ f ( x, ϕ)], (13.55) ϕ Φ 其中 f(x, ϕ) 称为评价网络 (Critic Network) 对于真实样本,f(x, ϕ) 的打分要尽可能的高 ; 对于模型生成的样本,f(x, ϕ) 的打分要尽可能的低和标准 GAN 中的判别网络的值域为 0, 1] l 不同, 评价网络 f(x, ϕ) 的值域没有限制

20 年 6 月 29 日第 13 章深度生成模型 l 为参数数量因为神经网络为连续可导函数, 为了使得 f(x, ϕ) 满足 K-Lipschitz 连续, 可以令导数 f(x,ϕ) x 有界一种近似的方法是限制参数 ϕ c, c],c 为一个比较小的正数, 比如 0.01 生成网络的目标是使得生成样本的 f(x, ϕ) 得分尽可能高 ( ] max E z p(z) f G(z, θ), ϕ). (13.56) θ 因为 f(x, ϕ) 为不饱和函数, 所以生成网络参数 θ 的梯度不会消失, 理论上解决了原始 GAN 训练不稳定的问题并且 W-GAN 中生成网络的目标函数不再是两个分布的比率, 在一定程度上缓解了模型坍塌问题, 使得生成的样本具有多样性算法 13.2 给出 W-GAN 的训练过程和原始 GAN 相比,W-GAN 的评价网络最后一层不使用 sigmoid 函数, 损失函数不取对数 13.4 总结和深入阅读变分自动编码器 (Variational Autoencoder,VAE)Kingma and Welling 2013], Rezende et al. 2014] Doersch 2016] Kingma and Welling 2013]Rezende et al. 2014] Bowman et al. 2015] Springenberg 2015] CatGAN Goodfellow et al. 2014] Chen et al. 2016] Nowozin et al. 2016] Denton et al. 2015] laggan Salimans et al. 2016] Mirza and Osindero 2014] Arjovsky and Bottou 2017]Arjovsky et al. 2017] 习题

21 13.4 总结和深入阅读 2018 年 6 月 29 日 297 算法 13.2: W-GAN 的训练过程输入 : 训练集 D, 对抗训练迭代次数 T, 每次评价网络的训练迭代次数 K, 小批量样本数量 M 1 随机初始化 θ, ϕ; 2 for t 1 to T do // 训练评价网络 f(x, ϕ) 3 for k 1 to K do // 采集小批量训练样本 4 从训练集 D 中采集 M 个样本 {x (m) }, 1 m M; 5 从分布 N (0, I) 中采集 M 个样本 {z (m) }, 1 m M; // 计算评价网络参数 ϕ 的梯度 6 g ϕ = 1 M ( f(x (m), ϕ) f ( G(z (m), θ), ϕ ))] ; ϕ M m=1 // 使用 RMSProp 算法更新 ϕ 7 ϕ ϕ + α RMSProp(ϕ, g ϕ ); // 梯度截断 8 ϕ clip(ϕ, c, c); 9 end // 训练生成网络 G(z, θ) 10 从分布 N (0, I) 中采集 M 个样本 {z (m) }, 1 m M; // 更新生成网络参数 θ 11 g θ = 1 M ( f G(z (m), θ), ϕ) ] ; θ M m=1 12 θ θ + α RMSProp(θ, g θ ); 13 end 输出 : 生成网络 G(z, θ)

22 年 6 月 29 日参考文献习题 13-1 假设一个两类分类, 类别为 c 1 和 c 2, 样本 x 在两个类的条件分布为 p(x c 1 ) 和 p(x c 2 ), 一个分类器 f(x) = p(c 1 x) 用于预测一个样本 x 来自类别 c 1 的后验概率证明若采用交叉熵损失, ] L(f) = E x p(x c1) log f(x) + E x p(x c2) log ( 1 f(x) )], (13.57) 参见公式 (13.58) 则最优分类器 f (x) 为 f (x) = p(x c 1 ) p(x c 1 ) + p(x c 2 ). (13.58) 习题 13-2 分析下面函数是否满足 Lipschitz 连续条件 (1)f : 1, 1] R,f(x) = x 2 ; (2)f : R R,f(x) = x 2 ; (3)f : R R,f(x) = x 2 + 1; (4)f : 0, 1] 0, 1],f(x) = x 参考文献 Martin Arjovsky and Léon Bottou. Towards principled methods for training generative adversarial networks. arxiv preprint arxiv: , Martin Arjovsky, Soumith Chintala, and Léon Bottou. Wasserstein GAN. arxiv preprint arxiv: , Samuel R Bowman, Luke Vilnis, Oriol Vinyals, Andrew M Dai, Rafal Jozefowicz, and Samy Bengio. Generating sentences from a continuous space. arxiv preprint arxiv: , Xi Chen, Yan Duan, Rein Houthooft, John Schulman, Ilya Sutskever, and Pieter Abbeel. Infogan: Interpretable representation learning by information maximizing generative adversarial nets. In Advances in Neural Information Processing Systems, pages , Emily L Denton, Soumith Chintala, Rob Fergus, et al. Deep generative image models using a laplacian pyramid of adversarial networks. In Advances in neural information processing systems, pages , Carl Doersch. Tutorial on variational autoencoders. arxiv preprint arxiv: , Ian Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-

23 参考文献 2018 年 6 月 29 日 299 Farley, Sherjil Ozair, Aaron Courville, and Yoshua Bengio. Generative adversarial nets. In Advances in Neural Information Processing Systems, pages , Diederik P Kingma and Max Welling. Auto-encoding variational bayes. arxiv preprint arxiv: , Mehdi Mirza and Simon Osindero. Conditional generative adversarial nets. arxiv preprint arxiv: , Sebastian Nowozin, Botond Cseke, and Ryota Tomioka. f-gan: Training generative neural samplers using variational divergence minimization. In Advances in Neural Information Processing Systems, pages , Alec Radford, Luke Metz, and Soumith Chintala. Unsupervised representation learning with deep convolutional generative adversarial networks. arxiv preprint arxiv: , Danilo Jimenez Rezende, Shakir Mohamed, and Daan Wierstra. Stochastic backpropagation and approximate inference in deep generative models. arxiv preprint arxiv: , Tim Salimans, Ian Goodfellow, Wojciech Zaremba, Vicki Cheung, Alec Radford, and Xi Chen. Improved techniques for training GANs. In Advances in Neural Information Processing Systems, pages , Jost Tobias Springenberg. Unsupervised and semi-supervised learning with categorical generative adversarial networks. arxiv preprint arxiv: , 2015.

Fig. 1 1 GAN Basic structure and computation procedure of GAN., z c c, InfoGAN, [7]., GAN,,. 2 Fig. 2 arxiv GAN Trend of the number of GAN pape

Fig. 1 1 GAN Basic structure and computation procedure of GAN., z c c, InfoGAN, [7]., GAN,,. 2 Fig. 2 arxiv GAN Trend of the number of GAN pape 44 5 Vol. 44, No. 5 2018 5 ACTA AUTOMATICA SINICA May, 2018 : 1, 2 3 4 5 6 1, 7.,,. (Generative adversarial networks, GAN),. 1 GAN GAN Goodfellow [1] 2014.. GAN (Generator) (Discriminator), 1. p z ( )

年 6 月 29 日第 13 章深度生成模型 z y x (a) 带隐变量的生成模型 x (b) 带类别的生成模型 图 13.1 生成模型 13.1 概率生成模型 生成模型一般具有两个基本功能 : 密度估计和生成样本 密度估计给定一组数据 D = {x (i) },

年 6 月 29 日第 13 章深度生成模型 z y x (a) 带隐变量的生成模型 x (b) 带类别的生成模型图 13.1 生成模型 13.1 概率生成模型生成模型一般具有两个基本功能 : 密度估计和生成样本密度估计给定一组数据 D = {x (i) },