专题第 11 卷第 3 期 2015 年 3 月从结构上说深层神经网逐层学习的无监督预处理可以为络就是前向多层神经网络是下一步有监督的反向传播提供一由沃伦麦卡洛克 (Warren Mc- 个比较好的初始参数自然语言处理中的深度学习 Culloch) 在 194

Size: px

Start display at page:

Download "专题第 11 卷第 3 期 2015 年 3 月从结构上说深层神经网逐层学习的无监督预处理可以为络就是前向多层神经网络是下一步有监督的反向传播提供一由沃伦麦卡洛克 (Warren Mc- 个比较好的初始参数自然语言处理中的深度学习 Culloch) 在 194"

市仰
7 years ago
Views:

1 第 11 卷第 3 期 2015 年 3 月深度学习在自然语言处理中的应用刘树杰1 董力2 张家俊3 等 1 微软亚洲研究院 2 北京航空航天大学 3 中国科学院自动化研究所关键词深度学习自然语言处理深度学习简介音识别人脸检测机器翻译等在该层次结构中高层特征通过首先需要解决的是什么样的特征底层特征构建不同底层特征的深度学习是近年来机器学习对任务是最有用的发现和选择不同方式的组合可以构建不同领域发展最为迅速的领域严格有效的特征对机器学习的性能起的高层特征如图 1 所示使用来说深度学习并不是一种全新到至关重要的作用特征可以是深层神经网络可以从原始的像素的机器学习方法而是基于深层专家人工定义的也可以是机器输入学习到第一层次的特征来神经网络 (Deep Neural Network, 学习得到的让机器自动学习特描述点和线通过使用第一层次征称为的特征进而学习到第二层次的 DNN) 的学习方法的别称这里的深层神经网络和传统的多层神经网络描述的几乎是完全相同的概念深度学习之所以在沉寂多年之后重新得到学术界的高度关输出层隐状态层注是因为其在一系列人工智能的重要任务中所取得的突破性成果例如在机器学习标志性隐状态层的基准测试手写体识别任务中深度学习可以将错误率从 1.4% SVM 模型降低到 0.39% [1] 隐状态层在语音识别领域深度学习历史性地将错误率从 27.4% 降低到 18.5%[2] 现代深度学习方法最引人注输入层图1 使用深度神经网络做人脸识别目的一个特点是其具有自动特征深度学习是的一特征来描述眼睛鼻子以及汽学习的能力有效的特征提取是种和大多数简单的的车的轮胎等更高层次的特征深各类机器学习方法共同的基础要方法不同深度学习方法可以自层神经网络还可以学习更具体的素给定一个学习任务比如语动地学习一个特征的层次结构描述人脸汽车等的特征 9

描述点和线通过使用第一层次征称为的特征进而学习到第二层次的 DNN) 的学习方法的别称这里的深层神经网络和传统的多层神经网络描述的几乎是完全相同的概念深度学习之所以在沉寂多年之后重新得到学术界的高度关输出层隐状态层注是因为其在一系列人工智能的重要任务中所取得的突破性成果例如在机器学习标志性隐状态层的基准测试手写体识别任务中深度学习可以将错误率从 1.

2 专题第 11 卷第 3 期 2015 年 3 月从结构上说深层神经网逐层学习的无监督预处理可以为络就是前向多层神经网络是下一步有监督的反向传播提供一由沃伦麦卡洛克 (Warren Mc- 个比较好的初始参数自然语言处理中的深度学习 Culloch) 在 1943 年提出的深给定当前层的状态如何使随着语音和图像处理领域的层是相对于单层神经网络感用无监督的训练方法获得下一层突破性进展深度学习在自然语 [3] 知机模型而言的如图 1 所示的状态和连接两层的参数呢这言处理领域也越来越受到重视多层神经网络有一个输入层多里简单介绍基于自动编码的训练并逐渐应用于自然语言处理的各于一个的隐状态层以及一个输出方法如图 2 所示假设当前层种任务中然而自然语言处理任层可以是一个向量以下一务有其自身的特点与语音和图层作为输入每一层通过一个线像处理之间的不同主要体现在以性或者非线性的函数获得该层的下两方面解码状态深层神经网络通常使用反向 1. 语音和图像在处理过程中的输入信号可以在向量空间内表传播的方法来训练然而由于层示而自然语言处理通常在词汇数较多并且随机初始化造成的训编码一级进行将独立的词语转换为练结果不稳定等使得深层神经向量并作为神经网络的输入是将网络一直没有在实际应用中推广神经网络应用于自然语言处理的起来直到 2006 年辛顿 (Hinton) 图2 基于自动编码的无监督训练等人使用了基于受限贝尔兹曼机基础 2. 自然语言任务中通常要处 (restricted Bolzman machine) 的逐为一个 n 维的向量 F 其值固定理各种递归结构语言模型词性层无监督训练的预处理方法率标注等需要对序列进行处理而先在数字图像识别上获得了突破将错误率降低到 1.4% 随 [4] 作为输入下一层为一个 m 维的向量 G 首先构造一个 n 维的输出层 F 并随机将两层的参句法分析机器翻译等则对应更加复杂的树形结构这种结构化数初始化给定输入 F 隐含层的处理通常需要特殊的神经网络自动编码的预处理方法也取得 F 然后使用 F 和 F 的差异作词汇向量化表示了比较好的效果将错误率降低为损失进行反向传播进而更新词是自然语言处理的基本单到 1.2% 两层的参数这个构造的单隐含元词汇本身通常作为统计模型层的神经网络可以理解为一个对的特征应用于自然语言处理的各后本希奥 (Bengio) 和萨拉赫丁诺夫 (Salakhutdinov) 提出了基于 [5] 深度学习的训练框架分为逐层无监督训练的预处理和有监督状态 G 并得到输出层的结果输入 F 进行编码获得隐含层 G 种任务中在传统研究方法里并对隐含层 G 进行解码以期词汇通常表示为 one-hot 的形式从第一层隐状态开始使用受限如此训练得到的参数能够在编码贝尔兹曼机或者自动编码的方法损失最小的情况下对 F 进行表示为一个大小为 V 的向量其的反向传播两部分当进行无监督的预处理时通过给定输入获得输入 F 的过程如果 m <n 即假设词表大小为 V 第 k 个词 10 中第 k 维为 1 其他维为 0 该进行无监督的学习以获得该层的压缩降维如果 m n 那么我参数然后固定该层作为第二们需要在损失函数上添加正则项词的语义信息即不管两个词义层的输入使用同样的无监督学 L 1 或者 L 2 来进行稀疏编码或相关性如何它们的 one-hot 的向习方法获得第二层的参数这种量表示都是正交的这种表示方者升维表示方式的缺点是无法有效刻画

与语音和图层作为输入每一层通过一个线像处理之间的不同主要体现在以性或者非线性的函数获得该层的下两方面解码状态深层神经网络通常使用反向 1.

3 第 11 卷第 3 期 2015 年 3 月式也容易造成数据稀疏当不同行求导得到梯度并使用反向传网络方法学习到的词向量能够刻的词作为完全不同的特征应用于播的方式来学习神经网络各层的画一些有意思的线性关系比如统计模型中时由于不常见的词参数同时更新正负例样本中的 king-man+woman queen[9] 在训练数据中出现的次数比较少词向量这样的训练方法能够将导致对应特征的估计存在偏差由于大规模单语数据的获适合出现在窗口中间位置的词聚得相对容易使得神经网络训科洛贝尔 (Collobert) 等人提合在一起而将不适合出现在这练词汇的向量化表示成为可能出了使用神经网络的方法自动学个位置的词分离开来从而将语训练得到的词向量可以应用于习词汇的向量化表示其基本义语法或者词性相似的词映自然语言处理的其他任务中原则是一个词包含的意义应该射到向量空间中相近的位置并一定程度上解决了由于特定 [6] 由该词周围的词决定如图 3 所与替换中间词的方法不同任务的训练数据不充足而造成米可洛夫 (Mikolov) 等人提出了一种使用周围词预测中间词的连续词袋模型 (CBOW) [7] 如图 4 的数据稀疏问题语言模型传统的 N-Gram 语言模型同样存在数据稀疏问题为此本希奥 (Bengio) 和施文克 (Schwenk) 求和图3 学习词汇的向量化表示提出了一个基于神经网络的语言模型 [10] 如图 5 所示该神经示首先将词汇表中的每一个词随机初始化为一个向量然后用大规模的单语语料作为训练数据图4 连续词包模型来优化此向量使相似的词具有所示连续词包模型将相邻的词相近的向量表示具体优化方法向量直接相加得到隐层并用隐是从训练数据中随机选取一个窗口大小为 n 的片段 phr + 图 3 层预测中间词的概率同词袋模中窗口大小为 4 片段为 cat sat on the mat 作为正例将 phr + 对应的词向量进行拼接作为神经网络的输入层经过一个隐含层后得到得分 f + f + 表示此片段型一样采用的是直接相加所以周围词的位置并不影响预测的结洛夫等人还提出了一种连续 skip- gram 模型同连续词袋模型 [7] 的预测方式相反连续 skip-gram 将窗口中间的词随机替换为词表概率这两个模型是基于开源工中的另外一个词得到一个负例的片段 phr - 进而得到负例的打具 word2vec 开发的黄 (Huang) 损失 (ranking hinge loss) 该损失函数使正例的得分 f + 至少比负例的得分 f - 大 1 对该损失函数进图5 基于神经网络的语言模型果因此也称为词袋模型米可是否为一个正常的自然语言片段模型通过中间词来预测周围词的分 f - 损失函数定义为排序合页跨层的连接网络具有与图 3 类似的结构将词表示为向量的形式作为神经网络的输入训练的过程中会对词向量进行优化和更新图 5 与图 3 在结构上的不同之处是增加了跨层的连接 (skip layer connec- 等人将词语在句子中的上下文同 tions) 输出不仅仅依赖于隐含层全局上下文相结合来学习词向量还依赖于词向量本身输出的是表示全局上下文是出现该词的给定输入词片段在这里是 cat 文档中所有词向量的加权平均 sat 时下一个词的概率该模型 [8] 此外一些研究发现使用神经通过最后的 softmax 层保证了输 11

中原则是一个词包含的意义应该射到向量空间中相近的位置并一定程度上解决了由于特定 [6] 由该词周围的词决定如图 3 所与替换中间词的方法不同任务的训练数据不充足而造成米可洛夫 (Mikolov) 等人提出了一种使用周围词预测中间词的连续词袋模型 (CBOW) [7] 如图 4 的数据稀疏问题语言模型传统的 N-Gram 语言模型同样存在数据稀疏问题为此本希奥

4 专题第 11 卷第 3 期 2015 年 3 月出一个词表大小的向量且该向量各元素大小之和为 1 softmax 函数的计算量非常大导致模型的训练速度比较慢为解决这一问题米妮红 (Minih) 和辛顿首先将词进行聚类构建层次的二叉树并将预测下一个词的概率转化为在二叉树中路径的概率从而将 softmax 的计算用多个 sigmoid 函数取代加快了训练速度图 5 中的模型只能使用有限用前一个历史 the cat 和当前词 sat 生成当前历史 the cat sat 并预测下一个词 on 新生成的历史 the cat sat 又与新生成的词 on 一起预测下一个词 the 的词向量初始化并通过递归神经网络进行更新为了更好地描述不同的句的递归神经网络扩展为组合矢句法分析量文法 [13] 标准的递归神经网索赫尔 (Socher) 等人提出了使用递归神经网络 ( Recursive 络使用相同参数的神经网络组合子节点计算父节点的可信度和 Neural Network, RNN) 实现对树句法标记的概率而组合矢量文型结构的预测法则对不同的句法标记使用不同 [12] 络的输入层有用更多的历史米可洛夫等人引两部分分别入了重现神经网络来训练语言模是左子节点的重现神经网络是指新生向量表示和右成的历史状态可以作为下一个时子节点的向量间点神经网络参数不变的输表示两个子型在大规模的单语数据上训练得到法结构的信息索赫尔将标准的历史来预测下一个词为了使 [11] 词而叶节点的向量化表示通过递归神经网入从而形成递归重现的结构节点的向量表如图 6 所示重现神经网络输入示通过神经网层分为两部分一部分为当前词络后生成父节 x t 另一部分为 t-1 时刻的历史点的向量表示同时生成一个打参数的神经网络例如当两个节 h t-1 x t 和 h t-1 通过神经网络合并分该打分表示创建父节点的可点句法标记分别为 B 和 C 组图7 递归神经网络用于句法分析信程度如图 7 所示左右子节合生成一个新的父节点时使用点的表示分别为 (8, 5) 和 (3, 3) 一个对应 B 和 C 类型的神经网经过神经网络后形成父节点的向量表示 (8, 3) 以及可信度打分图6 基于重现神经网络的语言模型生成当前的历史向量 h t h t 和 x t 一起预测下一个词重现神经网络通过不断地将输入词的信息添加到历史向量中理论上可以保存无限的历史图 6 显示的是使 12 络而当 D 和 E 组合生成一个父节点时则使用另外一个神经 1.3 父节点的向量表示又可以与网络这样使训练得到的神经其他子节点通过相同的递归神经网络能更准确地描述不同句法结网络组合形成更大的父节点依构的组合形式和语义信息为了次递归直至生成整个句子的根进一步提高模型的性能索赫尔节点表示从而形成一棵完整的等人将组合矢量文法同概率上下句法分析树整棵树的可信度打文无关文法 (Probabilistic Context 分是所有节点可信度打分的总 Free Grammar, PCFG) 相结合 [13] 和基于每个节点的向量化表示当句法标记分别为 B 和 C 类型可以添加一个 softmax 层来计算的子节点生成父节点 D 时其可句法分析树的叶节点是句子中的 logp(d B C ) 其中 (v(b,c ) )TD 每个节点对应句法标记的概率信度的打分为 s(d)=(v(b,c ) )TD +

索赫尔 (Socher) 等人提出了使用递归神经网络 ( Recursive 络使用相同参数的神经网络组合子节点计算父节点的可信度和 Neural Network, RNN) 实现对树句法标记的概率而组合矢量文型结构的预测法则对不同的句法标记使用不同 [12] 络的输入层有用更多的历史米可洛夫等人引两部分分别入了重现神经网络来训练语言模是左子节点的

5 第 11 卷第 3 期 2015 年 3 月表示通过父节点的向量表示得到网络可以从词向量开始递归生成优化目标语言的神经网络这种的可信度打分 logp(d B C ) 源语言和目标语言片段的向量化双语约束得到的片段表示应用于表示 PCFG 中规则 D B C 概率表示并基于两个翻译对的源语统计机器翻译的概率估计中取的对数言和目标语言片段通过神经网得了显著的效果机器翻译顺序逆序深度神经网络同样被引入到统计机器翻译的研究中杨 (Yang) 等人借鉴和扩展了语音识别中的 CD-DNN-HMM 模型并应用于词汇对齐中 [14] 该方法一方面通过词向量解决了对齐的数据稀疏问题另一方面引入从上下文来对翻译进行消歧奥利没有 never 见过的 seen before 图8 基于递归自动编码神经网络的调序模型 (Auli) 等人通过词对齐信息引入源语言的信息来扩展重现神经网络提出了一种翻译和语言的联合模型 [15] 该联合模型的打分作 source phrase embedding rs 为特征添加到对数线性模型中 target phrase embedding rt 提高了翻译性能刘 (Liu) 等人提出了一种累加神经网络来描述翻译概率该方法将单语数据训练得到的词向量输入一个单隐含层的神经网络并输出一个基于词向量的翻译概率 [16] 基于词汇的最大熵调序模型法国和俄罗斯 France and Russia 图9 基于递归自动编码的双语对向量化学习络获得顺序和逆序的概率传统的递归神经网络在组合两个子节点时并不能像重现神语言片段是顺序还是逆序李 (Li) 张 (Zhang) 等人将递归自动编码的神经网络用于学习双语的经网络那样引入新的信息为了等人提出了使用递归自动编码神片段向量化表示如图 9 所将语言模型知识引入到递归神经经网络的方法来利用整个片段信示但是分别生成的源语言和网络对统计机器翻译的解码过的方法递归自动编码神经目标语言的片段向量化表示并不程进行建模刘 (Liu) 等人提出网络在初始化递归神经网络的参存在语义上的对应关系为了得了递归重现神经网络 (R2NN) 方数时使用自动编码的原则来训到语义上的相关性他们使用交法将递归神经网络和重现神经练即给定两个子节点通过递互优化的方式训练神经网络即网络 [19] 结合在了一起如图 10 归神经网络获得父节点的编码首先固定目标语言片段的向量表所示递归重现神经网络是在然后基于父节点的编码尽可能示然后以该向量表示为优化目递归神经网络中引入了三个输入地还原输入的两个子节点如图 8 标优化源语言的神经网络最层分别是两个子节点的额外输所示使用递归自动编码的神经后固定源语言片段的向量表示入信息和父节点的额外信息前采用边界词作为特征来判断目标息 [17] [18] 13

(Auli) 等人通过词对齐信息引入源语言的信息来扩展重现神经网络提出了一种翻译和语言的联合模型 [15] 该联合模型的打分作 source phrase embedding rs 为特征添加到对数线性模型中 target phrase embedding rt 提高了翻译性能刘 (Liu) 等人提出了一种累加神经网络来描述翻译概率该方法将单语数据训练得到的词向量输入一个单隐含

6 专题第 11 卷第 3 期 2015 年 3 月者用来生成父节点的向量表示进行建模索赫尔等人在递归自选择不同的语义合成函数通过后者用来生成父节点的置信度打动编码模型的基础上除了使用结合依存关系树信息董等人将分递归重现神经网络除了可以重构损失外还加入了情感类别自适应递归神经网络用于解决目自动学习对翻译有用的特征外的监督信息 [21] 这样这个半标依赖的情感分类任务 [24] Kalchbrenner 等人在卷积神还可以自然地将传统的特征以额监督递归自动编码模型在由词向外信息的形式添加到神经网络模量构建短语向量表示时就可以型中更多地保留情感信息句法分析 (dynamic k-max pooling) 技术来处树用来决定语义合理自然语言变长的特性在情感成的顺序以此替分类任务上取得了不错的效果 [25] 代递归自动编码模 Quoc 等人在神经网络语言模型中型中通过贪心搜索引入段落向量来表示全局语义信损失最小的递归结息从而得出段落或句子的构为了更好地处向量表示通过结合情感类别的理情感分析的语义监督信息在句子级与文档级的合成索赫尔等人情感分类任务上得到了提高 [26] 图10 递归重现神经网络崔 (Cui) 等人将深度神经网络学习到的主题表达用于统计机器翻译消歧 [20] 传统方法通常使提出了矩阵 - 向量递归神经网络 (Matrix-Vector Recurrent Neural Network, MV-RNN) 如图 11 所经网络中引入动态 k-max 池化为了学习含有情感信息的词向量拉布托夫 (Labutov) 等人在现有词向量的基础上加入了情感用句子内部的信息来对翻译进行示每个单词除了有一个向量外分类监督信息使新修改的词向消歧而崔等人的方法则是通过还有一个矩阵来表示某种语义操量尽可能与原有向量相像同时信息检索技术获取与要翻译的句作在进行语义合成时首先用又能在分类任务上表现得更好子相关的文档这些文档使用深两个语义操作矩阵分别对另一半实验结果表明根据情感分析任度神经网络方法学习得到句子的进行操作然后进行语义合成务修改过的词向量能够获得更好主题表达进而利用翻译候选的得到短语的向量表示为了刻画主题表达与句子主题表达的一致两个向量之间的相互作用索赫性来对翻译候选进行消歧尔等人进一步提出了递归张量神情感分析经网络 [22] 与普通神经网络的不同递归张量神经网络使用基于尝试理解人类情感一直是人张量的合成函数来取代原有的线工智能的目标目前深度学习在性函数以此扩展语义合成函数此问题上主要用于给定一段文本的能力范围同样为了解决语义来判断其情感类别及强度为了合成问题董 (Dong) 等人提出自更好地处理情感分析问题中语义适应递归神经网络 (AdaRNN) 在图11 矩阵-向量递归神经网络合成的问题如不是很喜欢构建短语向量表示时自适应递与喜欢的情感极性相反归神经网络根据当前合成向量自 14 的分类效果 [27] 唐 (Tang) 等人将一些研究工作利用自然语言的递适应地使用多个语义合成函数 [23] 推特中的表情符作为弱标注在归性质与语义的可合成性使用这样可将每个词的情感语义操作学习词向量时直接将情感信息嵌递归神经网络对句子的情感语义信息嵌入到词向量中进而用来入到向量表示中 [28] 而不是修改

代递归自动编码模 Quoc 等人在神经网络语言模型中型中通过贪心搜索引入段落向量来表示全局语义信损失最小的递归结息从而得出段落或句子的构为了更好地处向量表示通过结合情感类别的理情感分析的语义监督信息在句子级与文档级的合成索赫尔等人情感分类任务上得到了提高 [26] 图10 递归重现神经网络崔 (Cui) 等人将深度神经网络学习到的主题表达用于统计机

7 第 11 卷第 3 期 2015 年 3 月无监督学习得来的词向量他们用于自然语言处理需要进行更多将此思路扩展后将词或短语的研究和探索针对特殊任务的向量作为词语的特征用来自动构建大规模的情感词典 [29] 其他自然语言处理任务词汇表达的学习以及词汇之间关系的探索越来越受到重视处理自然语言的结构化输出需要更为复杂的神经网络复杂神经网络科洛贝尔等人基于深度神又对高效和并行化的训练算法提经网络提出了一个统一的多任务出了新的要求我们相信随着框架来处理自然语言处理中的词可用的训练数据越来越多计算性标注浅层句法分析命名能力会越来越强在自然语言处实体识别和语义角色标注并理领域深度学习也会更有用武发布了基于这个框架的开源工具之地 SENNA [6] 索赫尔等人使用动态池化 (dynamic pooling) 技术解决了两个句子长度不一致的问题并成功将递归自动编码神经网络应用于复述检测任务中 [30] 陆 (Lu) 等人将深度神经网络同层次刘树杰微软亚洲研究院副研究员主要研究方向为统计机器翻译自然语言处理机器学习 shujliu@ microsoft.com 主题模型相结合解决了复杂的董力多层次匹配问题并将其成功应北京航空航天大学研究生主要研究方向为情感分析自然语言处理人工智能 donglixp@ outlook.com 用于自动问答和微博评注的匹配中 [31] 何 (He) 等人使用去噪自动编码的神经网络来学习文档表示并将其应用于实体链接的任务中取得了不错的效果 [32] 博张家俊兹 (Bordes) 等人将深度神经网络 CCF会员中科院自动化所副研究员主要研究方向为自然语言处理机器翻译统计学习等 jjzhang@ nlpr.ia.ac.cn 应用于语义消歧显著地提高了性能 [33] 吴 (Wu) 等人提出了使用基于文本窗口的去噪自动编码神经网络来做中文分词显著降低了错误率 [34] 展望尽管深度学习已经在语音和图像处理中取得重大进展然而语言与语音图像不同是特殊的人工符号系统将深度学习应其他作者韦福如李沐周明参考文献 [1] M a r c A u r e l i o R a n z a t o, Christopher Poultney, Sumit Chopra, and et al.. Efficient learning of sparse representations with an energy-based model. In J. Plattet al., editor, In Proceedings of NIPS, MIT Press, [2] S e i d e, F r a n k, G a n g L i, a n d Dong Yu. Conversational speech transcription using contextdependent deep neural networks. Proceedings of Interspeech, 2011:437~440. [3] McCulloch, Warren S., and Walter Pitts. A logical calculus of the ideas immanent in nervous activity. The bulletin of mathematical biophysics 1943: 115~133. [4] Hinton, G. E., Osindero, and et al... A fast learning algorithm for deep belief nets. Neural C o m p u t a t i o n, 2006; 18: 1527~1554. [5] Hinton, G. E. and Salakhutdinov, R.. Reducing the dimensionality of data with neural networks. Science, 2006; 313(5786):504~507. [6] Ronan Collobert, Jason Weston, Léon Bottou, and et al.. Natural language processing (almost) from scratch. J. Mach. Learn. Res. 2011:2493~2537. [7] Mikolov, Tomas, Kai Chen, and et al.. Efficient estimation of word representations in vector space. arxiv preprint arxiv: , [8] Huang, Eric H., Richard Socher, a n d e t a l.. I m p r o v i n g w o r d representations via global context and multiple word prototypes. Proceedings of the 50th Annual Meeting of the Association for Computational Linguistics: Long Papers-Volume 1. Proceedings of ACL, 2012:873~882. [9] Mikolov, Tomas, Wen-tau Yih, and et al.. Linguistic regularities in continuous space word representations. Proceedings of NAACL-HLT, 2013:746~751. [10]B e n g i o, Yo s h u a, H o l g e r 15

(dynamic pooling) 技术解决了两个句子长度不一致的问题并成功将递归自动编码神经网络应用于复述检测任务中 [30] 陆 (Lu) 等人将深度神经网络同层次刘树杰微软亚洲研究院副研究员主要研究方向为统计机器翻译自然语言处理机器学习 shujliu@ microsoft.

8 专题第 11 卷第 3 期 2015 年 3 月 Schwenk, and et al.. Neural probabilistic language models. I n n o v a t i o n s i n M a c h i n e L e a r n i n g. S p r i n g e r B e r l i n Heidelberg, 2006:137~186. [11]Mikolov, T., Karafiát, M., Burget, et al.. Recurrent neural network based language model. Proceedings of INTERSPEECH, 2010:1045~1048. [12]Socher, R., Lin, C. C., Manning, C., & N g, A. Y.. P a r s i n g natural scenes and natural language with recursive neural networks. Proceedings of ICML, 2011:129~136. [13]Socher, R., Bauer, J., Manning, C. D., & Ng, A. Y. Parsing with compositional vector grammars. Proceedings of ACL, [14]Yang Nan, Liu Shujie, Li Mu, and et al.. Word alignment m o d e l i n g w i t h c o n t e x t dependent deep neural network. Proceedings of ACL, [15]Auli, Michael, Michel Galley, and et al..joint language and translation modeling with recurrent neural networks. Proceedings of EMNLP, [16]Liu, Lemao, Taro Watanabe, Eiichiro Sumita, and et al.. Additive neural networks for statistical machine translation. Proceedings of ACL, [17]P e n g L i, Ya n g L i u, a n d M a o s o n g S u n. R e c u r s i v e autoencoders for ITG-based translation. Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing, 2013:567~577. [18]Jiajun Zhang, Shujie Liu, Mu Li, and et al.. Bilinguallyconstrained phrase embeddings f o r m a c h i n e t r a n s l a t i o n. [19]Shujie Liu, Nan Yang, Mu Li and et al.. A recursive recurrent neural network for statistical machine translation. Proceedings of ACL, [20]Lei Cui, Dongdong Zhang, Shujie Liu, and et al.. Learning t o p i c r e p r e s e n t a t i o n f o r SMT with neural networks. [21]S o c h e r, R i c h a r d, J e f f r e y P e n n i n g t o n, a n d e t a l.. Semi-supervised recursive autoencoders for predicting s e n t i m e n t d i s t r i b u t i o n s. P r o c e e d i n g s o f E M N L P, 2011: [22]Socher, Richard, Alex Perelygin, and et al.. Recursive deep models for semantic compositionality over a sentiment treebank. Proceedings of EMNLP, 2013: 1631~1642. [23]Li Dong, Furu Wei, Ming Zhou and et al.. Adaptive multicompositionality for recursive neural models with applications t o s e n t i m e n t a n a l y s i s. Proceedings of AAAI, [24]Li Dong, Furu Wei, Chuanqi Ta n, a n d e t a l.. A d a p t i v e r e c u r s i v e n e u r a l n e t w o r k for target-dependent Twitter s e n t i m e n t c l a s s i f i c a t i o n. [25]Nal Kalchbrenner, Edward Grefenstette and Phil Blunsom. A convolutional neural network f o r m o d e l l i n g s e n t e n c e s. [26]Quoc Le and Tomas Mikolov. Distributed representations of sentences and documents. Proceedings of ICML, [ 2 7 ] I g o r L a b u t o v a n d H o d Lipson. Re-embedding Words. Proceedings of ACL, [28]Duyu Tang, Furu Wei, Nan Yang, and et al.. Learning sentimentspecific word embedding for Twitter sentiment classification. [29]Duyu Tang, Furu Wei, Bing Qin, and et al.. Building largescale Twitter-specific sentiment l e x i c o n: a r e p r e s e n t a t i o n learning approach. Proceedings of COLING, [30]Socher, Richard, Eric H. Huang, and et al.. Dynamic pooling and unfolding recursive autoencoders f o r p a r a p h r a s e d e t e c t i o n. Proceedings of NIPS, 2011; ~809. [31]Lu, Zhengdong, and Hang Li. A deep architecture for matching short texts. Proceedings of NIPS, 2013:1367~1375. [32]Zhengyan He, Shujie Liu, Mu Li and et al.. Learning entity representation for entity disambiguation. Proceedings of ACL, [33]Bordes, Antoine, Xavier Glorot, and et al.. Joint learning of words and meaning representations for open-text semantic parsing. International Conference on Artificial Intelligence and Statistics, 2012:127~135. [34]Ke Wu, Zhiqiang Gao, Cheng Peng, and et al.. Text window denoising autoencoder: building deep architecture for chinese word segmentation. Proceedings of NLP-CC,

. P a r s i n g natural scenes and natural language with recursive neural networks. Proceedings of ICML, 2011:129~136. [13]Socher, R., Bauer, J., Manning, C. D., & Ng, A. Y.

54 48 6-7 word2vec 8-10 GloVe 11 Word2vec X king - X man X queen - X woman Recurrent Neural Network X shirt - X clothing X chair - X furniture 2 n-gra

54 48 6-7 word2vec 8-10 GloVe 11 Word2vec X king - X man X queen - X woman Recurrent Neural Network X shirt - X clothing X chair - X furniture 2 n-gra Journal of South China Normal University Natural Science Edition 2016 48 3 53-58 doi 106054 /jjscnun201605006 1 2* 2 3 2 1 510631 2 3 510225 Glove TP3911 A 1000-5463 2016 03-0053-06 Research on Academic