文章编号 : 结合卷积神经网络和词语情感序列特征的中文情感分析陈钊 1, 徐睿峰 1*, 桂林 1, 陆勤 2 (1. 哈尔滨工业大学深圳研究生院计算机科学与技术学院, 广东省深圳市 ; 2. 香港理工大学电子计算学系, 香港特别行政区 ) 摘要 : 目前基于词嵌入的卷积神经网络文本分

Size: px

Start display at page:

Download "文章编号 : 结合卷积神经网络和词语情感序列特征的中文情感分析陈钊 1, 徐睿峰 1*, 桂林 1, 陆勤 2 (1. 哈尔滨工业大学深圳研究生院计算机科学与技术学院, 广东省深圳市 ; 2. 香港理工大学电子计算学系, 香港特别行政区 ) 摘要 : 目前基于词嵌入的卷积神经网络文本分"

枉禺劳
5 years ago
Views:

1 文章编号 : 结合卷积神经网络和词语情感序列特征的中文情感分析陈钊 1, 徐睿峰 1*, 桂林 1, 陆勤 2 (1. 哈尔滨工业大学深圳研究生院计算机科学与技术学院, 广东省深圳市 ; 2. 香港理工大学电子计算学系, 香港特别行政区 ) 摘要 : 目前基于词嵌入的卷积神经网络文本分类方法已经在情感分析研究中取得了很好的效果此类方法主要使用基于上下文的词嵌入特征, 但在词嵌入过程中通常并未考虑词语本身的情感极性, 同时此类方法往往缺乏对大量人工构建情感词典等资源的有效利用针对这些问题, 本文提出了一种结合情感词典和卷积神经网络的情感分类, 利用情感词典中的词条对文本中的词语进行抽象表示, 在此基础上利用卷积神经网络提取出抽象词语的序列特征, 并用于情感极性分类本文提出的相关方法在中文倾向性分析评测 COAE2014 数据集上取得了比目前主流的卷积神经网络以及朴素贝叶斯支持向量机更好的性能关键词 : 卷积神经网络 ; 情感分析 ; 词语情感序列特征中图分类号 :TP391 文献标识码 :A Combining Convolutional Neural Networks and Word Sentiment Sequence Features for Chinese Text Sentiment Classification Zhao Chen 1, Ruifeng Xu 1, Lin Gui 1, Qin Lu 2 (1. School of Computer Science and Technology, Harbin Institute of Technology Shenzhen Graduate School, Shenzhen, Guangdong, , China; 2. Depart of Computing, The Hong Kong Polytechnic University, Hong Kong, China) Abstract: Recently, the classification approach based on word embedding and convolutional neural networks achieved good results in sentiment classification task. This approach is mainly based on the contextual features of the word embeddings without the consideration of the polarity of the words. Meanwhile, this approach lacks of the use of manually compiled sentiment lexicon resources. Target to these problems, this paper proposes a novel sentiment classification method which incorporates existing sentiment lexicon and convolution neural networks. In this word, the words in text are abstractly represented by using existing sentiment words. The convolutional neural networks are used to extract sequence features from the abstracted word embeddings. Finally, the sequence features are applied to sentiment classification. The evaluations on Chinese Opinion Analysis Evaluation 2014 dataset show that our proposed approach outperforms the convolutional neural networks model with word embedding features and Naïve Bayes Support Vector Machines. Keywords: Convolutional neural networks, Sentiment analysis, Word sentiment sequence features 1 引言互联网相关技术的飞速发展带来人们日常生活的悄然改变用户通过微博等自媒体在社交网络中表达自己的观点, 在电子商务平台对网购的产品进行评价等行为已经成为了日常生活中的一部分如何利用机器学习自然语言处理技术对此类文本进行分析, 获得其中的观点倾向性情感极性, 成为了人工智能领域的一个重要研究问题 [1] 传统的情感分析技术大体可以分为基于规则的方法和基于统计的方法基于规则收稿日期 : 定稿日期 : 基金项目 : 国家自然科学基金 ( , ), 国家 863 计划 (2015AA015405), 广东省自然科学基金 (S ), 深圳市孔雀计划技术创新项目 (KQCX ), 深圳数字舞台表演机器人技术工程实验室 ([2014]1507)

2 的方法主要从语言学角度出发, 利用语言专家的人工知识编写词典和模板, 对文本中的情感倾向性进行分析 [2] 基于统计的方法, 则从机器学习的角度出发, 利用人工标注的训练语料, 进行特征提取和统计模型构建, 自动化地实现情感极性的判断 [3] 在文本情感分析发展的十余年中, 两类方法互相影响, 相互渗透, 使得情感分析技术向着更高的水平迈进在这个过程中, 研究人员们积累了大量的资源工具算法与模型近年来, 随着深度学习相关技术的发展, 研究人员利用基于深度神经网络的相关技术对文本中的情感进行分析例如利用构建在句法分析树上的循环神经网络对电影评论文本进行五个级别的情感极性判别 [4], 以及利用卷积神经网络进行情感分析 [5] 等部分研究人员认为此类方法是模拟人类神经元的工作方法, 对文本进行了情感的理解而另一部分研究人员则认为此类方法是在特征层面更好地构建了模型不论是哪一种观点, 基于深度神经网络的方法是一种自动化的情感分析方法, 并且由于其模型参数规模大, 对于特征空间的构建与搜索模型的建立等都更为精细, 性能上也体现了相比于以往方法的优越性但这类方法忽略了对现有积累的大量情感资源, 包括已有的规则已有的情感词典知识库等的有效利用如何融合深度神经网络和现有情感计算资源, 则是一个有待解决的问题为此, 本文提出一种结合卷积神经网络和情感计算资源的中文文本情感分析方法, 采用基于词典资源的抽象表达方式来描述每个词语的基本属性特征, 将词语的情感极性和词性特征应用到文本的特征表示然后利用卷积神经网络提取与文本情感表达相关的序列特征作为文本的特征向量用于情感分类在中文倾向性分析评测 Chinese Opinion Analysis Evaluation (COAE2014) 数据集的实验显示本文提出的方法取得了比目前主流的卷积神经网络 (Convolutional Neural Network, CNN) 以及朴素贝叶斯支持向量机 (Naïve Bayes Support Vector Machines,NBSVM) 更好的性能, 显示了本文提出思路的有效性本文的内容组织如下 : 第二节介绍情感分析以及深度学习的相关工作, 第三节主要介绍本文提出的情感分析方法, 第四节将通过两组实验评估本文方法的有效性, 第五节将对本文的主要贡献做出梳理和总结 2 相关工作文本情感分析技术主要通过分析文本内容来判断文本所表达的情感倾向这一技术在产品评价分析舆情监控等方面具有较广泛的应用情感分析技术大体可以分为基于规则的方法和基于统计的方法其中基于情感词典资源的有监督机器学习方法是目前的研究热点这类方法主要基于有监督的机器学习方法, 如支持向量机 (SVMs, Support Vector Machines) 朴素贝叶斯(NB, Naïve Bayes) 最大熵(ME, Max Entropy) 通过结合文本特征, 包括一元词特征 (uni) 二元词特征 (bigram) 词性特征情感词特征等, 将文本映射为特征向量, 用于模型的训练和分类预测 Sida Wang [6] 等人采用朴素贝叶斯和支持向量机相结合的方法, 在多个公开数据集上取得了不错的效果 Bollegala [7] 等人利用不同领域情感表达方式的共性来构建领域相关的情感词典, 扩充文本特征, 以此提高跨领域情感分类的效果谢丽星 [8] 等人针对中文微博的文本特征, 提出了基于层次结构的多策略中文微博情感分析和特征抽取方法在自然语言处理领域, 词作为文本的基本组成单元,One-hot Representation 成为词语最常用的一种表达方式但是该方法忽略了词与词之间的上下文语义与语法关系, 也无法提供词本身所携带的信息 Bengio [9] 等在 2003 年提出用神经网络构建二元语言模型的方法, 把词映射到低维实数向量, 通过词与词之间的距离来判断它们之间的语义相似度 Andriy Mnih [10] 等人提出层次 Log-Bilinear 模型来训练语言模型 Mikolov [11-12] 借鉴 Log-Bilinear 模型的思想, 在 word2vec 中实现了 CBOW 和 Skip-gram 两种语言模型随后, 词嵌入 ( 也称词向量 )

3 被应用自然语言处理的多个领域 Socher [13] 等人提出基于词向量的递归神经网络, 实现对文本的向量表示, 并在情感分析方面取得不错的效果 Johnson [14] 提出基于 One-hot Representation 的词表达方式的卷积神经网络模型, 显示了词序特征在文本分类上的有效性上述基于词向量的深度学习模型主要利用了词的上下文语义信息和语法结构特征, 而在情感分析任务中, 词语极性和词性等词语本身具有特征信息直接影响文本的情感表达 Maas [15] 利用训练语料的情感标注信息, 提出了有监督学习和无监督学习相结合的语言模型 Tang [16] 提出一种嵌入情感信息的语言模型, 在 Twitter 情感分类任务中取得最好成绩 Faruqiu [17] 则采用后处理的方式, 实现在任意词向量上嵌入具有网络结构的语义词典目前的相关工作中, 基于人工规则和词典资源的特征抽取方法往往依赖于特定领域或特定语料, 而且文本特征维度随人工规则和词典资源的增加而线性增长, 不仅增加了模型的训练成本, 还降低了模型的泛化能力 3 基于卷积神经网络的词语情感序列特征抽取模型为了实现文本情感特征信息的有效挖掘和表达, 本文提出了一种结合词语情感特征的卷积神经网络 (WFCNN, Word Feature Convolutional Neural Networks) 方法这一方法首先建立一种基于情感词典资源的抽象词向量表达方式, 通过该方法引入词语的情感极性和词性特征然后用词向量组成文本特征矩阵, 将其作为卷积神经网络模型的输入, 并利用反向传播算法训练模型最后, 提取 WFCNN 模型产生的序列特征, 将其作为输入文本的情感特征表示, 加入到支持向量机 SVMs 分类器, 实现对文本的情感极性分类 3.1 基于词典的词语抽象表示方法网络文本, 如微博产品评论, 由于受到文本长度限制, 内容往往较为精简, 偏向于口语化, 整体情感较为单一, 因此文本中的相关情感表达序列片段往往代表着文本的情感倾向例如, 太逗了! 看到蒙牛笑喷了其中太逗了和笑喷了代表了整句的情感倾向又如所以我都不喝蒙牛, 一直不喜欢蒙牛, 文本中的不喜欢表达了负面情绪在对上述文本的倾向性进行识别时, 若能提取与情感表达相关的序列片段, 将有助于准确地判断文本的情感极性基于上述对文本情感表达序列规则的观察, 本文提出了利用词典资源构建词向量的方法不同于 word2vec 等实数向量的表示方式, 本文利用词语本身具有的属性特征来构建词向量本文把每一个词语映射到一个 k 维 0,1 向量空间, 即 xx R kk, 其中 k 代表词语本身具有的特征个数, 每一维度的数值用 0 或 1 表示,0 表示不具有该特征,1 表示具有该特征对于给定的句子, 它包含 n 个词 xx ii, 1 ii nn, 构成一个 nn kk 的特征矩阵本文将句子中第 i 个词到第 j 个词组成的短语片段记为 XX [ii:jj] 同理, 包含 n 个词的句子记做 XX [1:nn] 本文采用如表 1 所示的词语特征 : 表 1 情感分类采用的词语特征特征名称值是否是正面情感词 (0/1) 是否是负面情感词 (0/1) 是否是否定词 (0/1) 是否是程度副词 (0/1) 是否是名词 (0/1) 是否是动词 (0/1) 是否是形容词 (0/1) 是否是副词 (0/1) 是否是标点符号 (0/1) 3.2 基于词向量的卷积神经网络模型卷积神经网络是一种前馈神经网络, 由卷积层和下采样层叠加组合而成每一层的输出是下一层的输入卷积层作为特征提取层, 通过滤波器提取局部特征, 经过卷积核函数运算产生特征图, 输出到下采样层下

4 采样层属于特征映射层, 对卷积层产生的特征图进行采样, 输出局部最优特征本文在 Kim [5] 的卷积神经网络模型的基础上, 引入了本文提出的基于词典资源的词向量表示方法图 1 为本文采用的卷积神经网络模型本文利用大小为 h kk 的滤波器对输入特征矩阵进行卷积操作, 即 : cc ii = ff (ww XX ii:ii+h 1 + bb) (1) 其中,cc ii 代表特征图中第 i 个特征值,f( ) 为卷积核函数,ww R hkk 为滤波器,h 为滑动窗口大小,b 为偏置值 XX ii:ii+h 1 表示由第 i 行到第 i+h-1 行组成的局部特征矩阵因此, 特征图 C 为 : CC = [cc 1, cc 2, cc 3, cc nn h+1 ] (2) 下采样层采用 max-over-time pooling 方法进行特征采样, 得到的特征值为 cc : cc = max{ C } (3) 卷基层连续特征 (Word2vec) 采样层全连接层我 /rr 爱 /v 自然 /a 语言 /n 处理 /v 二值特征 ( 词典资源 ) 图 1 本文提出的 WFCNN 模型结构卷积层和下采样层组成 WFCNN 模型偏置项的特征提取层,WFCNN 由多个不同类型的最后, 利用训练好的 WFCNN 模型, 将特征提取层 (h 取不同的值 ) 并列组成, 其文本特征矩阵转为特征向量 V, 并用 SVMs 中每种类型的特征提取层各 m 个, 因此全连分类器进行模型训练和分类接层的特征向量 V 为 : 3.3 词语序列特征融合方法 VV = cc 1,h 1,, cc mm,h 1, cc 1,h jj,, cc ll,h jj, (4) 其中 cc ll,h jj 为第 j 种类型的滤波器产生的第 l 个特征值期望通过这样的网络结构, 可以在本文提出的基于词语特征表示的基础上, 进一步提取出与正负面情感标签相关的词语序列特征用于最终的情感分类下采样层输出的特征向量作为全连接层的输入, 然后利用 Softmax 输出分类结果, 并根据训练数据的实际分类标签, 采用反向传播算法对模型参数进行梯度更新即 : PP(yy VV, WW ss, bb ss ) = ssssssssssssss yy (WW ss VV + bb ss ) (5) 其中,yy {+1, 1},WW ss R VV,bb ss 为本文提出的 WFCNN 模型在对文本特征矩阵进行特征提取后, 输出文本的特征向量 V 特征向量 V 可以作为其他模型的附加特征, 为其他模型提供一种嵌入文本情感倾向性特征的简单高效的方法假设 VV 为增加文本情感倾向性特征后的特征向量, V oooooooooooooooo 模型原始特征向量, 则 : VV = V oooooooooooooooo VV (6) 其中为向量拼接操作在本文提出的计算体系下, 可以对文本中每一个词语进行抽象, 选择离散特征来表示其可能的情感极性以及其他可能对情感

5 极性造成反转或增强的属性在此基础上, 通过卷积神经网络的卷积运算, 在抽象出的词语属性序列上, 进行基于卷积操作的特征提取通过这一运算, 获得在抽象属性基础上的序列特征因此, 本文提出的相关方法所抽取的特征, 具有很好的可理解性在此基础上, 可以将本文的相关方法与传统的规则方法通过添加规则集的方式进行融合, 也可以利用本文的相关方法和传统的特征工程方法进行特征层面的融合 4 实验结果在 2014 年中文观点倾向性分析评测 ( Chinese Opinion Analysis Evaluation, COAE2014) 微博数据集上, 对本文提出方法有效性进行评估 COAE2014 微博数据集分为训练数据集和测试数据集训练数据来自同一个话题, 总共 2174 条, 其中有 1003 条带有正面情绪,1171 条带有负面情绪测试数据分别选自手机保险翡翠三个不同话题, 总共 7000 条, 其中带有正面情感的有 3776 条, 带有负面情感的有 3224 条本文设计了两组实验来验证本文提出的方法的有效性实验一, 对比本文提出的 WFCNN 模型与 Kim 提出的基于 word2vec 训练的词向量的 CNN 模型 ( 标记为 W2VCNN) 以及 Sida Wang 提出的 NBSVM 1 模型的性能实验二, 将本文方法提取的情感序列特征添加到 W2VCNN 模型和 NBSVM 模型中验证本文方法在提取文本情感特征上的有效性 4.1 实验数据预处理与模型参数设置本实验使用的词典资源由 Hownet 情感词典和大连理工大学细粒度情感词典构成在数据预处理方面, 利用 ICTCLAS 2 分词工具对实验数据集进行分词和词性标注词向量采用 Google 开源的 word2vec 3 的 Skip-gram 模型, 利用 2000 万条微博语料训练产生词向量维度为 50 维, 包含 33 万个词汇, 在实验数据集上的词汇覆盖率为 90.08% 对于卷积神经网络模型, 本文统一采用如表 2 所示的卷积神经网络模型可调参数设置表 2 卷积神经网络参数设置可调参数值卷积核函数 Rectified linear 函数过滤器滑动窗口大 2,3,4,5 小 h 过滤器数量 m 100 随机更新参数比例 0.5 训练迭代次数 50 在 NBSVM 模型中, 本文采用 Unigram 和 Bigram 语言模型构建文本特征向量 4.2 模型对比实验第一组实验对比本文提出的 WFCNN 模型与其他已有模型的性能表 3 列出了在 COAE2014 数据集上实验的对比结果表 3 三种模型的情感分类性能对比 (COAE 2014 数据集 ) Precision+ Recall+ F-Score+ 模型 Precision- Recall- F-Score WFCNN W2VCNN NBSVM 从表 3 的实验结果可以看出, 本文提出的 WFCNN 模型与基于 word2vec 的词向量的 W2VCNN 在性能上有一定的差距但是 WFCNN 模型以低维度的词语特征构造特征输入, 相比于 50 维乃至上百维的词向量, 降低了模型的复杂度和减少了模型参数, 加快了模型训练速度, 同时保证了良好的性能 WFCNN 模型基于词典资源, 提取表达文本情感倾向性的通用规则序列, 具有较强的模型泛化能力与传统的基于领域知识的

6 NBSVM 相比,WFCNN 不仅在模型训练上具有优势, 而且在性能上也具有较大的优势从表 3 的实验结果可知, 在正面情绪识别的 F-Score 上,WFCNN 比 NBSVM 高出 1.68%, 而负面情绪识别的 F-Score,WFCNN 比 NBSVM 高出 6.56% 4.3 特征融合实验对比第二个实验为了验证本文提出的 WFCNN 模型在提取文本情感倾向性特征序列上的有效性, 将 WFCNN 模型生成的文本特征向量分别与 W2VCNN 模型和 NBSVM 模型的特征向量进行特征融合, 对比特征融合前后的模型性能变化表 4 列出了特征融合前后的实验结果对比通过对模型特征融合前后的实验对比, 可以发现 WFCNN 模型产生的文本情感倾向性序列特征能够有效地提升文本情感分类的效果对于 W2VCNN 模型, 融合 WFCNN 模型产生的情感倾向性序列特征后, 在正面情绪识别的 F-Score 上获得了 0.97% 的提升, 而在负面情绪识别的 F-Score 上则提升了 1.58% 对于基于领域知识的 NBSVM 模型而言, 引入 WFCNN 模型产生的情感倾向性序列特征之后, 分类性能得到极大的提升, 在正面和负面情绪识别的 F-Score 上分别获得了 4.98% 和 7.51% 的提升表 4 情感序列特征对情感分类性能影响对比 (COAE 2014 数据集 ) Precision+ Recall+ F-Score+ 模型 Precision- Recall- F-Score W2VCNN W2VCNN WFCNN NBSVM NBSVM WFCNN 实验结果分析这里通过几个具体实例来分析 WFCNN 模型在引入文本情感序列特征上的有效性表 5 给出从测试数据集合中选取的具有代表性的数据机器分类结果表 5 测试数据实验结果样例 (COAE 2014 数据集 ) 标签 W2 WFCNN 数据样例 WFC 人工 VC +W2VC NN 标注 NN NN 三星的手机有点用不惯呀! 珠宝是一项很好的投资, 特别是翡翠升值空间是房产的 n 倍加入保险是科学管理风险, 转移损失的最佳方式买了保险, 就意味着一个麻烦之后会跟着另外的一些麻烦华为难道就只会技术了? 对于样例 1: 三星的手机有点用不惯啊, 以及样例 2: 珠宝是一项很好的投资, 特别是翡翠升值空间是房产的 n 倍, 由于这一类样例表达比较常见, 在训练集和测试集中都有类似的样例, 三种方法对此类样例均有一定程度的覆盖度, 所以都做出了正确的情感分类对于样例 3 加入保险是科学管理风险, 转移损失的最佳方式以及样例 4 买了保险, 就意味着一个麻烦之后会跟着另外的一些麻烦, 由于这类样例中的情感词不是单独起作用, 而是通过词的序列表达出了一定的逻辑关系基于词向量的 CNN 方法, 在处理这类样例时, 由于样例 3 中大量的负面词风险损失等等, 而被误分类为负面而在本文提出的词语情感序列模型下, 由于风险所在的序列为科学管理风险, 是作为一个正面极性词 + 动词 + 负面极性词 ; 而一些麻烦则是作为量词 + 负面极性词被判为反例这类样本在基于词向量的 CNN 中均被错误分类, 而基于序列特征的 CNN 可以正确处理而综合了此类序列特征之后, 基于词向量的方法可以将之前的错误分类纠正对于样例 5 华为难道就只会技术了? 所有方法均未能正确分类由于此样例中出现了反问讽刺的表达方式, 而会技术这一关键词不论是基于词向量的表达, 还是基

于词典的表示, 均被判为正例所以这一样例在三种方法中均未能正确分类由此可见,WFCNN 模型在处理具有情感词的文本时, 能通过提取包含情感词的序列特征, 如科学管理风险最佳方式一些麻烦等, 准确地识别文本情感倾向性而 W2VCNN 模型由于只利用词语之间的语法和语义信息的词向量, 无法提取文本中表达情感倾向性的序列特征, 因此对文本进行了错误的分类而将 WFCNN

将文本映射为低维度的抽象的特征矩阵, 在保证文本情感倾向性识别性能的基础上, 降低了卷积神经网络模型的复杂度, 加快了模型训练的速度此外, 本文提出的算法能够从文本中挖掘表示情感倾向性的序列特征, 可以为其他模型提供对情感分类有用的特征信息由于本文提出的算法依赖于词典资源, 词典资源的数量和质量直接影响到算法的执行效果所以,

[2] Xu R.F, Wong K.F, Xia Y. Coarse-Fine opinion mining-wia in NTCIR-7 MOAT task [C] //Proceedings of NTCIR 2008: 307-313. [3] Tan S., Zhang J.

7 于词典的表示, 均被判为正例所以这一样例在三种方法中均未能正确分类由此可见,WFCNN 模型在处理具有情感词的文本时, 能通过提取包含情感词的序列特征, 如科学管理风险最佳方式一些麻烦等, 准确地识别文本情感倾向性而 W2VCNN 模型由于只利用词语之间的语法和语义信息的词向量, 无法提取文本中表达情感倾向性的序列特征, 因此对文本进行了错误的分类而将 WFCNN 模型的情感序列特征加入到 W2VCNN 模型后, 模型能够准确地识别文本的情感倾向性此外, 从测试样例中可以发现, 无论是 WFCNN 模型还是 W2VCNN 模型都无法识别反讽句式的情感倾向性对于如何识别这类特殊表达句式, 也将是我们今后需要研究的一个课题 5 结论本文提出了一种基于卷积神经网络的文本情感倾向性序列特征挖掘的算法, 通过利用词语本身固有的特征, 将文本映射为低维度的抽象的特征矩阵, 在保证文本情感倾向性识别性能的基础上, 降低了卷积神经网络模型的复杂度, 加快了模型训练的速度此外, 本文提出的算法能够从文本中挖掘表示情感倾向性的序列特征, 可以为其他模型提供对情感分类有用的特征信息由于本文提出的算法依赖于词典资源, 词典资源的数量和质量直接影响到算法的执行效果所以, 如何利用卷积神经网络在抽象特征抽取方面的优势去挖掘和扩充词典资源将是我们下一步需要研究的工作参考文献 : [1] Pang B., Lee L., Vaithyanathan S. Thumbs up?: sentiment classification using machine learning techniques [C]//Proceedings of ACL 2002: [2] Xu R.F, Wong K.F, Xia Y. Coarse-Fine opinion mining-wia in NTCIR-7 MOAT task [C] //Proceedings of NTCIR 2008: [3] Tan S., Zhang J. An empirical study of sentiment analysis for Chinese documents [J]. Expert Systems with Applications, 2008, 34(4): [4] Socher R., Perelygin A., Wu J. Y., et al. Recursive deep models for semantic compositionality over a sentiment Treebank [C]//Proceedings of EMNLP 2013: [5] Kim Y. Convolutional neural networks for sentence classification [C]//Proceedings of EMNLP 2014: [6] Wang S., Manning C.D Baselines and bigrams: Simple, good sentiment and topic classification [C]//Proceedings of ACL, 2012: [7] Bollegala D., Weir D., Carroll J. Using multiple sources to construct a sentiment sensitive thesaurus for cross-domain sentiment classification [C]//Proceedings of ACL, 2011: [8] 谢丽星, 周明, 孙茂松. 基于层次结构的多策略中文微博情感分析和特征抽取 [J]. 中文信息学报, 2012, 26(1): [9] Bengio Y., Ducharme R., Vincent P., et al. A neural probabilistic language model [J]. The Journal of Machine Learning Research, 2003, 3: [10] Mnih A., Hinton G.E A scalable hierarchical distributed language model [C]//Proceedings of NIPS 2009: [11] Mikolov T., Sutskever I., Chen K., et al. Distributed representations of words and phrases and their compositionality [C]// Proceedings of NIPS 2013: [12] Mikolov T., Chen K., Corrado G., et al. Efficient estimation of word representations in vector space [J]. Computing Research Repository, 2013: [13] Socher R., Pennington J., Huang E.H, et al. Semi-supervised recursive autoencoders for predicting sentiment distributions [C]//Proceedings of ACL 2011: [14] Johnson R., Zhang T. Effective use of word order for text categorization with convolutional neural networks [J]. Computing Research Repository, 2014: [15] Maas A.L, Daly R.E, Pham P.T, et al. Learning word vectors for sentiment analysis [C]//Proceedings of ACL, 2011: [16] Tang D., Wei F., Yang N., et al. Learning sentiment-specific word embedding for twitter sentiment classification [C]//Proceedings of ACL, 2014: [17] Faruqui M., Dodge J., Jauhar S.K, et al. Retrofitting word vectors to semantic lexicons [J]. Computing Research Repository, 2014: 陈钊 (1990-) 硕士研究生, 主要研究方向为自然语言处理, 文本情绪计算 gilbertchen@126.com 徐睿峰 (1973-) 博士, 副教授, 主要研究方向为自然语言处理, 文本情绪计算, 认知结算 xuruifeng@hitsz.edu.cn 桂林 (1988-) 博士研究生, 主要研究方向为机器学习, 情感分析 guilin.nlp@gmail.com

54 48 6-7 word2vec 8-10 GloVe 11 Word2vec X king - X man X queen - X woman Recurrent Neural Network X shirt - X clothing X chair - X furniture 2 n-gra

54 48 6-7 word2vec 8-10 GloVe 11 Word2vec X king - X man X queen - X woman Recurrent Neural Network X shirt - X clothing X chair - X furniture 2 n-gra Journal of South China Normal University Natural Science Edition 2016 48 3 53-58 doi 106054 /jjscnun201605006 1 2* 2 3 2 1 510631 2 3 510225 Glove TP3911 A 1000-5463 2016 03-0053-06 Research on Academic