201822

Size: px

Start display at page:

Download "201822"

由垂田
5 years ago
Views:

Computer Engineering and Applications 2018,54(22) 133 卷积神经网络在短文本情感多分类标注应用周锦峰, 叶施仁, 王晖 ZHOU Jinfeng, YE Shiren, WANG Hui 常州大学信息科学与工程学院, 江苏常州 213164 School of Information Science and Engineering,

1 Computer Engineering and Applications 2018,54(22) 133 卷积神经网络在短文本情感多分类标注应用周锦峰, 叶施仁, 王晖 ZHOU Jinfeng, YE Shiren, WANG Hui 常州大学信息科学与工程学院, 江苏常州 School of Information Science and Engineering, Changzhou University, Changzhou, Jiangsu , China ZHOU Jinfeng, YE Shiren, WANG Hui. Application of convolutional neural network in multi- category classification for short text sentiment. Computer Engineering and Applications, 2018, 54(22): Abstract:Deep learning based approaches achieved less for sentiment classification with multiple labels. For this issue, this paper proposes a model called mwmpcnn(multi- windows and multi- pooling Convolutional Neural Network)to grasp the semantic distance and various emotional levels. mwmpcnn assemblies convolution layer with multiple windows to extract local context semantic, and then applies multi- pooling layer to keep multi- level semantic in short text when the feature dimension is reduced. Here, the text feature vector is constructed and reflected by the multi-level semantic, and connection layer is implemented for multi-label classification. This paper evaluates mwmpcnn by the test on Stanford Sentiment Treebank. mwmpcnn exhibits the classification accuracy of 54.6% and 43.5% respectively for the multilabel classification task. Key words:sentiment analysis; multi-category classification; convolutional neural network; deep learning 摘要 : 情感多分类标注对文本信息的敏感性远高于二分类问题为了有效利用语义依赖距离和语义多层次进行情感多分类, 提出一种多窗口多池化层的卷积神经网络模型首先使用多窗口的提取上下文局部语义, 然后通过多池化层降低特征维度, 同时保留不同层次的语义, 由多层次语义构成文本特征向量, 最后送入全连接层完成多分类标注采用斯坦福情感树库数据集验证所提模型的多分类标注效果实验结果表明, 在训练集含短语和未包含短语两种设定下, 模型的短文本情感多分类正确率分别达到 54.6% 和 43.5% 关键词 : 情感分析 ; 多分类标注 ; 卷积神经网络 ; 深度学习文献标志码 :A 中图分类号 :TP183 doi: /j.issn 引言随着即时通讯技术的广泛应用, 互联网用户不再只是简单的信息获取者, 同时成为信息制造者社交媒体的快速发展, 加速了用户的这种身份转变, 并形成了以短文本为书写特点的用户信息表达方式例如, 在电商平台发表对已购商品的点评 ; 在微博上发表对时事的看法每天数以亿计的用户短文本信息, 包含了丰富的用户观点和情感极性, 从中可以挖掘和分析出大量的知识和模式自然地, 机器学习方法可以用来解决这类情感分析问题而这些社会媒体文本长度短表达不规范数量多的特点, 导致传统机器学习方法面临样本特征表 [1] 达稀疏计算复杂等问题, 不能获得非常理想的结果深度学习给经典的数据挖掘任务提供了新的手段卷积神经网络 (Convolutional Neural Network,CNN) 是一种用来处理具有网状拓扑结构数据的深度神经网络 (Deep Neural Network,DNN) CNN 通过卷积操作, [2] 组合低层特征形成更加抽象的高层特征, 使模型能够针对目标问题, 自动学习良好的特征 CNN 在文本情感分类问题中的应用, 能够有效地避免传统机器学习方 [3] 法所面临的问题目前, 以 CNN 为基础的文本情感分类方法广泛利用文本局部最大语义进行情感划分此类方法在解决基金项目 : 国家自然科学基金 (No ); 江苏省科技厅项目 (No.BY ) 作者简介 : 周锦峰 (1978 ), 男, 硕士研究生, 研究领域为机器学习与自然语言处理, zhouzhou9076@163.com; 叶施仁 (1970 ), 男, 博士, 研究领域为数据挖掘与自然语言处理 ; 王晖 (1983 ), 男, 博士, 研究领域为机器学习与信息检索收稿日期 : 修回日期 : 文章编号 : (2018) CNKI 网络出版 : ,

2 ,54(22) 文本情感二分类标注问题中已取得良好的效果人类的情感是复杂的, 不是简单的正负极性可以描述, 带来 Computer Engineering and Applications [4] 了处理多分类标注连续情感计算等问题把情感二 Network) 模型 CharSCNN 模型以 CNN 为基础, 采用两分类问题的深度学习方法推广到情感多分类问题后, 以个分别学习单词的构造特征和句子的语义特征, 单一窗口提取局部语义特征和仅保留文本最大语义的方法会忽略语义距离依赖性和语义多层次性 [5], 将导致分类能力急剧下降针对网络短文本的情感多分类标注任务, 本文提出一种新的多窗口多池化层的卷积神经网络 (multiwindows and multi-pooling Convolutional Neural Net- 常很短, 对于这两种语义特征异常敏感这使得短文本而网络短文本情感多分类标注问题, 由于语料中文本通 work,mwmpcnn) 模型来解决其中的语义距离依赖性情感多分类时,CharSCNN 模型性能显著下降针对这和语义多层次性问题该模型使用多个并行的一问题, 本文提出具有提取和保留更丰富语义特征能力提取不同窗口大小的上下文局部语义局部语义表示向量经过模型的多个并行的池化层, 降低特征维度的同时提取短文本中不同层次的语义特征由不同层次的语义特征构成文本特征向量, 最后在模型的全连接层利用文本特征向量实现多分类标注本文采用斯坦福情感树库 (Stanford Sentiment Treebank,SSTb) 数据集来验证 mwmpcnn 模型的多分类标注的有效性实验结果表明 : 在训练集包含短语和未包含短语的两种设定条件下, 基于本文模型的短文本情感多分类正确率分别达到 54.6% 和 43.5%, 显著高于报道的学习方法基于单词的构造 ( 以构成单词的字母为单位 ), 提出 CharSCNN(Character to Sentence Convolutional Neural 充分体现 CNN 对文本局部特征抽象和提取能力该模型在短文本情感二分类任务中展示了良好的效果尽管二分类效果良好, 但是 CharSCNN 模型在特征提取过程中忽略了语义距离依赖性和语义多层次性的分类模型 3 mwmpcnn 模型如图 1 所示, 经典的 CNN 模型解决情感分类标注问题时, 通常将一个句子或一段文本以某种形式 ( 例如词向量序列 ) 输入到 CNN 的经过卷积操作, 提取出文本的局部抽象语义 ; 池化层对该局部语义表达进行降维, 同时保留某一个级别的语义特征 ; 串接层将这些语义特征向量拼接成一个句级或文本语义特征向量 ; 全连接层对这个语义特征向量进一步抽象, 最后计算出情感分析结果 2 相关工作 [6] 2002 年的 EMNLP 会议上,Pang 等首次提出情感分析问题, 并采用了朴素贝叶斯模型最大熵模型和支持向量机 (Support Vector Machine,SVM) 模型三种传统机器学习方法尝试对文本进行情感分类此后, 以传统机器学习为核心的情感分析模型层出不穷为提高分类正确率, 传统机器学习方法使用大量文本特征随着特征变多, 训练样本在每个特征上的描述会变得稀疏, 机器学习的计算复杂性成倍增加当然, 文本特征需要人工来构造, 特征越多, 人工成本越大 [7] 2003 年,Bengio 等提出了分布式表达词向量概念, 从大量未标注的语料库中无监督地学习出词向量, 使得相关或相似的词在向量空间中表示接近由词向量序列可以构成文本的原始表示形式分布式表达词向量的出现有效解决了 DNN 的输入部分对人工的依赖, 并推动了 DNN 发展出新模型应用于文本情感分类 [8] 问题 Socher 等在递归神经网络 (Recursive Neural Network,RNN) 模型的基础上, 提出了 RNTN(Recursive Neural Tensor Network) 模型已知样本的语法解析树,RNTN 模型在树中每个结点上运用基于张量的复合函数, 逐层提取各级短语和句子的合成语义, 然后基于合成语义进行情感二分类和多分类标注 RNTN 模型过 [9] 于依赖句子的语法解析树, 应用范围受限 Santos 等全连接层串接层池化层文本词向量序列图 1 CNN 模型结构本文针对网络短文本的情感多分类标注任务, 对 CNN 进行改进, 提出 mwmpcnn 模型如图 2 所示, mwmpcnn 模型使用多种卷积核提取不同窗口大小的上下文语义 ; 然后这些上下文语义向量分别送入多种池化层, 降低特征维度, 同时尽可能地保留了多个层次的语义特征 ; 串接层将多层次的语义特征向量串接成一个文本特征向量 ; 全连接层对这个文本特征向量进一步抽象, 最后计算对每个情感分类标签的分数 3.1 词向量序列词向量是词的分布式表示, 将词表示为一个稠密的低维度的向量, 它包含一个词的语法或语义信息

3 周锦峰, 等 : 卷积神经网络在短文本情感多分类标注应用 2018,54(22) 135 cnt 给定由 n 个单词组成的一个短文本 {Wrd 1,Wrd 2,, Wrd n }, 转换每个单词为其对应的 d wrd 维词向量设第 i 个单词 Wrd i 对应的词向量为 x i,x i R dwrd 该短文本可以表示成一个长度为 n 的词向量序列 s ={x 1,x 2,, x n } 这个词向量序列作为 mwmpcnn 中的输入 3.2 不同窗口大小的多 [10] 与 n-gram 模型类似,CNN 通常使用固定大小的窗口对文本的词向量序列进行一维卷积操作, 提取局部语义除非窗口放到数据集中最长的文本长度, 否则固定大小的窗口只能捕捉固定距离上的语义依赖关系如若放大窗口到最长文本的长度, 则将导致数据稀疏模型参数数量增大等问题文本分析研究早已指出文本的语义具有距离依赖性 [11], 这种依赖性在许多语言现象中起着重要作用, 例如否定关系附属关系等语言关系语言关系隐式地影响情感分析的结果网络短文本中长句子少, 词义依赖的距离短一个词仅与它附近出现的一个或几个词具有依存关系因此,mwmpCNN 模型采用多个窗口大小不同的对输入的词向量序列 s 进行卷积操作, 提取不同窗口大小的上下文局部语义 mwmpcnn 模型在卷积操作时可提供 m 个窗口大小不同的, 它们的窗口大小分别为 {k 1,k 2,, k m }, 如图 3 所示每个有 cnt 个卷积单元卷积操作时, 上述 m cnt 个卷积单元将会并行计算, 计算结果送至被分配的池化层串接层 Pooling 1 Pooling 2 多池化层 Pooling t Conv 1 Conv 2 Conv m 图 2 卷积单元计算时,k j 窗口中第 l 个卷积单元 ( 即第 j 个中第 l 个卷积单元 ) 的计算方法见式 (1), 其中全连接层文本词向量序列 mwmpcnn 模型结构 k 1 d wrd k 2 d wrd k m d wrd x 1 x k1 x k2 x km x n 图 3 卷积运算文本词向量序列并行的多窗口 0 l cnt - 1 c j,l = kj < i < n[ W j,l Z j,i + b j,l ] (1) 式 (1) 中,n 为词向量序列 s 的长度 ;c j,l 是以 k j 为窗口, 对当前短文本的词向量序列, 连续 n - k j + 1 次卷积操作的结果产生文本局部语义向量,c j,l 向量将落在维度为 n - k j + 1 的实数空间中, 即 c j,l R n - k j + 1 ;W j,l 是 k j 窗口中第 l 个卷积单元的权重矩阵,W j,l R k j dwrd ;b j,l 是 k j 窗口中第 l 个卷积单元的偏置,b j,l R ; 矩阵 Z j,i 代表一个 k j 窗口的词向量组合以 s 中第 i 个词向量 x i 为中心, 矩阵 Z j,i 由 x i 前后各 k j /2 个词向量串接生成, 即 : Z j,i = x i - kj /2 x i + kj /2 (2) 3.3 不同池化方法的多池化层受作者创作时随意性碎片性的影响, 网络短文本所蕴含的情感异常丰富一段文本中可能部分表达正面情感, 部分表达负面情感同时, 文本各部分的情感强度又有差异只有捕捉到多层次的文本语义特征, 才能够分析文本的细粒度情感 mwmpcnn 模型在池化操作时设计了多池化层并行的多池化层可对各卷积单元提取的局部语义进行统计汇总池化操作过程中卷积单元产生的局部语义向量将被降维至固定长度 mwmpcnn 模型有 t 个并行的池化层, 各池化层的池化方法不同, 如图 4 所示局部语义向量经卷积单元提取后, 被送至指定的池化层进行池化操作虽然模型实现时卷积单元的分配方法因人而异, 但是每个窗口经池化操作后均产生固定的 cnt 个元素为方便表述, 本文认为由每个窗口经池化操作后产生的 cnt 个元素构成该窗口所对应的局部文本语义特征向量对有 m 个窗口的, 多池化层最终对应输出一个包含 m 个 1 2 m 图 4 池化层 1 池化层 2 池化层 t 文本级特征对各卷积单元输出进行多池化操作

4 ,54(22) 文本语义特征向量的序列 v sent ={v 1,v 2,,v m } 这里, v 1 (v 1 R cnt ) 为 k 1 窗口所对应的局部文本语义特征向量,v 2 等依此类推设文本局部语义向量 c j,l 被送至池化层 a, 用于生成 k j 窗口所对应的语义特征向量 v j 的一个元素 v j [l] c j,l 的池化过程为 : v j [l] = p a (c j,l ) (3) 其中,p a 为池化层 a 采用的池化方法池化操作时, 常用的池化方法有提取文本最强烈语义的 max-pooling 方法和提取文本平均语义的 avg-pooling 方法等 3.4 串接层与全连接层串接层串接操作 v sent 中每个元素, 得到文本特征向 Computer Engineering and Applications 量 r sent R cnt m 串接操作为 : r sent = v 1 v 2 v t (4) 全连接层进一步抽象特征向量, 为情感多分类 T 中的每个情感分类 t(t T) 计算得分全连接层采用两层设计, 即式 (5): s(r sent ) = W 3 ReLU(W 2 r sent + b 2 ) + b 3 (5) 其中 W 2 R hlc (cnt m),b 2 R hlc,w 3 R T hlc,b 3 R T 为全连接层所需要学习的参数 hlc 是隐藏层的单元数目, 是超参数 ReLU 是近似生物神经激活函数最后,mwmpCNN 模型使用 softmax 函数计算词向量序列 s 在每个情感标签 t 下的得分, 即 : p(t r sent,θ) = es t (r sent ) T e s i (rsent ) i = 1 4 mwmpcnn 模型训练 (6) mwmpcnn 模型是通过最小化负对数似然函数进行训练对式 (6) 取对数 : ln p(t s,θ) = s t (r sent )- ln æ ç è T e s t (rsent ) i = 1 ö ø (7) 采用随机梯度下降 (Stochastic Gradient Descent, SGD) 算法来最小化负对数似然函数, 得到 : θ (x i,y i D) -ln p(y i s i ; θ) (8) 其中,D 代表训练语料 ;s i y i 表示训练语料的一条句子及其对应的情感标签 ;θ 表示模型所有参数由于网络短文本包含的上下文信息有限, 噪声较多, 过度拟合的语义关系是由训练数据集采样噪声产生, 并不真实地存在于测试数据集中 [12] 这个现象将降低模型的泛化能力此外,SSTb 数据集中用来做长句训练集的样本数量较少, 在进行卷积神经网络模型训 [13] 练时, 过拟合现象比较容易发生因此, 训练过程中, 本文在 mwmpcnn 模型的输入层和全连接层使用 Srivastava 等人 [12] 合, 明显降低泛化误差 5 实验 5.1 情感分析数据集提出的 Dropout 技术, 有效地防止过拟 SSTb 的语料内容来源于在线影评, 属于网络短文本 [8], 它包含条句子和条短语, 其中短语由句子的语法解析树产生数据集有句子和短语的情感实证概率根据分类标准界限 [0,0.2],(0.2,0.4], (0.4,0.6],(0.6,0.8],(0.8,1.0], 情感实证概率可映射到五分类中, 即表达非常负面负面中性正面非常正面的情感实验时, 本文设置有两个训练集和一个测试集其中, 训练集 A 只包含句子, 训练集 B 包含句子和短语, 测试集则只包含句子实验用数据集划分见表模型参数设定本文训练集上使用五倍交叉验证 (Cross Validation) 确定以下超参数 : 的窗口大小 {k 1,k 2,k 3,k 4 } 每个所拥有的卷积单元数量 cnt 以及词向量维度 d wrd 综合考虑小窗口有利于捕捉细节特征和大窗口有利于捕捉远距离上的语义依赖性, 从 {2,3,5,7} {2,3,7,9} 和 {3,5,7,9} 中选择 {k 1,k 2,k 3,k 4 }, 从 {50,100,200, 300} 中确定 cnt,d wrd 则从 {25,50,100} 中选取这 3 个参数构成 36 种不同的参数组合, 使用网格搜索方法 (Grid Search) 确定优化以上超参数对于其他超参数 : hlc 是全连接层中隐藏层神经元数量, 与隐藏层的输入向量维度有直接关系 [14], 本文模型的隐藏层输入向量 r sent 表 1 集合分类训练集 A( 不含短语 ) 训练集 B( 含短语 ) 测试集 ( 不含短语 ) 维度为 4 cnt, 为了随着 r sent 维度的变化调整 hlc 的值, 直接设定 hlc 为 4 cnt 参照其他基于 CNN 的文 [15-16] 本分类模型使用 Dropout 的设置, 以 p = 0.5 的概率随机保留输入层的输入和全连接层的隐藏单元 D 为每个训练批次包含的样本数, 实验中固定为 64 所有超参数的设定值见表 2 表 2 SSTb 数据集实验数据划分参数 {k 1,k 2,k 3,k 4 } cnt d wrd hlc p D 值 {2,3,5,7} 数据量 mwmpcnn 实验超参数设定

5 周锦峰, 等 : 卷积神经网络在短文本情感多分类标注应用 2018,54(22) 词向量预训练本文在实验中使用两种词向量 : 经过预训练的词向量和未经过预训练的词向量在训练过程中, 这两种词向量都作为可训练参数进行调整 1 2 mwmpcnn mwmpcnn 3 mwmpcnn [17] 实验选择 GloVe 算法进行词向量预训练因 4 mwmpcnn Twitter 与 SSTb 同属社交网络文本,Twitter 语料库的词 5 swmpcnn 语空间分布接近于 SSTb 的词语空间分布, 所以本文词向量预训练使用 Twitter 语料库 6 7 swmpcnn mwspcnn 词向量训练后, 本文得到一个包括一百多万条目的单词表对于 SSTb 中未出现在单词表中的单词, 实验 8 11 mwspcnn CharSCNN [9] 是是 12 SCNN [9] 是时使用零向量代替 13 CharSCNN [9] 是对未经过预先训练的词向量, 向量中每个值由均匀 14 SCNN [9] 是 [18] 分布在区间 ( , ) 的随机数初始化 15 RNTN [8] 是 5.4 mwmpcnn 结构设置实验中的 mwmpcnn 模型结构具体设定如下 : mwmpcnn 模型卷积操作时有四个并行的, 其窗口大小见表 2 池化操作时有两个并行的池化层池化方法采用 max-pooling 方法和 avg-pooling 方法每个内有一半的卷积单元的输出送到 avg-pooling 池化层, 另一半的卷积单元的输出送到 max-pooling 池化层为了有效地对比实验结果, 本文还基于 mwmpcnn 模型的两种特殊结构进行实验一种特殊结构为单窗口多池化结构, 即 swmpcnn(single-windows and multipooling Convolutional Neural Network), 该结构中窗口大小只有一种, 设定为 3, 其他部分设定与 mwmpcnn 一样另一种特殊结构为多窗口单池化结构, 即 mwspcnn(multi-windows and single-pooling Convolutional Neural Network), 该结构中只有单一池化方法的池化层, 池化方法为 max- pooling, 其他部分设定与 mwmpcnn 一样 5.5 实验结果实验机器选用 Intel I 的 CPU,8 GB 内存, 256 GB 的 SSD 硬盘,Linux 操作系统经过约 20 小时的运行得出实验结果 mwmpcnn 模型在 SSTb 数据集上执行情感五分类标注的结果见表 3 表中预训练一栏标识为是, 表示模型使用的词向量经过预训练 ; 标识为否, 表示使用的词向量采用随机值初始化短语一栏标识为是, 表示训练集包含短语, 标识为否, 表示训练集中不包含短语为了比较和论证, 表 3 中还含有 Socher [8] 使用 RNTN RNN 及 SVM 模型, 和 Santos [9] 使用 CharSCNN SCNN 模型在 SSTb 数据集上进行情感五分类标注的正确率 5.6 实验结果分析 mwmpcnn 模型与其他模型比较从表 3 中可以看出, 训练集中未加入短语的情况表 3 编号在 SSTb 数据集上不同模型实验正确率模型 RNN [8] SVM [8] 预训练短语是是是否否是否否是是是否是是是是下,mwmpCNN CharSCNN 和 SCNN 的分类正确率持平 (43.5%) 而在训练集加入短语后,mwmpCNN 的正确率 (54.6%) 要超过文献 [8] 和文献 [9] 所报道的结果通过实验可以看到, 当训练数据集中加入了短语后,mwmpCNN 性能提高 ( 如测试 1 和测试 2 对比, 测试 3 和测试 4 对比 ) 会比 CharSCNN( 如测试 11 和测试 13 对比 ) 和 SCNN( 测试 12 和测试 14 对比 ) 要快其中的原因可能是, 当训练样本达到一定数量后, 比仅仅使用一种窗口大小的和 max-pooling 池化层的设计, mwmpcnn 可以学习到语义表达更精确层次更丰富的文本特征向量, 使全连接层能够有效地计算文本的细粒度情感对于不使用短语训练的一组测试, 即测试 2 测试 6 测试 8 测试 13 和测试 14, 正确率均相差不大, 可能是因为在不使用短语训练情况下, 训练集数量相对于需要训练的模型参数不足, 不能有效地反映模型效果的差别不同窗口大小的影响对比测试 1(54.6%) 和测试 5(51.1%), 测试 2(43.5%) 和测试 6(42.1%) 两组实验的正确率, 无论训练集含有或未含有短语样本的情况下, 使用多窗口 mwmpcnn 的正确率高于使用单窗口 swmpcnn, 特别在训练集含有短语样本的情况下, 这种提高比较明显说明当训练样本达到一定数量后, 多种窗口大小的提取的多种 [19] 局部特征, 有效地捕捉多种距离上的语义依赖性, 有助于更精确地计算文本在每个情感标签下的得分下面的例子说明在远距离上的语义依赖性对整个句子情感的影响 : (1)at all clear what it's trying to say and even if it were -- I doubt it. (2)at all clear what it's trying to say and even if it were -- I doubt it would be all that interesting. 否是是否否是是是正确率 /%

6 ,54(22) 可以看出 (2) 的负面情感程度比 (1) 要弱一些, 因为 doubt 后面四个词距离上的 all 影响了它的强烈程度, 从 Computer Engineering and Applications 而影响了全句的负面情感的强烈程度 (1) 的真实分类而在使用随机数初始化词向量的情况下, 正确率提高达是负面, 而 (2) 的真实分类是中性到 18.5%( 测试 3 和测试 4 对比 ) 如果既没有预训练初多种池化方法的影响始化的词向量, 也没有短语参加训练, 模型能够学习的对比测试 1(54.6%) 和测试 7(49.8%), 测试 2(43.5%) 和测试 8(43.0%) 两组实验的正确率, 无论训练集含有或未含有短语样本的情况下, 使用多池化 mwmpcnn 的正确率高于使用单池化 mwspcnn, 特别在训练集含有短语样本的情况下, 这种提高非常明显多种池化方法保留的多层次语义特征对细粒度情感的判断是很重要的以 SSTb 数据集中的句子为例 : 先验知识是非常有限的, 这种情况下实验的正确率是非常低的 (33.1%) 这表明: 由语法分析树生成且已经完成情感标注的短语, 作为训练样本加入到训练集后, 虽然在训练过程中没有直接使用语法分析树的信息, 但依然有助于提高模型正确率这些短语给出它们如何形成句子情感的信息, 使得模型可以在训练过程中学习到 [9] 更复杂的现象 The storylines are woven together skillfully 以大小为 3 的窗口将该句分割成四个短语, 短语及对应的实证概率值如下 : (1)The storylines are 0.5 (2)storylines are woven 0.5 (3)are woven together (4)woven together skillfully 可以看到一个句子包含着不同语义层次的短语, 它们都会对整个句子的情感倾向产生影响, 因此仅保留一种语义层次很难精确地判断文本情感倾向词向量的影响由于词向量是 mwmpcnn 的可训练参数, 训练过程实际上也在调整词向量, 使其更适合情感多分类任务如表 3 所示,mwmpCNN 模型使用预训练初始化词向量的两组实验正确率要高于使用随机数初始化的词向量特别是只使用句子进行训练时, 使用预训练初始化词向量比使用随机数初始化词向量的实验正确率提高 10.4%( 测试 2 和测试 4 对比 ) 这表明经过预训练的词向量包含大量先验知识, 这个先验知识能够有效地提高情感分析的正确率而且仅包含句子的训练集中只有多条样本, 不足以充分地从零基础训练词向量同时表 3 也显示, 当加入了短语到训练集时, 使用预训练初始化词向量的实验正确率只比使用随机数初始化词向量的实验提高 3%( 测试 1 和测试 3 对比 ) 这是因为包括短语和句子的训练集含有 23 万多条样本, 已经可以较好地从零基础训练词向量, 而且这种训练是针对本分类问题进行的专门训练, 所以当训练集中加入短语, 正确率提升很多当训练样本数量足够大时, 用随机数初始化的词向量和预训练初始化的词向量作为输入, 标注正确率相差可能会很小需要注意, 从实验过程中可以得知 : 相比使用预训练初始化词向量, 当 mwmpcnn 使用随机数初始化词向量, 模型完成训练过程需要更多的训练批次短语的影响如表 3 所示, 使用短语训练模型比不使用短语训练模型正确率有较大的提高在使用预训练初始化词向量的情况下, 正确率提高 11.1%( 测试 1 和测试 2 对比 ) 6 结束语网络短文本的情感多分类标注对于语义特征敏感针对这一特点, 本文提出一种能够有效地捕捉语义距离依赖性和多层次语义特征的 CNN 改进模型 mwmpcnn 它使用窗口大小不同的多个, 抽象出包含不同窗口大小的上下文局部语义 ; 同时使用多种池化层在局部语义基础上提取和保留多层次的语义特征实验结果可见该模型和其他模型比较, 在正确率上有显著的提高尝试通过调整超参数和模型部分结构, 探索 mwmpcnn 在中文情感多分类标注问题的应用, 是下一步的工作参考文献 : [1] 冯多, 林政, 付鹏, 等. 基于卷积神经网络的中文微博情感分类 [J]. 计算机应用与软件,2017,34(4): [2] 周飞燕, 金林鹏, 董军. 卷积神经网络研究综述 [J]. 计算机学报,2017,40(6): [3] Kalchbrenner N,Grefenstette E,Blunsom P,et al.a convolutional neural network for modelling sentences[c]// Meeting of the Association for Computational Linguistics, 2014: [4] 何炎祥, 孙松涛, 牛菲菲, 等. 用于微博情感分析的一种情感语义增强的深度学习模型 [J]. 计算机学报,2017,40(4): [5] Dong L,Wei F,Xu K,et al.adaptive multi-compositionality for recursive neural network models[j].ieee Transactions on Audio,Speech,and Language Processing,2016,24(3): [6] Pang B,Lee L,Vaithyanathan S,et al.thumbs up? Sentiment classification using machine learning techniques[c]// Conference on Empirical Methods in Natural Language Processing,2002: ( 下转第 149 页 )

泰迪杯全国数据挖掘挑战赛 OCR (CNN) OCR() CNN % 92.1% 15% 90%. Viterbi. OCR..,,,,,

泰迪杯全国数据挖掘挑战赛 OCR (CNN) OCR() CNN % 92.1% 15% 90%. Viterbi. OCR..,,,,, 泰迪杯全国数据挖掘挑战赛 www.tipdm.org 第四届泰迪杯全国数据挖掘挑战赛优秀作品作品名称 : 基于深度学习和语言模型的印刷文字 OCR 系统荣获奖项 : 特等并获企业冠名奖作品单位 : 华南师范大学作品成员 : 苏剑林曾玉婷泰迪杯全国数据挖掘挑战赛 www.tipdm.org OCR 2016 5 15 (CNN) OCR(). +.... CNN 140 99.7%