北京大学学报 ( 自然科学版 ) 个不同的层次, 其中第一层有 24 类, 第二层有 340 类图 1 给出中文新闻信息分类体系中电子信息产业这一类别所处的位置在解决实际的多层文本分类问题时, 要想取得较优的分类性能, 构建一个适度规模的样本分布合理的训练样本集合是非常关键的, 同时也是非

Size: px

Start display at page:

Download "北京大学学报 ( 自然科学版 ) 个不同的层次, 其中第一层有 24 类, 第二层有 340 类图 1 给出中文新闻信息分类体系中电子信息产业这一类别所处的位置在解决实际的多层文本分类问题时, 要想取得较优的分类性能, 构建一个适度规模的样本分布合理的训练样本集合是非常关键的, 同时也是非"

罡溥
5 years ago
Views:

1 北京大学学报 ( 自然科学版 ) Acta Scientiarum Naturalium Universitatis Pekinensis doi: /j 基于类别层次结构的多层文本分类样本扩展策略李保利河南工业大学计算机科学系, 郑州 ; csblli@gmail.com 摘要针对大规模多层文本分类训练样本获取代价高类别分布不均衡等问题, 提出并比较几种基于类别层次结构的大规模多层文本分类样本扩展策略, 即利用类别层次体系中蕴含的类别名称描述以及类别间的层次结构关系, 从内涵和外延两方面入手构造或扩展类别训练样本在首次大规模中文新闻信息多层分类评测数据集上, 基于外延的局部样本扩展策略取得较好的性能参测系统在第一级类别和第二级类别上宏平均 F1 分别为和 , 在 10 个参赛系统中位列第二关键词多层文本分类 ; 大规模中文新闻分类 ; 中文新闻信息分类 ; 类别层次体系中图分类号 TP391 Expanding Training Dataset with Class Hierarchy in Hierarchical Text Categorization LI Baoli Department of Computer Science, Henan University of Technology, Zhenghou ; csblli@gmail.com Abstract As the number of classes is quite large in a hierarchical text categorization problem, it usually costs much to obtain a training dataset of reasonable size and sample distribution. Several strategies are proposed and compared to generate new training samples from the class hierarchy in a hierarchical text classification problem. These solutions try to make full use of the class hierarchy (including class names, their descriptions if any, and relationships between them), and derive new pseudo training samples based on connotations and extensions of classes. Experiments on the dataset of the first large scale Chinese News Categorization at NLPCC2014 show that the localized expanding strategy based on class extensions performs better. Our official system achieved MacroF and at level 1 and level 2 respectively, which ranked our system the second place among the 10 participating systems. Key words hierarchical text classification; large scale Chinese news categorization; classification of news in Chinese; class hierarchy 多层文本分类是大规模文本信息组织的关键技术, 在 Web 信息索引新闻出版数字图书馆专利管理等领域具有重要的应用价值高精度的多层文本自动分类技术是当今大数据时代迫切需要的关键技术之一, 已经成为近年来自动分类领域的研究热点目前, 国际上已经连续举办 4 次大规模多层文本分类评测第三届国际自然语言处理与中文计算会议 (NLPCC2014) 举办的大规模中文新闻分类评测, 是首次面向中文的大规模多层文本分类技术评测与普通的文本分类问题不同, 多层文本分类需要考虑的类别总数会达到几千上万甚至几十万几百万这众多类别之间往往还存在这样那样的依赖关系, 并由此构成一个复杂的层次化的类别体系比如在中文新闻信息分类中, 分类体系主类表 (2012 年修订版报批稿 ) 中共有 6270 个类别, 分属 5 河南省基础与前沿技术研究项目 ( ) 和河南工业大学高层次人才基金 ( 2012BS027) 资助收稿日期 : ; 修回日期 : ; 网络出版时间 : :32 1

2 北京大学学报 ( 自然科学版 ) 个不同的层次, 其中第一层有 24 类, 第二层有 340 类图 1 给出中文新闻信息分类体系中电子信息产业这一类别所处的位置在解决实际的多层文本分类问题时, 要想取得较优的分类性能, 构建一个适度规模的样本分布合理的训练样本集合是非常关键的, 同时也是非常困难的一方面, 因为需要考虑的类别数量巨大, 所以需要标注的样本数量必然很大, 而准确标注较大规模的样本集合本身就很费时费力另一方面, 由于问题的复杂性, 难以确定一个合理的样本分布, 但至少应当保证样本集合能覆盖所有类别本文针对这一问题并结合 NLPCC2014 评测数据特点, 提出并比较多种训练样本扩展策略实验结果表明, 基于外延的局部扩展策略效果较好 1 相关研究 [1] Silla 等系统地总结了多层分类在文本处理生物信息学和音频数据处理等多个领域的研究与应用, 给出多层分类的定义, 并在一个统一的框架下 [2] 描述多层分类问题以及现有方法何力等全面总结了大规模多层文本分类问题的定义以及求解策略和方法, 并对典型的求解方法进行了对比陆彦婷 [3] 等对基于自动生成的层次类别体系的多层分类方法进行了归纳和总结按照每次分类所考虑类别的数量, 可以把现有的多层分类方法分为局部策略和全局策略两大类局部策略 : 也称自顶向下或分而治之策略该策略构建一系列的分类器, 每个分类器只局部地考虑全部类别中的一小部分分类时, 从分类体系的根结点出发, 自顶向下逐步确定样本的类别 [4] Koller 等首先采用这种方法这也是目前使用最广泛的多层分类方法在过去十多年里, 研究者们探索各种不同的策略来逐级构造分类器, 主要有 : 1) 为除根结点之外的每个结点训练一个 2 值分类器, 可以有多种不同的策略用于构造每个 2 值分类器 ; 2) 为每个非叶结点训练一个多类分类器全局策略 : 使用一个单一的相对复杂的分类模型完成多层分类任务一个最简单的特例是采取单层分类策略, 即完全忽略类别间的层次结构, 孤立地看待各个类别, 常称为 Flat 方法另外一种策 Fig. 1 图 1 中文新闻信息分类体系 ( 部分 ) A part of the class hierarchy of Chinese news 2

3 李保利 : 基于类别层次结构的多层文本分类样本扩展策略略是改造已有的单层分类算法用于多层分类 [2] 何力等综合分析已有文献中的实验结果, 认为自顶向下策略优于简单的全局策略 (Flat 方法 ) [5] Babbar 等通过性能边界分析和实验验证, 发现自顶向下的策略适用于规模较大的不平衡的类别体系, 而 Flat 方法更适合处理类别体系相对平衡的多层分类问题国际上, 自 2009 年下半年开始, 先后组织 4 次大规模多层文本分类的公开评测 ( shtc.iit. demokritos.gr) 在这些评测中, 基于开放目录项目 (open directory project, ODP, dmoz.org/) 和维基百科建立测试数据, 对大规模 Web 网页多层分类进行评测在这 4 次评测中, 最优系统的性能 ( 即严格意义上的准确率 ) 都低于 50%, 尚难以满足实际应用的需求因此, 对于大规模多层文本分类问题, 非常有继续深入研究的必要性中文多层文本分类的研究已有十几年的历史 [6] 战学刚等采用自顶向下的策略利用中心点算法 (Centroid) 以及特征规范化逐级压缩策略对中文多层分类问题进行了研究这是国内最早关于中文 [7] 多层文本分类问题的研究张志平首先对基于中文新闻信息分类与代码的多层文本分类问题进行了研究鉴于没有基于新闻分类体系的标注语 [7] 料, 张志平利用分类表中类目名称和类目说明, 获取描述各个类别的主题词作为特征, 然后采用基于中心点算法的自顶向下策略对新闻文本进行分 [8] 类吴碧军等基于 SVM 算法也对中文新闻信息自动分类进行了研究, 提出在采用自顶向下分类策略时, 在不同层次重新计算特征向量由于没有大规模的中文多层文本分类数据, 这些探索性研究与大规模多层文本分类的实际应用之间的距离还比较远并且, 尚没有对中文多层文本分类技术的大规模比较研究 NLPCC2014 开展的首次大规模中文新闻信息分类评测, 将弥补以上不足从近期相关文献可以看出, 自顶向下的策略仍是主流的多层分类方法近来, 研究者更关注优化类别体系分阶段分类重点解决深层类别和稀有类别分类问题优化各结点分类器组合以及选择更适于多层文本分类的特征等方面, 这些已经成为多层文本分类研究的新趋势本文结合 NLPCC2014 公开评测, 重点关注如何更好地利用类别层次体系来扩展和丰富训练样本集合, 以期提高分类系统性能 2 大规模中文新闻信息分类评测任务第三届国际自然语言处理与中文计算会议首次将大规模中文新闻信息自动分类作为评测任务, 试图通过提供大规模的数据集合和公开评测, 进一步推动中文多层文本分类的研究实际上, 此次评测任务虽然数据规模相对较大, 但仍然只是一种受控的简化的多层文本分类评测, 主要体现在 : 1) 考虑的类别只是中文新闻信息分类体系的最上层的两级类别中的部分类别 (247/340), 类别总数较少 ; 2) 每个样本只能归属于一个二级类别 ; 3) 训练样本与测试样本的类别分布基本一致训练数据集合中有篇新闻, 而测试集合中有篇新闻训练集合和测试集合中的样本都来自同样的 247 个二级类别, 其分布分别如图 2 和 3 所示其中, 类别 ( 疾病与治疗 ) 所含样本数量最多, 分别有 2828 篇和 755 篇 ; 而在训练集合中样本数最少的 6 个类别 (02.15 ( 社会公共安全 ) ( 三农问题 ) ( 节能 ) ( 科研队伍 ) ( 通讯社 ) ( 体育奖 )) 都只有 6 个样本, 在测试集合中这些类别分别有 2 个样本图 4 给出在 24 个一级类别中的样本分布情况类别 38 ( 医药卫生 ) 样本最多 ( 分别为 4268 和 1143), 而类别 06 ( 灾难事故 ) 样本最少 ( 分别为 26 和 8) NLPCC2014 使用在第一级和第二级类别上的准确率 (Accuracy) 宏平均精确率(MacroP) 宏平均召回率 (MacroR) 和宏平均 F1 指数 (MacroF1) 评价各系统的性能, 这些都是评价单层文本分类系统的性能时常用的指标 NLPCC2014 大规模中文新闻分类评测提供的训练和测试集合都以 XML 格式存储, 每篇新闻报道包含标题和正文除训练和测试集合之外, 组织者还提供完整的中文新闻信息分类与代码标准 (2012 修订版报批稿 ), 其中包含有所有类别的名称编码描述以及类别间的层次关系这与国际上的大规模多层分类评测 (LSHTC) 只给出类别 ID 及类别间的上下位关系不同, 这个更完整的类别层次体系为我们提供了更为丰富的可用于分类的知识和信息比如, 第一级类别 06 的名称为灾难事故, 相应的描述信息为包括各种灾难事故救灾措施救灾行动, 以及灾后重建的综合性报道, 这 3

4 北京大学学报 ( 自然科学版 ) Fig. 2 图 2 训练集合中样本类别分布 Sample distribution of level two classes in the training dataset Fig. 3 图 3 测试集合中样本类别分布 Sample distribution of level two classes in the test dataset 里的类别描述信息提供了更全面的分类知识需要指出, 与实际应用场景一样, 在测试集合给出之前, 我们一般无法预知测试集合的类别分布是否与训练集合一致, 甚至不能臆测测试集合中是否有某些类别没有在训练集合中出现以上这些评测任务的特点决定了我们可能采用的解决方案与此同时, 我们也努力解决一些多层文本分类问题共有的难题, 比如如何充分利用类别层次体系, 如何扩展和构建训练样本集合, 等等 4

5 李保利 : 基于类别层次结构的多层文本分类样本扩展策略 Fig. 4 图 4 训练和测试集合中样本类别分布 Sample distribution of level 1 classes in both the training and the test datasets 3 基于单层分类的中文新闻信息多层分类通过对 NLPCC2014 大规模中文新闻信息分类评测任务特点的深入分析, 结合以往的文本分类实践, 我们确定采用单层分类的全局策略搭建参测的中文新闻信息多层分类系统, 即将 NLPCC2014 评测任务转化为一个有 247 个或 340 个类别的多类单标记文本分类任务图 5 给出我们的参测系统的处理流程整个处理分为训练和测试两个过程, 其中共同的子处理过程有中文分词和向量化表示我们使用斯坦福大学自然语言处理研究组开发的词语切分软件 (Stanford Word Segmenter, 版本 3.3.1) [910] ( shtml) 完成中文分词该软件是基于条件随机场的统计模型构建而成, 我们选用中文宾州树库的切分标准 (CTB) 在向量化表示阶段, 将切分后的文本数据样本数字化转换成特征空间上的向量表示, 其中特征即切分后得到的词语, 同时借助简单的基于文档频率的特征选择策略过滤掉所有文档频率为 1 的特征特征权重的计算采用 TFIDF 的 ltc 格式, 公司如下 : f ( w ) i (1 logtf j wi, d ((1 logtf D ) log( ) DF wj, d 其中, D 为训练集合样本数, w i 在文档 d 中的出现频次, wi D ) log( )) DF w i d w j TF, 为词语 ( 特征 ) DF w i 为 w i 在训练集合中出现的文档总数, 即文档频率在得到样本的数字化向量表示之后, 就可以利用各种不同的机器学习算法学习分类模型, 并据此预测新样本的类别我们尝试了基于中心点的分类算法朴素贝叶斯 ( 二项式和多项式 ) [11] k 近邻算法 [12] SVM 算法 (libsvm [13], u.tw/~cjlin/libsvm) 线性分类算法(liblinear [14], htt p:// 等, 线性分类算法取得最优的分类性能 NLPCC2014 评测组织者提供的训练集合中含有 247 个二级类别的标注样本, 但没有为其余 93 个二级类别提供任何训练数据因此, 在测试集合样本类别分布未知的情况下, 我们期望构造的分类器也有能力识别来自这 93 个二级类别的样本为解决此问题, 一个简单直接的策略就是扩充训练集 2 5

6 北京大学学报 ( 自然科学版 ) Fig. 5 图 5 系统处理流程 Processing Flow Chart of our system for the NLPCC2014 large-scale Chinese news categorization shared task 合, 增加属于原有训练集合中没有出现的类别的样本我们可以简单地利用类别名称, 借助搜索引擎来扩展训练集合, 但这样会使用外部的数据资源尽管 NLPCC2014 评测任务规范里面没有明确禁止使用外部资源, 却也没有像以往其他评测任务一样分为封闭测试 ( 只使用组织者提供的数据资源 ) 和开放测试 ( 可以使用任何的数据资源 ) 我们确定只使用组织者提供的数据资源组织者随训练数据提供的含有丰富分类知识和信息的中文新闻信息分类与代码标准 (2012 修订版报批稿 ), 为我们简单地扩展训练样本集合提供了可能性下面, 我们将尝试设计多种可能的样本扩展策略, 并将得到的新样本与原有的训练集合合并, 得到更全面的训练集合 4 基于类别层次结构的样本扩展策略 NLPCC2014 评测组织者提供的类别层次体系 ( 中文新闻信息分类与代码标准 ) 中包含所有类别的名称编码描述以及类别间的层次关系类别名称是类别的简明表示, 在类别描述中则提供了关于类别的更详细描述显然, 我们可以把它们合并起来作为一个特殊的属于该类别的伪样本, 但这样得到的样本文本长度往往比较短我们可以利用类别间的上下位关系, 进一步扩展和丰富伪样本的内容我们认为, 一个类别及其包含的所有子孙类别的名称及其描述可以看做是对该类别外延的描述, 而把一个类别及其祖先类别的名称及描述看做是对该类别内涵的刻画由此, 我们得到如下一些伪样本构造和训练集合扩展策略 1) PDT_OFFSPRING: 遍历类别层次树 / 森林, 由每个节点类别构造一个伪样本, 内容为该类别及其所有子孙类别的名称和描述由于评测任务只考虑第二级的类别, 所以只考虑第二级以下的节点类别可以把由第三级以下的节点类别得到的伪样本归入其所属的第二级类别中 2) PDT_ANCESTOR: 与 PDT_OFFSPRING 类似, 由每个节点类别构造的伪样本的内容为该类别及其所有直系祖先节点类别的名称和描述, 其中直系祖先节点类别为类别树上从根节点到该节点的路径上的所有节点类别 3) PDT_ALL: 相当于将以上两种策略合并, 即由每个节点类别构造的伪样本的内容为该类别以及其所有直系祖先节点类别和所有子孙节点类别的名称和描述假设有一个类别层次树如图 6 所示当考虑节点类别 K 时, 以上 3 种策略包含的类别集合分别为 6

7 李保利 : 基于类别层次结构的多层文本分类样本扩展策略 5 实验与分析图 6 一个类别层次树 Fig. 6 A sample class hierarchy {K, O, P, Q}, {K, G, B}, {B, G, K, O, P, Q} 为了避免由下层叶子节点类别构造的伪样本内容过于具体, 我们将候选节点类别进一步限制在第二级类别及其直接子女节点类别 ( 第三级类别 ), 由此得到以上 3 种策略相应的变种, 分别记为 PDT_OFFSPRING_V1, PDT_ANCESTOR_V1 和 PDT_ALL_V1 在实验中, PDT_OFFSPRING_V1 策略取得最优的性能由策略 PDT_OFFSPRING, PDT_ANCESTOR 和 PDT_ALL 分别得到 6246 个伪样本, 而由策略 PDT_OFFSPRING_V1, PDT_ANCESTOR_V1 和 PDT_ALL_V1 分别可以得到 2513 个伪样本此外, 我们还尝试了只使用类别名称构建伪样本, 不过效果没有使用名称和描述构造伪样本好我们在 NLPCC2014 数据集合上做了大量实验, 比较了多种不同的分类算法多种不同的样本扩展策略以及不同的多层分类方法 5.1 不同分类算法的比较我们使用单层分类策略来处理大规模中文新闻信息分类问题, 因此首先比较多种不同的分类算法, 试图发现解决此问题更合适的分类算法在实验中, 我们考虑的分类算法有以下几种 CB: 基于中心点的分类算法 NBB: 二项式朴素贝叶斯算法 NBM: 多项式朴素贝叶斯算法 knn: k 近邻算法 k 分别取 5, 10, 15, 20, 25, 30, 35, 40, 45, 50, 55, 60 共 12 个不同的值 SVM: 支持向量机算法, 使用 libsvm 默认参数 LINEAR: 线性分类算法, 使用 liblinear 默认参数表 1 给出以上算法在测试数据集合上的性能 1, 使用的训练数据是原有的训练样本集合从表 1 可以看出, 线性分类算法表现最好, 明显优于其他算法, 并且训练时间远小于 SVM 算法二项式朴素贝叶斯算法 NBB 表现最差, 性能比多项式朴素贝叶斯算法 NBM 低不少相比较而言, 基于中心点的 CB 算法简单运行效率高, 性能接近 knn 以及 SVM 算法 ( 尤其是在第一级类别上 ), 在第二级类别上的宏平均 F1 指数 (MacroF1) 甚至优于 SVM 算法 Table 1 表 1 不同分类算法的性能比较 Performance comparison of different categorization algorithms 算法一级类别二级类别 MacroP MacroR MacroF1 Accuracy MacroP MacroR MacroF1 Accuracy CB NBB NBM knn (k=60) SVM LINEAR 这里以及其后的实验是在实际的测试集合上得到的结果在实际测试集合及其标准答案发布前, 我们从原有训练集合中分出一小部分样本集合做验证用因为得到的结论与这里报告的在实际的测试集合上得到的结论一致, 我们在这一部分报告的都是在实际的测试集合上得到的结果 7

8 北京大学学报 ( 自然科学版 ) 和 knn 算法 5.2 不同样本扩展方案的比较在确定最优的分类算法之后, 我们比较了第 4 节提出的多种样本扩展策略为简化起见, 在实验中, 仅仅使用由不同样本扩展策略得到的伪样本集合作为训练集, 使用测试集合做测试, 采用基于中心点的分类算法 CB, 得到的结果如表 2 所示与其他实验不同, 由于训练样本集合相对较小, 我们在这个实验中没有用文档频率策略过滤低频特征从表 2 可以看出, 策略 PDT_OFFSPRING_V1 表现最好相比较而言, 基于外延的扩展策略优于基于内涵的扩展策略此外, 仅仅依靠伪样本集合就能够达到相当好的分类性能, 如策略 PDT_OFFSPRING_V1 在第一级和第二级类别上的准确率分别达到和 , 远超过猜测所有测试样本为最大类别的基准系统的性能 ( 和 ), 这也表明基于类别层次结构的样本扩展策略是有效的 5.3 NLPCC2014 评测结果基于以上实验结果, 我们确定了构建 NLPCC2014 参测系统的总体设计思路 : 采用单层分类策略, 使用线性分类算法, 并借助 PDT_OFFSPRING_V1 策略扩展训练样本集合表 3 给出 NLPCC2014 大规模中文新闻信息分类评测任务的正式评测结果, 共有 10 个系统提交了结果表 3 中每一行对应一个参测系统, 结果按照各系统在第二级类别上宏平均 F1 指数 (MacroF1) 和准确率 (Accuracy) 降序排列系统 7 由于输出格式错误, 评测结果都为 0 我们的参测系统编号为 2, 总体性能在 10 个参测系统中排名第二, 其中在第一级类别上的 MacroF1 和 Accuracy 值分别为和 , 分别落后第一名 ( 系统 9) 和 , 高于第三名 ( 系统 10) 和在第二级类别上, 我们的参测系统的 MacroF1 和 Table 2 表 2 不同样本扩展方案的比较 Performance comparison of different pseudo sample generation strategies 方法一级类别二级类别 MacroP MacroR MacroF1 Accuracy MacroP MacroR MacroF1 Accuracy PDT_OFFSPRING PDT_OFFSPRING_V PDT_ANCESTOR PDT_ANCESTOR_V PDT_ALL PDT_ALL_V 排名 Table 3 系统编号表 3 NLPCC2014 大规模中文新闻信息分类评测结果 The official result of the NLPCC2014 large-scale Chinese news categorization shared task 一级类别二级类别 MacroP MacroR MacroF1 Accuracy MacroP MacroR MacroF1 Accuracy

9 李保利 : 基于类别层次结构的多层文本分类样本扩展策略 Accuracy 值分别为和 , 分别落后第一名和 , 高于第三名和结果显示, 我们选择的处理策略对解决 NLPCC2014 这一具体的大规模中文新闻信息分类任务是有效的对照表 3 与表 1 可以看到, 采用单层分类策略, 使用简单的基于中心点的分类算法, 就能取得优于实际参测系统第三名 ( 系统 10) 的结果此外, 在包含伪样本的扩展训练集合上得到的结果略优于在原有训练集合上的结果 ( 在第二级类别上的 MacroF1 和 Accuracy 取值分别为和 ), 表明基于类别层次结构的样本扩展策略是有效的鉴于实际的测试数据与训练数据的类别分布基本一致, 我们也尝试了只用属于已知类别的伪样本扩展训练集合, 可以略微提高一点系统的性能 5.4 与其他多层分类方法的比较除以上实验外, 在正式评测后, 针对这一多层分类问题, 我们还比较了基于单层分类的全局策略与自顶向下的局部策略自顶向下的局部策略是沿类别层次体系构建一系列的分类器, 每个分类器只局部地考虑全部类别中的一小部分分类时, 从分类体系的根结点出发自顶向下逐步确定样本的类别主要有两种策略逐级构造分类器 : 1) 为除根结点之外的每个结点训练一个 2 值分类器 ; 2) 为每个非叶结点训练一个多类分类器第 1 种策略适合于多标记分类 ( 一个样本可以属于多个类别 ), 在用来解决 NLPCC2014 分类任务时, 需要从多个可能类别中选择一个最可能的另外, 在实际的实验中发现有很多样本无法分入任何类别, 这时需要引入一些复杂的机制进行处理因此, 我们在这里只报告基于第 2 种策略的自顶向下多层文本分类方法的结果, 如表 4 所示在本实验中, 我们尝试用两种不同算法在每个非叶节点构造多类分类器 : 基于中心点的算法 CB 与线性分类算法 LINEAR 对比表 4 与表 1, 可以发现基于 CB 和 LINEAR 的算法表现稳定, 使用基于多类分类器的自顶向下多层文本分类方法的性能基本与基于单层分类的方法一致, 这从另一个角度表明 NLPCC2014 评测任务还不是一个真正意义上的大规模多层文本分类任务 6 结语本文报告了我们参加 NLPCC2014 举办的首次大规模中文新闻信息分类评测的系统的设计思路以及实验和评测结果根据对评测任务和数据的深入分析, 我们确定采用单层分类的策略搭建参测系统此外, 为使训练得到的分类器能识别所有可能类别的样本, 我们提出并比较了几种基于类别层次结构的样本扩展方案, 并将构造的伪样本并入原有训练集合正式的参测系统在第一级类别和第二级类别上宏平均 F1 分别为和 , 在 10 个参赛系统中位列第二, 表明我们确定的解决方案是有效的今后, 我们将尝试其他可能的样本扩展方案, 比如给予类别名称和描述不同的权重, 剔除描述中的噪音信息, 等等另外, 我们也准备利用组织者提供的大规模中文新闻分类数据开展更多的相关研究工作, 如探索其他可能的多层文本分类策略等当然, 我们更期待参加第二次大规模中文新闻信息分类评测参考文献 [1] Silla C N, Freitas A A. A survey of hierarchical classification across different application domains. Data Mining and Knowledge Discovery, 2011, 22: [2] 何力, 贾焰, 韩伟红, 等. 大规模层次分类问题研究及其进展. 计算机学报, 2012, 35(10): [3] 陆彦婷, 陆建峰, 杨靖宇. 层次分类方法综述. 模式识别与人工智能, 2013, 26(12): [4] Koller D, Sahami M. Hierarchically classifying documents using very few words // Proceedings of the 14th international conference on machine learning Table 4 表 4 基于多类分类器的自顶向下多层文本分类方法的性能 Performance of two top-down hierarchical text classification algorithms 算法一级类别二级类别 MacroP MacroR MacroF1 Accuracy MacroP MacroR MacroF1 Accuracy CB LINEAR

10 北京大学学报 ( 自然科学版 ) (ICML-1997). San Francisco: Morgan Kaufmann, 1997: [5] Babbar R, Partalas I, Gaussier E, et al. On flat versus hierarchical classification in large-scale taxonomies // Burges C J C, Bottou L, Welling M, et al. Advances in neural information processing systems (NIPS-2013). Lake Tahoe: NIPS Foundation, 2013: [6] 战学刚, 林鸿飞, 姚天顺. 中文文献的层次分类方法. 中文信息学报, 1999, 13(6): [7] 张志平. 基于中文新闻信息分类与代码文本分类. 太原理工大学学报, 2010, 41(4): [8] 吴碧军, 李涓子, 金鑫. 分层特征计算和错误控制的层次分类方法. 计算机科学, 2010, 37(10): [9] Tseng H, Chang P, Andrew G, et al. A conditional random field word segmenter // Proceedings of the Fourth SIGHAN Workshop on Chinese Language Processing. Jeju Island: 2005: [10] Chang P C, Galley M, Manning C D. Optimizing Chinese word segmentation for machine translation performance // Proceedings of the Third Workshop on Statistical Machine Translation. Columbus: Association for Computational Linguistics, 2008: [11] McCallum A, Nigam K. A comparison of event models for naive bayes text classification // Proceedings of the AAAI-1998 Workshop on Learning for Text Categorization. Madison: 1998: [12] Li Baoli, Lu Qin, Yu Shiwen. An adaptive k-nearest neighbor text categorization strategy. ACM Transactions Asian Language Information Processing, 2004, 3(4): [13] Chang C C, Lin C J. LIBSVM: a library for support vector machines. ACM Transactions on Intelligent Systems and Technology, 2011, 2(3): Article No. 27 [14] Fan R E, Chang K W, Hsieh C J, et al. LIBLINEAR: a library for large linear classification. Journal of Machine Learning Research, 2008, 9:

标题

第 19 卷摇第 4 期摇摇摇摇摇摇摇摇摇摇摇摇摇模式识别与人工智能摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 Vol. 19 摇 No. 4 摇 006 年 8 月摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 PR & AI 摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇摇 Aug 摇摇