北京大学学报 ( 自然科学版 ) 响力高的大规模语料库的缺乏本文使用的语料库是自建的汉语语料库 Chinese Discourse Treebank, CNDB 篇章关系识别作为篇章结构分析的重要内容之一, 可以分为显式关系识别和隐式关系识别显式关系识别是指在给定连接词 ( 如例 1, 下划线标

Size: px

Start display at page:

Download "北京大学学报 ( 自然科学版 ) 响力高的大规模语料库的缺乏本文使用的语料库是自建的汉语语料库 Chinese Discourse Treebank, CNDB 篇章关系识别作为篇章结构分析的重要内容之一, 可以分为显式关系识别和隐式关系识别显式关系识别是指在给定连接词 ( 如例 1, 下划线标"

头转颜
5 years ago
Views:

1 北京大学学报 ( 自然科学版 ) Acta Scientiarum Naturalium Universitatis Pekinensis doi: /j 汉语隐式篇章关系识别孙静 1 李艳翠 1,2 周国栋 1, 冯文贺 3 1. 苏州大学计算机科学与技术学院, 苏州 ; 2. 河南科技学院信息工程学院, 新乡 ; 3. 河南科技学院人文学院, 新乡 ; 通信作者, gdzhou@suda.edu.cn 摘要采用一个自建的汉语篇章结构语料库 ( 隐式关系占 80%) 进行隐式关系识别语料中将篇章关系分成三个层次, 其中第一层包含因果并列转折解说 4 大类在此语料上, 采用上下文特征词汇特征依存树特征, 利用最大熵的分类方法对 4 大类关系进行识别实验结果显示, 总正确率为 62.15%, 其中并列类识别效果最好, F1 值达到 75.26% 关键词篇章结构分析 ; 篇章关系 ; 隐式关系识别 ; 汉语篇章语料库中图分类号 TP391 Research of Chinese Implicit Discourse Relation Recognition SUN Jing 1, LI Yancui 1,2, ZHOU Guodong 1,, FENG Wenhe 3 1. Department of Computer Science and Technology, Soochow University, Suzhou ; 2. School of Information Engineering, Henan Institute of Science and Technology, Xinxiang ; 3. School of humanities, Henan Institute of Science and Technology, Xinxiang ; Corresponding author, gdzhou@suda.edu.cn Abstract The authors use a self-built Chinese Discourse Treebank(80% relations are implicit) to recognize implicit relations. In this corpus, discourse relations are divided into three layers, the first one has four types: causality, coordination, transition and explanation. Based on this corpus, maximum entropy classifier is employed to identify four types relations with context feature, lexical feature and dependency parse feature. Experimental results show that total accuracy rate is 62.15% and the identification effect of coordination is the best, F1 value reaches 75.26%. Key words discourse parsing; discourse relation; implicit relation recognition; Chinese Discourse Treebank 随着字词短语句子级别研究的逐渐深入和成熟, 越来越多的研究者把研究重点转向篇章层级篇章有时也称语篇或话语, 通常指由一系列连续的子句句子或句群构成的, 有意义传达一个完整信息前后衔接语义连贯的语言整体单位在一个篇章中, 各子句之间并不是杂乱无章的堆放在一起, 而是具有一定的层次结构和语义关系, 只有分析出其中的层次结构及语义关系, 才能对篇章进行深入分析和理解篇章结构分析是自然语言处理的一个核心问题, 也是近几年的一个研究热点和难点篇章结构分析在自动文摘 [1 2] 问答系统 [3 4] [5] [6] 指代消解和篇章连贯性评价等方面都有所应用篇章关系是指同一篇章内部, 相邻片段或跨度在一定范围内的两个片段之间的语义连接关系, 如条件关系转折关系因果关系等 [7] 近年来, 英语篇章关系识别研究增长迅速, 其中一个原因是修辞结构理论篇章树库 (Rhetorical Structure Theory-Discourse Treebank, RST-DT) [9] 宾州篇章树库 (Penn Discourse TreeBank, PDTB) [10] 和图库 (GraphBank) [11] 等大规模人工标注的篇章语料库的出现, 为研究者提供了有价值的资源和平台相对于英语篇章关系研究的快速发展, 汉语的研究还很少, 其中影响其发展的一个重要原因是影 863 计划 (2012AA011102) 国家自然科学基金( ) 和教育部人文社科青年基金 (13YJC740022) 资助收稿日期 : ; 修回日期 : ; 网络出版时间 : :25 1

2 北京大学学报 ( 自然科学版 ) 响力高的大规模语料库的缺乏本文使用的语料库是自建的汉语语料库 Chinese Discourse Treebank, CNDB 篇章关系识别作为篇章结构分析的重要内容之一, 可以分为显式关系识别和隐式关系识别显式关系识别是指在给定连接词 ( 如例 1, 下划线标注连接词因此 ) 的情况下, 判断两个论元之间存在何种逻辑关系因为大多数的情况下, 连接词都是非歧义的, 所以显式关系识别容易实现, 可以仅根据连接词本身就能比较准确地识别论元间存在的特定逻辑关系英语中通常可以达到 94% 左右的 F1 值 (F1-measure) [8], 汉语方面, 在本文的实验中, 可以达到 91.49% 的总正确率隐式关系识别由于连接词缺失 ( 如例 2, 缺失方括号中连接词因此 ), 判断两个论元之间存在何种逻辑关系较困难, 通常只能根据一些语言学特征进行关系的识别, 一般准确率不高并且根据统计在本文使用的汉语语料库, 隐式关系占有很高的比重, 这说明隐式关系识别的重要性困难性和挑战性例 1 浦东开发开放是一项振兴上海, 建设现代化经济贸易金融中心的跨世纪工程, 因此大量出现的是以前不曾遇到过的新情况新问题例 2 他在两起汽车走私案中触犯刑律, [ 因此 ] 构成走私罪本文利用目前已标注的小规模 CNDB 进行汉语隐式篇章关系识别, 应用了上下文特征词汇特征依存树特征, 总正确率达到 62.15% 1 相关工作根据是否存在连接词, 篇章关系识别可以分为显式篇章关系识别和隐式篇章关系识别两大类 [12] Marcu 等把显式关系中的连接词去掉, 得到隐式关系语料库, 在这个语料上, 采用词对信息, 用贝叶斯模型进行了关系的识别, 实验结果证明了 [13] 词对信息的有效性 Pitler 等给出一系列实验自动识别隐式篇章关系, 使用了多个语言学的特征, 包括极性信息货币 / 百分比 / 数字词的形态动词短语长度两个论元的前 3 个单词及相关组合 (First-Last-First3) 等, 所识别的隐式关系主要是 4 大类, 分析了各种特征对各类关系的作用, 最后得出 [14] 使用最有效的特征分类 Lin 等应用词对信息上下文信息句法信息和依存信息识别 PDTB 中的二级隐式篇章关系, 正确率为 40.2%, 比当时报告 [15] 的最好结果高 14.1% Huang 等进行汉语篇章关系识别, 先构建了一个篇章语料库, 从 Sinica Treebank 3.1 中随机抽取 81 篇石油和旅游领域文档进行标注, 完成了 3081 个句对的小规模的中文篇章树库, 在标注过程中简单的把句子作为一个论元, 标注了 4 种关系 (temporal, contingency, comparison, expansion), 然后利用词词性和上位词等特征训练分类器考虑到词词性词对信息上下文信息和依存信息在已有工作中的有效性, 本文拟将此应用至汉语隐式篇章关系识别中, 探讨汉语的隐式篇章关系识别问题 2 CNDB 简介 CNDB 采用树的形式表示汉语的篇章结构, 每一段落构建一棵篇章结构树例 3 给出一个标注实例, 图 1 是例 3 的一棵篇章树例 3 中给出了和关系相关的部分标注信息 <R 开头的每一行表示一个关系, 其中 ConnectiveType 表示是显关系还是隐式关系, Connective 给出关系中的连接词, RelationType 给出关系类型, ConnectiveAttribute 表示显关系中连接词是否可删或者隐式关系中是否可添加连接词, Sentence 中用分割表示出每个关系的论元, SentencePosition 给出论元在篇章中的位置, ChildList 表示包含的孩子关系如例 3 中的 <R ID= 2 表示的隐式关系属于例证关系类别, 可以添加连接词例如, 包括两个论元 : 浦东开发开放新情况新问题对此, 浦东不是简单的采取纳入法制轨道和去年初没有发现一例回扣, 这两个论元在篇章中的位置分别为 : 1 167( 表示从第一个字到一百六十七个字 ) 和 , 此关系中还包括以 <R ID="3" 和 <R ID="8" 开始的两个子关系语料中还包含关系主次等信息, 这里不再一一列举例 3: <P ID="3"> <R ID="2" ConnectiveType=" 隐式关系 " Connective=" 例如 " RelationType=" 例证关系 " ConnectiveAttribute=" 可添加 " Sentence=" 浦东开发开放新情况新问题对此, 浦东不是简单的采取纳入法制轨道去年初没有发现一例回扣 " 2

6 北京大学学报 ( 自然科学版 ) 并列类时为基准系统, 正确率为 51.9% 在实验中, 词汇特征中的词和词性都采用 CTB6.0 中给出的标准分词和词性标注结果, 而依存树是在标准分词的情况下使用 stanford 2 工具自动得到的表 2 给出单个特征的总正确率, 然后给出所有特征组合 (FAll) 的总正确率, 通过观察表 2 中的实验结果, 可以看出本文中选择的几组特征都是有效的, 总正确率都超过了基准系统其中的 FVwp 特征只是简单的判断论元中的动词副词和连词等, 取其词和词性, 总正确率达到 54.17%, 而其中上下文特征的识别效果最好, 达到 60.76%, 这与语料的结构有关为了检验组合特征对实验结果的影响, 逐步累加特征, 得到表 3 中的结果通过表 3 可以看出组合特征的识别结果要优于单个特征的结果其中, 词词性, 依存特征词对特征和上下文特征的组合的效果是最优的, 证明本文选择的特征是效的表 4 给出在所有特征的组合条件下的每种类别的 P, R 和 F 值, 然后给出微平均结果, 通过观察表 4 可以看出转折类没有被识别出来, 原因是数据的稀疏问题, 训练语料中只有 17 个实例, 仅占 1.04% 并列类的识别效果最好, 从表 1 中关系的分布可以看出并列类占有的比重最高 (59.66%), 而且上下文特征中的共享论元模式大多数从并列类中得到, 对 Feature 表 2 单个特征及所有特征的总正确率 Table 2 Accuracy of individual feature and all fetures Word& pos Dependency rules Wordpairs Context Acc./% FVwp FDep FWP FCon FAll 表 3 不同特征组的总正确率 Table 3 Accuracy of different feature groups Feature Word&pos Wordpairs Dependency rules Context Acc.(%) FVwp FWP FDep FCon 表 4 4 大类别 Precision, Recall 和 F1-measure, " " 代表 0.00 Table 4 Accuracy of different feature groups 类别 P% R% F% 因果类并列类解说类转折类 All( 微平均 ) 于并列类识别有针对性, 所以并列类的识别最优, 在实验中很容易把其他关系误判为并列类, 如但他却无法用跳来表达自己的激动之情三岁时一场高烧, 使他患上了严重的小儿麻痹后遗症, 这一年他被福利院收养这两句之间本是因果类, 但在实验中, 却被归为并列类解说类的识别结果次于并列类, 因果类再次之, 但是与并列类的识别结果差距很大下一步需要继续研究, 提出针对解说类和因果类行之有效的特征 5 结束语本文研究了基于汉语篇章语料库 (CNDB) 中的 4 大类别 ( 因果类并列类解说类和转折类 ) 的隐式篇章关系识别问题相对于英语篇章结构分析的快速发展, 汉语方面的进展还比较缓慢, 相关工作比较少, 一个重要原因是缺少有影响力的大规模的语料库本文给出一个小规模的自建的汉语篇章语料库 (CNDB), 应用词汇特征上下文特征和依存树特征对隐式关系进行了简单探讨, 实验结果表明方法可行通过本文使用的语料库可以看出, 隐式关系占有很高的比重, 又因为隐式关系中缺乏连接词, 导致汉语隐式篇章关系识别具有很大的挑战性本文进行了简单探讨, 在以后还有很多工作需要去做, 如提出针对汉语特点的特征等参考文献 [1] Marcu D. The theory and practice of discourse parsing and summarization. The MIT press, 2000 [2] Louis A, Joshi A, Nenkova A. Discourse indicators for content selection in summarization // Proceedings of the 11th Annual Meeting of the Special Interest Group on Discourse and Dialogue. Association for 2 6

7 孙静等 : 汉语隐式篇章关系识别 Computational Linguistics, 2010: [3] Verberne S, Boves L, Oostdijk N, et al. Discourse-based answering of why-questions. Traitement Automatique des Langues, Discourse et document: traitements automatiques, 2007, 47(2): [4] Prasad R, Joshi A. A discourse-based approach to generating why-questions from texts // Proceedings of the Workshop on the Question Generation Shared Task and Evaluation Challenge. Arlington, VA, 2008 [5] Webber B, Stone M, Joshi A, et al. Anaphora and discourse structure. Computational Linguistics, 2003, 29(4): [6] Lin Z H, Ng H T, Kan M Y. Automatically evaluating text coherence using discourse relations // Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies (ACL HLT). Portland, OR, 2011: [7] 周小佩, 洪宇, 车婷婷, 等. 一种无指导的隐式篇章关系推理方法研究. 中文信息学报, 2012, 2: 3 [8] Pitler E, Nenkova A. Using syntax to disambiguate explicit discourse connectives in text // Proceedings of the ACL-IJCNLP Stroudsburg: Association for Computational Linguistics, 2009: [9] Carlson L, Marcu D, Okurowski M E. Building a discourse-tagged corpus in the framework of rhetorical structure theory // Proceedings of the SIGDIAL. Stroudsburg: Association for Computational Linguiscs, 2001: 1 10 [10] Prasad R, Miltsakaki E, Dinesh N, et al. The penn discourse treebank 2.0 annotation manual. Technical Report, IRCS USA: University of Pennsylvania, 2008 [11] Wolf F, Gibson E. Representing discourse coherence: a corpus-based analysis. Journal of Computational Linguistics, 2005, 31(2): [12] Marcu D, Echihabi A. An unsupervised approach to recognizing discourse relations // Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics. Morristown, NJ, 2002: [13] Pitler M, Louis A, Nenkova A. Automatic sense prediction for implicit discourse relations in Text // Proceedings of the 47th annual Meeting of the ACL and the 4th IJCNLP of the AFNLP, 2009: [14] Lin Z H, Kan M Y, Ng H T. Recognizing implicit discourse relations in the penn discourse treebank // Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing, 2009: [15] Huang H H, Chen H H. Chinese discourse relation recognition // Proceedings of the IJCNLP Chiang Mai: Natural Language Processing of the Asian Federation, 2011: [16] 李艳翠, 冯文贺, 周国栋, 等. 基于逗号的汉语子句识别研究. 北京大学学报 : 自然科学版, 2013, 49(1): 7 14 [17] Pitler E, Raghupathy M, Mehta H, et al. Easily identifiable discourse relations. Technical Reports (CIS), 2008: [18] Sim J, Wright C C. The kappa statistic in reliability studies: use, interpretation, and sample size requirements. Physical therapy, 2005, 85(3):

,, [1 ], [223 ] :, 1) :, 2) :,,, 3) :,, ( ),, [ 6 ],,, [ 3,728 ], ; [9222 ], ;,,() ;, : (1) ; (2),,,,, [23224 ] ; 2,, x y,,, x y R, ( ),,, :

,, [1 ], [223 ] :, 1) :, 2) :,,, 3) :,, ( ),, [ 6 ],,, [ 3,728 ], ; [9222 ], ;,,() ;, : (1) ; (2),,,,, [23224 ] ; 2,, x y,,, x y R, ( ),,, : 24 3 2010 5 J OU RNAL OF CHIN ESE IN FORMA TION PROCESSIN G Vol. 24, No. 3 May, 2010 : 100320077 (2010) 0320117207 1, 1, 1, 2 (1.,100871 ; 2.,100084) :,,,,,,; : ( ) ( ) (,3 600 ),, ABC : ;; ; ; ;;; : TP391