自然语言处理导论 课程讲义 语义角色标注 孙栩信息科学技术学院 xusun@pku.edu.cn http://xusun.org
大纲 语义角色标注 PropBank 与 FrameNet 解决方案 句法树方法 序列标注方法 2
大纲 语义角色标注 PropBank 与 FrameNet 解决方案 句法树方法 序列标注方法 3
语义 这些句子是否有同样的含义? Yesterday, Kristina hit Scott with a baseball Scott was hit by Kristina yesterday with a baseball Yesterday, Scott was hit with a baseball by Kristina With a baseball, Kristina hit Scott yesterday Yesterday Scott was hit by Kristina with a baseball Kristina hit Scott with a baseball yesterday 4
语义 何为语义? 哲学性问题, 目前语言学领域未有定论 提出了众多的语义表示方法 代表理论 : 一阶谓词逻辑 [Neo-Davidsonian 事件表示 ] 对一个事件的形式化表示 ( 一阶谓词逻辑 ), 例如 Sasha broke the window ee, xx, yy BBBBBBBBBBBBBBBB ee BBBBBBBBBBBBBB ee, SSSSSSSSS BBBBBBBBBBBBBBBBBBBBB ee, yy WWWWWWWWWWWW(yy) Pat opened the door ee, xx, yy OOOOOOOOOOOOOO ee OOOOOOOOOOOO ee, PPPPPP OOOOOOOOOOOOOOOOOOOOO ee, yy DDDDDDDD(yy) 谓词需要人工定义 且无法穷尽 这种表示很难分析得到, 更难以进行有效推理 5
一阶谓词逻辑到语义角色标注 一阶谓词逻辑没有考虑语义的共性 Breaker 和 Opener 虽然对应了不同的事件, 但有语义共同之处 主动行动者 (volitional actor) 有生命的 (animate) 事件的直接原因 (direct causal responsibility) 语义角色 (semantic roles) 通过捕捉语义间的共性, 降低分析的难度和复杂度 在上一例子中, 两者可以统一 : Breaker 和 Opener 都是 AGENTS( 施事 ) BrokenThing 和 OpenedThing 都是 THEMES( 客体 ) 除了施事和客体还有很多其它类型的语义角色! 6
语义角色标注 语义角色标注 (Semantic Role Labeling, SRL) 一种浅层语义分析技术 确定作为谓语变元的名词性短语所扮演的语义角色 例子 :The student solved problems with a calculator in the classroom this morning 谓语 (Predicate): solved 施事 (Agent): the student 客体 (Theme): problems 工具 (Instrument): a calculator 地点 (Location): the classroom 时间 (Time): this morning 语义角色的类型是人工确定的, 有很多不同的划分方式 7
语义角色标注的应用 语义角色标注的应用非常广泛 问答系统 同一类问题的答案往往对应同一种语义角色 Who -> agent / experiencer What -> force / theme / content How -> instrument Where -> goal / source For whom -> beneficiary 8
语义角色标注的应用 语义角色标注的应用非常广泛 问答系统 信息抽取 同一类信息往往对应同一种语义角色 London gold fell $4.70 to $ 308.45 Slot Filler Semantic Role Product London gold Experiencer Price change -$4.70 Theme Current price $308.45 Goal 9
语义角色标注的应用 语义角色标注的应用非常广泛 问答系统 信息抽取 文档摘要 层级化摘要 需要归纳不同文档中同一语义角色 10
语义角色标注的应用 语义角色标注的应用非常广泛 问答系统 [Hendrix et al., 1973; Shen & Lapata, 2007; Surdeanu et al., 2011] 信息抽取 文档摘要 知识获取 机器翻译 [Wilks, 1973; Liu & Gildea, 2010; Lo et al., 2013] 对话系统 [Bobrow et al., 1977] 口语理解 [Nash-Webber, 1975] 11
语义角色 语义角色 (Semantic Roles) 的语言学定义 一种浅层的语义表示 语义由一句话描述的事件 (event) 表示 事件由谓语 (predicate) 表示 谓语可以携带多个论元 (arguments), 表示与事件相关的对象 语义角色是论元在事件中充当的抽象角色 语义角色同样有多种粒度 更具体 原型施事是对施事的一般化 : 以下均是原型施事 Tom hits the ball. ( 施事 ) Tom likes the ball. (Experiencer, 感事 ) The sky is blue. (Theme, 主事 ) 更一般 Hitter ( 打击者 ) Agent ( 施事 ) Proto-agent ( 原型施事 ) 12
题旨角色 (Thematic Role) 语义角色由题旨角色发展而来 最古老的语言学模型之一 印度语法学家 Panini [7 th to 4 th BCE] 现代阐述 对依存句法在语义上的进一步细化! 示例 Fillmore 的格理论 (case theory) [1966, 1968], Gruber [1965] Fillmore 受 Lucien Tesnière 的 Éléments de Syntaxe Structurale [1959] 启发, 起初称这些角色为 actant [1966] 后改为 case 中心动词与名词短语作为句法的深层结构, 之间的语义关系被称为深层格 13
题旨角色的问题 难以建立标准的角色集合或准确定义题旨角色 粒度与原子性常常冲突 角色通常需要被分裂才能被准确定义 例如, 题旨角色中的 INSTRUMENTS( 工具 ) 并包含了两种类型的角色 [Levin & Hovav, 2015]: 媒介工具 (intermediary instruments): 可作主语 The cook opened the jar with the new gadget The new gadget opened the jar 赋能工具 (enabling instruments): 不可做主语 Shelly ate the sliced banana with a fork *The fork ate the sliced banana. 14
语义角色的粒度 实际中处理的语义角色有两类 更一般化的 更少角色 ( 一般所说的语义角色 ) 基于原型施事 原型受事 [Dowty 1991] PropBank 语料库为代表 ( 语义角色标注所用的语料 ) 更细粒度的 更多角色 ( 框架语义 ) frames [Fillmore 1968, 1977] 根据一类谓语定义特定的角色 FrameNet 语料库为代表 15
语义角色标注的特性 语义角色与句法的关系 常见情况下, 语义角色可以通过特定句法位置确定 Agent: subject Patient: direct object Instrument: object of with Beneficiary: object of for Source: object of from 但以上泛化规则不是绝对的, 至多也只是倾向 The hammer hit the window ( 这里不是 Agent, 是 Instrument) The ball was passed to Mary from John ( 这里不是 Agent, 是 Patient) John went to the movie with Mary ( 不是 instrument) John bought the car for $20K. ( 不是受益者 Beneficiary) 16
语义角色标注的特性 语义角色与选择限制 (Selectional Restrictions) 的关系 选择限制 : 比如一个动词只能跟有限的名词搭配, 比如 吃手机 不太可能出现 语义角色标注可以帮助解决选择限制的问题 例子 :I want to eat someplace nearby. Two interpretations a) sensible: eat is intransitive and someplace nearby is a location adjunct B) speaker is Godzilla: eat is transitive and someplace nearby is a direct object 通过语义角色标注 :a > b 17
选择限制与选择倾向 选择限制 (selectional restrictions) 或选择倾向 (selectional preferences)? 早期, 选择限制是严格约束 [Katz and Fodor, 1963] 很快, 人们明白选择限制其实只是倾向 [Wilks, 1975] 目前的语义分析还难以解决 例子 But it fell apart in 1931, perhaps because people realized you can t eat gold for lunch if you re hungry. In his two championship trials, Mr. Kulkarni ate glass on an empty stomach, accompanied only by water and tea. 18
大纲 语义角色标注 PropBank 与 FrameNet 解决方案 句法树方法 序列标注方法 19
PropBank The Proposition Bank (PropBank) [Palmer et al. 2005] 采用粗粒度的角色定义 [Dowty 1991] 使用原型施事 (proto-agent) 和原型受事 (proto-patient) PropBank 中根据动词的词义标注以下几类论元 ARG0: PROTO-AGENT ARG1: PROTO-PATIENT ARG2: benefactive, instrument, attribute, end state ARG3: start point, benefactive, instrument or attribute ARG4: end point ARGM: modifiers or adjuncts of the predicate TMP, LOC, DIR, MNR, ADV, 20
PropBank 标注示例 根据动词确定每个 Arg 的具体含义 21
PropBank PropBank 的标注可以很好的表示语义上的共性 0,1 规律比较明显,2 之后根据具体词有变化 示例 : Predicate increase 1 go up incrementally Arg0: causer of increase Arg1: thing increasing Arg2: amount increased by, EXT or MNR Arg3: start point ( 升高的起点 ) Arg4: end point ( 升高的终点 ) [ Arg0 Big Fruit Co.] increased [ Arg1 the price of bananas]. [ Arg1 The price of bananas] was increased again [ Arg0 by Big Fruit Co.] 22
PropBank PropBank 中也包含一些名词和轻动词 (light verb) 如 decision 和 make a decision 中的 make 对比 make a decision 和 make a toy: 是否是实际的制作? NomBank PropBank 以动词为主 在 PropBank 的基础上进一步扩充了名词和形容词 23
FrameNet FrameNet Baker et al. 1998, Fillmore et al. 2003, Fillmore and Baker 2009, Ruppenhofer et al. 2006 PropBank 中的角色根据动词定义 FrameNet 中的角色根据框架定义 框架的定义 可以理解成, 把同一类动词进行了聚类, 这个类就是一个框架 ( 比如 拿 取 可以属于一个框架 ; 而且还确定了框架间的层级关系, 比如 继承 原因 框架元素 :A background knowledge structure that defines a set of frame-specific semantic roles, called frame elements ( 就是后一页的加黑部分, 黑框部分是必须的元素, 白框部分是可选元素 ) 谓语 ( 一般是动词, 但也可以是名词 ):Includes a set of predicates that use these roles( 就是后一页的最底下的那些词 ) 实际分析过程中, 每个词都要找到其对应的框架, 然后获取部分框架元素 24
FrameNet 为何是 FrameNet 框架通过关系相连构成网络 ( 框架上的箭头 ) 框架元素之间同样由关系相连构成网络 ( 加黑部分的箭头 ) 箭头来自父类, 指向子类 ; 比如 继承 是出现最多的一个类型, 代表 语义的细化 25
FrameNet 与 PropBank 相比,FrameNet 的复杂度更高 下例, 粗黑线代表单词触发了一个语义框架, 一行是一个语义框架 比如对于 ring, 左边的是 agent, 右边的是 sound maker 26
FrameNet Frame 示例 框架里面除了结构化的元素和谓词, 还有非结构化的自然语言解释, 以下是非结构化的解释举例 27
FrameNet 标注示例 framenet 除了标注了之前说的结构化知识库, 还标注了非结构化的训练语料 ( 就像 propbank 的训练语料一样 ), 以下为样例 但是语料还是偏少, 几万句, 这是 framenet 准确度还是偏低的原因之一 28
FrameNet FrameNet 可以更好的表示同一类事件之间的共性 PropBank 针对同一动词之间的共性 比如以下几个句子, 用了不同的动词, 但是 item 和 agent 都能成功分析出 [ Agent Big Fruit Co.] increased [ Item the price of bananas]. [ Item The price of bananas] rose [ Agent by Big Fruit Co.] There has been a [ Difference 5%] rise in [ Item the price of bananas]. 29
FrameNet 与 PropBank FrameNet vs. PropBank ( 上图是 propbank, 它是由句法树细化标注得到的 ) 30
大纲 语义角色标注 PropBank 与 FrameNet 解决方案 句法树方法 序列标注方法 31
语义角色标注方法 目标 : 寻找句子中每个谓语的每个论元的语义角色 ( 因为是以动词为中心 ) 识别谓语 识别论元 标定论元角色 对象 :FrameNet vs. PropBank ( 上面是 framenet, 下面是 propbank) 两大类方法 序列标注方法 句法树方法 32
序列标注方法 语义角色标注视为 Segmenting 类的序列标注任务 标签含有两个属性 边界属性 :BIO,BIO2,BIOSE 角色属性 :Arg0, Arg1, 可以使用任意序列标注模型 有效的特征包括 : 中心词 窗口词 词性等 在没有神经网络的时代, 效果极差 在深度学习时代, 主要用 LSTM 进行序列标注, 效果跟句法树方法相当, 大概是 80-85% 左右 33
句法树方法 借助句法树完成分类任务 句法树提供了大量的语义线索 下例是 CFG 句法分析, 在句法树结构上识别 arg0,arg1 等 34
句法树方法 一个简单的算法框架 遍历一棵树, 在每个节点上提取特征, 做分类 35
句法树方法 第一步 :What is a predicate? PropBank verbs 选定所有动词 可以排除 light verbs( 表 ) FrameNet verbs/nouns/adjectives 选定训练数据中所有标为中心词的词 36
句法树方法 基本型 Features Headword ( 通过规则确定, 如 Examiner) Headword POS 单词的主动 被动形态 Subcategorization of predicate Named Entity type of constituent First and last words of constituent Linear position, clause w.r.t. predicate 37
句法树方法 特殊型 Features Path 从当前节点到谓语词在句法 树上的路径 38
句法树方法 分类的实现 :3-step version 1, 过滤 :Pruning Simple heuristics to prune unlikely constituents 2, 识别是否跟谓词有关系 :Identification 是否问题 :Binary classification of each node as an argument to be labeled or a NONE 3, 具体是属于哪种关系 :Classification 多分类问题 :1-of-N classification of all the constituents that were labeled as arguments 39
句法树方法 过滤的重要性 :Why Pruning? 大量的词都跟谓词无关 :One predicate at a time, Imbalance data Very few of the nodes in the tree could possible be arguments of that one predicate Positive samples vs negative samples Prune the very unlikely first, and then use a classifier to get rid of the rest 40
句法树方法 过滤的重要性 : Pruning heuristics [Xue and Palmer, 2004] 比如下例,and 代表了并列关系, 如果找 warned 的论元, 则先找兄弟节点, 再找叔父节点, 再找祖父节点, 然后把左边的分支全部裁掉 41
句法树方法 怎么分类 : 先局部分类, 然后 re-ranking 局部分类 :The algorithm classifies everything locally But lots of global or joint interactions Non-overlapping No Multiple identical arguments 重排序 : 通过 Reranking 捕捉全局的信息 Possible labels -> classifier -> best global label Takes all the input along with other features 42
句法树方法 FrameNet 更复杂一些 : 还需要判断是那个框架, 因为不是 arg0,arg1 的分类问题了, 还需要判定是具体的那个框架 We need an extra step to find the frame Features for frame identification [Das et al, 2014] 43
总结 : 语义角色标注 任务 :who does what to whom when where how 对象 :thematic roles -> Frame or Proto-A/P (propbank) 资源 :PropBank, FrameNet, CoNLL shared tasks 特性 : 句法线索 syntactic, 选择限制 selection 方法 Sequence labelling: very bad before DL Syntactic: very good before DL DL: Bi-LSTM 作序列标注反而效果好 44
深度学习方法 扩展阅读 : End-to-end Learning of Semantic Role Labelling Using Recurrent Neural Networks (E2E) ACL 2015 Jie Zhou and Wei Xu, Baidu Research Deep Semantic Role Labelling: What Works and What s Next (Deep) ACL 2017 Luheng He, Kenton Lee, Univ. of Washington Mike Lewis, FAIR Luke Zettlemoyer, Allen Institute for AI 45
Thanks! 46