自然语言处理导论 课程讲义 语义分析 Sematic Aalysis 孙栩信息科学技术学院 xusu@ku.edu.c htt://xusu.org
语义分析 引子 这些句子是否有同样的含义? Yesterday, Kristia hit Scott with a baseball Scott was hit by Kristia yesterday with a baseball Yesterday, Scott was hit with a baseball by Kristia With a baseball, Kristia hit Scott yesterday Yesterday Scott was hit by Kristia with a baseball Kristia hit Scott with a baseball yesterday
语义分析 何为语义? 哲学性问题, 目前语言学领域未有定论 提出了众多的语义表示方法 代表理论 : 一阶谓词逻辑 [Neo-Davidsoia 事件表示 ] 对一个事件的形式化表示 ( 一阶谓词逻辑 ), 例如 Sasha broke the widow e, x, y Breakig e Breaker e, Sasha BrokeThig e, y Widow(y) Pat oeed the door e, x, y Oeig e Oeer e,pat OeedThig e, y Door(y) 谓词需要人工定义 且无法穷尽这种表示很难分析得到, 更难以进行有效推理 3
一阶谓词逻辑到语义角色标注 一阶谓词逻辑没有考虑语义的共性 Breaker 和 Oeer 虽然对应了不同的事件, 但有语义共同之处 主动行动者 (volitioal actor) 有生命的 (aimate) 事件的直接原因 (direct causal resosibility) 语义角色 (sematic roles) 通过捕捉语义间的共性, 降低分析的难度和复杂度 在上一例子中, 两者可以统一 : Breaker 和 Oeer 都是 AGENTS( 施事 ) BrokeThig 和 OeedThig 都是 THEMES( 客体 ) 除了施事和客体还有很多其它类型的语义角色!
语义角色标注 语义角色标注 (Sematic Role Labelig, SRL) 一种浅层语义分析技术 确定作为谓语变元的名词性短语所扮演的语义角色 例子 :The studet solved roblems with a calculator i the classroom this morig 谓语 (Predicate): solved 施事 (Aget): the studet 客体 (Theme): roblems 工具 (Istrumet): a calculator 地点 (Locatio): the classroom 时间 (Time): this morig 语义角色的类型是人工确定的, 有很多不同的划分方式
语义角色标注的应用 语义角色标注的应用非常广泛 问答系统 同一类问题的答案往往对应同一种语义角色 Who -> aget / exeriecer What -> force / theme / cotet How -> istrumet Where -> goal / source For whom -> beeficiary
语义角色标注的应用 语义角色标注的应用非常广泛 问答系统 信息抽取 同一类信息往往对应同一种语义角色 Lodo gold fell $4.70 to $ 308.45 Slot Filler Sematic Role Product Lodo gold Exeriecer Price chage -$4.70 Theme Curret rice $308.45 Goal
语义角色标注的应用 语义角色标注的应用非常广泛 问答系统 信息抽取 文档摘要 层级化摘要 需要归纳不同文档中同一语义角色
语义角色标注的应用 语义角色标注的应用非常广泛 问答系统 [Hedrix et al., 1973; She & Laata, 2007; Surdeau et al., 2011] 信息抽取 文档摘要 知识获取 机器翻译 [Wilks, 1973; Liu & Gildea, 2010; Lo et al., 2013] 对话系统 [Bobrow et al., 1977] 口语理解 [Nash-Webber, 1975]
语义角色 语义角色 (Sematic Roles) 的语言学定义 一种浅层的语义表示 语义由一句话描述的事件 (evet) 表示 事件由谓语 (redicate) 表示 谓语可以携带多个论元 (argumets), 表示与事件相关的对象 语义角色是论元在事件中充当的抽象角色 语义角色同样有多种粒度 更具体 原型施事是对施事的一般化 : 以下均是原型施事 Tom hits the ball. ( 施事 ) Tom likes the ball. (Exeriecer, 感事 ) The sky is blue. (Theme, 主事 ) 更一般 Hitter ( 打击者 ) Aget ( 施事 ) Proto-aget ( 原型施事 )
题旨角色 (Thematic Role) 语义角色由题旨角色发展而来 最古老的语言学模型之一 印度语法学家 Paii [7 th to 4 th BCE] 现代阐述 Fillmore 的格理论 (case theory) [1966, 1968], Gruber [1965] 示例 对依存句法在语义上的进一步细化! Fillmore 受 Lucie Tesière 的 Élémets de Sytaxe Structurale [1959] 启发, 起初称这些角色为 actat [1966] 后改为 case 中心动词与名词短语作为句法的深层结构, 之间的语义关系被称为深层格
题旨角色的问题 难以建立标准的角色集合或准确定义题旨角色 粒度与原子性常常冲突 角色通常需要被分裂才能被准确定义 例如, 题旨角色中的 INSTRUMENTS( 工具 ) 并包含了两种类型的角色 [Levi & Hovav, 2015]: 媒介工具 (itermediary istrumets): 可作主语 The cook oeed the jar with the ew gadget The ew gadget oeed the jar 赋能工具 (eablig istrumets): 不可做主语 Shelly ate the sliced baaa with a fork *The fork ate the sliced baaa.
语义角色的粒度 实际中处理的语义角色有两类 更一般化的 更少角色 ( 一般所说的语义角色 ) 基于原型施事 原型受事 [Dowty 1991] ProBak 语料库为代表 ( 语义角色标注所用的语料 ) 更细粒度的 更多角色 ( 框架语义 ) frames [Fillmore 1968, 1977] 根据一类谓语定义特定的角色 FrameNet 语料库为代表
ProBak The Proositio Bak (ProBak) [Palmer et al. 2005] 采用粗粒度的角色定义 [Dowty 1991] 使用原型施事 (roto-aget) 和原型受事 (roto-atiet) ProBak 中根据动词的词义标注以下几类论元 ARG0: PROTO-AGENT ARG1: PROTO-PATIENT ARG2: beefactive, istrumet, attribute, ed state ARG3: start oit, beefactive, istrumet or attribute ARG4: ed oit ARGM: modifiers or adjucts of the redicate TMP, LOC, DIR, MNR, ADV,
ProBak 标注示例 根据动词确定每个 Arg 的具体含义
ProBak ProBak 的标注可以很好的表示语义上的共性 0,1 规律比较明显,2 之后根据具体词有变化 示例 : Ø Predicate icrease 1 go u icremetally Ø Arg0: causer of icrease Ø Arg1: thig icreasig Ø Arg2: amout icreased by, EXT or MNR Ø Arg3: start oit ( 升高的起点 ) Ø Arg4: ed oit ( 升高的终点 ) Ø [ Arg0 Big Fruit Co.] icreased [ Arg1 the rice of baaas]. Ø [ Arg1 The rice of baaas] was icreased agai [ Arg0 by Big Fruit Co.]
ProBak ProBak 中也包含一些名词和轻动词 (light verb) 如 decisio 和 make a decisio 中的 make 对比 make a decisio 和 make a toy: 是否是实际的制作? NomBak ProBak 以动词为主 在 ProBak 的基础上进一步扩充了名词和形容词
FrameNet FrameNet Baker et al. 1998, Fillmore et al. 2003, Fillmore ad Baker 2009, Ruehofer et al. 2006 ProBak 中的角色根据动词定义 FrameNet 中的角色根据框架定义 框架的定义 可以理解成, 把同一类动词进行了聚类, 这个类就是一个框架 ( 比如 拿 取 可以属于一个框架 ; 而且还确定了框架间的层级关系, 比如 继承 原因 框架元素 :A backgroud kowledge structure that defies a set of frame-secific sematic roles, called frame elemets ( 就是后一页的加黑部分, 黑框部分是必须的元素, 白框部分是可选元素 ) 谓语 ( 一般是动词, 但也可以是名词 ):Icludes a set of redicates that use these roles( 就是后一页的最底下的那些词 ) 实际分析过程中, 每个词都要找到其对应的框架, 然后获取部分框架元素
FrameNet 为何是 FrameNet 框架通过关系相连构成网络 ( 框架上的箭头 ) 框架元素之间同样由关系相连构成网络 ( 加黑部分的箭头 ) 箭头来自父类, 指向子类 ; 比如 继承 是出现最多的一个类型, 代表 语义的细化
FrameNet 与 ProBak 相比,FrameNet 的复杂度更高 下例, 粗黑线代表单词触发了一个语义框架, 一行是一个语义框架 比如对于 rig, 左边的是 aget, 右边的是 soud maker
FrameNet Frame 示例 框架里面除了结构化的元素和谓词, 还有非结构化的自然语言解释, 以下是非结构化的解释举例
FrameNet 标注示例 framenet 除了标注了之前说的结构化知识库, 还标注了非结构化的训练语料 ( 就像 robak 的训练语料一样 ), 以下为样例 但是语料还是偏少, 几万句, 这是 framenet 准确度还是偏低的原因之一
FrameNet FrameNet 可以更好的表示同一类事件之间的共性 ProBak 针对同一动词之间的共性 比如以下几个句子, 用了不同的动词, 但是 item 和 aget 都能成功分析出 Ø [ Aget Big Fruit Co.] icreased [ Item the rice of baaas]. Ø [ Item The rice of baaas] rose [ Aget by Big Fruit Co.] Ø There has bee a [ Differece 5%] rise i [ Item the rice of baaas].
FrameNet 与 ProBak FrameNet vs. ProBak ( 上图是 robak, 它是由句法树细化标注得到的 )
语义角色标注的特性 语义角色与句法的关系 常见情况下, 语义角色可以通过特定句法位置确定 Aget: subject Patiet: direct object Istrumet: object of with Beeficiary: object of for Source: object of from 但以上泛化规则不是绝对的, 至多也只是倾向 The hammer hit the widow ( 这里不是 Aget, 是 Istrumet) The ball was assed to Mary from Joh ( 这里不是 Aget, 是 Patiet) Joh wet to the movie with Mary ( 不是 istrumet) Joh bought the car for $20K. ( 不是受益者 Beeficiary)
语义角色标注的特性 语义角色与选择限制 (Selectioal Restrictios) 的关系 选择限制 : 比如一个动词只能跟有限的名词搭配, 比如 吃手机 不太可能出现 语义角色标注可以帮助解决选择限制的问题 例子 :I wat to eat somelace earby. Two iterretatios a) sesible: eat is itrasitive ad somelace earby is a locatio adjuct B) seaker is Godzilla: eat is trasitive ad somelace earby is a direct object 通过语义角色标注 :a > b
选择限制与选择倾向 选择限制 (selectioal restrictios) 或选择倾向 (selectioal refereces)? 早期, 选择限制是严格约束 [Katz ad Fodor, 1963] 很快, 人们明白选择限制其实只是倾向 [Wilks, 1975] 例子 目前的语义分析还难以解决 But it fell aart i 1931, erhas because eole realized you ca t eat gold for luch if you re hugry. I his two chamioshi trials, Mr. Kulkari ate glass o a emty stomach, accomaied oly by water ad tea.
语义角色标注方法 目标 : 寻找句子中每个谓语的每个论元的语义角色 ( 因为是以动词为中心 ) 识别谓语识别论元标定论元角色 对象 :FrameNet vs. ProBak ( 上面是 framenet, 下面是 robak) 两大类方法 序列标注方法 句法树方法
序列标注方法 语义角色标注视为 Segmetig 类的序列标注任务 标签含有两个属性 边界属性 :BIO,BIO2,BIOSE 角色属性 :Arg0, Arg1, 可以使用任意序列标注模型 有效的特征包括 : 中心词 窗口词 词性等 在没有神经网络的时代, 效果极差 在深度学习时代, 主要用 LSTM 进行序列标注, 效果跟句法树方法相当, 大概是 80-85% 左右
句法树方法 借助句法树完成分类任务 句法树提供了大量的语义线索 下例是 CFG 句法分析, 在句法树结构上识别 arg0,arg1 等
句法树方法 一个简单的算法框架 遍历一棵树, 在每个节点上提取特征, 做分类
句法树方法 第一步 :What is a redicate? ProBak verbs 选定所有动词 可以排除 light verbs( 表 ) FrameNet verbs/ous/adjectives 选定训练数据中所有标为中心词的词
句法树方法 基本型 Features Headword ( 通过规则确定, 如 Examier) Headword POS 单词的主动 被动形态 Subcategorizatio of redicate Named Etity tye of costituet First ad last words of costituet Liear ositio, clause w.r.t. redicate
句法树方法 特殊型 Features Path 从当前节点到谓语词在句法 树上的路径
句法树方法 分类的实现 :3-ste versio 1, 过滤 :Pruig Simle heuristics to rue ulikely costituets 2, 识别是否跟谓词有关系 :Idetificatio 是否问题 :Biary classificatio of each ode as a argumet to be labeled or a NONE 3, 具体是属于哪种关系 :Classificatio 多分类问题 :1-of-N classificatio of all the costituets that were labeled as argumets
句法树方法 过滤的重要性 :Why Pruig? 大量的词都跟谓词无关 :Oe redicate at a time, Imbalace data Very few of the odes i the tree could ossible be argumets of that oe redicate Positive samles vs egative samles Prue the very ulikely first, ad the use a classifier to get rid of the rest
句法树方法 过滤的重要性 : Pruig heuristics [Xue ad Palmer, 2004] 比如下例,ad 代表了并列关系, 如果找 wared 的论元, 则先找兄弟节点, 再找叔父节点, 再找祖父节点, 然后把左边的分支全部裁掉
句法树方法 怎么分类 : 先局部分类, 然后 re-rakig 局部分类 :The algorithm classifies everythig locally But lots of global or joit iteractios No-overlaig No Multile idetical argumets 重排序 : 通过 Rerakig 捕捉全局的信息 Possible labels -> classifier -> best global label Takes all the iut alog with other features
句法树方法 FrameNet 更复杂一些 : 还需要判断是那个框架, 因为不是 arg0,arg1 的分类问题了, 还需要判定是具体的那个框架 We eed a extra ste to fid the frame Features for frame idetificatio [Das et al, 2014]
总结 : 语义角色标注 任务 :who does what to whom whe where how 对象 :thematic roles -> Frame or Proto-A/P (robak) 资源 :ProBak, FrameNet, CoNLL shared tasks 特性 : 句法线索 sytactic, 选择限制 selectio 方法 Sequece labellig: very bad before DL Sytactic: very good before DL DL: Bi-LSTM 作序列标注反而效果好
深度学习方法 扩展阅读 : Ed-to-ed Learig of Sematic Role Labellig Usig Recurret Neural Networks (E2E) ACL 2015 Jie Zhou ad Wei Xu, Baidu Research Dee Sematic Role Labellig: What Works ad What s Next (Dee) ACL 2017 Luheg He, Keto Lee, Uiv. of Washigto Mike Lewis, FAIR Luke Zettlemoyer, Alle Istitute for AI
复习参考题 什么是语义角色? 对比 ProBak 和 FrameNet 什么是选择限制? 语义角色标注有哪些解决方案? 42
Thaks!