Microsoft PowerPoint - Chapter_05.ppt

Size: px

Start display at page:

Download "Microsoft PowerPoint - Chapter_05.ppt"

迈优殳
5 years ago
Views:

1 自然语言处理导论课程讲义第五讲语义分析

2 提纲一从形式到意义 : 引入语义知识的必要性二语义知识的类型及语义知识的获取三语义知识的应用四小结 2

3 1 从形式到意义 : 引入语义知识的必要性 B B 心智的世界 A C A 是对 B 的抽象,B 是对 C 的抽象 ; A 符号 / 形式的世界 C 真实的世界 A 通过 B, 与 C 发生间接的联系转引自徐烈炯 (1995) 语义学 pp.32-33, 语文出版社 Ogden,C.K. & I.A.Richards, 1923,The Meaning of Meaning,Routledge & Kegan Paul, London. 3

4 在符号世界的内部看意义意义 := 符号 / 形式变换 I. 在一种语言内进行的符号变换 A. 张三打了李四 B. 李四被张三打了 II. 在不同语言之间进行的符号变换 A. 张三用手打了李四 B. Zhang San hit Li Si with his hand III. 在不同性质的符号系统之间进行的符号变换 A. B. 这是残疾人通道 A 的意思是 B 4

5 Paraphrase 解释意思 If you paraphrase someone or paraphrase something that they have said or written, you express what they have said or written in a different way. Collins COBUILD Dictionary para- beside + phrazein to tell", to tell in other words 5

6 意义 : 符号之间无止尽的变换关系 A B 我买了辆车意思 1: 我付钱从某处购买了一辆车意思 2: 我拥有了一辆车意思 3: 我可以使用这辆车意思 4: 我的钱都花完了 A 意味着 B {B1,B2,B3,B4,...} 6

7 一个形式可以变换为其他多个形式例 1. 这个编辑很不错 2. 他每年要编辑一百万字的书 3. 这小伙子是干警察的好材料 4. 把这个小伙子的材料送人事部 5. 这是一种新型材料 6. 编辑部有许多读者 7. 这本书有许多读者 editor edit 人选资料原料编辑部有许多人这本书有许多人 7

8 一个形式可以变换为其他多个形式例 8 人是会死的苏格拉底是人例 8a 鲁迅的作品不适合小学生读祝福是鲁迅的作品祝福不适合小学生读苏格拉底是会死的例 8b 鲁迅的作品不可能在一天之内全部读完祝福是鲁迅的作品祝福不可能在一天之内全部读完鲁迅的作品鲁迅的全部作品鲁迅的每一部作品 8

9 一个形式可以变换为其他多个形式例 9 发现了敌人的哨兵 vp np de np 9A np 9B vp vp u np vp np v n n v n u n 发现了敌人的哨兵发现了敌人的哨兵 9

10 多个符号形式可以变换为同一个形式例 1 学一食堂供应西餐吗? 学一食堂卖西餐吗? 学一食堂提供西餐吗? 学一食堂有西餐吗? 学一食堂做西餐吗? 学一食堂经营西餐吗? 供应 ( 学一食堂, 西餐 ) 例 2 学一食堂抵制西餐吗? 学一食堂反对西餐吗? 学一食堂对西餐说不吗? 供应 ( 学一食堂, 西餐 ) 10

11 释义 : 正确的形式变换 Q: Which country is Athens in? A: Greece Q SQL city_table City Country Athens Greece Bangkok Thailand Population Select Country From city_table Where City = Athens Steven Bird, Ewan Klein and Edward Loper Natural Language Processing with Python. O Reilly Media. Chapter 10 11

12 二语义知识的类型及知识的获取语义特征 / 义素描述 1. 关于词义聚类关系的知识 2. 关于词义组合关系的知识语义分类树语义关系网配价理论格语法 / 论元结构理论框架语义学理论

13 2.1 关于词义聚类关系的知识语义知识的类型语义特征 ( 义素 ) 描述语义分类树语义关系网代表性的语义知识库 / 工程项目 HowNet 905 语义工程 HowNet WordNet / 北大 ICL-CCD MindNet 13

14 2.1.1 语义特征 ( 义素 ) 描述义素婚姻成年男性人词语光棍寡妇女童男婴单身汉 n 个义素 2 n 个词语 14

15 语义特征 ( 义素 ) 描述 n 个义素对象接触环境工具方式炒荤素面间接固体烤荤面素直接固体炸荤面素间接油煮荤面素间接水蒸面荤素间接汽炖 2 n 个词语 15

16 语义特征 ( 义素 ) 描述 1. 语义特征的性质概念义 ( 客观义 ) 附加义 ( 感情色彩义 / 主观义 ) 2. 获取语义特征 ( 义素 ) 的方式 : 2.1 参考词典释义, 提取共同项 / 对立项特征 ; 2.2 考察词语在句法格式中使用时的变换差异和对比差异, 对具有相同 / 相反的句法行为的词语, 提取共同项 / 对立项特征 ; 16

17 2.1.2 语义分类树生物动物人类深度老虎人集体广度 17

18 语义分类树状态存在特征性格 1. 停留 : 待, 蹲, 躲, 跪, 靠, 2. 存物 : 摆, 藏, 插, 充满, 3. 坐落 : 处于, 分布, 位于, 矗立, 停泊, 关系领属整分类同关联 1. 包括 : 包含, 包括, 包罗, 分为, 共计, 含有, 2. 构成 : 构成, 合成, 化合, 组合, 组成, 动词关涉变化感知心态自变自进 905 语义工程运动类概念分类体系 : 自动改动转移自流自移 7 大类 26 中类 100 小类 18

19 2.1.3 语义关系网 Attribute 属性 Goal 目标 Possessor 领有者 MindNet Cause 原因 Hypernym 上位 Purpose 意图 Co-Agent 联合施事 Location 场所 Size 大小 Color 颜色 Manner 方式 Source 源点 Deep_Object 深层宾语 Material 材料 Subclass 子类 Deep_Subject 深层主语 Means 方法 Synonym 同义 Domain 领域 Modifier 修饰语 Time 时间 Equivalent 同位 Part 部分 User 使用者 19

20 语义关系网的自动获取 car: a vehicle with 3 or usually 4 wheels and driven by a motor, esp. one for carrying people Stephen D.Richardson, William B.Dolan, Lucy Vanderwende, MindNet: acquiring and structuring semantic information from text 20

21 2.2 关于词义组合关系的知识理想目标 : 描述任意词语之间的组配关系语义知识理论配价语法格语法 / 论元结构理论框架语义学代表性的语义知识库 / 工程项目 ILD, 北大配价语义词典现代汉语述语动词机器词典,Propbank FrameNet Linguistics/contents/SemDict_Overview_zwd pdf 21

22 配价语法配价 (valence) 这一概念借自化学目的是说明一个动词能跟多少个名词性成分发生组合关联游泳 [ 某人 ] 游泳 1 价动词吃送 [ 某人 ] 吃 [ 某食物 ] 2 价动词 [ 某甲 ] 送 [ 某乙 ] [ 某物 ] 3 价动词 22

23 配价数语义 : 动作行为跟 x 类事物有意义联系句法 : 动词周围有 x 个空位安放跟它有意义联系的名词 V 零元 ( 价 ) 动词 V 一元 ( 价 ) 动词 V 二元 ( 价 ) 动词 V 三元 ( 价 ) 动词 X 元 ( 价 ) 动词 23

24 X 价动词为 ( 向, 对 ) V 董永总为别人着想大家向董永看齐董永对七仙女发火 V VP 那个犯人企图逃跑董永觉得不舒服 V NP VP 董永告诉七仙女晚上六点开会 24

25 从动词的配价到形容词名词的配价形名配价优秀 [ 某人 ] 优秀 1 价形容词友好 [ 某甲 ] 对 [ 某乙 ] 友好 2 价形容词名名配价质量 [ 某物 ] 的质量 1 价名词态度 [ 某甲 ] 对 [ 某乙 ] 的态度 2 价名词 25

26 论元类型 - 论旨角色反映动词所能结合的名词的不同语义角色主语 + 动词 + 宾语施事 + 动作 + 受事施事 + 动作 + 工具处所 + 状态 + 当事 - 句法模式细化 - 语义模式 26

27 论旨角色的定义方式原型施事 (proto-typical agent) 施事感事主事句法上的分布 27

28 施事的句法定义示例 1) 作基础句的主语例如弟弟哭了小张吃了一碗汤面 ; 2) 作把字句的主语例如哥哥把校长给得罪了 ; 3) 作被由等介词的宾语例如后勤工作由老刘负责 ; 4) 作 V 一 V V 了 V 等重叠形式的主语例如你试 ( 一 ) 试 ; 5) 作不 VP 和没有 VP 等否定形式的主语例如 : 小沈不去 ; 6) 不在宾语位置上出现, 除非句首是处所性成分例如 : * 笑了小明 ; 袁毓林 (2003) 一套汉语动词论元角色的语法指标, 世界汉语教学 2003 年第 3 期 28

29 论旨角色的复杂性衣服大盆第一 90 分黑钱洗冷水驾照考数学香皂相片胶卷扑克水平笔试大学博士 29

30 论旨角色的复杂性 1. 我飞了你的马 2. 一下午就敲了两百多字 3. 今天老张干嘛去了? 蹬煤去了 4. 他这回总算游了一个冠军 5. 他晚上又要来催稿子 6. 他刚拖了地板, 窗户还没有擦 30

31 结构压缩与论元新增原始的双事件结构压缩后的句法结构 V1 O1 V2 O2 V1 O2 飞象吃马飞马敲键盘输入汉字敲字蹬三轮车运送煤块蹬煤游 ( 泳 ) 获得冠军游冠军催人交稿子催稿子拖拖把擦洗地板拖地板参与讨论发表意见参与意见考驾驶技术获得驾照考驾照考文化知识进入大学考大学洗胶片显现出照片洗照片 [ + 获得 ] [ + 给予 ] [ + 位移 ] 31

32 论旨角色占据句法位置的灵活性衣服晾阳台阳台晾衣服便道走行人行人走便道前排坐领导领导坐前排花浇水水浇花红布包书书包红布西红柿炒鸡蛋鸡蛋炒西红柿 32

33 汉语动词的论旨角色层级系统 33

34 对论旨角色的选择限制 (selectional restriction) 动词的各个论旨角色在语义上满足什么样的约束条件吃施事论元 [+ 动物 ] 张三吃西瓜受事论元 [+ 固体 ][+ 食物 ][+ 药物 ] * 张三吃思想 * 空气吃鱼想对象论元 [+ 人 ] 想妈妈思念对象论元 [+ 抽象物 ] 想答案思索 34

35 选择限制 ( 语义组配 ) 35

36 描述论旨角色选择限制的方式句法属性层次商量 : { 当事 : [, 复数 :Yes, ]} 语义属性层次吃 : { 施事 :[ 语义类 : 人动物 ], 受事 :[ 语义类 : 食物药物 ]} 词例层次嗑 :{ 施事 :[ 语义类 : 人 ], 受事 :[ 词语 :* 瓜子 ]} 正面描述与反面描述变卖 :{ 施事 :[ 语义类 : 人集体 ], 受事 :[ 语义类 : ~ 人 ]} 36

37 选择限制与特殊语境 1 否定语境张三不可能吃思想张三怎么可能吃思想 2 超常现象 3 隐喻张三跟李四比赛吃玻璃只花了半天就吃掉了敌人两个营 37

38 小结配价描述的内容取值 ( 具体的描述方式 ) 配价数 1. 动词跟 x 类名词有语义联系 ; 2. 动词周围有 x 个空位放置名词 ;(x 一般取值 0-3 ) 论旨角色 1. 跟动词有语义关联的 x 类名词分属哪些类型 (T 1, T i ) 2. T i 能够出现在动词周围的哪些空位上动词对其论旨角色的选择限制充当 T i 的名词要满足哪些条件? 1. 语法 ( 形式 ) 特征语义属性 ( 类别 ) 特征 2. 包容性条件排除性条件 38

39 三语义知识的应用帮助判断一个形式是否合语法 ; 帮助做句法结构分析 ( 消歧 ); 确定多义词的义项 (Word Sense Disambiguation); 39

40 3.1 帮助判断句子是否合乎语法 1a. 手枪比步枪更难使用 1b. 手枪比武器更难使用左边的例句哪些能说, 哪些不能说? 有何规则? 2a. 这酒不香, 这酒是醇香 2b. 这酒不是香, 这酒是醇香 40

41 3.2 帮助做句法结构分析 A 修理汽车的工人 B 寻找烈士的遗物图 A np 图 B vp vp u np vp np v n n v n u n 修理汽车的工人寻找烈士的遗物 v + n + 的 + n v + n[ 交通工具 ] + 的 + n[ 人 ] v + n[ 人 ] + 的 + n[ 具体事物 ] 41

42 加入语义知识进行句法结构分析修理 {[ 施事 : 人 ][ 受事 : 人工物 ]} 寻找 {[ 施事 : 人 ][ 受事 : 具体事物 ]} 工人 [ 语义类 : 人 ] 汽车 [ 语义类 : 交通工具 ] 遗物 [ 语义类 : 具体事物 ] 烈士 [ 语义类 : 人 ] 人事物具体事物人工物交通工具抽象事物 && vp vp np :: $. 内部结构 = 述宾, %vp. 受事 =%np && np vp u< 的 > np :: IF %vp. 内部结构 = 述宾 THEN %vp. 施事 =%np ENDIF 42

43 从语义类到语义特征 C. 关心朋友的人 D. 关心烈士的家属图 C np 图 D vp vp u np vp np v n n v n u n 关心朋友的人关心烈士的家属 v + n + 的 + n v + 人 + 的 + 人 v + n + 的 + n v + 人 + 的 + 人 43

44 从语义类到语义特征 C. 关心朋友的人 D. 关心烈士的家属图 C np 图 D vp vp u np vp np v n n v n u n 关心朋友的人关心烈士的家属 v + n + 的 + n v + 人 + 的 + 人 [+ 亲属关系 ] v + n + 的 + n v + 人 + 的 + 人 [+ 亲属关系 ] 44

45 从语义类到语义特征烈士 [ 语义类 : 人, 配价数 :0] 家属 [ 语义类 : 人, 语义特征 : 亲属关系, 配价数 :1] 朋友 [ 语义类 : 人, 语义特征 : 亲属关系, 配价数 :1] v + n + 的 + n v + 人 + 的 + 人 v + 人 [+ 亲属关系 ] + 的 + 人 v + 人 + 的 + 人 [+ 亲属关系 ] 从词类到语义类到语义特征, 是不断对结构模式进行细化的一个过程 45

46 3.3 帮助确定多义词的义项多义词义项释义英语译词 A 想主意想 1 思索, 思考 think B 想女儿想 2 想念, 怀念 miss 利用 V-N 语义组合知识来判定动词义项 46

47 帮助确定多义词义项进食吃饭比吃面耐饱米饭吃饭 : sense1 吃米饭 sense2 进食利用语义聚合知识 ( 上下位 ) 来判定动词义项 47

48 四小结 1. 语义知识跟句法知识的差别主要在于知识颗粒度的不同从某种意义上说, 语义知识就是细化了的句法知识 2. 跟语法范畴的提取是基于聚合和组合两种基本关系一样, 人们也是从这两个角度出发去获取语义知识的并且语义知识的形式化表达也可采用特征结构及合一的形式 48

49 进一步阅读文献冯志伟等译 (2005) 自然语言处理综论第 14,15,16 章詹卫东,2001, 确立语义范畴的原则及语义范畴的相对性, 载世界汉语教育 2001 年第 2 期徐烈炯,1995, 语义学, 语文出版社 Geoffrey Leech, 1983, Semantics: The Study of Meaning, Penguin Books. 蒋严, 潘海华,1998, 形式语义学引论, 中国社会科学出版社 Shalom Lappin, ed., 1996, The Handbook of Contemporary Semantic Theory, Oxford: Blackwell. 姚天顺等, 1995, 自然语言理解, 清华大学出版社, 第四章,pp50-81, ( 语义网络 ) 张普,1991, 信息处理用现代汉语语义分析的理论与方法, 载中文信息学报 1991 年第 3 期 VerbNet FrameNet HowNet WordNet MindNet 49

50 复习思考题 1. 请用配价理论分析下列动词的共性和差异见面顶嘴发火撤职 2. 下面两个词组都是 n a 的 n 格式, 但它们的句法结构不同, 请给出基于语义知识的判断条件 a. 文科优秀的教材 b. 颜色鲜艳的花朵 50

Microsoft PowerPoint - Chapter_04.ppt [兼容模式]

Microsoft PowerPoint - Chapter_04.ppt [兼容模式] 第四讲语义知识及其应用詹卫东 http://ccl.pku.edu.cn/doubtfire/ 提纲一从计算机的角度看语义问题二语义知识的类型三语义知识的应用四小结 2 一从计算机的角度看语义问题 B A 符号的世界 B 心智的世界 A C A 是对 B 的抽象,B 是对 C 的抽象 ; A 通过 B, 与 C 发生间接的联系 C 真实的世界转引自徐烈炯 (1995) 语义学 pp.32-33,