论文

Size: px

Start display at page:

Download "论文"

舌乔
5 years ago
Views:

1 语义计算与知识检索研究生课程语义计算概述万小军北京大学语言计算与互联网挖掘组年 2 月 28 日

2 2 自然语言处理回顾

3 3 语义计算的重要性

4 4 例子

5 基本方法理性主义方法研究人的语言知识结构, 人工编汇语言知识 + 推理系统符号处理系统经验主义方法看作结构化预测任务 : 直接研究实际的语言数据, 从大量的语言数据中获得语言的知识结构基于语言数据的计算方法例如序列标注模型 (HMM CRF, Seq2Seq 等 ) 理性主义方法与经验主义方法的融合融合方法 5

6 自然语言处理为什么如此之难? 自然语言与生俱有的歧义问题咬死了猎人的狗 6

7 The boy saw the man on the mountain with a telescope PP attachment 介词结构附加 7

8 研究现状哪个问题都没有彻底解决! 有没有其他方法体系? 有没有理论上限? 部分技术已取得较好的效果, 能够服务于信息检索文本挖掘等应用系统自动分词词性标注命名实体识别等部分技术尽管效果不尽如人意, 但能为人们提供辅助性帮助机器翻译若干关键技术在研究和应用上均有待进一步突破句法分析语义分析 8 社会对 NLP 技术的需求远大于 NLP 技术的当前水平

9 9 语义计算概述

10 什么是语义? 什么是语义 In linguistics, meaning is what is expressed by the writer or speaker, and what is conveyed to the reader or listener, provided that they talk about the same thing (law of identity). 语义学的研究对象是自然语言的意义, 这里的自然语言可以是词汇, 句子, 篇章等等不同级别的语言单位 10

11 什么是语义多层次词汇语义句子语义篇章语义多视角概念语义情感语义情景语义哪种语义最有用? 跟应用有关 11

13 什么是语义计算 Data Semantic Knowledge 13

14 什么是语义计算语义计算计算语言单元的意义, 构建语义表示处理自然语言, 产生关于世界的常识性知识词汇语义学 (Lexical semantics) meanings of component words word sense disambiguation (e.g. country in political or musical sense) 组合语义学 (Compositional semantics) how words combine to form larger meanings 语义计算 = 语义分析语言理解 14

15 什么是语义计算本课程语义范畴的几点说明面向自然语言处理互联网搜索与挖掘应用对互联网文本为主的数据进行语义分析在词汇句子篇章等多层次进行分析语义涉及到概念语义情感语义等不纠结于语言学领域的多种理论与派别 15

16 什么是语义计算语义计算 vs.nlp 其他领域语音 (Phonetics): 研究语言的发音形态 (Morphology): 研究词的构成 scored = score d = Verb score + past tense employ, employee, employment,... 语法 (Syntax): 研究词之间的结构关系语义 (Semantics): 研究语言的意义语用 (Pragmatics): 研究语言如何被使用 E.g. 美女, 你长得好像我一个同学语义计算通常需要 NLP 其他领域技术, 包括语法分析等 16

17 语义计算为何很难面向自然语言的语义分析很难语言的歧义丹丹和丽丽的妈妈看你来了社会交流中共有知识通常会省略小李在小张的搀扶下回家了他喝醉了语言动态变化 : 新词 (e.g. 剩男剩女快男超女雷人 DUANG freestyle 塑料姐妹花 ), 新的用法 (e.g. 打酱油杯具粉丝 ) 不同层次歧义的传递与影响 17

18 分词结果直接影响语义分析结果 18

19 19

20 阿凡提当理发匠时, 大阿訇 (hōng) 总是来找他剃头, 却从来不给钱阿凡提很生气, 想狠狠整他一下有一天, 阿訇又来理发了阿凡提先给他剃光了头, 在给他刮脸的时候, 问道 : 阿訇, 您要眉毛吗? 当然要, 这还用问! 阿訇说好, 您要我就给您! 阿凡提说着, 嗖嗖几刀, 就把阿訇的两道眉毛刮下来, 递到阿訇手里大阿訇气得说不出话谁叫他自己说过要呢阿訇, 胡子要吗? 阿凡提又问不要, 不要! 阿訇连忙说好, 您不要就不要阿凡提说着, 又嗖嗖几刀, 就把大阿訇的胡子刮下来, 甩在地上大阿訇对镜子一看, 自己的脑袋和脸都刮得净光, 简直就像个光溜溜的鸡蛋这一下他可气坏了, 就大骂起来得啦, 得啦, 这不都是遵照您的吩咐做的吗? 阿凡提说 : 要是依我的话, 不要说眉毛胡子, 连您的头发, 我也不愿意剃哩! 阿凡提的故事阿凡提在逻辑上偷换概念, 利用词语意义的不确定性, 灵活使用

21 21

22 语义计算的重要性人工智能专刊 UC Berkeley 教授 Michael Jordan 自然语言处理进展综述斯坦福大学教授 Christopher Manning 首个进行图灵测试的系统 ELIZA, 是一个自然语言处理系统 (1966) 图灵奖得主 Jim Gray 教授

23 语义计算的重要性几个未解决的难题之一 by 图灵奖获得者 Jim Gray (1944, 2007, 2012) List on the right is from Jim Gray s talk: What next? A few remaining problems in IT # 9. Build a system that, given text corpus, can answer questions about the text and summarize it as quickly and precisely as a human expert. 23

24 相关学科与技术语言学语义计算信息检索认知科学 / 心理学互联网机器学习自然语言处理数据挖掘 24

25 相关会议与活动相关学术会议 ACL EMNLP NAACL CoNLL SIGIR WWW CIKM WSDM KDD ICDM AAAI IJCAI 相关评测 SemEval, MUC, ACE, TAC(KBP, RTE),TREC, NTCIR NLPCC CLEF 25

26 应用举例信息检索信息推荐智能问答机器翻译舆情分析 26

27 27 应用举例 - 信息检索

28 应用举例 - 信息检索

29 谷歌知识图谱 29

30 必应人物关系 30

31 应用举例 - 信息检索微软人立方 ( 服务已停 ) 31

32 32 应用举例 - 信息检索

33 33 应用举例 - 信息推荐

34 应用举例 - 机器翻译机器翻译不好导致的笑话 How old are you? => 怎么老是你? 有困难, 找警察 =>difficult to find the police 34

35 应用举例 - 机器翻译 35

36 36 应用举例 - 自动对联

37 应用举例 - 舆情分析 37

38 应用举例 - 智能问答年 IBM 沃森参加危险边缘 (Jeopardy!)

39 应用举例 - 智能问答搜狗汪仔年搜狗汪仔参加一站到底

40 40 应用举例 - 小冰对话

41 41 应用举例 - 小冰对话

42 应用举例 - 智能问答高考机器人由日本国立情报学研究所等组成的团队研发的考生取名为 ToRobo 君 42 该团队从 2011 年展开研究, 目标是 2016 年在大学全国考试获高分 2021 年考上东大

43 应用举例 - 智能问答例问题 1 下划线 a 中所陈述的村落生活如下文 a d 所示, 请在 1 4 中选出正确的组合 A 具有青铜制刀尖的农具在全国逐渐普及 B 对于日常生活而言不便利的山顶和丘陵上也有村落 C 铁器青铜器传自海外, 后可在日本列岛内制作 D 骑马的风习及硬质陶瓷传自朝鲜半岛 1. a.c 2. a.d 3. b.c 4. b.d く data id="d13" type="text ><br/> <IText id="ll"xlabel>a</label> 具有青铜制刀尖的农具在全国逐渐普及 <br/x/itext> <IText id="l2"xlabel>b</label> 对于日常生活而言不便利的山顶和丘陵上也有村落 <br/x/itext> <IText id="l3"xlabel>c</label> 铁器青铜器传自海外, 后可在日本列岛内制作 <br/ ></IText> <IText id="l4"><label>d</label> 骑马的风习及硬质陶瓷传自朝鲜半岛 <br/x/itext> </data> 43

44 高考机器人应用举例 - 智能问答日本国立大学和公立大学的入学考试包括 2 次 : 全国考试和大学自主招生考试 TODAI Robot 君在 2015 年参加了全国考试, 参考东大的招生简章, 从 7 科的 37 套试卷中选择了 ( 得分率相对较高的 ) 国语数学 IA 数学 IIB 英语日本史 B 世界史 B 物理卷国语数学英语物理历史国语数学 IA 数学 IIB 英语 ( 笔记 ) 英语 ( 听力 ) 物理日本史 B 世界史 B 5 个教科总计总分 ( 满分 ) 全国平均分东机器人得分东大机器人 5 教科合计成绩高于全国平均成绩其中, 数学 1A, 数学 2B, 世界史 B 比全国平均分高大概 30 分, 可以说东大机器人很擅长数学和社会科而国语这一科比全国平均分低 15 分左右, 这是一个还未解决的课题 44 根据东大机器人模拟考试综合学力选择题模拟考试 6 月的成绩, 有 80% 以上的可能性被 33 个国立大学,441 私立大学录取

45 应用举例 - 智能问答 45

46 应用举例 - 智能问答成绩不高日本人工智能机器人小东弃考东大作者 : 来源 : 中国新闻网发布时间 :2016/11/14 13:56:35 46 中新网 11 月 14 日电据日媒报道, 本月 14 日, 力争通过东京大学入学考试的人工智能机器人小东 ( 东 ROBO 君 ) 开发小组 14 日宣布, 在挑战大型补习学校的大学入学统一考试模拟考试后, 获得的所有学科总计标准分 ( 日本称偏差值 ) 为 57, 和去年基本持平据报道, 其物理的标准分从 2015 年的 47 大幅增至 59, 而数学则降低, 未达到东大合格线因为理解题目意思的阅读能力有限, 研究小组今后将不把考入东大作为目标, 而是转为改善记述式考试成绩等研究小东在统考中参加了语文数学世界史等 5 教科 8 科目的考试语文满分为 200 分, 其得分为 96, 标准分从去年的 45 上升到了 50 另一方面, 去年标准分均超过 64 的数 1A 和数 2B 分别获得的成绩, 表现不佳另外, 记述式考试中, 理科数学标准分为 76, 文科数学标准分为 68, 成绩优良去年分别为 44 和 59 据了解, 日本国立信息学研究所等研究小组力争最晚在 2021 年度通过东大入学考试, 于 2011 年开始这一项目虽然成绩不断提高, 但根据迄今为止研究的结果, 开发小组认为难以达到考入东大的水平今后, 还将推进数学的记述式考试成绩改善研究以及成果运用于儿童教育的研究

47 重要的相关基础技术分类技术序列标注技术聚类技术深度学习技术 47

48 分类技术分类 : 将数据划分到已知类别分类器的构建基于有监督学习基于标注数据进行学习 : 训练集数据 / 文本分类器类别 1 类别 2. 类别 n 48 训练数据

49 基于统计的分类典型方法朴素贝叶斯 Rocchio K 近邻决策树最大熵支撑向量机感知机与神经网络 49

50 文本统计分类流程 Filtering Log(tf+1) Chi-Square Tokenization Stemming tf tfidf MI Information Gain 预处理特征计算特征选择 F-Measure Rocchio Recall Precision SVM Naïve Bayes 结果评估分类学习 50

51 集成学习多个分类器可进行集成学习, 取得更好的效果 Bagging Stacking Boosting 等 51

52 序列标注技术很多 NLP 问题都可看做序列标注问题, 需要为序列中每个符号赋予一个标签符号标签依赖于其他符号的标签, 尤其是相邻符号的标签 (not i.i.d) 允许集成序列中多个相互依赖的个体分类的不确定性, 统一确定最可能的全局标签判断典型模型 Hidden Markov Model (HMM) Maximum Entropy Markov Model (MEMM) Conditional Random Fields (CRF) 52

53 聚类技术聚类 : 将数据自动聚集到不同类簇同一类簇内数据相似, 不同类簇间数据不相似无监督学习没有标注数据类簇未知类簇 1 数据 / 文本聚类器类簇 2. 类簇 n 53

54 聚类技术聚类算法 K 均值聚类层次式聚类基于图分割的聚类基于密度峰值的聚类 54

55 深度学习基于 IJCAI16 投稿论文标题分析得到的词云图排除与 deep learning 关键词关联的论文之后得到的词云图 55

56 深度学习源于人工神经网络的研究通过组合低层特征形成更加抽象的高层表示属性类别或特征深度学习三巨头 Hinton, Lecun, Bengio 56

57 深度学习常用的模型 Word2Vec Paragraph Vector Convolutional Neural Network Recursive Neural Network Recurrent Neural Network Long Short-Term Memory (LSTM) Generative Adversarial Networks (GAN) 等等 Deep Learning book written by Ian Goodfellow, Yoshua Bengio and Aaron Courville 57

58 深度学习在语义计算方面的应用已被应用于几乎所有任务例如知识表示智能问答情感分类对话系统等深度学习在文本信息处理上的应用效果不如其在计算机视觉语音识别等方向上的应用效果 58

59 Q&A

论文

语义计算与知识检索研究生课程语义计算概述与基础漫谈万小军北京大学语言计算与互联网挖掘组 http://www.icst.pku.edu.cn/lcwm 2016 年 2 月 24 日 2 自然语言处理回顾 Let s talk! This model shows what a man's body would look like if each part grew in proportion