论文

Size: px

Start display at page:

Download "论文"

社郭
7 years ago
Views:

1 语义计算与知识检索研究生课程语义计算概述与基础漫谈万小军北京大学语言计算与互联网挖掘组年 2 月 24 日

2 2 自然语言处理回顾

3 Let s talk! This model shows what a man's body would look like if each part grew in proportion to the area of the cortex of the brain concerned 3 with its movement.

4 4 语义计算的重要性

5 5 例子

6 基本方法理性主义方法研究人的语言知识结构, 人工编汇语言知识 + 推理系统符号处理系统经验主义方法看作结构化预测任务 : 直接研究实际的语言数据, 从大量的语言数据中获得语言的知识结构基于语言数据的计算方法例如序列标注模型 (HMM CRF 等 ) 理性主义方法与经验主义方法的融合融合方法 6

7 自然语言处理为什么如此之难? 自然语言与生俱有的歧义问题咬死了猎人的狗 7

8 The boy saw the man on the mountain with a telescope PP attachment 8

9 研究现状哪个问题都没有彻底解决! 有没有其他方法体系? 有没有理论上限? 部分技术已取得较好的效果, 能够服务于信息检索文本挖掘等应用系统自动分词词性标注命名实体识别等部分技术尽管效果不尽如人意, 但能为人们提供辅助性帮助机器翻译若干关键技术在研究和应用上均有待进一步突破句法分析语义分析 9 社会对 NLP 技术的需求远大于 NLP 技术的当前水平

10 10 语义计算概述

11 什么是语义什么是语义? In linguistics, meaning is what is expressed by the writer or speaker, and what is conveyed to the reader or listener, provided that they talk about the same thing (law of identity). 语义学的研究对象是自然语言的意义, 这里的自然语言可以是词汇, 句子, 篇章等等不同级别的语言单位语言学的语义学研究目的在于找出语义表达的规律性内在解释不同语言在语义表达方面的个性以及共性逻辑学的语义学是对一个逻辑系统的解释, 着眼点在于真值条件, 不直接涉及自然语言认知科学对语义学的研究在于人脑对语言单位的意义的存储及理解的模式与计算机科学相关的语义学研究在于机器对自然语言的理解 11

12 什么是语义多层次词汇语义句子语义篇章语义多视角概念语义指称语义情感语义情景语义哪种语义最有用? 跟应用有关 12

14 什么是语义计算 Data Semantic Knowledge 14

15 什么是语义计算语义计算计算语言单元的意义, 构建语义表示处理自然语言, 产生关于世界的常识性知识词汇语义学 (Lexical semantics) meanings of component words word sense disambiguation (e.g. country in political or musical sense) 组合语义学 (Compositional semantics) how words combine to form larger meanings 语义计算 = 语义分析语言理解 15

16 什么是语义计算本课程语义范畴的几点说明面向自然语言处理互联网搜索与挖掘应用对互联网文本为主的数据进行语义分析在词汇句子篇章等多层次进行分析语义涉及到概念语义情感语义指称语义等不纠结于语言学领域的多种理论与派别 16

17 什么是语义计算语义计算 vs.nlp 其他领域语音 (Phonetics): 研究语言的发音形态 (Morphology): 研究词的构成 scored = score d = Verb score + past tense employ, employee, employment,... 语法 (Syntax): 研究词之间的结构关系语义 (Semantics): 研究语言的意义语用 (Pragmatics): 研究语言如何被使用 E.g. 美女, 你长得好像我一个同学语义计算通常需要 NLP 其他领域技术, 包括语法分析等 17

18 语义计算为何很难面向自然语言的语义分析很难语言的歧义丹丹和丽丽的妈妈看你来了社会交流中共有知识通常会省略小李在小张的搀扶下回家了他喝醉了语言动态变化 : 新词 (e.g. 剩男剩女快男超女雷人 DUANG 诺贝尔哥 ), 新的用法 ( e.g. 打酱油杯具粉丝 ) 不同层次歧义的传递与影响 18

19 分词结果直接影响语义分析结果 19

20 20

21 阿凡提当理发匠时, 大阿訇 (hōng) 总是来找他剃头, 却从来不给钱阿凡提很生气, 想狠狠整他一下有一天, 阿訇又来理发了阿凡提先给他剃光了头, 在给他刮脸的时候, 问道 : 阿訇, 您要眉毛吗? 当然要, 这还用问! 阿訇说好, 您要我就给您! 阿凡提说着, 嗖嗖几刀, 就把阿訇的两道眉毛刮下来, 递到阿訇手里大阿訇气得说不出话谁叫他自己说过要呢阿訇, 胡子要吗? 阿凡提又问不要, 不要! 阿訇连忙说好, 您不要就不要阿凡提说着, 又嗖嗖几刀, 就把大阿訇的胡子刮下来, 甩在地上大阿訇对镜子一看, 自己的脑袋和脸都刮得净光, 简直就像个光溜溜的鸡蛋这一下他可气坏了, 就大骂起来得啦, 得啦, 这不都是遵照您的吩咐做的吗? 阿凡提说 : 要是依我的话, 不要说眉毛胡子, 连您的头发, 我也不愿意剃哩! 阿凡提的故事阿凡提在逻辑上偷换概念, 利用词语意义的不确定性, 灵活使用

22 22

23 语义计算的重要性几个未解决的难题之一 by 图灵奖获得者 Jim Gray (1944, 2007, 2012) List on the right is from Jim Gray s talk: What next? A few remaining problems in IT # 9. Build a system that, given text corpus, can answer questions about the text and summarize it as quickly and precisely as a human expert. 23

24 相关学科与技术语言学语义计算信息检索认知科学 / 心理学互联网机器学习自然语言处理数据挖掘 24

25 相关会议与活动相关学术会议 ACL EMNLP NAACL COLING NAACL SIGIR WWW CIKM WSDM KDD ICDM AAAI IJCAI 相关评测 SemEval, MUC, ACE, TAC(KBP, RTE),TREC, NTCIR NLPCC CLEF 25

26 应用举例信息检索信息推荐智能问答机器翻译舆情分析市场营销 26

27 27 应用举例 - 信息检索

28 应用举例 - 信息检索

29 谷歌知识图谱 29

30 必应人物关系 30

31 应用举例 - 信息检索微软人立方 ( 服务已停 ) 31

32 32 应用举例 - 信息检索

33 33 应用举例 - 信息推荐

34 3 4

35 应用举例 - 机器翻译机器翻译不好导致的笑话 How old are you? => 怎么老是你? 有困难, 找警察 =>difficult to find the police 35

36 应用举例 - 机器翻译 36

37 应用举例 - 舆情分析 37

38 应用举例 - 智能问答 Video 38

39 应用举例 - 智能问答高考机器人由日本国立情报学研究所等组成的团队研发的考生取名为 ToRobo 君 2015 年, 分数为 511 分 ( 满分 950 分 ), 人工智能程序首次通过日本大学入学考试并超过大学的平均分数线它有八成机会被 441 所私立大学和 33 所国立大学录取 39 该团队从 2011 年展开研究, 目标是 2016 年在大学全国考试获高分 2021 年考上东大

40 应用举例 - 智能问答例问题 1 下划线 a 中所陈述的村落生活如下文 a d 所示, 请在 1 4 中选出正确的组合 A 具有青铜制刀尖的农具在全国逐渐普及 B 对于日常生活而言不便利的山顶和丘陵上也有村落 C 铁器青铜器传自海外, 后可在日本列岛内制作 D 骑马的风习及硬质陶瓷传自朝鲜半岛 1. a.c 2. a.d 3. b.c 4. b.d く data id="d13" type="text ><br/> <IText id="ll"xlabel>a</label> 具有青铜制刀尖的农具在全国逐渐普及 <br/x/itext> <IText id="l2"xlabel>b</label> 对于日常生活而言不便利的山顶和丘陵上也有村落 <br/x/itext> <IText id="l3"xlabel>c</label> 铁器青铜器传自海外, 后可在日本列岛内制作 <br/ ></IText> <IText id="l4"><label>d</label> 骑马的风习及硬质陶瓷传自朝鲜半岛 <br/x/itext> </data> 40

41 高考机器人应用举例 - 智能问答日本国立大学和公立大学的入学考试包括 2 次 : 全国考试和大学自主招生考试 TODAI Robot 君在 2015 年参加了全国考试, 参考东大的招生简章, 从 7 科的 37 套试卷中选择了 ( 得分率相对较高的 ) 国语数学 IA 数学 IIB 英语日本史 B 世界史 B 物理卷国语数学英语物理历史国语数学 IA 数学 IIB 英语 ( 笔记 ) 英语 ( 听力 ) 物理日本史 B 世界史 B 5 个教科总计总分 ( 满分 ) 全国平均分东机器人得分东大机器人 5 教科合计成绩高于全国平均成绩其中, 数学 1A, 数学 2B, 世界史 B 比全国平均分高大概 30 分, 可以说东大机器人很擅长数学和社会科而国语这一科比全国平均分低 15 分左右, 这是一个还未解决的课题 41 根据东大机器人模拟考试综合学力选择题模拟考试 6 月的成绩, 有 80% 以上的可能性被 33 个国立大学,441 私立大学录取

42 应用举例 - 智能问答 42

43 43 相关基础技术漫谈

44 重要的相关基础技术分类技术聚类技术深度学习技术 44

45 分类技术分类 : 将数据划分到已知类别分类器的构建基于有监督学习基于标注数据进行学习 : 训练集数据 / 文本分类器类别 1 类别 2. 类别 n 45 训练数据

46 分类技术分类的应用词义消岐情感分析文本推理新闻分类广告页面判别垃圾邮件过滤垃圾短信过滤 46

47 基于统计的分类典型方法朴素贝叶斯 Rocchio K 近邻支撑向量机 47

48 文本统计分类流程 Filtering Log(tf+1) Chi-Square Tokenization Stemming tf tfidf MI Information Gain 预处理特征计算特征选择 F-Measure Rocchio Recall Precision SVM Naïve Bayes 结果评估分类学习 48

49 文本分类 - 特征向量表示文本表示为特征向量词语 (term) : 基本单元权重 :TF*IDF TF: 词频 IDF: log(n/df), N 为文档总数量,DF 为包含该词语的文档数量 An automobile or motor car is a wheeled motor vehicle for transporting passengers <automobile,1>,<motor,2>,<car,1>, 特征特征值

50 50 好处文本分类 - 特征选择减少特征维数, 改善效果防止过拟合, 增强模型的泛化能力提高学习效率提高模型的可解释性方法 : 从原有特征集合中找出一个更加有效的子集 Chi Square Mutual Information Information Gain Information Ratio Odd Ratio

51 朴素贝叶斯分类 - 贝叶斯原理给定训练数据 X, 前提假设 H, 那么 P(H X) 可根据贝叶斯公式计算 P( H X ) P( X H) P( H) P( X ) 分类原理 :MAP (maximum posteriori) hypothesis h MAP argmax h H P( h D) argmax h H P( D h) P( h ). 51

52 朴素贝叶斯分类假设 : 属性特征之间条件独立 (conditionally independent): n P( X Ci) P( xk Ci) k 1 属性特征之间没有依赖关系, 简化了计算计算 P(X C i ), 将 X 归类到具有最大值 P(X C i ) P(C i ) 的类别 52

53 53 Rocchio 分类方法

54 K 近邻分类方法与 Rocchio 方法类似检查新文档的 k 个近邻向量, 利用这些近邻向量的类别来确定该文档的类别 K 通过实验确定近邻通过相似度 / 距离测度来定义欧式距离余弦测度等 54

55 1 近邻分类方法将新文档划分到与其最相近的文档样例所属的类别 55

56 k 近邻分类方法基于投票机制, 将新文档划分到 k 个近邻文档中多数文档所属的类别 56

57 k 近邻分类方法进一步, 基于加权投票机制, 根据近邻文档的相近程度, 赋予每个近邻文档一定的权重 E.g. k=5 57

58 支撑向量机 Support Vector Machine 对于二类分类, 该方法在向量空间中找出一个决策面 ( 超平面 ), 对属于两个类别的文档向量进行有效分离通常有很多可能的分割超平面找到最好的一个超平面 : 最大间隔准则使得属于不同类别的数据点间隔最大 58

59 支撑向量机多个超平面都能分割不同类别的文档向量 59

60 支撑向量机找到最大间隔超平面间隔区边缘上的向量称为支撑向量 60

61 支撑向量机训练结果 : 支撑向量分类 : 计算新文档向量与支撑向量的距离常用工具 SVMLight: svmlight.joachims.org LIBSVM: 61

62 集成学习多个分类器可进行集成学习, 取得更好的效果 Bagging Stacking Boosting 等 62

63 半监督学习有监督 (Supervised) 学习 = 从足量标注数据中学习分类模型半监督 (Semi-supervised) 学习 = 从少量标注数据与大量未标注数据中学习分类模型 63

64 聚类技术聚类 : 将数据自动聚集到不同类簇同一类簇内数据相似, 不同类簇间数据不相似无监督学习没有标注数据类簇未知类簇 1 数据 / 文本聚类器类簇 2. 类簇 n 64

65 应用聚类应用词义归纳人名消岐新闻聚类与话题检测检索结果组织网络社区发现 65

66 文本聚类技术 66 聚类质量类簇之间的文档距离最大化类簇内部的文档距离最小化聚类算法 K-Means 聚类层次式聚类 (Hierarchical clustering) 增量式单遍聚类基于图分割的聚类距离或相似度测度聚类效果依赖于聚类算法距离函数具体的应用.

67 K 均值 (K-means) 聚类一种基于划分的聚类算法算法将文档集划分到 k 个类簇中每个类簇有一个类簇中心, 称为 centroid. 可基于该类簇文档向量的平均向量计算 k 由用户指定 67

68 K 均值 (K-means) 聚类算法执行以下几步 : 1) 随机选择 k 个种子点作为初始中心点 / 类簇中心 ; 2) 将每个文档指派到与其最相似的中心点所在的类簇 ; 3) 根据当前类簇文档重新计算类簇中心点 ; 4) 如果不收敛或不满足终止条件, 继续执行步骤 2); 68

69 K 均值聚类例子 (k=2) Pick seeds Reassign clusters Compute centroids x x x x Reasssign clusters Compute centroids Reassign clusters Converged! 69

70 层次式聚类自底向上的凝聚式聚类 (Agglomerative clustering): 初始每个文档自成一个类簇每次合并最相似 / 距离最近的两个类簇, 形成一个新类簇, 循环执行, 直到满足终止条件终止条件为类簇数量或者相似度阈值 70

71 层次式聚类凝聚式聚类 - 示例 71

72 层次式聚类凝聚式聚类 - 结果为树形图 72

73 层次式聚类凝聚式聚类 - 不同的计算类簇间距离 / 相似性的方法 complete-link single-link ( 最大距离最小距离 ) 73 Group-average ( 平均距离 )

74 层次式聚类自顶向下的划分式聚类 (Divisive clustering): 初始只有一个类簇, 包括所有文档每次从当前类簇中选择最大 ( 或最不合理 ) 的一个类簇, 将其分割成两个 ( 或多个 ) 新的类簇, 循环执行, 直到满足终止条件类簇分割方法为采用其他聚类算法, 比如 K 均值算法等 74

75 基于图分割的聚类计算文档对之间的相似度值, 构建相似度图 G=(V, E) 每个文档为图的一个节点文档之间有边连接, 边的权重 W 为文档相似度值文档聚类问题转换成在图上进行顶点分割的问题 75

76 基于图分割的聚类 2 个类簇 76

77 基于图分割的聚类图分割目标为最小化 cut 值 77

78 基于图分割的聚类切割准则问题 : 只考虑了类簇之间的连接情况, 没有考虑类簇内部的密度 78

79 基于图分割的聚类改进办法 : Normalized Cut Vol(A): A 中节点到图中所有节点的边的权重之和. 通过规范化能够取得更加均衡的图分割一种基于图分割准则的优化求解方法为谱聚类 (spectral clustering), 具体细节参考论文 :Shi, J., & Malik, J. (2000). Normalized cuts and image segmentation. IEEE Transactions on PAMI, 22(8),

80 基于密度峰值的聚类算法简单优美, 可自动确定聚类数目, 检测孤立点, 可识别不同形状的聚类基于局部密度 rho 和与更高密度点的最短距离 delta: rho 大且 delta 大的数据点作为类簇中心 80

81 聚类软件工具 Weka CLUTO 更多软件工具 81

82 深度学习基于 IJCAI16 投稿论文标题分析得到的词云图排除与 deep learning 关键词关联的论文之后得到的词云图 82

83 深度学习源于人工神经网络的研究通过组合低层特征形成更加抽象的高层表示属性类别或特征深度学习三巨头 Hinton, Lecun, Bengio 83

84 深度学习常用的深度学习模型 Word2Vec Paragraph Vector Convolutional Neural Network Recursive Neural Network Recurrent Neural Network Long Short-Term Memory (LSTM) 等等 Deep Learning book written by Ian Goodfellow, Yoshua Bengio 84 and Aaron Courville

85 深度学习在语义计算方面的应用已被应用于几乎所有任务例如知识表示智能问答情感分类等深度学习在文本信息处理上的应用效果不如其在计算机视觉语音识别等方向上的应用效果 85

86 Q&A

论文

语义计算与知识检索研究生课程语义计算概述万小军北京大学语言计算与互联网挖掘组 http://www.icst.pku.edu.cn/lcwm/wanxj 2018 年 2 月 28 日 2 自然语言处理回顾 3 语义计算的重要性 4 例子基本方法理性主义方法研究人的语言知识结构, 人工编汇语言知识 + 推理系统符号处理系统经验主义方法看作结构化预测任务 : 直接研究实际的语言数据,