中文知识图谱 : 体系 获取与服务 中国科学院自动化研究所 模式识别国家重点实验室 赵军刘康
什么是知识图谱 The Knowledge Graph is a system that understands facts about people, places and things and how these entities are all connected. 知识图谱本质上是一种语义网络 其结点代表实体 (entity) 或者概念 (concept), 边代表实体 / 概念之间的各种语义关系
已有的知识图谱 百度知心 搜狗知立方
其他已有的知识库 Name language Year Construction Types Hownet Chinese 2000 Manual Common Sense Knowledge Wordnet English 1985 CYC 1984 DBpedia 2007 Automatic Common Sense Knowledge + Yago 2007 Factual Knowledge Freebase 2007 Crowding Sourcing
知识工程 : 三个层面问题 知识体系 知识获取 多数研究集中在这一层面 知识服务
知识体系
知识体系 : 几个术语 Ontology vs. Knowledge Base Ontology: 共享概念化的规范, 涉及概念 关系和公理三个要素 Knowledge Base: 服从于 ontology 控制的知识单元的载体 Ontology 是蛋糕的模具,Knowledge Base 是蛋糕 Formal Ontology vs. Lightweight Ontology Formal Ontology: 大量使用公理 Lightweight Ontology: 不用或很少使用公理
知识体系 : 几个术语 (cont) 关系 层级关系 Hypernym-Hyponym Is-a (Kind-of) Part-Whole 非层级关系 Thematic roles 论旨角色 Possession 领属 Attribute 属性 Casuality 因果
知识体系 : 三种组织形式 层级分类法 Ontology ( 狭义 ) 树状结构, 不同层节点之间具有严格的 IsA 关系 Human activities -> leisure activities -> sports -> golf 优点 : 因为概念关系单一, 方便于知识推理 缺点 : 无法表示概念关系的多样性 Taxonomy 树状结构, 上下位节点之间非严格的 IsA 关系, 而是 Hypernym- Hyponym 关系 Places -> Milky Way Galaxy -> Solar Systems -> Sol -> Inner Planets -> Earth -> North America -> United States -> California -> Cupertino. 优点 : 可以表示比较丰富的概念关系 缺点 : 给推理带来困难, 无法避免概念冗余
知识体系 : 三种组织形式 (Cont.) 标签分类法 Folksonomy 网络用户自发性定义的平面的 非层级的标签分类 优点 : 灵活, 可以表达更为丰富的概念关系 缺点 缺乏层次性, 难以揭示复杂的关系 自定义的标签缺乏语义精确性, 标签缺乏组织与关联 给推理带来很大的困难
目前网络知识资源的组织形式 目前网络知识资源 (Wikipedia 百度百科 互动百科等 ) 多是采用 Taxonomy 与 Folksonomy 相结合的组织形式, 以 Taxonomy 为主
目前的 Folksonomy 存在的问题 Folksonomy 的标签不能覆盖的所有的关系 无论是开放分类标签 还是 Infobox 属性标签 这些开放式类别标签存在冗余 不规范的问题, 标签之间也缺乏关联 1980 年 购房 房产 房地产
目前的 Taxonomy 存在的问题 不同的知识资源采用不同的 Taxonomy
百度百科 类别属性定义不统一 互动百科
Solution:Ontology Matching 建立体系间的 Alignment 挖掘概念之间 SameAs 关系 评测 :Ontology Alignment Evaluation Initiative 2004-2013 Benchmarks (bibliographic references), Web directories, Anatomy (biomedical) 关键 : 概念之间的相似度计算 挑战 Large-scale ontology matching and evaluation Matching with background knowledge (Increase recall but hurt precision) Multiple matchers and selection(global Alignment) Incorporating social information
Solution: 建立框架? 是否需要建立知识体系的框架 已有的体系框架 GeoNames/DBpedia Ontology/TexonConcept Ontology KOS/Schema.org Schema.org 的翻译和扩展 体系覆盖度不足, 局限于英文 细致化不足 百科知识描述体系的制订 中国大百科全书出版社
知识获取
文本信息结构 结构化数据 (Infobox) 置信度高 规模小 缺乏个性化的属性信息 半结构化数据 置信度较高 规模较大 个性化的信息 形式多样 含有噪声 纯文本 置信度低 复杂多样 规模大
抽取方法 结构化与半结构化文本信息 ( 利用网页结构 ) 信息块的识别 (Record Identification) 模板的学习 (Pattern Learning) 属性值的抽取 (Attribute Value Extraction) Infobox 中的属性名 身高 语言 国籍 体重
抽取方法 ( 续 ) 相对于工业界, 学术界更加侧重于从纯文本中抽取实体知识 传统关系抽取 给定关系类别和训练语料 开放式关系抽取 已有关系类别, 缺乏训练语料 Distant Supervision 完全开放式 从句法到语义
结构化 vs. 半结构化 vs. 非结构化 随机抽取 100 篇百科文档 ( 共 5 类 ) 对于其中三部分都包含的网页进行了统计 Infobox 人物地理电影动物图书 InfoBox 87 182 260 183 104 816 非结构化 79 147 109 107 36 半结构化 119 96 327 129 76 OverLap Info vs. 非 62 101 87 72 26 OverLap Info vs. 半 11 11 21 7 17 OverLap 非 vs. 半 8 7 4 4 10 747 37 30 3 318 478 三方 OverLap 7 7 3 4 9 半结构化半结构化和非结构化文本的实体关系抽取非常重要非结构化文本的实体关系抽取 : 对于文本进行结构化半结构化文本实体关系抽取 : 抽取个性化的实体属性 非结构化
CMU: NELL(Never-Ending Language Learning) Input Aim Initial ontology 500 million web pages Extract new instances of categories and relations Learn to read better than yesterday 1,994,282 Instances of 874 different categories and relations
UW: Machine Reading TexRunner ReVerb WOE OLLIE 从 Wikipedia Infobox 获得关系名 通过在句法树上回标获得句法关系模板
NELL: 思考 给定了 Ontology, 约束了关系的类别, 很难发现未知的实体关系 University of Washington : 从句法结构判别实体关系, 可以发现未知的实体关系, 但是所抽取的都是关系的 mention, 缺乏对于关系语义的确定 需要对于关系的语义进行挖掘 已有方法都是集中于英文, 在中文方面表现如何
开放式中文实体关系抽取 已有百科知识进行回标产生训练语料并训练 CRF 抽取器 姚明 1980 年生于上海 对于新文档 文档分类 选择抽取器进行抽取 句子级验证
开放式中文实体关系抽取 五个类别上测试 : 人物 植物 地理 电影 书籍
Sentence Level vs. Set level 思考 构建知识图谱不需要正确识别每个句子中的实体关系 充分利用网络数据的冗余特性 根据数据源 文本信息结构的置信度进行投票 中文 vs. 英文 中文文本缺乏严格的句法信息 Yao Ming was born in 1980. 姚明,1980, 上海人, 篮球运动员.
海量数据下的实体关系抽取 回标产生的训练语料越准确, 训练得到的模型就越准确? 增加两条规则以保证训练语料的正确性 TopN 规则 ( 回标后选取实体 1 与实体 2 最近的 N 个句子 ) Top1 vs. Top5 最近邻规则 ( 当一个句子中出现多个实体 1 与多个实体 2, 则取最近邻的那个规则 ) 最近邻 vs. 无最近邻 用不同的训练语料训练抽取器 规则所产生的训练语料规模 : Top1+ 无最近邻 12.8 MB Top1+ 最近邻 12.8 MB Top5+ 无最近邻 25.4 MB Top5+ 最近邻 25.4 MB 在大数据环境下, 细致的处理不再重要训练语料量的增加比训练语料质的提升更为重要
知识服务
已有的知识服务 : 检索与问答
基于知识图谱的检索或问答的核心问题 :Semantic Parsing 自然语言句子到知识库中概念和关系的映射 姚明到底有多高?
Semantic Parsing 传统 semantic parsing 在一个限定的领域中做 semantic parsing Ontology 规模小 基于关键词匹配或者人工书写模板 CCG(Combinatory Categorial Grammar) PCCG(Probabilistic Combinatory Categorial Grammar)
评测 : QALD
面向复杂问句的知识问答 Who are the parents of the wife of Juan Carlos I? 问题分析 : 把自然语言问句转换成语义三元组的形式 资源映射 : 对 Query Triple 中的每个短语, 确定其在知识库中的对应资源 SPARQL 生成 : 对于不同类型的问题依据不同的模板生成 SPARQL 语句
Inference over the Web 关键难点 如何学习鲁棒的推理规则 如何推理 验证新的知识
知识体系 何种知识体系是有效的? 小结 是否需要建立知识体系的框架? 或者建立进行 ontology matching, 或者 Tag matching 知识获取 非结构化文本的实体关系抽取是构建知识图谱的重要组成部分, 目前的性能还未达到实用 开放式关系抽取中, 确定关系元组的语义重要 中文知识抽取与英文有很大区别 知识服务 Semantic Parsing 知识推理
谢谢