腾讯.key

Size: px

Start display at page:

Download "腾讯.key"

凤鲁
5 years ago
Views:

1 面向大规模开放域知识库问答系统刘康中国科学院自动化研究所模式识别国家重点实验室 2015 年 3 月 25 日

2 搜索急需一场变革 IDC 统计, 全球数据量以每年 58% 的速度增长,2020 年将达到 40ZB, 是 2011 年数据总量的 22 倍

3 交互方式的转变需要信息服务模式的转变移动互联网以及可穿戴设备的飞速发展需要高效准确的自然语言形式的信息服务方式

4 问答系统是下一代搜索引擎的基本形态 Prof. Oren Etzioni Turing Center University of Washington 以直接而准确的方式回答用户自然语言提问的自动问答系统将构成下一代搜索引擎的基本形态 Nature

5 IBM Watson 沃森 (Watson):2011 年,IBM 研发的超级计算机沃森在美国知识竞赛节目危险边缘 Jeopardy! 中上演人机问答大战, 战胜人类选手 Ken 和 Brad 辅助医疗金融辅助决策企业服务

6 问答系统是未来信息技术的重要突破口世界权威 IT 市场调查咨询公司高德纳 (Gartner) 2012 年 8 月发布 2012 新兴技术成熟度曲线自然语言问答在未来 5-10 年将成为主要新兴技术关注点, 极有可能迎来技术突破

7 问答系统历史 NLDB Expert System IR-based QA KB-based QA Community QA BaseBall LUNAR MASQUE TREC MACSYMA IR-based QA 基于关键词匹配 + 信息抽取, 仍然是基于浅层语义分析 Community QA 依赖于网民贡献, 问答过程仍然依赖于关键词检索技术 KB-based QA Knowledge Graph

8 知识图谱 The Knowledge Graph is a system that understands facts about people, places and things and how these entities are all connected.

9 知识库问答关键问题自然语言问句改写为结构化查询语句 Which software has been developed by organizations founded in California, USA? System SELECT DISTINCT?uri WHERE {?uri rdf:type dbo:software.?uri dbo:developer?x1.?x1 rdf:type dbo:company.?x1 dbr:foundationplace dbo:california. } SPARQL 2 (Integer) version Android {Answer} developer Google foundationplace Apache_License license type programmedin California Java Software developer Oracle

10 大规模知识图谱!!

11 大规模开放域知识图谱带来的挑战

12 挑战 1: 大规模实体链接 Entity Mention 关系发现 Relation Pattern 传统方法 : 同义词词典人工关系模板大规模知识库 : 实体数关系数类别数 Freebase 47,429,245 20,715 7,477

13 挑战 1: 大规模 ( 续 ) Entity Mention( 实体同义词 ) Query Log 网页锚文本 Pattern Relation( 关系模板 ) [subj married to obj] > spouse(subj, obj) 问题 : 需要 NLP 工具分析词性句法等错误累积语言依赖需要标注数据大规模开放域知识库下难以获得充足标注

Relation Identification based on Deep Convolutional

14 Relation Identification based on Deep Convolutional Neural Network.. 1 Component(Whole(e1,e2) convolutional layer Daojian Zeng, Kang Liu, Siwei Lai, Guangyou Zhou and Jun Zhao. Rela%on Classifica%on via Convolu%onal Deep Neural Network, in Proceedings of COLING 2014, Dublin, Ireland, August, (Best Paper Award)

Relation Identification based on Deep Convolutional Neural Network 实验表明, 我们所提出方法在需要 NLP 预处理和人工设计复杂特征前提下, 能够有效提升实体关系分类性能 Daojian Zeng, Kang Liu, Siwei Lai,

15 Relation Identification based on Deep Convolutional Neural Network 实验表明, 我们所提出方法在需要 NLP 预处理和人工设计复杂特征前提下, 能够有效提升实体关系分类性能 Daojian Zeng, Kang Liu, Siwei Lai, Guangyou Zhou and Jun Zhao. Rela%on Classifica%on via Convolu%onal Deep Neural Network, in Proceedings of COLING 2014, Dublin, Ireland, August, (Best Paper Award)

16 Distant Supervision for Relation Identification via Deep Convolutional Neural Network Distant Supervision: 解决大规模知识图谱下语义关系标注问题问题 : 标注错误解决 :Multi-instance Learning

17 挑战 2: 自然语言问句歧义多样自然语言问句表达方式复杂关系类型多样歧义现象严重, 这一问题在面对大规模知识库时更加明显 Which software has been developed by organizations founded in California, USA? 短语切分歧义资源映射组合歧义 { California }, { California, USA } California: {California_State}, {California_Film} founded: {foundationplace},{founder} developed by: {developer} {dbo:software, dbr:developer, dbo:company} {dbo:software, dbr:foundationplace, dbo:company} 各种歧义间相互影响, 如何建立高效的消歧模型?

Joint Disambiguation using Markov Logic Network Joint Inference vis Markov Logic Network 1 φi py ( ) = exp( w fc ( y)) Z φ i ( φi, wi) L c C n i p1(a,b)& p3(a,a)& p2(a)& p2(b)& p4(a)& p1(b,a)&

18 Joint Disambiguation using Markov Logic Network Joint Inference vis Markov Logic Network 1 φi py ( ) = exp( w fc ( y)) Z φ i ( φi, wi) L c C n i p1(a,b)& p3(a,a)& p2(a)& p2(b)& p4(a)& p1(b,a)& p3(b,b)& p4(b)& Hidden Predicates hasphrase(i) hasresource(i,/j) hasrela2on/(ri,/rj,/rr) The$ith$candidate$phrase$has$been$chosen The$ith$phrase$is$mapped$to$the$jth$seman1c$ item The$ seman1c$ item$ ri$ and$ rj$ can$ be$ grouped$ together$with$the$rela1on$type$rr Observed Predicates Shizhu He, Kang Liu, Yuanzhe Zhang, Liheng Xu and Jun Zhao. Ques%oning Answering over Linked Data Using Markov First- order Logic, in Proceedings of EMNLP 2014, Doha, Qatar, October, 25-29

19 Joint Disambiguation using Markov Logic Network Shizhu He, Kang Liu, Yuanzhe Zhang, Liheng Xu and Jun Zhao. Ques%oning Answering over Linked Data Using Markov First- order Logic, in Proceedings of EMNLP 2014, Doha, Qatar, October, 25-29

20 挑战 3: 知识库多源异构开放域环境下, 用户的问题复杂多样, 很多场景下, 单单只用一个知识库的信息不能完全回答用户的问题谁出演了变形金刚并且和 Monkey Business 的演唱者结婚了? 电影知识库音乐知识库人物知识库难点多知识库间冗余异构需要对齐 Pipeline 处理 : 错误传递

21 Joint Model Joint Inference 问句语义解析知识库对齐 Integer Linear Programming

22 Joint Model

23 小结面向大规模知识图谱的问答系统大规模 : 海量实体关系复杂问句 : 问句歧义现象严重多源异构 : 需要高质量的知识库间对齐 Future 不完备 : 需要知识推理

24 知识库不完备不完备实体数关系数三元组平均实体关系数 Freebase 4 千万 2 万 6.37 亿 15 需要知识推理技术对于知识库进行补全

25 知识推理逻辑推理 Prevents(food,disease):IsHighIn(food,nutrient) Prevents(nutrient,disease) 人工规则不适用自动学习高阶规则性能差基于表示学习的知识推理推理过程 > 相似度计算 e2 e1 e3! e11 e9 e10 e4 e5 e12 e6! e7 e8

26 知识推理刘德华的作品? Link Prediction + =? 刘德华作品阿虎失孤门徒墨攻投名状再说一次我爱你孤星泪... Similarity e2 e1 e3! e11 e9 e10 Question Answering e4 e5 e12 e6 刘德华的作品! e7 e8

27 知识库表示学习学习实体类别关系的向量表示 TransE:h+r=t 难点 : 一对多多对一多对多可反关系 < 毛泽东, 儿子, 毛岸青 > < 毛泽东, 儿子, 毛岸英 > h+r=t1 h+r=t2 t1=t2 毛岸青 = 毛岸英 < 张三, 朋友, 李四 > < 李四, 朋友, 张三 > h+r=t t+r=h h=t 张三 = 李四

28 谢谢! Any Question! Weibo: 刘康 _ 自动化所 Search: Kang Liu NLPR

Natural Language Question Answering over Large-scale Linked Data

Natural Language Question Answering over Large- scale Linked Data Kang Liu National Laboratory of Pattern Recognition (NLPR) Institute of Automation, Chinese Academy of Sciences 8/30/2014 Kun Ming Knowledge