1 研究背景与目的

Size: px

Start display at page:

Download "1 研究背景与目的"

光强
5 years ago
Views:

1 基于表示学习的开放域中文知识推理 CCKS2016- 全国知识图谱与语义计算大会姜天文, 秦兵, 刘挺

2 1 研究背景与目的

3 1. 研究背景与目的网状的表示形式 : 计算效率较低无法很好应对数据稀疏问题以符号为基础的网状形式无法应对连续空间里的数值计算知识库

4 1. 研究背景与目的表示学习旨在将网状的语义信息表示为稠密低维的实值向量

5 1. 研究背景与目的距离模型能量模型张量模型翻译模型 Google Apple Jobs 低维稠密实值

6 1. 研究背景与目的传统类型的知识库开放域知识库

7 1. 研究背景与目的本文的主要研究内容本课题的主要研究 : 对开放域中文知识库进行低维实值向量表示以提高知识库应用时的计算效率使语义数值化 ; 并对这种分布式知识表示在实际应用价值的探索 Google 百度公司拉里佩奇李彦宏

8 2 基于翻译模型的知识库表示学习方法

9 2. 基于翻译模型的知识库表示学习方法表示学习的概念及其理论基础通过使用机器学习的方法将研究对象的语义信息表示为低维稠密的实值向量 ( 分布式表示 ) [0.23,0.43,,0.12]

10 2. 基于翻译模型的知识库表示学习方法 TransE 模型简介

11 2. 基于翻译模型的知识库表示学习方法 TransE 模型简介 TransE 优化的目标是对于满足关系的 (h,r,t), 有 : h+r t 模型的代价函数为 : L= (h,r,t) S ( h,r, t ) S (h,r,t) [γ+d(h+r,t) d( h +r, t )] + 其中 [x] + 代表 x 的正数部分,γ>0 是一个边界值, 另外, S (h,r,t) ={( h,r,t) h E} (h,r, t ) t E 其中 E 代表实体集合

12 2. 基于翻译模型的知识库表示学习方法 TransE 模型的改进改进后的 TransE 模型命名为 TransE_ipv,TransE_ipv 的训练过程中的代价函数为 : L= (h,r,t) S ( h, r, t ) S (h,r,t) [γ+d(h+r,t) d( h + r, t )] + 其中 [x] + 代表 x 的正数部分,γ>0 是一个边界值, 另外, S (h,r,t) ={( h,r,t) h E} {(h,r, t ) t E} {(h, r,t) r R} 其中 E 代表实体的集合,R 代表关系指示词的集合

13 3 实验结果与分析

14 3. 实验结果与分析实验数据的获取从互联网中抽取开放域实体关系三元组作为实验数据 infobox : 包含属性 - 值对结构化文档

15 3. 实验结果与分析实验数据的获取

16 3. 实验结果与分析实验数据的获取锚文本实体词

17 3. 实验结果与分析实验数据的获取据此方法, 共从百度百科的 infobox 中共获取 2,438,145 条开放域实体关系三元组 - Small 数据集 All 数据集实体数量 333,007 1,551,231 关系指示词数量 21,649 57,235 关系三元组数量 524,676 2,438,145 训练数据 ( 目标知识库 ) 519,676 2,428,145 测试数据 5,000 10,000

18 3. 实验结果与分析基于知识库表示学习的关系指示词推理如知识库中有以下两个实体关系三元组 : ( 泰坦尼克号, 主要角色, 杰克 ),( 莱昂纳多, 饰演, 杰克 ) 那么, 我们希望推理出如下关系以补全到现有知识图谱中 : ( 泰坦尼克号, 主演, 莱昂纳多 )

19 3. 实验结果与分析基于知识库表示学习的关系指示词推理

20 3. 实验结果与分析基于知识库表示学习的关系指示词推理关系指示词推理测试的实验结果 data recall_hit_10 recall_hit_1 F1_hit_1 small(transe) 48.05% 9.34% 15.64% 39.81% 7.74% 12.96% samll(transe_ipv) 92.41% 36.06% 51.88% 83.03% 32.40% 46.61% all(transe_ipv) 90.65% 48.27% 63.00% 72.29% 41.16% 52.45% 实体分布式表示可以通过计算高效地推理出实体对中潜在的关系

21 3. 实验结果与分析基于知识库表示学习的尾实体推理头实体关系指示词尾实体周杰伦? 妻子

22 3. 实验结果与分析基于知识库表示学习的尾实体推理方法一 :

23 3. 实验结果与分析基于知识库表示学习的尾实体推理方法二 :

24 3. 实验结果与分析基于知识库表示学习的尾实体推理利用方法一二做尾实体推理测试的实验结果 (small 数据集 ) model recall_hit_1 TransE_ipv first % 15.46% 14.44% TransE_ipv second % 20.83% 15.22%

25 3. 实验结果与分析基于知识库表示学习的尾实体推理尾实体推理测试的实验结果 (TransE_ipv) data recall_hit_10 recall_hit_1 F1_hit_1 samll 38.49% 28.12% 32.50% 20.83% 15.22% 17.59% all 26.69% 21.40% 23.75% 11.15% 8.94% 9.92% 通过观察发现尾实体推理的准确率远不如关系推理

26 3. 实验结果与分析基于知识库表示学习的尾实体推理尾实体推理测试的实验结果 (TransE_ipv) data recall_hit_10 recall_hit_1 F1_hit_1 samll 38.49% 28.12% 32.50% 20.83% 15.22% 17.59% all 26.69% 21.40% 23.75% 11.15% 8.94% 9.92% 实体具有长尾分布的特点, 这些长尾部分的实体和其他实体有极少的关系联系在一起

27 3. 实验结果与分析基于知识库表示学习的尾实体推理在每次迭代中对每个训练三元组构造 50 个腐败三元组进行训练 recall_hit_10 recall_hit_1 F1_hit_1 TransE_ipv 38.49% 28.12% 32.50% 20.83% 15.22% 17.59% TransE_ipvn 41.47% 27.34% 32.95% % 22.06% 尝试增加腐败三元组的数量对尾实体推理有较好的影响

28 4 结论

29 4. 结论 q 当知识库的知识规模不断扩大, 基于网状结构知识库的推理很难较好地满足实时计算的需求 q 基于知识库表示学习的关系指示词推理准确率可以达到 80% 以上, 且无需设计复杂的算法 q 知识分布表示的尾实体推理测试中, 使用增加训练过程中三元组负例的方法可以将准确率提升 7 个百分点, 无需设计复杂算法即可实现对尾实体的推理

30 参考文献 [1]. Miller G A. WordNet: a lexical database for English[J]. Communications of the ACM, 1995, 38(11): [2].Bollacker K, Evans C, Paritosh P, et al. Freebase: a collaboratively created graph da-tabase for structuring human knowledge[c] [3].Miller E. An introduction to the resource description framework[j]. Bulletin of the American Society for Information Science and Technology, 1998, 25(1): [4]. 刘知远, 孙茂松, 林衍凯, 等. 知识表示学习研究进展 [J]. 计算机研究与发展, 53(2):

31 参考文献 [5].Bengio Y, Courville A, Vincent P. Representation learning: A review and new per-spectives[j]. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 2013, 35(8): [6].Bordes A, Weston J, Collobert R, et al. Learning structured embeddings of knowledge bases[c] [7].Bordes A, Glorot X, Weston J, et al. A semantic matching energy function for learning with multi-relational data[j]. Machine Learning, 2014, 94(2): [8].Bordes A, Glorot X, Weston J, et al. Joint learning of words and meaning representa-tions for open-text semantic parsing[c] [9].Socher R, Chen D, Manning C D, et al. Reasoning with neural tensor networks for knowledge base completion[c]

32 参考文献 [10].Bordes A, Usunier N, Garcia-Duran A, et al. Translating embeddings for modeling multi-relational data[c] [11].Wang Z, Zhang J, Feng J, et al. Knowledge Graph Embedding by Translating on Hy-perplanes[C]//AAAI. 2014: [12].Lin Y, Liu Z, Sun M, et al. Learning Entity and Relation Embeddings for Knowledge Graph Completion[C]//AAAI. 2015: [13].Ji G, He S, Xu L, et al. Knowledge Graph Embedding via Dynamic Mapping Ma-trix[C]//Proceedings of ACL. 2015: [14].Turian J, Ratinov L, Bengio Y. Word representations: a simple and general method for semi-supervised learning[c]

33 谢谢各位聆听!

GOLD(General Ontology for Linguistic Description) (,) (,) (,) () () (,) () (,) (,) (,)

羣説 CCCII(Chinese Character Code for Information Interchange)[ 1989] [ 1999][ IEEE SUMO(Suggested Upper Merged Ontology ) GOLD(General Ontology for Linguistic Description) (,) (,) (,) () () (,) () (,)