IJCAI_2018

Size: px

Start display at page:

Download "IJCAI_2018"

枚田
5 years ago
Views:

1 基于叙事事理理图谱和可扩展图神经网络的脚本事件预测模型李李忠阳 - 哈工大SCIR 本文介绍哈尔滨工业大学社会计算与信息检索研究中心 (SCIR) 录用于 IJCAI 2018 的论文 Constructing Narrative Event Evolutionary Graph for Script Event Prediction [1] 中的工作本文提出通过构建叙事事理理图谱来更更好地利利用事件之间的稠密连接信息, 以帮助脚本事件预测任务为了了解决大规模事理理图谱图结构上的推断问题, 本文提出了了可扩展的图神经网络模型, 来学习事件之间的交互作用并学习到更更好的事件表示在脚本事件预测任务上, 本文的方法取得了了 SOTA 的结果本论文的数据和代码将会在 Github 上公布论文作者 : 李李忠阳, 丁效, 刘挺关键词 : 脚本事件预测, 事理理图谱, 网络表示学习, 可扩展图神经网络联系邮箱 :zyli@ir.hit.edu.cn 1. 引言 1.1. 事理理图谱事理理图谱 (Event Evolutionary Graph) 是由哈尔滨工业大学社会计算与信息检索研究中心推出的用于刻画事件演化规律律和模式的知识库结构上, 事理理图谱是一个有向有环图, 图中节点表示事件, 边表示事件之间的顺承和因果关系事件之间在时间上相继发生的演化规律律和模式是一种十分有价值的知识我们从文本中抽取构建了了多个领域事理理图谱, 如金金融领域的事理理图谱, 出行行领域的事理理图谱其中, 金金融领域事理理图谱包含 150 多万的事件节点以及 180 多万条有向边 ; 出行行领域事理理图谱包含近 3 万的事件节点以及 23 万多条有向边我们仍在不不断改进事理理图谱构建技术, 并探索如何将其应用于真实应用场景中实验结果表明, 事理理图谱可以为揭示和发现事件演化规律律提供强有力力的支持图 1 展示了了我们构建的金金融事理理图谱一角

并提出了了经典的挖词填空式的评估标准来评估脚本事件推断模型这种思路路被称为统计脚本学习他们的工作引领了了一大批后续的统计脚本学习研究工作其中Granroth-Wilding and Clark [4] 是一个典型的最新进展 Granroth-Wilding and

2 图1. 金金融事理理图谱一角 1.2. 脚本事件预测脚本是人工智能领域一个古老老的概念提出于上世纪70年年代[2] 当时的研究方法基于专家的人工知识工程比如典型的餐厅脚本 Chambers and Jurafsky [3]提出基于指代消解技术利利用自动化的方法从大规模语料料中自动抽取脚本事件链条并提出了了经典的挖词填空式的评估标准来评估脚本事件推断模型这种思路路被称为统计脚本学习他们的工作引领了了一大批后续的统计脚本学习研究工作其中Granroth-Wilding and Clark [4] 是一个典型的最新进展 Granroth-Wilding and Clark[4]提出了了Multiple Choice Narrative Cloze (MCNC) 的评估方法方便便了了后续研究的开展如图2所示本论文中的脚本事件预测任务是指给定一个脚本事件上下文和5个候选后续事件从中准确地挑选出唯一正确的那个后续事件他们进一步提出了了基于事件对的神经网络方法 EventComp 极大地提升了了脚本事件预测的准确率随后 Wang et al. [5]进一步提出了了将事件上下文的Order信息和事件对信息相融合的方法称之为PairLSTM 图2. 脚本事件预测任务以及MCNC评估

2. 动机前人在脚本事件预测任务上应用的典型方法包括基于事件对的 PMI [3] 和 EventComp [4], 以及基于事件链条的 PairLSTM [5] 尽管这些方法取得了了一定的成功, 但是事件之间丰富的连接信息仍没有被充分利利用为了了更更好地利利用事件之间的稠密连接信息, 本文提出构建一个叙事事理理图谱 (Narrative Event Evolutionary

而E(talk) 是一个随机挑选的高频混淆事件基于事件对和事件链的方法很容易易挑选出错误的 E(talk) 事件, 因为图 3(b) 中的事件链条显示 C 和 E 比C 和 D 有更更强的关联性然而, 基于 (b) 中的链条构建中的事件网络之后, 我们发现 B,C 和 D 形成了了一个强连通分量量如果能够学习到 B,C 和 D 形成的这种强连接图结构信息,

3 2. 动机前人在脚本事件预测任务上应用的典型方法包括基于事件对的 PMI [3] 和 EventComp [4], 以及基于事件链条的 PairLSTM [5] 尽管这些方法取得了了一定的成功, 但是事件之间丰富的连接信息仍没有被充分利利用为了了更更好地利利用事件之间的稠密连接信息, 本文提出构建一个叙事事理理图谱 (Narrative Event Evolutionary Graph,NEEG), 然后在该图谱上进行行网络表示学习, 进一步预测后续事件图 3 中的例例子对本文想要利利用更更丰富事件连接信息 ( 事件图结构 ) 的动机进行行了了很好的说明给定事件上下文 A(enter), B(order), C(serve), 我们想要从 D(eat) 和 E(talk) 中挑选出正确的后续事件其中,D(eat) 是正确的后续事件而E(talk) 是一个随机挑选的高频混淆事件基于事件对和事件链的方法很容易易挑选出错误的 E(talk) 事件, 因为图 3(b) 中的事件链条显示 C 和 E 比C 和 D 有更更强的关联性然而, 基于 (b) 中的链条构建中的事件网络之后, 我们发现 B,C 和 D 形成了了一个强连通分量量如果能够学习到 B,C 和 D 形成的这种强连接图结构信息, 则我们更更容易易预测出正确的后续事件 D 图 3. 事件图结构相比事件对和事件链的优势有了了一个叙事事理理图谱之后, 为了了解决大规模图结构上的推理理问题, 本文提出了了一个可扩展的图神经网络模型在该图谱上进行行网络表示学习近期, 许多网络表示学习方法涌现出来, 典型的浅层方法如 DeepWalk LINE Node2Vec, 最早提出的用于图结构上的神经网络方法如 GNN 以及改进方法 GGNN, 近期基于卷积的方法如 GCN,GraphSAGE,GAT 等然而, 这些方法存在这样那样的问题, 不不能够直接适用于本文的任务有的是无监督方法, 不不能有效利利用有监督信息, 性能会打折扣 ; 有的只能应用于小规模图结构, 扩展性较差 ; 有的只能用于无向图, 而本文的叙事事理理图谱是有向有环加权图 ; 有的只能学习到较短距离的信息传递通过比较, 我们选择了了更更为合适的 GGNN [6] 模型但是它不不能直接用于本文的大规模叙事事理理图谱图结构上本文通过在训练中每次只在一个小规模相关子图上进行行计算, 来将 GGNN 扩展到大规模有向有环加权图上, 改进后的模型叫做 Scaled Graph Neural Network (SGNN) 该模型经过修改也可以应用于其他网络表示学习任务中 3. 方法在上文的动机部分已经基本描述了了本文方法的大体思路路, 图 4 是本文模型的整体框架图模型分为两步 : 构建

叙事事理理图谱和利利用 SGNN 进行行网络表示学习用于预测后续事件假设图 4(a) 是我们构建的叙事事理理图谱, 我们每次从中取出涉及到的一个子图, 如图 4(b), 然后将其送入图 4 的 GGNN 模型中, 学习并更更新该子图上的事件表示具体地, 每个子图包括一个故事上下文和所有候选事件节点, 以及这些节点之间的有向边图 4.

4 叙事事理理图谱和利利用 SGNN 进行行网络表示学习用于预测后续事件假设图 4(a) 是我们构建的叙事事理理图谱, 我们每次从中取出涉及到的一个子图, 如图 4(b), 然后将其送入图 4 的 GGNN 模型中, 学习并更更新该子图上的事件表示具体地, 每个子图包括一个故事上下文和所有候选事件节点, 以及这些节点之间的有向边图 4. 基于叙事事理理图谱和可扩展图神经网络的脚本事件预测模型总图 3.1. 构建叙事事理理图谱构建叙事事理理图谱分为两步 : 抽取脚本事件链条 ; 基于这些链条构建图首先, 本文采用Granroth-Wilding and Clark[4] 的方法抽取脚本事件链条 ( 具体见参考文献 [4]) 得到事件链条集合后, 本文基于这些链条来构建叙事事理理图谱之所以叫 " 叙事事理理图谱 ", 是因为这些链条是完全按照文章描述事件的顺序抽取出来的, 而不不是按照真实发生的时间顺序抽取出的每个事件可以表示为一个四元组 { 谓词, 主语, 宾语, 介词短语 } 为了了克服事件的稀疏性, 使得图谱中的事件节点是一个抽象事件, 本文采用了了 Chambers and Jurafsky [3] 中的事件表示方法来表示 NEEG 中的事件节点, 包括一个动词以及该动词和链条实体之间的语法依存关 v i v j w 系, 例例如 (eat, subj) 所有的事件 bigram 都形成一条事件演化有向边, 边上权重可简单采用如下公式来计算 : w( v j v i ) = count( v i, v j ) k count( v i, v k ) 最终构建的叙事事理理图谱含有 104,940 事件节点和 6,187,046 有向加权边 3.2. 可扩展的图神经网络模型图神经网络 (GNN) 最早于 2005 年年被提出之后 Li et al. [6] 对其优化技术进行行了了改进, 并将 GRU 应用到 GNN 上形成了了 GGNN 模型然而GGNN 多应用于小规模图上 ( 如几十上百个节点 ), 每次对整个图进行行处理理这不不能适用于本文的大规模图结构上为了了解决可扩展性的问题, 本文将分治思想引入GGNN 模型中, 每次仅仅处理理涉及到的一个子图 ( 包括一条上下文和候选事件节点, 以及他们之间的边, 如图 4(b)) 如图 4 所示,SGNN 模型主要包含 3 个部分 : 事件表示层 GGNN 计算层挑选后续事件层学习初始事件表示 NEEG 中的每个抽象事件节点实际上表示了了多个具体的四元组事件为了了将 4 个事件元素组合成一个事件表示向量量, 本文对比了了如下几种方法 : 平均法 : 使用所有 4 个事件元素词向量量的平均值来作为整个事件的表示 ; 非线性变换 [5]: v e = tanh( W p v p + W 0 v a0 + W 1 v a1 + W 2 v a2 + b) 拼接 [4]: 直接将 4 个事件元素词向量量拼接起来作为整个事件的表示 ;

5 更更新子图中的事件表示 GGNN 被用来学习事件之间的交互作用并更更新每个子图上的事件表示每次输入到 SGNN 的为两个矩阵 h (0) A h (0) A and 其中包含了了上下文加所有候选事件的向量量表示 ; 是对应的子图邻接矩阵, 该矩阵决定了了子图中的事件如何交互作用如公式 1 所示 : 公式 1 GGNN 模型运作方式类似广泛应用的 GRU 模型, 如公式 2 所示不不同的是每个循环 GGNN 都会更更新子图中所有节点的事件表示, 每次循环节点之间的信息传递给一度相邻节点多个循环得以让各个节点的信息在子图结构上充分流动交互最终模型的输出为 h (t), 包含了了学习到的子图中的事件表示公式挑选正确的后续事件 h (t) = g(, ) 得到事件表示后, 本文采用了了与前人工作 [4,5] 相类似的方法进行行后续事件的挑选第 i 个上下文事件与第 j 个候选事件的相关性分数可以通过 s ij h (t) i h (t) c j 进行行计算, 整个上下文与第 j 个候选事件的相关性用 1 s j = 进行行计算, 基于公式挑选出正确的那个候选事件, 作为最终的预测结果本文 n n i=1 s ij c = max j s j 比较了了多个相似性计算函数 g, 比如 Manhattan 相似度,cosine 相似度, 内积相似度以及欧几里里得相似度, 并在 s ij 的计算中引入了了 attention 机制 : s ij = α ij g( h (t) i, h (t) c j ) 损失函数为了了与本文的任务相结合, 我们设计了了如下的损失函数, 如公式 3 所示, 包括一个大间隔损失和一个正则项其中 s Ij I j y 表示第个上下文和第个候选事件的相关分数, 是对应的正确候选事件的索引 L(Θ) = N I=1 k λ j=1(max(0, margin s Iy + s Ij )) + Θ 2 2

公式 3 4. 实验 4.1. 数据集本文使用的数据集是 Gigaword 语料料中的 New York Times 部分, 并采用了了 Granroth-Wilding and Clark [4] 的数据预处理理和脚本事件链条抽取方法对于每一个事件上下文, 有 5 个候选后续事件, 其中只有一个是正确的, 更更多的细节请参考相关论文详细的数据集统计详见表 1 表 1.

6 公式 3 4. 实验 4.1. 数据集本文使用的数据集是 Gigaword 语料料中的 New York Times 部分, 并采用了了 Granroth-Wilding and Clark [4] 的数据预处理理和脚本事件链条抽取方法对于每一个事件上下文, 有 5 个候选后续事件, 其中只有一个是正确的, 更更多的细节请参考相关论文详细的数据集统计详见表 1 表 1. 数据集统计 4.2. 实验结果表 2 中展示了了本文的实验结果通过比较 PMI Bigram 和其他方法, 可以发现基于向量量表示学习的方法显著超过了了基于频率统计的方法 ; 用过比较 Word2vec 和 DeepWalk, 以及 EventComp PairLSTM 和 SGNN, 可以发现基于图结构的方法超过了了基于事件对或者事件链的方法 ; SGNN 模型取得了了单模型最好的预测结果 52.45%; 在预测阶段使用注意力力机制可以提升 SGNN 的性能, 说明上下文中的事件对挑选后续事件有不不同的重要性此外, 本文也进行行了了不不同单模型的融合实验结果表明不不同模型之间可以互补, 三个模型 SGNN, EventComp 和 PairLSTM 的组合取得了了最好的实验结果 54.93%

7 表 2. 实验结果图 5 展示了了本文提出的 SGNN 模型和 PairLSTM 模型在验证集上的学习曲线可以看出,SGNN 很快地达到一个较高且稳定的准确率, 并且自始至终超越了了 PairLSTM 的性能这进一步显示了了 SGNN 基于图结构的优越性图 5. SGNN 和 PairLSTM 的学习曲线 5. 结论本文简要介绍了了我实验室提出的事理理图谱概念及初步成果在 IJCAI 的论文中, 我们提出构建叙事事理理图谱并基于网络表示学习来解决脚本事件预测的任务具体地, 为了了更更好地利利用事件之间的稠密连接信息, 本文首先从大规模无结构化语料料中抽取脚本事件链条, 然后基于这些链条构建了了一个叙事事理理图谱 (NEEG) 为了了解决 NEEG 大规模图结构上的推断问题, 基于前人提出的图神经网络 GGNN, 本文提出了了一个可扩展的图神经网络 (SGNN) 来建模事件之间的交互作用并学习到更更好的事件表示, 这些学习到的事件表示可以用于脚本事件预测任务实验结果表明事件图结构比事件对或者事件链更更加有效, 可以显著提高脚本事件预测的

8 准确率 6. 参考文献 [1] Constructing Narrative Event Evolutionary Graph for Script Event Prediction, Zhongyang Li, Xiao Ding, Ting Liu. To appear in IJCAI 2018 [2] Roger C Schank and Robert P Abelson. Scripts, plans, goals, and understanding: An inquiry into human knowledge structures (artificial intelligence series) [3] Nathanael Chambers and Daniel Jurafsky. Unsupervised learning of narrative event chains. ACL, [4] Mark GranrothWilding and Stephen Clark. What happens next? event prediction using a compositional neural network model. AAAI, [5] Zhongqing Wang, Yue Zhang, and Ching-Yun Chang. Integrating order information and event relation for script event prediction. EMNLP, [6] Yujia Li, Daniel Tarlow, Marc Brockschmidt, and Richard Zemel. Gated graph sequence neural networks. arxiv preprint arxiv: , ~~~~

Microsoft Word - 公众号文章_事理图谱_最终版.docx

Microsoft Word - 公众号文章_事理图谱_最终版.docx 事理图谱 : 事件演化的规律和模式作者 : 李忠阳, 赵森栋, 丁效引言事件是人类社会的核心概念之一, 人们的社会活动往往是事件驱动的事件之间在时间上相继发生的演化规律和模式是一种十分有价值的知识然而, 当前无论是知识图谱还是语义网络等知识库的研究对象都不是事件为了揭示事件的演化规律和发展逻辑, 本文提出了事理图谱的概念, 作为对人类行为活动的直接刻画在图结构上, 与马尔科夫逻辑网络