IJCAI_2018

基于叙事事理理图谱和可扩展图神经 网络的脚本事件预 测模型 李李忠阳 - 哈 工 大SCIR 本 文介绍哈尔滨 工业 大学社会计算与信息检索研究中 心 (SCIR) 录 用于 IJCAI 2018 的论 文 Constructing Narrative Event Evolutionary Graph for Script Event Prediction [1] 中的 工作 本 文提出通过构建叙事事理理图谱来更更好地利利 用事件之间的稠密连接信息, 以帮助脚本事件预测任务 为了了解决 大规模事理理图谱图结构上的推断问题, 本 文提出了了可扩展的图神经 网络模型, 来学习事件之间的交互作 用并学习到更更好的事件表示 在脚本事件预测任务上, 本 文的 方法取得了了 SOTA 的结果 本论 文的数据和代码将会在 Github 上公布 论 文作者 : 李李忠阳, 丁效, 刘挺关键词 : 脚本事件预测, 事理理图谱, 网络表示学习, 可扩展图神经 网络联系邮箱 :zyli@ir.hit.edu.cn 1. 引 言 1.1. 事理理图谱 事理理图谱 (Event Evolutionary Graph) 是由哈尔滨 工业 大学社会计算与信息检索研究中 心推出的 用于刻画事件演化规律律和模式的知识库 结构上, 事理理图谱是 一个有向有环图, 图中节点表示事件, 边表示事件之间的顺承和因果关系 事件之间在时间上相继发 生的演化规律律和模式是 一种 十分有价值的知识 我们从 文本中抽取 构建了了多个领域事理理图谱, 如 金金融领域的事理理图谱, 出 行行领域的事理理图谱 其中, 金金融领域事理理图谱包含 150 多万的事件节点以及 180 多万条有向边 ; 出 行行领域事理理图谱包含近 3 万的事件节点以及 23 万多条有向边 我们仍在不不断改进事理理图谱构建技术, 并探索如何将其应 用于真实应 用场景中 实验结果表明, 事理理图谱可以为揭示和发现事件演化规律律提供强有 力力的 支持 图 1 展示了了我们构建的 金金融事理理图谱 一 角

图1. 金金融事理理图谱 一 角 1.2. 脚本事件预测 脚本是 人 工智能领域 一个古 老老的概念 提出于上世纪70年年代[2] 当时的研究 方法基于专家的 人 工知识 工程 比如典型的餐厅脚本 Chambers and Jurafsky [3]提出基于指代消解技术利利 用 自动化的 方法从 大规模语料料中 自动抽取脚本事件链条 并提出了了经典的挖词填空式的评估标准来评估脚本事件推断模型 这种思路路被称为 统计脚本学习 他们的 工作引领了了 一 大批后续的统计脚本学习研究 工作 其中Granroth-Wilding and Clark [4] 是 一个典型的最新进展 Granroth-Wilding and Clark[4]提出了了Multiple Choice Narrative Cloze (MCNC) 的评 估 方法 方便便了了后续研究的开展 如图2所示 本论 文中的脚本事件预测任务是指 给定 一个脚本事件上下 文 和5个候选后续事件 从中准确地挑选出唯 一正确的那个后续事件 他们进 一步提出了了基于事件对的神经 网络 方法 EventComp 极 大地提升了了脚本事件预测的准确率 随后 Wang et al. [5]进 一步提出了了将事件上下 文的Order信息和事件对信息相融合的 方法 称之为PairLSTM 图2. 脚本事件预测任务以及MCNC评估

2. 动机 前 人在脚本事件预测任务上应 用的典型 方法包括基于事件对的 PMI [3] 和 EventComp [4], 以及基于事件链条的 PairLSTM [5] 尽管这些 方法取得了了 一定的成功, 但是事件之间丰富的连接信息仍没有被充分利利 用 为了了更更好地利利 用事件之间的稠密连接信息, 本 文提出构建 一个叙事事理理图谱 (Narrative Event Evolutionary Graph,NEEG), 然后在该图谱上进 行行 网络表示学习, 进 一步预测后续事件 图 3 中的例例 子对本 文想要利利 用更更丰富事件连接信息 ( 事件图结构 ) 的动机进 行行了了很好的说明 给定事件上下 文 A(enter), B(order), C(serve), 我们想要从 D(eat) 和 E(talk) 中挑选出正确的后续事件 其中,D(eat) 是正确的后续事件 而E(talk) 是 一个随机挑选的 高频混淆事件 基于事件对和事件链的 方法很容易易挑选出错误的 E(talk) 事件, 因为图 3(b) 中的事件链条显示 C 和 E 比C 和 D 有更更强的关联性 然 而, 基于 (b) 中的链条构建 中的事件 网络之后, 我们发现 B,C 和 D 形成了了 一个强连通分量量 如果能够学习到 B,C 和 D 形成的这种强连接图结构信息, 则我们更更容易易预测出正确的后续事件 D 图 3. 事件图结构相 比事件对和事件链的优势有了了 一个叙事事理理图谱之后, 为了了解决 大规模图结构上的推理理问题, 本 文提出了了 一个可扩展的图神经 网络模型在该图谱上进 行行 网络表示学习 近期, 许多 网络表示学习 方法涌现出来, 典型的浅层 方法如 DeepWalk LINE Node2Vec, 最早提出的 用于图结构上的神经 网络 方法如 GNN 以及改进 方法 GGNN, 近期基于卷积的 方法如 GCN,GraphSAGE,GAT 等 然 而, 这些 方法存在这样那样的问题, 不不能够直接适 用于本 文的任务 有的是 无监督 方法, 不不能有效利利 用有监督信息, 性能会打折扣 ; 有的只能应 用于 小规模图结构, 扩展性较差 ; 有的只能 用于 无向图, 而本 文的叙事事理理图谱是有向有环加权图 ; 有的只能学习到较短距离的信息传递 通过 比较, 我们选择了了更更为合适的 GGNN [6] 模型 但是它不不能直接 用于本 文的 大规模叙事事理理图谱图结构上 本 文通过在训练中每次只在 一个 小规模相关 子图上进 行行计算, 来将 GGNN 扩展到 大规模有向有环加权图上, 改进后的模型叫做 Scaled Graph Neural Network (SGNN) 该模型经过修改也可以应 用于其他 网络表示学习任务中 3. 方法 在上 文的动机部分已经基本描述了了本 文 方法的 大体思路路, 图 4 是本 文模型的整体框架图 模型分为两步 : 构建

叙事事理理图谱和利利 用 SGNN 进 行行 网络表示学习 用于预测后续事件 假设图 4(a) 是我们构建的叙事事理理图谱, 我们每次从中取出涉及到的 一个 子图, 如图 4(b), 然后将其送 入图 4 的 GGNN 模型中, 学习并更更新该 子图上 的事件表示 具体地, 每个 子图包括 一个故事上下 文和所有候选事件节点, 以及这些节点之间的有向边 图 4. 基于叙事事理理图谱和可扩展图神经 网络的脚本事件预测模型总图 3.1. 构建叙事事理理图谱 构建叙事事理理图谱分为两步 : 抽取脚本事件链条 ; 基于这些链条构建图 首先, 本 文采 用Granroth-Wilding and Clark[4] 的 方法抽取脚本事件链条 ( 具体 见参考 文献 [4]) 得到事件链条集合后, 本 文基于这些链条来构建叙事事理理图谱 之所以叫 " 叙事事理理图谱 ", 是因为这些链条是完全按照 文章描述事件的顺序抽取出来的, 而不不是按照真实发 生的时间顺序 抽取出的每个事件可以表示为 一个四元组 { 谓词, 主语, 宾语, 介词短语 } 为了了克服事件的稀疏性, 使得图谱中的事件节点是 一个抽象事件, 本 文采 用了了 Chambers and Jurafsky [3] 中的事件表示 方法来表示 NEEG 中的事件节点, 包括 一个动词以及该动词和链条实体之间的语法依存关 v i v j w 系, 例例如 (eat, subj) 所有的事件 bigram 都形成 一条事件演化有向边, 边上权重 可简单采 用如下公 式来计算 : w( v j v i ) = count( v i, v j ) k count( v i, v k ) 最终构建的叙事事理理图谱含有 104,940 事件节点和 6,187,046 有向加 权边 3.2. 可扩展的图神经 网络模型 图神经 网络 (GNN) 最早于 2005 年年被提出 之后 Li et al. [6] 对其优化技术进 行行了了改进, 并将 GRU 应 用到 GNN 上形成了了 GGNN 模型 然 而GGNN 多应 用于 小规模图上 ( 如 几 十上百个节点 ), 每次对整个图进 行行处理理 这不不能适 用于本 文的 大规模图结构上 为了了解决可扩展性的问题, 本 文将 分治 思想引 入GGNN 模型中, 每次仅仅处理理涉及到的 一个 子图 ( 包括 一条上下 文和候选事件节点, 以及他们之间的边, 如图 4(b)) 如图 4 所示,SGNN 模型主要包含 3 个部分 : 事件表示层 GGNN 计算层 挑选后续事件层 3.2.1. 学习初始事件表示 NEEG 中的每个抽象事件节点实际上表示了了多个具体的四元组事件 为了了将 4 个事件元素组合成 一个事件表示向量量, 本 文对 比了了如下 几种 方法 : 平均法 : 使 用所有 4 个事件元素词向量量的平均值来作为整个事件的表示 ; 非线性变换 [5]: v e = tanh( W p v p + W 0 v a0 + W 1 v a1 + W 2 v a2 + b) 拼接 [4]: 直接将 4 个事件元素词向量量拼接起来作为整个事件的表示 ;

3.2.2. 更更新 子图中的事件表示 GGNN 被 用来学习事件之间的交互作 用并更更新每个 子图上的事件表示 每次输 入到 SGNN 的为两个矩阵 h (0) A h (0) A and 其中包含了了上下 文加所有候选事件的向量量表示 ; 是对应的 子图邻接矩阵, 该矩阵决定了了 子图 中的事件如何交互作 用 如公式 1 所示 : 公式 1 GGNN 模型运作 方式类似 广泛应 用的 GRU 模型, 如公式 2 所示 不不同的是每个循环 GGNN 都会更更新 子图中所有节点的事件表示, 每次循环节点之间的信息传递给 一度相邻节点 多个循环得以让各个节点的信息在 子图结构上充分流动交互 最终模型的输出为 h (t), 包含了了学习到的 子图中的事件表示 公式 2 3.2.3. 挑选正确的后续事件 h (t) = g(, ) 得到事件表示后, 本 文采 用了了与前 人 工作 [4,5] 相类似的 方法进 行行后续事件的挑选 第 i 个上下 文事件与第 j 个候选事件的相关性分数可以通过 s ij h (t) i h (t) c j 进 行行计算, 整个上下 文与第 j 个候选事件的相关性 用 1 s j = 进 行行计算, 基于公式挑选出正确的那个候选事件, 作为最终的预测结果 本 文 n n i=1 s ij c = max j s j 比较了了多个相似性计算函数 g, 比如 Manhattan 相似度,cosine 相似度, 内积相似度以及欧 几 里里得相似度, 并在 s ij 的计算中引 入了了 attention 机制 : s ij = α ij g( h (t) i, h (t) c j ) 3.2.4. 损失函数 为了了与本 文的任务相结合, 我们设计了了如下的损失函数, 如公式 3 所示, 包括 一个 大间隔损失和 一个正则项 其中 s Ij I j y 表示第个上下 文和第个候选事件的相关分数, 是对应的正确候选事件的索引 L(Θ) = N I=1 k λ j=1(max(0, margin s Iy + s Ij )) + Θ 2 2

公式 3 4. 实验 4.1. 数据集 本 文使 用的数据集是 Gigaword 语料料中的 New York Times 部分, 并采 用了了 Granroth-Wilding and Clark [4] 的数据预处理理和脚本事件链条抽取 方法 对于每 一个事件上下 文, 有 5 个候选后续事件, 其中只有 一个是正确的, 更更多的细节请参考相关论 文 详细的数据集统计详 见表 1 表 1. 数据集统计 4.2. 实验结果 表 2 中展示了了本 文的实验结果 通过 比较 PMI Bigram 和其他 方法, 可以发现基于向量量表示学习的 方法显著超过了了基于频率统计的 方法 ; 用过 比较 Word2vec 和 DeepWalk, 以及 EventComp PairLSTM 和 SGNN, 可以发现基于图结构的 方法超过了了基于事件对或者事件链的 方法 ; SGNN 模型取得了了单模型最好的预测结果 52.45%; 在预测阶段使 用注意 力力机制可以提升 SGNN 的性能, 说明上下 文中的事件对挑选后续事件有不不同的重要性 此外, 本 文也进 行行了了不不同单模型的融合实验 结果表明不不同模型之间可以互补, 三个模型 SGNN, EventComp 和 PairLSTM 的组合取得了了最好的实验结果 54.93%

表 2. 实验结果图 5 展示了了本 文提出的 SGNN 模型和 PairLSTM 模型在验证集上的学习曲线 可以看出,SGNN 很快地达到 一个较 高且稳定的准确率, 并且 自始 至终超越了了 PairLSTM 的性能 这进 一步显示了了 SGNN 基于图结构的优越性 图 5. SGNN 和 PairLSTM 的学习曲线 5. 结论 本 文简要介绍了了我实验室提出的事理理图谱概念及初步成果 在 IJCAI 的论 文中, 我们提出构建叙事事理理图谱并基于 网络表示学习来解决脚本事件预测的任务 具体地, 为了了更更好地利利 用事件之间的稠密连接信息, 本 文 首先从 大规模 无结构化语料料中抽取脚本事件链条, 然后基于这些链条构建了了 一个叙事事理理图谱 (NEEG) 为了了解决 NEEG 大规模图结构上的推断问题, 基于前 人提出的图神经 网络 GGNN, 本 文提出了了 一个可扩展的图神经 网络 (SGNN) 来建模事件之间的交互作 用并学习到更更好的事件表示, 这些学习到的事件表示可以 用于脚本事件预测任务 实验结果表明事件图结构 比事件对或者事件链更更加有效, 可以显著提 高脚本事件预测的

准确率 6. 参考 文献 [1] Constructing Narrative Event Evolutionary Graph for Script Event Prediction, Zhongyang Li, Xiao Ding, Ting Liu. To appear in IJCAI 2018 [2] Roger C Schank and Robert P Abelson. Scripts, plans, goals, and understanding: An inquiry into human knowledge structures (artificial intelligence series). 1977. [3] Nathanael Chambers and Daniel Jurafsky. Unsupervised learning of narrative event chains. ACL, 2008. [4] Mark GranrothWilding and Stephen Clark. What happens next? event prediction using a compositional neural network model. AAAI, 2016. [5] Zhongqing Wang, Yue Zhang, and Ching-Yun Chang. Integrating order information and event relation for script event prediction. EMNLP, 2017. [6] Yujia Li, Daniel Tarlow, Marc Brockschmidt, and Richard Zemel. Gated graph sequence neural networks. arxiv preprint arxiv:1511.05493, 2015. ~~~~