CCL2018前沿技术报告v2_阅读理解_崔一鸣

Size: px

Start display at page:

Download "CCL2018前沿技术报告v2_阅读理解_崔一鸣"

奉黄邰
5 years ago
Views:

1 CCL 2018 自然语言处理理国际前沿动态综述阅读理理解方向崔一鸣哈工大讯飞联合实验室(HFL) 科大讯飞

2 内容概要阅读理理解任务简介阅读理理解领域近期研究趋势数据集 ( 任务 ) 模型方法技术评测报告总结参考文献!2

3 阅读理理解任务简介!3

4 阅读理理解任务简介人工智能的一个重要目标是让机器器能听会说, 能理理解会思考机器器阅读理理解 (Machine Reading Comprehension, MRC) 作为认知智能的典型任务受到国内外研究人员的广泛关注!4

5 阅读理理解任务简介多数情况下, 阅读理理解任务包含如下几个要素 Document: 需要机器器阅读的篇章根据篇章的数量量, 可分为单文档阅读理理解以及多文档阅读理理解等 Question: 根据篇章内容所提出的问题根据问题的类型, 可分为填空型或者用户提问型等 Candidate: 候选答案根据任务的不不同, 会有一些候选答案, 例例如选择型阅读理理解等 Answer: 答案根据任务的不不同, 答案可能是单个词篇章片段生成出来的句句子等!5

6 前期阅读理理解发展微软发布 MCTest 数据集 Facebook 发布 CBT 儿童读物数据集 Bengio 指导的队伍加入到阅读理理解研究中 Salesforce, CMU, 浙大, 清华等相继加入到机器器阅读理理解研究中 CCL 举办首届中文阅读理理解评测国内大型企业, 如阿里里巴巴腾讯加入到 SQuAD 评测中上半年年谷歌 DeepMind 发布 CNN/DailyMail 数据集 IBM Watson 提出 AS Reader 阅读理理解模型斯坦福发布 SQuAD 数据集哈工大讯飞联合实验室发布中文数据搜狗举办中文问答评测微软阿里里巴巴在 SQuAD 超人类效果哈工大讯飞联合实验室 F1 指标首超 89%!6

7 阅读理理解领域近期研究趋势!7

8 论文数量量趋势 ACL EMNLP NAACL COLING * 相关数据统计自ACL Anthology: **NAACL 无17 年年数据 ***COLING 只在双数年年份召开!8

9 论文数量量趋势 Long Paper 3 NAACL-HLT-2018 Short Paper 3 6 COLING 2018 ACL EMNLP *相关数据统计自ACL Anthology:

10 论文标题词云 *Image generated by

11 数据集发展趋势面向更更复杂更更接近真实应用场景的数据集!11

12 SQUAD 数据集 SQuAD 1.1 SQuAD 年年 6 月, 斯坦福大学发布了了 Stanford Question Answering Dataset (SQuAD) 数据集, 开启了了阅读理理解数据集的新篇章 2018 年年 7 月, 斯坦福大学发布了了 SQuAD 2.0, 对原有数据集进行行了了扩充, 加入了了不不可回答的问题, 进一步考验机器器阅读能力力任务类型 : 预测问题是否可答, 对于可答问题给出篇章中的连续片段作为答案数据量量 :10 万个问题!12

13 COQA 数据集 CoQA: Conversational Question Answering 阅读理理解任务向其他 NLP 任务的渗透斯坦福大学提出了了 CoQA 数据集用于评测阅读理理解技术在多轮对话过程中的应用任务类型 : 两个人阅读给定的一段短文, 一个人来提问, 另一个人来回答数据量量 :12.7 万个问题任务难点标准答案依赖于但不不再是篇章中的某个连续片段多轮对话中的指代消解问题对问题理理解提出新的挑战!13

14 技术发展趋势 -I 第一点 : 重视引入外部知识当前问题多数阅读理理解模型采用完全端到端的模型结构, 很难了了解其中的运行行机理理某些问题除了了篇章本身的信息之外还需要外部知识才能正确解答解决方案建立相关数据集, 使得问题需要融合外部知识才能解答在现有模型基础上运用外部知识, 进一步提升阅读理理解系统效果代表工作 :SemEval-2018 Task 11, ARC Challenge 等!14

Challenge 形式 : 从自由文本中抽取知识, 解答给定的单项选择题包括 :14M

15 技术发展趋势 -I SemEval-2018 Task 11: Machine Comprehension using Commonsense Knowledge 任务描述 : 对给定的篇章进行行理理解, 并根据给定问题从两个候选答案中挑选出一个正确答案 ( 其中回答问题会涉及到常识 ) 考查内容 : 上下文理理解常识判断 AI2 ARC Challenge 形式 : 从自由文本中抽取知识, 解答给定的单项选择题包括 :14M 自由文本知识,7787 个选择题目前最优系统在挑战集效果上仅能达到约 30% 的准确率 ( 随机猜测约 25%)!15

16 技术发展趋势 -II 第二点 : 采用大规模数据预训练的模型当前问题多数阅读理理解数据集的训练样本较少 ( 几千 ~ 十几万 ) 阅读理理解更更多依赖的是上下文的理理解, 而非对某一个单词的关注, 独立的词向量量很难表征更更加丰富的语义信息解决方案采用大规模数据预训练的模型一定程度上缓解数据稀疏的问题 (OOV 等 ) 根据上下文动态生成文本的表示, 在向量量表示中包含更更多文本语义层次信息主要代表工作 :ELMo OpenAI GPT BERT 等!16

17 技术发展趋势 -II ELMo: Embeddings from Language Models NAACL-HLT-2018 最佳论文奖, 发布至今引用量量已超过 120+ 采用大规模语料料 (1B), 使用大隐层维度 ( 输出维度 1024) 训练双向语言模型 BiLM 训练使用 3 张 GTX 1080, 训练 10 轮共计花费两周时间简单易易用, 直接加在词向量量平行行的位置中目前已成为 ( 在计算资源充足情况下 ) 各 NLP 任务的标配 Peters et al., Deep Contextualized Word Representations!17

18 技术发展趋势 -II BERT: Bidirectional Encoder Representation from Transformers 在 Open AI Transformers 的基础上进一步提出深层双向 Transformers 无需设计复杂的任务相关的网络设计训练使用了了 BookCorpus 以及 Wikipedia 和数据, 共计词数量量达到了了 33B 训练使用了了 16*4=64 块 TPU, 共计 4 天时间有人估算过使用 GPU 需要将近 1 年年的时间官方宣称 10 月末放出相关预训练模型和代码 Devlin et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding!18

19 技术发展趋势 -III 第三点 : 阅读理理解与其他 NLP 任务的结合解决阅读理理解任务的主要要点可归纳为三点 1. 对于篇章内容的理理解 2. 对于问题的理理解 3. 篇章和问题之间的联系篇章和问题的理理解是阅读理理解任务中最基础且不不可或缺的内容篇章和问题的理理解 ( 狭义 ) 上下文理理解 ( 广义 )!19

20 技术发展趋势 -III 阅读理理解技术应用在多轮对话生成任务篇章和问题的理理解 ( 阅读理理解 ) 对话流和 Query 的理理解 ( 多轮对话 ) 在 Ubuntu OpenSubtitles 等数据集上获得良好效果的 Zhang et al., COLING2018. Context-sensitive Generation of Open-Domain Conversational Responses!20

21 技术发展趋势 -III 第四点 : 面向特定数据集的研究 SQuAD 1.1: 仅预测篇章片段设计更更加复杂的篇章和问题的交互计算 :SAN (Liu et al., 2018),SLQA (Wang et al., 2018) 生成额外的训练数据 :QANet (Yu et al., 2018), SQuAD 2.0: 判断答案是否可答, 对于可答问题需要预测篇章片段设计额外的损失函数 :RMR+Verifier (Hu et al., 2018), U-Net (Sun et al., 2018) 答案验证 :RMR+Verifier, Answer Verifier (Tan et al., 2018) 选择型阅读理理解 : 从给定的多个选项中选出一个正确答案计算篇章问题选项三者之间的关系 :Co-Matching (Wang et al., 2018), HMA (Chen et al., 2018)!21

22 中文技术评测各大研究机构纷纷举办阅读理理解相关技术评测中文机器器阅读理理解技术研究持续推进阅读理理解技术的受众语种范围不不断扩大 CCL 2017 首次举办了了中文机器器阅读理理解评测今年年是系列列评测的第二届主办方中国中文信息学会计算语言学专委会 CIPS-CL 承办方哈工大讯飞联合实验室 HFL 冠名方科大讯飞股份有限公司两届评测共吸引了了超过200 支队伍报名报名人数近千人形成了了良好口碑碑!22

23 报告总结!23

24 报告总结数据集 : 面向更更接近真实应用场景, 难度更更大的阅读理理解数据集技术趋势对于特定类型问题引入外部知识加以解决大规模数据预训练模型的应用交叉任务之间的联系, 将阅读理理解技术推广到其他 NLP 任务中中文阅读理理解研究蓬勃发展, 研究队伍不不断壮大关注效果提升, 但也更更要关注模型没能解决的问题!24

25 参考文献 ACL Anthology: Rajpurkar et al., Know What You Don t Know: Unanswerable Questions for SQuAD. Choi et al., QuAC: Question Answering in Context. Yagcioglu et al., RecipeQA: A Challenge Dataset for Multimodal Comprehension of Cooking Recipes. Yang et al., HotpotQA: A Dataset for Diverse, Explainable Multi-hop Question Answering. Reddy et al., CoQA: A Conversational Question Answering Challenge. Rajpurkar et al., SQuAD: 100,000+ Questions for Machine Comprehension of Text. Clark et al., Think you have Solved Question Answering? Try ARC, the AI2 Reasoning Challenge. Peters et al., Deep contextualized word representations. Devlin et al., BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.!25

26 参考文献 Liu et al, Stochastic Answer Networks for Machine Reading Comprehension. Wang et al., Multi-Granularity Hierarchical Attention Fusion Networks for Reading Comprehension and Question Answering. Yu et al., QANet: Combining Local Convolution with Global Self-Attention for Reading Comprehension. Hu et al., Read + Verify: Machine Reading Comprehension with Unanswerable Questions. Sun et al., U-Net: Machine Reading Comprehension with Unanswerable Questions. Tan et al., I Know There Is No Answer: Modeling Answer Validation for Machine Reading Comprehension. Wang et al., A Co-Matching Model for Multi-choice Reading Comprehension. Chen et al., HFL-RC System at SemEval-2018 Task 11: Hybrid Multi-Aspects Model for Commonsense Reading Comprehension. Zhang et al., Context-sensitive Generation of Open-Domain Conversational Responses.!26

27 谢谢大家

Microsoft Word - 附章.doc

Microsoft Word - 附章.doc 民事訴訟法入門講義附章法的運用思維之培養附章學習民事訴訟之際, 應留意處甚多, 本附章只提出幾點以供參考, 雖其中有民事訴訟之特有者, 然多數可與全部法律共通壹真正之記憶術重要的是理解, 不是記憶, 記憶的出發點, 在於理