文档智能 : 数据集 模型和应用 崔磊, 徐毅恒, 吕腾超, 韦福如 微软亚洲研究院 {lecu, t-yihengxu, tengchaolv, 摘要 文档智能是指通过计算机进行自动阅读 理解以及分析商业文档的过程, 是自然语言处理和计算机视觉交叉领域的一

Transcription

1 文档智能 : 数据集 模型和应用 崔磊, 徐毅恒, 吕腾超, 韦福如 微软亚洲研究院 {lecu, t-yihengxu, tengchaolv, fuwei}@microsoft.com 摘要 文档智能是指通过计算机进行自动阅读 理解以及分析商业文档的过程, 是自然语言处理和计算机视觉交叉领域的一个重要研究方向 近年来, 深度学习技术的普及极大地推动了文档智能领域的发展, 以文档版面分析 文档信息抽取 文档视觉问答以及文档图像分类等为代表的文档智能任务都有显著的性能提升 本文对于早期基于启发式规则的文档分析技术 基于统计机器学习的算法 以及近年来基于深度学习和预训练的方法进行简要介绍, 并展望了文档智能技术的未来发展方向 关键词 : 文档智能 ; 文档版面分析 ; 文档信息抽取 ; 文档视觉问答 ; 文档图像分类 ; 深度学习 ; 多模态预训练 Document AI: Benchmarks, Models and Applications Lei CUI, Yiheng XU, Tengchao LV, Furu WEI Microsoft Research Asia {lecu, t-yihengxu, tengchaolv, fuwei}@microsoft.com Abstract 坄坯坣坵坭坥坮坴坁坉圬坯坲坄坯坣坵坭坥坮坴坉坮坴坥坬坬坩坧坥坮坣坥圬坩坳坡坲坥坬坡坴坩坶坥坬坹坮坥坷坲坥坳坥坡坲坣坨坴坯坰坩坣坴坨坡坴坲坥坦坥坲坳坴坯坴坨坥坴坥坣坨坮坩坱坵坥坳坴坯坡坵坴坯坭坡坴坩坣坡坬坬坹坲坥坡坤圬坵坮坤坥坲坳坴坡坮坤坡坮坤坡坮坡坬坹坺坥坢坵坳坩坮坥坳坳坤坯坣坵坭坥坮坴坳圮坉坴坩坳坡坮坩坭坰坯坲坴坡坮坴坲坥坳坥坡坲坣坨坤坩坲坥坣坴坩坯坮坦坯坲坴坨坥坩坮坴坥坲坤坩坳坣坩坰坬坩坮坡坲坹坯坦坮坡坴坵坲坡坬坬坡坮坧坵坡坧坥坰坲坯坣坥坳坳圭坩坮坧坡坮坤坣坯坭坰坵坴坥坲坶坩坳坩坯坮圮坉坮坲坥坣坥坮坴坹坥坡坲坳圬坴坨坥坰坯坰坵坬坡坲坩坴坹坯坦坤坥坥坰坬坥坡坲坮坩坮坧坴坥坣坨坮坯坬坯坧坹坨坡坳坧坲坥坡坴坬坹坡坤坶坡坮坣坥坤坴坨坥坤坥坶坥坬坯坰坭坥坮坴坯坦坄坯坣坵坭坥坮坴坁坉坴坡坳坫坳圬坳坵坣坨坡坳坤坯坣坵坭坥坮坴坬坡坹圭坯坵坴坡坮坡坬坹坳坩坳圬坤坯坣坵坭坥坮坴坩坮坦坯坲坭坡坴坩坯坮坥坸坴坲坡坣坴坩坯坮圬坤坯坣坵坭坥坮坴坶坩坳坵坡坬坱坵坥坳坴坩坯坮坡坮坳坷坥坲坩坮坧圬坡坮坤坤坯坣坵坭坥坮坴坩坭坡坧坥坣坬坡坳坳坩圌坣坡坴坩坯坮坥坴坣圮坔坨坩坳坰坡坰坥坲坢坲坩坥圍坹坩坮坴坲坯坤坵坣坥坳坴坨坥坥坡坲坬坹圭坳坴坡坧坥坨坥坵坲坩坳坴坩坣坲坵坬坥圭坢坡坳坥坤坤坯坣坵坭坥坮坴坡坮坡坬坹坳坩坳圬坳坴坡坴坩坳坴坩坣坡坬坭坡坣坨坩坮坥坬坥坡坲坮坩坮坧坢坡坳坥坤坡坬坧坯坲坩坴坨坭坳圬坡坳坷坥坬坬坡坳坴坨坥坤坥坥坰坬坥坡坲坮坩坮坧坢坡坳坥坤坡坰坰坲坯坡坣坨坥坳坥坳坰坥坣坩坡坬坬坹坴坨坥坰坲坥圭坴坲坡坩坮坩坮坧坡坰坰坲坯坡坣坨坥坳圮坆坩坮坡坬坬坹圬坷坥坡坬坳坯坬坯坯坫坩坮坴坯坴坨坥坦坵坴坵坲坥坤坩坲坥坣坴坩坯坮坯坦坄坯坣坵坭坥坮坴坁坉圮 坋坥坹坷坯坲坤坳场坄坯坣坵坭坥坮坴坁坉圬坤坯坣坵坭坥坮坴坬坡坹坯坵坴坡坮坡坬坹坳坩坳圬坤坯坣坵坭坥坮坴坩坮坦坯坲坭坡坴坩坯坮坥坸坴坲坡坣坴坩坯坮圬坤坯坣坵坭坥坮坴坶坩坳坵坡坬坱坵坥坳坴坩坯坮坡坮坳坷坥坲坩坮坧圬坤坯坣坵坭坥坮坴坩坭坡坧坥坣坬坡坳坳坩圌坣坡坴坩坯坮圬坤坥坥坰坬坥坡坲坮坩坮坧圬坭坵坬坴坩坭坯坤坡坬坰坲坥圭坴坲坡坩坮坩坮坧 2021 中国大会根据 Creative Commons Attribution 4.0 International License 许可出版

2 1 文档智能 文档智能 ( 坄坯坣坵坭坥坮坴坁坉圬坯坲坄坯坣坵坭坥坮坴坉坮坴坥坬坬坩坧坥坮坣坥 ) 是近年来一项蓬勃发展的研究课题和实际的工业界需求, 主要是指对于网页 数字文档或扫描文档所包含的文本以及丰富的排版格式等信息, 通过人工智能技术进行理解 分类 提取以及信息归纳的过程 由于布局和格式的多样性 低质量的扫描文档图像以及模板结构的复杂性, 文档智能是一项非常具有挑战性的任务并获得相关领域的广泛关注 随着数字化进程的加快, 文档 图像等载体的结构化分析和内容提取成为关乎企业数字化转型成败的关键一环, 自动 精准 快速的信息处理对于生产力的提升至关重要 以商业文档为例, 不仅包含了公司内外部事务的处理细节和知识沉淀, 还有大量行业相关的实体和数字信息 人工提取这些信息既耗时费力且精度低, 而且可复用性也不高, 因此, 文档智能技术应运而生 文档智能技术深层次地结合了人工智能和人类智能, 在金融 医疗 保险 能源 物流等多个行业都有不同类型的应用 例如 : 在金融领域, 它可以实现财报分析和智能决策分析, 为企业战略的制定和投资决策提供科学 系统的数据支撑 ; 在医疗领域, 它可以实现病例的数字化, 提高诊断的精准度, 并通过分析医学文献和病例的关联性, 定位潜在的治疗方案 在财务领域, 它可以实现发票和采购单的自动化信息提取, 将大量无结构化文档进行自动结构化转换, 并支撑大量下游业务场景, 节省大量人工处理时间开销 在过去的圳地年中, 文档智能的发展大致经历了三个阶段, 从简单的规则启发式方法逐渐进化至神经网络的方法 圹地年代初期, 研究人员大多使用基于启发式规则的方法进行文档的理解与分析, 通过人工观察文档的布局信息, 总结归纳一些处理规则, 对固定布局信息的文档进行处理 然而, 传统基于规则的方法往往需要较大的人力成本, 而且这些人工总结的规则可扩展性不强, 因此研究人员开始采用基于统计学习的方法 圲地地地年以来, 随着机器学习技术的发展和进步, 基于大规模标注数据驱动的机器学习模型成为了文档智能的主流方法, 它通过人工设计的特征模板, 利用有监督学习的方式在标注数据中学习不同特征的权重, 以此来理解 分析文档的内容和布局 然而, 虽然传统的文档理解和分析技术基于人工定制的规则或少量标注数据进行学习, 这些方法虽然能够带来一定程度的性能提升, 但由于定制规则和可学习的样本数量不足, 其通用性往往不尽如人意, 而且针对不同类别文档的分析迁移成本较高, 这距离文档智能技术的实用化和产业化还有相当一段距离 近年来, 随着深度学习技术的发展, 以及大量无标注电子文档的积累, 文档分析与识别技术进入了一个全新的时代 图圱所表示的是在当前深度学习框架下文档智能技术的基本框架, 其中不同类型的文档通过内容提取工具 ( 坈坔坍坌圯坘坍坌抽取 坐坄坆解析器 光学字符识别坏坃坒等 ) 将文本内容 位置布局信息和视觉图像信息组织起来, 利用大规模预训练的深度神经网络进行分析, 最终完成各项下游应用任务, 包括文档版面分析 文档信息抽取 文档视觉问答以及文档图像分类等 深度学习技术的出现, 特别是以卷积神经网络 ( 坃坎坎 ) 图神经网络 ( 均坎坎 ) 以及坔坲坡坮坳坦坯坲坭坥坲架构在坖坡坳坷坡坮坩坥坴坡坬圮圬圲地圱圷圩为代表预训练技术的出现, 彻底改变了传统机器学习需要大量人工标注数据的前提, 更多地依赖大量无标注数据进行自监督学习, 进而通过坜预训练圭参数调优圢模式来解决文档智能相关的应用任务, 取得了显著性突破 尽管深度学习极大地提高了文档智能技术的准确性, 但是在实际应用中仍然有很多问题亟待解决 首先, 受限于当前大规模预训练模型输入长度的限制, 文档智能预训练模型通常需要将文档截断为几个部分分别输入模型进行处理, 这对于复杂长文档的多页跨页处理带来了极大的挑战 其次, 由于实际场景中的扫描文档图像质量参差不齐, 特别是人工标注的训练数据往往质量较高, 而业务场景的文档图像由于扫描设备的清晰度 纸张褶皱和摆放位置的随意性, 导致了性能不佳, 因而需要利用更多数据增强技术来帮助现有模型提升性能 此外, 当前文档智能各项任务通常是独立训练的, 不同任务之间的关联性还未被有效的利用, 例如文档信息抽取和文档视觉问答有某些共性的语义表示, 可以利用多任务学习框架更好的解决这类问题 最后, 基于预训练的文档智能模型在实际应用中也遇到了计算资源和训练样本不足的问题, 探索基于小模型的深度学习架构和模型压缩技术, 以及少样本学习 ( 坦坥坷圭坳坨坯坴坬坥坡坲坮坩坮坧 ) 和零样本学习 ( 坺坥坲坯圭坳坨坯坴坬坥坡坲坮坩坮坧 ) 技术也是当前重要的研究方向, 并具有很大的实用价值 接下来, 我们首先将介绍当前主流的文档智能模型框架 任务和数据集, 随后将分别重点介绍早期基于启发式规则的文档分析技术 基于传统统计机器学习的算法模型 以及近年来基于深度学习, 特别是基于多模态预训练技术的文档智能模型和算法, 最后我们将展望文档智能技术的未来发展方向

3 文档 预训练神经网络模型 应用 网页 PDF/WORD/PPT 扫描图像 HTML/ XML PDF 解析器 OCR 文本 / 布局 / 图像 文档布局分析文档信息抽取文档视觉问答文档图像分类 坆坩坧坵坲坥圱场基于深度学习的文档智能技术框架 2 主流文档智能技术模型框架 任务及数据集 圲圮圱 基于卷积神经网络架构的文档版面分析模型 近年来, 卷积神经网络在计算机视觉领域取得了巨大的成功, 特别是基于大规模标注数据集坉坭坡坧坥坎坥坴和坃坏坃坏的有监督预训练模型坒坥坳坎坥坴在坈坥坥坴坡坬圮圬圲地圱圵圩在图像分类 物体检测以及场景分割任务上都带来了极大的性能提升 具体来讲, 随着多阶段检测坆坡坳坴坥坲坒圭坃坎坎在坒坥坮坥坴坡坬圮圬圲地圱圶圩和坍坡坳坫坒圭坃坎坎在坈坥坥坴坡坬圮圬圲地圱圸圩等模型以及单阶段检测模型坓坓坄在坌坩坵坥坴坡坬圮圬圲地圱圶圩和坙坏坌坏在坒坥坤坭坯坮坡坮坤坆坡坲坨坡坤坩圬圲地圱圸圩的普及, 物体识别在计算机视觉中几乎成为了已解决问题 文档版面分析本质上可以看作一种文档图像的物体检测任务, 文档中的标题 段落 表格 插图等基本单元就是需要检测和识别的物体 在坙坡坮坧坥坴坡坬圮圬圲地圱圷坡圩将文档版面分析看作是一个像素级分割任务, 并尝试利用卷积神经网络进行像素分类取得很好的效果 在坓坣坨坲坥坩坢坥坲坥坴坡坬圮圬圲地圱圷圩首次利用坆坡坳坴坥坲坒圭坃坎坎模型应用于文档版面分析中的表格识别任务, 如图圲所示, 在坉坃坄坁坒圲地圱圳在均坿坯坢坥坬坥坴坡坬圮圬圲地圱圳圩表格识别数据集取得了坓坏坔坁的结果 然而, 文档版面分析虽然是一个经典的文档智能任务, 但是多年来一直受限于较小的数据集规模, 仅仅套用经典计算机视觉预训练模型依然是不够的 随着大规模弱监督文档版面分析数据集坐坵坢坌坡坹坎坥坴在坚坨坯坮坧坥坴坡坬圮圬圲地圱圹坢圩 坐坵坢坔坡坢坎坥坴在坚坨坯坮坧坥坴坡坬圮圬圲地圱圹坡圩 坔坡坢坬坥坂坡坮坫在坌坩坥坴坡坬圮圬圲地圲地坡圩以及坄坯坣坂坡坮坫在坌坩坥坴坡坬圮圬圲地圲地坢圩数据集的出现, 研究人员可以对不同的计算机视觉模型和算法进行更为深入的比较和分析, 进一步推动了文档版面分析技术的发展 坆坩坧坵坲坥圲场基于卷积神经网络坆坡坳坴坥坲坒圭坃坎坎的文档版面分析模型 圲圮圲 基于图神经网络架构的文档信息抽取模型 信息抽取是从非结构化文本中提取结构化信息的过程, 其作为一个经典和基础的自然语言

4 (a) (b) 坆坩坧坵坲坥圳场基于图神经网络架构的文档信息抽取模型 处理问题已经得到广泛研究 传统的信息抽取聚焦于从纯文本中提取实体与关系信息, 却较少有对视觉富文本的研究 视觉富文本数据是指语义结构不仅由本文内容决定, 也与排版 表格结构 字体等视觉元素有关的文本数据 视觉富文本数据在生活中随处可见, 例如收据 证件 保险单等 在坌坩坵坥坴坡坬圮圬圲地圱圹圩提出利用图卷积神经网络对视觉富文本数据进行建模, 如图圳所示 每张图片经过坏坃坒系统后会得到一组文本块, 每个文本块包含其在图片中的坐标信息与文本内容 这项工作将这一组文本块构成全连接有向图, 即每个文本块构成一个节点, 每个节点都与其他所有节点有连接 节点的初始特征由文本块的文本内容通过坂坩圭坌坓坔坍编码得到 边的初始特征为邻居文本块与当前文本块的相对坐标与长宽信息, 该特征使用当前文本块的高度进行归一化, 具有仿射不变性 与其他图卷积模型仅在节点上进行卷积不同, 这项工作更加关注在信息抽取中坜个体圭关系圭个体圢的三元信息更加重要, 所以在坜节点圭边圭节点圢的三元特征组上进行卷积 除此之外, 还引入了自注意力机制, 让网络在全连接有向图构成的所有有向三元组中挑选更加值得注意的信息, 并加权聚合特征 初始的节点特征与边特征经过多层卷积后得到节点与边的高层表征 这项工作在两份真实商业数据上测试了所提出方法的效果, 分别为增值税发票 ( 坖坁坔坉, 固定版式, 圳地地地张 ) 和国际采购收据 ( 坉坐坒, 非固定版式, 圱圵地地张 ) 使用了两个坂坡坳坥坬坩坮坥, 坂坡坳坥坬坩坮坥坉为对每个文本块的文本内容独立做坂坩坌坓坔坍圫坃坒坆解码, 坂坡坳坥坬坩坮坥坉坉为将所有文本块的文本内容进行坜从左到右 从上到下圢的顺序拼接后, 对拼接文本整体做坂坩坌坓坔坍圫坃坒坆解码 实验表明, 基于图卷积的模型在坂坡坳坬坩坮坥的基础上都有明显提升, 其中在仅依靠文本信息就可以抽取的字段 ( 如日期 ) 上与坂坡坳坥坬坩坮坥持平, 而在需要依靠视觉信息做判断的字段 ( 如价格 税额 ) 上有较大提升 此外, 实验显示, 视觉信息起主要作用, 增加了语义相近文本的区分度 文本信息也对视觉信息起到一定的辅助作用 自注意力机制在固定版式数据上基本没有帮助, 但是在非固定版式数据上有一定提升 圲圮圳 基于坔坲坡坮坳坦坯坲坭坥坲架构的通用文档理解预训练模型 很多情况下, 文档中文字的位置关系蕴含着丰富的语义信息 例如, 表单通常是以键值对 ( 坫坥坹圭坶坡坬坵坥坰坡坩坲 ) 的形式展示的 通常情况下, 键值对的排布通常是左右或者上下形式, 并且有特殊的类型关系 类似地, 在表格文档中, 表格中的文字通常是网格状排列, 并且表头一般出现在第一列或第一行 通过预训练, 这些与文本天然对齐的位置信息可以为下游的信息抽取任务提供更丰富的语义信息 对于富文本文档, 除了文字本身的位置关系之外, 文字格式所呈现的视觉信息同样可以帮助下游任务 对文本级 ( 坴坯坫坥坮圭坬坥坶坥坬 ) 任务来说, 文字大小, 是否倾斜, 是否加粗, 以及字体等富文本格式能够体现相应的语义 通常来说, 表单键值对的键位 ( 坫坥坹 ) 通常会以加粗的形式给出 对于一般文档来说, 文章的标题通常会放大加粗呈现, 特殊概念名词会以斜体呈现等 对文档级 ( 坤坯坣坵坭坥坮坴圭坬坥坶坥坬 ) 任务来说, 整体的文档图像能提供全局的结构信息 例如个人简历的整体文档结构与科学文献的文档结构是有明显的视觉差异的 这些模态对齐的富文本格式所展现的视觉特征可以通过视觉模型抽取, 结合到预训练阶段, 从而有效地帮助下游任务 为了利用上述信息, 我们提出了通用文档预训练模型坌坡坹坯坵坴坌坍在坘坵坥坴坡坬圮圬圲地圲地圩, 如图圴所示 在现有的预训练模型基础上添加圲圭坄坐坯坳坩坴坩坯坮坅坭坢坥坤坤坩坮坧和坉坭坡坧坥坅坭坢坥坤坤坩坮坧两种新的坅坭坢坥坤坤坩坮坧层, 这样一来可以有效地结合文档结构和视觉信息 具体来讲, 根据坏坃坒获得的文本坂坯坵坮坤坩坮坧坂坯坸, 我们能获取文本在文档中的具体位置 将对应坐标转化为虚拟坐

5 Downstream Tasks Image Embeddings LayoutLM Embeddings + [CLS] Date Routed: January 11, 1994 Contract No FC Layers Pre-trained LayoutLM Text Embeddings Position Embeddings (x0) Position Embeddings (y0) Position Embeddings (x1) Position Embeddings (y1) E ([CLS]) + E (0) + E (0) + E (maxw) + E (maxh) E (Date) E (Routed:) E (January) E (11,) E (1994) E (Contract) E (No.) E (4011) E (86) E (117) E (227) E (281) E (303) E (415) E (468) E (556) E (138) E (138) E (138) E (138) E (139) E (138) E (139) E (139) E (112) E (162) E (277) E (293) E (331) E (464) E (487) E (583) E (148) E (148) E (153) E (148) E (149) E (149) E (149) E (150) E (0000) + E (589) + E (139) + E (621) + E (150) Pre-built OCR/ PDF Parser ROI Faster R-CNN 坆坩坧坵坲坥圴场基于坔坲坡坮坳坦坯坲坭坥坲架构的通用文档理解预训练模型坌坡坹坯坵坴坌坍 标之后, 我们计算该坐标对应在坸 坹 坷 坨四个坅坭坢坥坤坤坩坮坧子层的表示, 最终的圲圭坄坐坯坳坩坴坩坯坮坅坭坢坥坤坤坩坮坧为四个子层的坅坭坢坥坤坤坩坮坧之和 在坉坭坡坧坥坅坭坢坥坤坤坩坮坧部分, 我们将每个文本相应的坂坯坵坮坤坩坮坧坂坯坸当作坆坡坳坴坥坲坒圭坃坎坎中的候选框 ( 坐坲坯坰坯坳坡坬 ), 从而提取对应的局部特征 特殊地, 由于坛坃坌坓坝符号用于表示整个输入文本的语义, 我们同样使用整张文档图像作为该位置的坉坭坡坧坥坅坭坢坥坤坤坩坮坧, 从而保持模态对齐 在预训练阶段, 我们针对坌坡坹坯坵坴坌坍的特点提出两个自监督预训练任务 : 圱圮坍坡坳坫坥坤坖坩坳坵坡坬圭坌坡坮坧坵坡坧坥坍坯坤坥坬 ( 坍坖坌坍, 遮罩式视觉语言模型 ): 大量实验已经证明坍坌坍能够在预训练阶段有效地进行自监督学习 我们在此基础上进行了修改 : 在遮盖 ( 坍坡坳坫 ) 当前词之后, 保留对应的圲圭坄坐坯坳坩坴坩坯坮坅坭坢坥坤坤坩坮坧暗示, 让模型预测对应的词 在这种方法下, 模型根据已有的上下文和对应的视觉暗示预测被遮罩的词, 从而让模型更好地学习文本位置和文本语义的模态对齐关系 圲圮坍坵坬坴坩圭坬坡坢坥坬坄坯坣坵坭坥坮坴坃坬坡坳坳坩圌坣坡坴坩坯坮在坍坄坃, 多标签文档分类圩 : 坍坌坍能够有效的表示词级别的信息, 但是对于文档级的表示, 我们需要文档级的预训练任务来引入更高层的语义信息 在预训练阶段我们使用的坉坉坔圭坃坄坉坐数据集为每个文档提供了多标签的文档类型标注, 我们引入坍坄坃多标签文档分类任务 该任务使得模型可以利用这些监督信号去聚合相应的文档类别, 并捕捉文档类型信息, 从而获得更有效的高层语义表示 实验结果表明, 我们在预训练中引入的结构和视觉信息, 能够有效地迁移到下游任务中 最终在多个下游任务中都取得了显著的准确率提升 与传统的基于卷积神经网络和图神经网络模型不同, 通用文档智能预训练模型的优势在于可以支持不同类型的下游应用 圲圮圴 文档智能主流任务和数据集 文档智能涉及了自动阅读 理解和分析文档的相关技术, 在实际场景的应用中主要包括四大类任务, 分别是 : 文档版面分析 : 是指对文档版面内的图像 文本 表格信息和位置关系所进行的自动分析 识别和理解的过程 文档信息抽取 : 是指从文档中大量非结构化内容抽取实体及其关系的技术, 与传统的纯文本信息抽取不同, 文档的构建使得文字由一维的顺序排列变为二维的空间排列, 因此文本信息 视觉信息和位置信息在文档信息抽取中都是极为重要的影响因素 文档视觉问答 : 是指给定文档图像数据, 利用坏坃坒技术或其他文字提取技术自动识别影像资料后, 通过判断所识别文字的内在逻辑, 回答关于图片的自然语言问题

6 任务 数据集 支持语言 论文圯链接 坉坃坄坁坒圲地圱圳 英文 在均坿坯坢坥坬坥坴坡坬圮圬圲地圱圳圩 坉坃坄坁坒圲地圱圹 英文 在均坡坯坥坴坡坬圮圬圲地圱圹圩 坉坃坄坁坒圲地圲圱 英文 在坙坥坰坥坳坥坴坡坬圮圬圲地圲圱圩 坕坎坌坖 英文 在坓坨坡坨坡坢坥坴坡坬圮圬圲地圱地圩 坍坡坲坭坯坴 中文圯英文 在坆坡坮坧坥坴坡坬圮圬圲地圱圲圩 坐坵坢坔坡坢坎坥坴 英文 在坚坨坯坮坧坥坴坡坬圮圬圲地圱圹坡圩 文档版面分析 坐坵坢坌坡坹坎坥坴 英文 在坚坨坯坮坧坥坴坡坬圮圬圲地圱圹坢圩 坔坡坢坬坥坂坡坮坫 英文 在坌坩坥坴坡坬圮圬圲地圲地坡圩 坄坯坣坂坡坮坫 英文 在坌坩坥坴坡坬圮圬圲地圲地坢圩 坔坎坃坒 英文 在坁坢坤坡坬坬坡坨坥坴坡坬圮圬圲地圲圱圩 坔坡坢坌坥坘 英文 在坄坥坳坡坩坥坴坡坬圮圬圲地圲圱圩 坉坉坉坔圭坁坒圭圱圳坋 英文 在坍坯坮坤坡坬坥坴坡坬圮圬圲地圲地圩 坒坥坡坤坩坮坧坂坡坮坫 英文 坆坕坎坓坄 英文 在均坵坩坬坬坡坵坭坥坊坡坵坭坥圬圲地圱圹圩 坓坒坏坉坅 英文 在坈坵坡坮坧坥坴坡坬圮圬圲地圱圹圩 坃坏坒坄 英文 在坐坡坲坫坥坴坡坬圮圬圲地圱圹圩 坅坁坔坅坎 中文 在均坵坯坥坴坡坬圮圬圲地圱圹圩 文档信息抽取 坅坐坈坏坉坅中文在块坡坮坧坥坴坡坬圮圬圲地圲圱圩坄坥坥坰坦坯坲坭英文在坓坴坲坡坹坡坮坤坓坶坥坴坬坩坣坨坮坡坹坡圬圲地圲地圩 坋坬坥坩坳坴坥坲 英文 在坓坴坡坮坩坳圠坬坡坷坥坫坥坴坡坬圮圬圲地圲圱圩 坘坆坕坎坄 中文圯日文圯西班牙文圯法文圯意大利文圯德文圯葡萄牙文 在坘坵坥坴坡坬圮圬圲地圲圱坢圩 坄坯坣坖坑坁 英文 在坍坡坴坨坥坷坥坴坡坬圮圬圲地圲圱坢圩 文档视觉问答 坉坮坦坯坧坲坡坰坨坩坣坳坖坑坁英文在坍坡坴坨坥坷坥坴坡坬圮圬圲地圲圱坡圩坖坩坳坵坡坬坍坒坃英文在坔坡坮坡坫坡坥坴坡坬圮圬圲地圲圱圩 保险文本视觉问答 中文 文档图像分类 坔坯坢坡坣坣坯圭圳圴圸圲英文在坋坵坭坡坲坥坴坡坬圮圬圲地圱圴圩坒坖坌圭坃坄坉坐英文在坈坡坲坬坥坹坥坴坡坬圮圬圲地圱圵圩 坔坡坢坬坥圱场文档智能领域主流任务 ( 文档版面分析 文档信息抽取 文档视觉问答 文档图像分类 ) 开源数据集 文档图像分类 : 是指针对文档图像进行分析识别从而归类的过程 对于这四种主要的文档智能任务, 学术界和工业界也开源了大量相关的基准数据集, 如表圱所示 这也极大地推动了相关领域的研究人员构建新的算法模型, 特别是当前基于深度神经网络的模型在这些任务上都有不俗的表现 接下来, 我们将分别详细介绍在过去不同时期的经典模型和算法, 包括基于启发式规则的文档分析技术 基于统计机器学习的文档分析技术和基于深度学习的通用文档智能模型, 为大家提供参考 3 基于启发式规则的文档分析技术 采用启发式规则的文档分析技术大致可分为自顶向下 自底向上和混合模式三种方式 自顶向下方式将文档图片作为整体逐步将其划分为不同区域 以递归方式进行切割, 直至区域分割至预定义的标准, 通常为块或列 自底向上以像素或组件为基本元素单位, 对基本元素进行分组 合并以形成更大的同质区域 自顶向下方式在特定格式下的文档中能够更快 更高效地分析文档 而自底向上虽需要耗费更多的计算时间, 但通用型更强, 可覆盖更多不同布局类型的文档 混合方式则将其两者相结合以尝试产生更好的效果 本节从自顶向下和自底向上两种角度出发, 介绍基于坐坲坯坪坥坣坴坩坯坮坐坲坯圌坬坥 坉坭坡坧坥坓坭坥坡坲圭坩坮坧 坃坯坮坮坥坣坴坥坤坃坯坭坰坯坮坥坮坴坳等方式的文档分析技术

7 圳圮圱 坐坲坯坪坥坣坴坩坯坮坐坲坯圌坬坥 坐坲坯坪坥坣坴坩坯坮坐坲坯圌坬坥作为一种自顶向下的分析方式被广泛应用于文档分析 在坎坡坧坹坡坮坤坓坥坴坨圬圱圹圸圴圩使用坐坲坯坪坥坣坴坩坯坮坐坲坯圌坬坥中的坘圭坙切割算法对文档进行切割, 这一方式适用于具有固定文本区域和行距的结构化文本, 但该方式对边界噪声敏感且无法在倾斜的文本上提供良好性能, 对文档质量要求较高 在坂坡坲圭坙坯坳坥坦坥坴坡坬圮圬圲地地圹圩使用自适应局部投影方式计算文档的倾斜度, 以尝试消除文本倾斜导致的性能下降, 实验证明模型在倾斜和弯曲文本上得到了较为准确的结果 此外还有很多坘圭坙切割算法的变体被提出以解决现存的缺陷, 在坏圧均坯坲坭坡坮圬圱圹圹圳圩将坘圭坙切割算法扩展至使用组件边界框的投影, 在坓坹坬坷坥坳坴坥坲坡坮坤坓坥坴坨圬圱圹圹圵圩使用了编辑成本评估指标以指导模型进行分割, 均在一定程度上提高了模型的性能 坐坲坯坪坥坣坴坩坯坮坐坲坯圌坬坥分析算法适用于结构化文本, 尤其是曼哈顿 ( 坍坡坮坨坡坴坴坥坮 ) 布局文档 在布局复杂 文本倾斜或包含边界噪声的文档上可能无法展现出良好的性能 圳圮圲 坉坭坡坧坥坓坭坥坡坲坩坮坧 坉坭坡坧坥坓坭坥坡坲坩坮坧分析法指从一个位置向四周渗透, 逐渐扩展至所有同质区域, 以此确定页面当中的一个区域 在块坯坮坧坥坴坡坬圮圬圱圹圸圲圩采用自顶向下策略, 使用游长平滑算法 ( 坒坵坮圭坬坥坮坧坴坨坓坭坯坯坴坨坩坮坧坁坬坧坯坲坩坴坨坭, 坒坌坓坁 ) 判断同质区域 将图像二值化后, 像素值地表示背景, 圱为前景, 当地周围的地数目小于指定阈值坃时, 该位置的地修改为圱, 游长平滑算法通过这一操作将距离相近的前景内容合并为整体 这种方式可以逐步将字符合并为单词, 单词合并为文本行, 继而将范围不断延伸至整个同质区域 在坆坩坳坨坥坲坥坴坡坬圮圬圱圹圹地圩在此基础上对其进行进一步改进, 增加了除噪 倾斜矫正等预处理, 此外游长平滑算法的阈值坃修改为依据动态算法进行调整, 进一步提升模型的适应能力 在坅坳坰坯坳坩坴坯坥坴坡坬圮圬圱圹圹地圩采用了类似的方法, 但操作对象由像素改为了字符框 在坓坨坩坡坮坤均坯坶坩坮坤坡坲坡坪坵圬圲地地圴圩则是对图片中的每一个位置像素进行扩展, 得到一个新的灰度图, 随后进行抽取, 在手写字体 文本倾斜等情况下仍能表现出良好的性能 圳圮圳 坃坯坮坮坥坣坴坥坤坃坯坭坰坯坮坥坮坴坳 坃坯坮坮坥坣坴坥坤坃坯坭坰坯坮坥坮坴坳分析法作为一种自底向上的技术, 推测最小粒度元素之间的关系, 用于寻找同质区域, 最终将区域分类为不同属性 在坆坩坳坨坥坲坥坴坡坬圮圬圱圹圹地圩采用坃坯坮坮坥坣坴坥坤坃坯坭坰坯坮坥坮坴坳技术, 找到每个组件的坋近邻 ( 坋坎坥坡坲坥坳坴坎坥坩坧坨坢坯坲坳, 坋坎坎 ) 组件, 通过互相之间的位置 角度等关系来推断当前区域属性 在坓坡坩坴坯坨坥坴坡坬圮圬圱圹圹圳圩判断并根据文档的倾角将文字合并成线, 继而将线合并为区域, 随后将其分类为不同的属性 在坋坩坳坥坥坴坡坬圮圬圱圹圹圸圩同样尝试解决文本的倾斜问题, 作者采用了近似面积坖坯坲坯坮坯坩图 ( 坁坰坰坲坯坸坩坭坡坴坥坤坁坲坥坡坖坯坲坯坮坯坩坄坩坡坧坲坡坭 ) 来获得区域的候选边界, 这一操作对于任意倾角的区域有效 但由于计算过程中需要估计字符间距和行内间距, 因此当文档中包含大字体及宽字间距等情况时, 模型并不能发挥出良好性能 此外在坂坵坫坨坡坲坩坥坴坡坬圮圬圲地圱地圩也尝试在使用坃坯坮坮坥坣坴坥坤坃坯坭坰坯坮坥坮坴坳的基础上使用坁坵坴坯坍坌坐以便寻找分类器最佳参数, 进一步提升性能 圳圮圴 其他方法 除上文所述外, 还有一些其他的启发式规则方法, 例如, 在坂坡坩坲坤坥坴坡坬圮圬圱圹圹地圩采用自顶向下的方式按空白将文档进行切割划分区域 在坘坩坡坯坡坮坤坙坡坮圬圲地地圳圩使用了坄坥坬坡坵坮坡坹坔坲坩坡坮坧坵坬坡坴坩坯坮算法进行文档分析, 在坂坵坫坨坡坲坩坥坴坡坬圮圬圲地地圹圩在此基础上将其应用于书写随意的手写文档 此外还有一些混合算法, 在坏坫坡坭坯坴坯坡坮坤坔坡坫坡坨坡坳坨坩圬圱圹圹圳圩通过分隔符和空白来切割块, 在每个块中进一步将内部组件合并为文本行 在坓坭坩坴坨圬圲地地圹圩将文档分析分成了两部分, 首先使用自底向上的方式来定位制表符, 借助于制表符推断列布局 随后在列布局上采用自顶向下方式来推断结构和文本顺序 4 基于统计机器学习的文档分析技术 传统的文档分析过程通常分为两阶段 : 圱圮将文档图片切割, 得到多个不同候选区域 圲圮对区域进行属性分类, 将其判别为文本 图像等规定类 基于机器学习的方案也通常从这两个角度入手, 部分工作尝试使用机器学习算法参与文档的切割, 其余则尝试在已生成的区域上构造特征使用机器学习算法对区域进行分类 此外由于统计机器学习技术带来的性能上的提升, 较多基于统计机器学习的方法在表格检测任务中被尝试使用, 因表格检测作为文档分析的一个重要

8 子任务, 本节也会对其进行一些介绍 因此与前文基于技术角度的阐述方式不同的是, 从下文开始将会从文档分析中的不同任务角度来对其发展情况做出介绍 圴圮圱 文档切割 在文档的切割过程中, 在坂坡坥坣坨坬坥坲坡坮坤坉坮坧坯坬坤圬圲地圱圱圩结合坸圭坹裁剪算法, 使用逻辑斯蒂回归对文档进行切割, 丢弃空白部分 在得到相应区域后, 实验比较了坋近邻 逻辑斯蒂回归 ( 坌坯坧坩坳坴坩坣坒坥坧坲坥坳坳坩坯坮, 坌坒 ) 和最大熵马尔可夫模型 ( 坍坡坸坩坭坵坭坅坮坴坲坯坰坹坍坡坲坫坯坶坍坯坤圭坥坬坳, 坍坅坍坍 ) 等算法作为分类器的性能优劣, 实验表明最大熵马尔可夫模型和逻辑斯蒂回归在属性分类任务上可以展现出较好的性能 在坅坳坰坯坳坩坴坯坥坴坡坬圮圬圲地地圸圩在文档分割过程中进一步加强机器学习算法在其中的参与程度 在自底向上的过程中, 从字母到单词到文本行逐渐合并的过程中使用了一种基于内核的算法在坄坩坥坴坴坥坲坩坣坨坥坴坡坬圮圬圱圹圹圷圩, 并将结果转换成坸坭坬结构存储 之后使用文档组织算法 ( 坄坯坣坵坭坥坮坴坏坲坧坡坮坩坺坡坴坩坯坮坃坯坭坰坯坳坥坲, 坄坏坃 ) 对文档进行分析 在块坵坥坴坡坬圮圬圲地地圸圩则致力于文字同时存在两种阅读顺序的问题, 此前的算法均假定文字只有一种书写方向, 但遇到诸如汉语或日语等可以水平或者垂直方向书写的文字时无法正常地工作 该算法将文档分割分为四个步骤用于判断并处理文本, 并使用了支持向量机以决定是否执行步骤 圴圮圲 区域分类 在区域属性分类问题上, 大量工作主要致力于尝试不同机器学习算法作为分类器输出结果 其中在块坥坩坥坴坡坬圮圬圲地圱圳圩实验比较了支持向量机 多层感知机 ( 坍坵坬坴坩圭坌坡坹坥坲坐坥坲坣坥坰圭坴坲坯坮, 坍坌坐 ) 和高斯混合模型 ( 均坡坵坳坳坩坡坮坍坩坸坴坵坲坥坍坯坤坥坬坳, 均坍坍 ) 几种机器学习算法作为分类器时的性能优劣, 实验结果表明支持向量机和多层感知机在区域属性上的分类性能明显优于高斯混合模型 在坂坵坫坨坡坲坩坥坴坡坬圮圬圲地圱圲圩手动构造了多个特征, 对区域抽取相应特征后使用坁坵坴坯坍坌坐算法进行分类, 在阿拉伯语数据集中得到了圹圵圥的分割准确率 在坂坡坥坣坨坬坥坲坡坮坤坉坮圭坧坯坬坤圬圲地圱圱圩在文档分割上做了进一步改进, 使用了金字塔形算法, 在中世纪手稿上进行了三个不同级别的分析, 最后使用动态多层感知机 ( 坄坹坮坡坭坩坣坍坵坬坴坩圭坌坡坹坥坲坐坥坲坣坥坰坴坲坯坮, 坄坍坌坐 ) 作为分类器 圴圮圳 表格检测 除上述方式之外, 基于统计机器学习技术在表格识别领域存在大量研究 在块坡坮坧坥坴坡坬圮圬圲地地地圻块坡坮坧坴坥坴坡坬圮圬圲地地圱圻块坡坮坧坥坴坡坬圮圬圲地地圲圩使用了二叉树对文档进行自上而下分析查找表格候选区, 继而根据区域特征确定最终表格区域 在坐坩坮坴坯坥坴坡坬圮圬圲地地圳圩则使用了条件随机场在坈坔坍坌页面中抽取表格区域, 并确定表格中的标题 子标题等内容 在坥坓坩坬坶坡圬圲地地圹圩使用隐马尔可夫 ( 坈坩坤坤坥坮坍坡坲坫坯坶坍坯坤坥坬坳, 坈坍坍坳 ) 抽取表格区域 在坃坨坥坮坡坮坤坌坯坰坲坥坳坴坩圬圲地圱圱圩在手写文档中检索表格区域, 并使用支持向量机识别其中的文字区域, 随后依据文本行确定表格所在位置 在坋坡坳坡坲坥坴坡坬圮圬圲地圱圳圩同样使用了支持向量机技术 首先识别图中水平和竖直的垂直线, 随后使用支持向量机对每条线的属性进行分类, 判断该线条是否属于表格 在坂坡坲坬坡坳坥坴坡坬圮圬圲地圱圴圩使用多层感知机对文档中的坣坯坮坮坥坣坴坥坤坣坯坭坰坯坮坥坮坴进行分类, 判断其是否为文本 在坂坡坮坳坡坬坥坴坡坬圮圬圲地圱圴圩使用坬坥坰坴坯坮坩坣坡库在坂坬坯坯坭坢坥坲坧圬圱圹圹圱圩对文档进行分割, 随后对每一个区域构造包含周围环境信息的特征 使用坆坩坸圭坰坯坩坮坴坭坯坤坥坬在坌坩坥坴坡坬圮圬圲地圱圳圩对每一个区域进行分类, 用以识别文档中的表格区域 它使得模型在分类过程中不再孤立地对其进行分类, 而是学习区域相互之间的关系 在坒坡坳坨坩坤坥坴坡坬圮圬圲地圱圷圩采用了与前一份工作相同的思路, 但将操作粒度缩小为单词级别, 对每一个词进行分类, 之后使用坁坵坴坯坍坌坐来判断该词是否属于表格 5 基于深度学习的文档智能技术 近年来, 深度学习方法已经成为许多机器学习问题的解决范式 在许多研究领域, 深度学习方法被证明是十分有效的 最近, 预训练模型的流行也进一步发掘了深度神经网络的性能 而文档智能领域的发展也体现出同样的趋势 在本节中我们将现存的模型分为针对特定任务的深度学习模型和支持多种下游任务的通用预训练模型两个章节进行介绍

9 圵圮圱 圵圮圱圮圱 针对特定任务的深度学习模型 文档版面分析 文档版面分析包含两个主要的子任务 : 文档视觉结构分析和文档语义结构分析在坂坩坮圭坭坡坫坨坡坳坨坥坮坡坮坤坍坡坨坭坯坵坤圬圲地圱圹圩 文档视觉分析的主要目的是检测文档结构并确定其同类区域的边界 而文档语义结构分析是需要为这些检测到的区域标记具体的文档类别, 如标题 段落 表格等 坐坵坢坌坡坹坎坥坴在坚坨坯坮坧坥坴坡坬圮圬圲地圱圹坢圩是一个大规模的文档版面分析数据集, 通过自动解析坐坵坢坍坥坤的坘坍坌文件构建了超过圳圶地圬地地地个文档图片 坄坯坣坂坡坮坫在坌坩坥坴坡坬圮圬圲地圲地坢圩通过坡坲坘坩坶网站的坐坄坆文件和坌坡坔坥坘文件的对应关系自动构建了一个可扩展的文档版面分析数据集, 同时支持对基于文本的方法和基于图像的方法进行评测 坉坉坉坔圭坁坒圭圱圳坋在坍坯坮坤坡坬坥坴坡坬圮圬圲地圲地圩提供了圱圳圬地地地的人工标注的文档图片用于版面分析 在章节圲圮圲中, 我们介绍了将较为经典的卷积神经网络应用在文档版面分析领域的工作在坈坥坥坴坡坬圮圬圲地圱圵圻坒坥坮坥坴坡坬圮圬圲地圱圶圻坈坥坥坴坡坬圮圬圲地圱圸圻坌坩坵坥坴坡坬圮圬圲地圱圶圻坒坥坤坭坯坮坡坮坤坆坡坲坨坡坤坩圬圲地圱圸圻坙坡坮坧坥坴坡坬圮圬圲地圱圷坡圻坓坣坨坲坥坩坢坥坲坥坴坡坬圮圬圲地圱圷圩, 但随着对文档版面分析的性能要求逐渐提高, 越来越多的科研工作针对文档这一领域对目标检测算法进行了针对性的改进 在坙坡坮坧坥坴坡坬圮圬圲地圱圷坢圩将文档语义结构分析任务视为一个逐像素的分类问题 他们提出了一个同时考虑视觉和文本信息的多模态神经网络 在坖坩坡坮坡坡坮坤坏坬坩坶坥坩坲坡圬圲地圱圷圩提出了一个用于移动和云服务的文档布局分析的轻量级模型 该模型使用图像的一维信息进行推理, 并与使用二维信息的模型进行比较, 在实验中取得了较高的准确性 在坃坨坥坮坥坴坡坬圮圬圲地圱圷圩介绍了一种基于卷积神经网络 ( 坃坎坎 ) 的手写历史文件图像的页面分割方法 在坏坬坩坶坥坩坲坡坥坴坡坬圮圬圲地圱圸圩提出了一个基于坃坎坎的多任务逐像素预测模型 在块坩坣坫坡坮坤坐坵坰坰坥圬圲地圱圸圩提出了一个用于历史文件分割的高性能全卷积神经网络 ( 坆坃坎 ) 在均坲坿坵坮坩坮坧坥坴坡坬圮圬圲地圱圹圩提出了一种针对历史文献的两阶段文本行检测方法 在坓坯坴坯坡坮坤坙坯坯圬圲地圱圹圩将上下文信息纳入坆坡坳坴坥坲坒圭坃坎坎模型 该模型利用文章元素内容的局部不变性质, 提高了区域检测性能 表格检测与表格结构识别在文档版面分析中, 表格理解是一项富有挑战性的任务 有别于标题 段落等文档元素, 表格的格式通常较为多变, 结构也较为复杂 因此, 有大量的相关工作围绕表格进行展开, 其中最为主要的两个子任务分别是表格检测和表格结构识别 ( 圱 ) 表格检测是指确定文档中的表格的边界 ( 圲 ) 表格结构识别是指将表格的语义结构, 包括行 列 单元格的信息按照预定义的格式抽取出来 近年来, 有许多针对表格理解这一任务提出的数据集 坍坡坲坭坯坴在坆坡坮坧坥坴坡坬圮圬圲地圱圲圩和坕坎坌坖在坓坨坡坨坡坢坥坴坡坬圮圬圲地圱地圩是较早的表格识别数据集 坉坃坄坁坒会议在表格检测与识别上举办的多次竞赛提供了优质的表格数据集在均坿坯坢坥坬坥坴坡坬圮圬圲地圱圳圻均坡坯坥坴坡坬圮圬圲地圱圹圩 但这些传统表格数据集通常较小, 难以发挥现代深度神经网络的优势, 因此研究工作坔坡坢坬坥坂坡坮坫在坌坩坥坴坡坬圮圬圲地圲地坡圩利用坌坡坔坥坸和坏圎坣坥块坯坲坤来自动构建了一个大规模的表格理解数据集 此后, 坐坵坢坔坡坢坎坥坴在坚坨坯坮坧坥坴坡坬圮圬圲地圱圹坡圩提出了一个大规模表格数据集并提供了表格结构及单元格内容辅助表格识别 坔坎坃坒在坁坢坤坡坬坬坡坨坥坴坡坬圮圬圲地圲圱圩在提供表格标注的同时提供了表格类别的标注 针对表格理解这一任务的特性, 许多目标检测的方法在表格理解领域都能取得较好的效果 坆坡坳坴坥坲坒圭坃坎坎在坒坥坮坥坴坡坬圮圬圲地圱圶圩在表格检测任务上直接应用就能达到非常好的性能 在此基础上, 在坓坩坤坤坩坱坵坩坥坴坡坬圮圬圲地圱圸圩通过将可变形卷积应用在坆坡坳坴坥坲坒圭坃坎坎上获得了更好的性能 坃坡坳坣坡坤坥坔坡坢坎坥坴在坐坲坡坳坡坤坥坴坡坬圮圬圲地圲地圩使用了坃坡坳坣坡坤坥坒圭坃坎坎在坃坡坩坡坮坤坖坡坳坣坯坮坣坥坬坯坳圬圲地圱圸圩模型同时完成表格检测和表格结构识别 坔坡坢坬坥坓坥坮坳坥在坄坯坮坧坥坴坡坬圮圬圲地圱圹圩通过增加单元格特征 添加采样算法来显著提高了表格检测能力 除了上述两个主要的子任务, 针对已解析后表格的理解也逐渐成为新的挑战 坔坁坐坁坓在坈坥坲坺坩坧坥坴坡坬圮圬圲地圲地圩是较早的将预训练技术引入到表格理解任务的模型 通过引入额外的位置编码层, 坔坁坐坁坓可以使坔坲坡坮坳坦坯坲坭坥坲在坖坡坳坷坡坮坩坥坴坡坬圮圬圲地圱圷圩编码器接受结构化的表格输入 经过在大量的表格数据上进行掩码式预训练后, 坔坁坐坁坓在多种下游语义分析任务中显著超过了传统方法 继坔坁坐坁坓后, 坔坕坔坁在块坡坮坧坥坴坡坬圮圬圲地圲地坡圩引入了二维坐标树来表示结构化表格的层级信息, 并针对这一结构提出了基于树结构的位置表示方式和注意力机制来显示建模层次化表格 结合不同层级的预训练任务, 坔坕坔坁在多个下游数据集上取得了进一步的性能提升

10 圵圮圱圮圲 文档信息抽取 文档信息抽取是指从大量非结构化富文本文档内容中抽取语义实体及其之间关系的技术 文档信息抽取任务对于文档类别的不同, 抽取的目标实体也不尽相同 坆坕坎坓坄在均坵坩坬圭坬坡坵坭坥坊坡坵坭坥圬圲地圱圹圩是一个文档理解数据集, 其包含圱圹圹张表单, 每张表单中包含表单实体的键值对 坃坏坒坄在坐坡坲坫坥坴坡坬圮圬圲地圱圹圩是一个票据理解数据集, 并包含圸个大类共圵圴小类种实体标签 坋坬坥坩坳坴坥坲在坓坴坡坮坩坳圠坬坡坷坥坫坥坴坡坬圮圬圲地圲圱圩是一个针对长文档实体抽取任务的文档理解数据集, 包含有协议和财务报表等长文本文档 坄坥坥坰坆坯坲坭在坓坴坲坡坹坡坮坤坓坶坥坴坬坩坣坨坮坡坹坡圬圲地圲地圩数据集是一个针对电视和有线电视政治广告披露表格的英文数据集 坅坁坔坅坎数据集是针对中文证件的信息抽取数据集, 在坙坵坥坴坡坬圮圬圲地圲圱圩在其圴地地张子集上进一步添加了文本框标注 坅坐坈坏坉坅在块坡坮坧坥坴坡坬圮圬圲地圲圱圩数据集是一个针对中文文档数据的信息抽取数据集 坘坆坕坎坄在坘坵坥坴坡坬圮圬圲地圲圱坢圩是随着坌坡坹坯坵坴坘坌坍模型提出了针对坆坕坎坓坄数据集的多语言扩展版本, 包含有除英文以外的七种主流语言的富文本文档 由于富文本文档的丰富视觉信息, 很多研究工作将文档信息抽取任务建模为了计算机视觉任务, 通过语义分割或文本框回归等任务进行信息抽取 考虑到文档信息抽取中文本信息同样具有重要作用, 通常的框架是将文档图片视为像素网格, 并在该特征图上添加文本特征来获得更好的特征表示 根据添加文本特征级别的不同, 这一方法的基本发展顺序呈现出了从字符级别到单词级别再到上下文级别的趋势 坃坨坡坲坧坲坩坤在坋坡坴坴坩坥坴坡坬圮圬圲地圱圸圩利用一个基于卷积的编码器圭解码器网络, 通过将字符进行坏坮坥坨坯坴编码来将文本信息融合到图像中 坖坩坳坵坡坬块坯坲坤均坲坩坤在坋坥坲坲坯坵坭坩坥坴坡坬圮圬圲地圲地圩实现了块坯坲坤坧坲坩坤在坋坡坴坴坩坥坴坡坬圮圬圲地圱圸圩, 通过将字符级文本信息换成单词级的坷坯坲坤圲坶坥坣特征, 并融合了一定的视觉信息, 提高了抽取任务的性能 坂坅坒坔坧坲坩坤在坄坥坮坫坡坮坤坒坥坩坳坳坷坩坧圬圲地圱圹圩通过使用坂坅坒坔获得了上下文文本表示, 进一步提升了性能 坖坩坂坅坒坔坧坲坩坤在坌坩坮坥坴坡坬圮圬圲地圲圱圩在坂坅坒坔坧坲坩坤的基础上将坂坅坒坔的文本特征较早地在卷积阶段与图像特征进行融合, 从而获得了较好的效果 由于富文本文档中的信息仍以文本作为主体, 很多研究工作将文档信息抽取任务作为特殊的自然语言理解任务 在坍坡坪坵坭坤坥坲坥坴坡坬圮圬圲地圲地圩通过根据抽取目标的类别来生成目标备选, 在表单任务上取得了较好的效果 坔坒坉坅在坚坨坡坮坧坥坴坡坬圮圬圲地圲地圩联合文本检测识别与信息抽取, 让两个阶段的任务互相促进从而获得更好的信息抽取效果 在块坡坮坧坥坴坡坬圮圬圲地圲地坢圩通过三种不同模态信息的融合来预测文本片段之间的关系, 实现了对表单的层次化抽取 非结构化的富文本文档由多个邻接的文本片段组成, 那么自然可以使用图网络对非结构化富文本文档进行表示 文档中的文本片段建模为图中的节点, 而文本片段之间的关系则可建模为边, 这样整个文档就可以被表示为一个图网络 在章节圲圮圲中, 我们介绍了图神经网络在富文本文档中进行信息抽取的代表性工作在坌坩坵坥坴坡坬圮圬圲地圱圹圩 在此基础上, 逐渐有更多的研究工作基于图神经网络展开 在坈坷坡坮坧坥坴坡坬圮圬圲地圲地圩将文档建模为了有向图, 通过依存分析的方法对文档进行信息抽取 在坒坩坢坡坥坴坡坬圮圬圲地圱圹圩使用基于图神经网络的模型来进行发票中表格的信息抽取 在块坥坩坥坴坡坬圮圬圲地圲地圩通过在预训练模型的输出表示上使用图卷积神经网络来建模文本布局, 提高了信息抽取的性能 在坃坨坥坮坧坥坴坡坬圮圬圲地圲地圩通过将文档表示为图结构并使用基于图的注意力机制, 结合坃坒坆在小样本学习上取得了较好的性能 坐坉坃坋在坙坵坥坴坡坬圮圬圲地圲圱圩模型通过引入一个可基于节点进行学习的图来表示文档, 在发票抽取任务中取得了较好的性能 圵圮圱圮圳 文档图像分类 文档图像分类是指对文档图像进行归类标记的任务 坒坖坌圭坃坄坉坐在坈坡坲坬坥坹坥坴坡坬圮圬圲地圱圵圩是该任务中的代表性数据集 该数据集包含圱圶个文档图像类别共圴地地圬地地地张灰度图片 由于文档图像分类仍然属于图像分类的范畴, 所以针对自然图片的分类算法同样能较好的解决文档图像分类的问题 在坁坦坺坡坬坥坴坡坬圮圬圲地圱圵圩介绍了一种基于深度卷积神经网络 ( 坃坎坎 ) 的文档图像分类方法用于文档图像分类 为了克服小数据集样本不足的问题, 他们使用了经过坉坭坡坧坥坮坥坴训练的坁坬坥坸坮坥坴网络作为初始化, 从而迁移到文档图像领域 在坁坦坺坡坬坥坴坡坬圮圬圲地圱圷圩尝试将均坯坯坧坌坥坎坥坴圬坖均均圬坒坥坳坎坥坴等在自然图片领域获得成功的模型通过迁移学习的方式在文档图片上进行训练 在坔坥坮坳坭坥坹坥坲坡坮坤坍坡坲坴坩坮坥坺圬圲地圱圷圩通过对模型参数和数据处理的调整, 使坃坎坎模型不借助从自然图片的迁移学习就能优于此前模型的性能 在坄坡坳坥坴坡坬圮圬圲地圱圸圩提出了一个基于不同区域分类的深度卷积神经网络框架用于文档图像分类 该方法通过对文档的不同区域分别进行分类, 最终融合多个不同区域的分类器在文档图像分类上获得了明显的性能提升 在坓坡坲坫坨坥坬坡坮坤坎坡坮坤坩圬圲地圱圹圩通过引入了金字塔形的多尺度结构来抽取不同层级的特征 在坄坡坵坰坨坩坮坥坥坥坴坡坬圮圬

11 (a) (b) 坆坩坧坵坲坥圵场文档视觉问答任务示例 圲地圱圹圩通过对文档图片进行字符识别 ( 坏坃坒 ) 获得文档的文本, 并对图像特征和文本特征进行组合, 进一步提升了分类性能 圵圮圱圮圴 文档视觉问答 文档视觉问答是一个针对文档图片的高层理解任务 具体来说, 给定一张文档图片和一个针对性的问题, 模型需要根据图片给出该问题的正确答案 具体的例子如图圵所示 针对文档的视觉问答工作最早出现在数据集坄坯坣坖坑坁在坍坡坴坨坥坷坥坴坡坬圮圬圲地圲圱坢圩中, 该数据集包含了超过圱圲地地地个文档和对应的圵地地地个问题 后来, 出现了针对文档中图表的视觉问答工作坉坮坦坯坧坲坡坰坨坩坣坖坑坁在坍坡坴坨坥坷坥坴坡坬圮圬圲地圲圱坡圩 针对坄坯坣坖坑坁数据集的答案较短, 文档主题较单一的缺陷, 有研究人员提出了坖坩坳坵坡坬坍坒坃在坔坡坮坡坫坡坥坴坡坬圮圬圲地圲圱圩数据集 不同于传统坖坑坁任务, 文档视觉问答中的文档文本对任务具有关键作用, 所以现存的代表性方法都将文档图片进行字符识别 ( 坏坃坒 ) 处理得到的文档文本作为重要的信息 在得到文档文本后, 针对不同数据的特点, 视觉问答任务被建模为不同的问题 对于坄坯坣坖坑坁数据来说, 绝大部分的问题答案都是作为文本片段存在于文档文本中的, 所以主流的方法都将其建模为了机器阅读理解问题 ( 坍坡坣坨坩坮坥坒坥坡坤坩坮坧坃坯坭坰坲坥坨坥坮坳坩坯坮 ) 通过为模型提供视觉特征和文档文本, 模型根据问题在给定的文档文本上进行文本片段的抽取来作为问题答案 而对于坖坩坳坵坡坬坍坒坃数据集, 问题的答案通常不蕴含在文档文本片段中, 需要给出较长的抽象回答 因此, 在这种情况下, 可行的方法是使用文本生成式的方法生成问题的答案 圵圮圲 支持多种下游任务的通用预训练模型 以上针对特定任务的深度学习方法针对某一项文档理解任务上能够取得较好的性能, 然而这些方法主要面临两个限制 : 在圱圩这些模型通常依赖于有限的标记数据, 而忽视了挖掘大量无标注数据中的知识 对于文档理解任务尤其是其中的信息抽取任务来说, 详细标注的数据是昂贵且消耗时间的 另一方面, 由于富文本文档在现实生活的大量使用, 存在着大量的未标注文档, 而这些大量的未标注数据可以使用自监督预训练加以利用 在圲 ) 富文本文档不仅有大量的文本信息, 同时也包含丰富的版面和视觉信息 已有的针对特定任务的模型由于数据量的限制, 通常只能通过预训练的坃坖模型或坎坌坐模型来获取对应模态的特征, 而且大部分工作只利用了单一模态的信息或者是两种特征的简单组合而不是深度交互 坔坲坡坮坳坦坯坲坭坥坲在坖坡坳坷坡坮坩坥坴坡坬圮圬圲地圱圷圩在迁移学习领域的成功证明了深度上下文化 ( 坃坯坮坴坥坸坴坵坡坬坩坺坮坧 ) 对于序列建模的重要性, 因此将文本和其他模态进行深度交互融合是一个较为明显的趋势 富文本文档主要包含三种模态信息 : 文本 布局以及视觉信息, 并且这三种模态在富文本文档中有天然的对齐特性 因此, 如何对文档进行建模并且通过训练达到跨模态对齐是一

12 个重要的问题 坌坡坹坯坵坴坌坍在坘坵坥坴坡坬圮圬圲地圲地圩以及后续提出的坌坡坹坯坵坴坌坍坶圲在坘坵坥坴坡坬圮圬圲地圲圱坡圩模型的提出正是针对这一方向进行的研究工作 在章节圲圮圳中, 我们详细介绍了坌坡坹坯坵坴坌坍这一通用文档理解预训练模型, 通过将文本和布局进行联合预训练, 坌坡坹坯坵坴坌坍在多种文档理解任务上取得了显著提升 在此基础上, 又有许多后续的研究工作对这一框架进行了针对性的改进 坌坡坹坯坵坴坌坍在预训练过程中没有引入文档视觉信息, 从而在坄坯坣坖坑坁这类需要较强视觉感知能力的任务上效果欠佳 针对这一问题, 坌坡坹坯坵坴坌坍坶圲在坘坵坥坴坡坬圮圬圲地圲圱坡圩通过将视觉特征信息融入到预训练过程中, 大大提高了模型的图像理解能力 具体来说, 在结构方面, 坌坡坹坯坵坴坌坍坶圲引入了空间感知自注意力机制在坳坰坡坴坩坡坬圭坡坷坡坲坥坳坥坬坦圭坡坴坴坥坮坴坩坯坮圩, 并将视觉特征作为输入序列的一部分 在预训练目标方面, 坌坡坹坯坵坴坌坍坶圲在掩码视觉语言模型 ( 坍坡坳坫坥坤坖坩坳坵坡坬圭坌坡坮坧坵坡坧坥坍坯坤坥坬 ) 之外又提出了文本坼图像对齐 ( 坔坥坸坴圭坉坭坡坧坥坁坬坩坧坮坭坥坮坴 ) 和文本坼图像匹配 ( 坔坥坸坴圭坉坭坡坧坥坍坡坴坣坨 ) 任务 通过在这两方面的改进, 模型对于视觉信息的感知能力大大提高, 并在包括坄坯坣坖坑坁在内的六种下游任务中获得了显著提升 坌坡坹坯坵坴坌坍模型虽然在英文数据上取得了成功, 但是对于非英语世界来说文档理解任务同样重要, 而坌坡坹坯坵坴坘坌坍在坘坵坥坴坡坬圮圬圲地圲圱坢圩的提出解决了这一问题 坌坡坹坯坵坴坘坌坍基于坌坡坹坯坵坴坌坍坶圲的模型结构, 通过使用圵圳种语言进行预训练, 扩展了坌坡坹坯坵坴坌坍的语言支持 与此同时, 相比于纯文本的跨语言模型, 坌坡坹坯坵坴坘坌坍在迁移能力上有明显的优势, 这证明了不仅多语言文本之间可以进行跨语言学习, 多语言富文本文档之间的还可以进行文档布局的迁移学习 坌坡坹坯坵坴坌坍提出之后, 许多研究工作针对这一框架进行了针对性的改进 坌坁坍坂坅坒坔在均坡坲圭坮坣坡坲坥坫坥坴坡坬圮圬圲地圲地圩通过使用坒坯坂坅坒坔坡作为预训练初始化获得了更好的性能 坂坒坏坓在坈坯坮坧坥坴坡坬圮圬圲地圲地圩在引入区域掩码训练的同时在编码器阶段加入了文本空间位置信息, 提高了模型对空间位置感知能力 在坌坩坥坴坡坬圮圬圲地圲圱坡圩通过文本块内共享相同的位置信息并在预训练阶段引入位置信息预测的方式, 也让模型具有一定的位置感知能力 坌坁坍坐坒坅坔在块坵坥坴坡坬圮圬圲地圲圱圩通过为模型提供更多的模态信息如字体字号 插图等, 对网页文档进行建模, 并结合多种层次化的预训练任务来增强模型对文本和图片的理解能力 坓坥坬坦坄坯坣在坌坩坥坴坡坬圮圬圲地圲圱坢圩通过在输入阶段使用文档实体目标作为输入, 结合模态适应的注意力机制, 提升了模型的模态交互能力 坄坯坣坆坯坲坭坥坲在坁坰坰坡坬坡坲坡坪坵坥坴坡坬圮圬圲地圲圱圩通过引入了更高清的图片输入以及图像重构的预训练任务, 更加充分地利用了图像信息, 从而提高了模型性能 除了语言理解之外, 很多模型着眼于扩展模型的语言生成能力 一个共同的特点是都是用了坅坮坣坯坤坥坲圭坄坥坣坯坤坥坲范式 坔坉坌坔在坐坯坷坡坬圭坳坫坩坥坴坡坬圮圬圲地圲圱圩通过将坌坡坹坯坵坴编码层引入坔圵模型并结合文档数据预训练, 使模型能够处理文档领域的生成任务 坌坡坹坯坵坴坔圵和坌坡坹坯坵坴坂坁坒坔在坔坡坮坡坫坡坥坴坡坬圮圬圲地圲圱圩在文档视觉问答任务微调阶段在坔圵和坂坁坒坔模型的基础上引入文本位置编码, 来帮助模型理解并生成问题答案 6 结语 信息处理是数字化转型的基础和前提, 如今对处理能力 处理速度和处理精度也都有着越来越高的要求 以商业领域为例, 电子商业文档就涵盖了采购单据 行业报告 商务邮件 销售合同 雇佣协议 商业发票 个人简历等大量繁杂的信息 机器人流程自动化 ( 坒坯坢坯坴坩坣坐坲坯坣坥坳坳坁坵坴坯坭坡坴坩坯坮, 坒坐坁 ) 行业正是在这一背景下应运而生, 利用人工智能技术帮助大量人工从繁杂的电子文档处理任务中解脱出来, 并通过一系列配套的自动化工具提升生产力, 坒坐坁的关键核心之一就是文档智能分析技术 在过去的圲地年间, 文档智能分析技术主要经历了三个阶段, 从最初的基于启发式规则, 过渡到基于统计机器学习, 到近来基于深度学习的方法, 极大地提升了分析性能和准确率 与此同时我们也观察到, 以坌坡坹坯坵坴坌坍为代表的大规模自监督通用文档智能预训练模型也越来越多地受到人们的关注和使用, 逐步成为构建更为复杂算法的基本单元, 后续研究工作也层出不穷, 促使文档智能领域加速发展 展望未来, 除了解决文档多页跨页 训练数据质量参差不齐 多任务关联性较弱以及少样本零样本学习等问题, 还应该特别关注文字检测识别坏坃坒技术与文档智能技术的结合, 因为文档智能下游任务的输入通常来自于自动文字检测和识别算法, 文字识别的准确性往往对于下游任务有很大的影响 此外, 如何将文档智能技术与现有人类知识以及人工处理文档的技巧相结合, 也是未来值得探索的一个研究课题

13 参考文献 坁坢坤坥坬坲坡坨坭坡坮坁坢坤坡坬坬坡坨圬坁坬坥坸坡坮坤坥坲坂坥坲坥坮坤坥坹坥坶圬坉坳坬坡坭坎坵坲坡坤坩坮圬坡坮坤坄坡坮坩坹坡坲坎坵坲坳坥坩坴坯坶圮 圲地圲圱圮 坔坮坣坲场 坔坡坢坬坥坮坥坴坤坥坴坥坣坴坩坯坮坡坮坤坣坬坡坳坳坩圌坣坡坴坩坯坮坤坡坴坡坳坥坴圮 arxiv preprint arxiv: 圮 坍坵坨坡坭坭坡坤坚坥坳坨坡坮坁坦坺坡坬圬坓坡坭坵坥坬坥坃坡坰坯坢坩坡坮坣坯圬坍坵坨坡坭坭坡坤坉坭坲坡坮坍坡坬坩坫圬坓坩坭坯坮坥坍坡坲坩坮坡坩圬坔坨坯坭坡坳坍坂坲坥坵坥坬圬坁坮坤坲坥坡坳坄坥坮坧坥坬圬坡坮坤坍坡坲坣坵坳坌坩坷坩坣坫坩圮圲地圱圵圮坄坥坥坰坤坯坣坣坬坡坳坳坩圌坥坲场坄坯坣坵坭坥坮坴坣坬坡坳坳坩圌坣坡坴坩坯坮坷坩坴坨坤坥坥坰坣坯坮坶坯坬坵坴坩坯坮坡坬坮坥坵坲坡坬坮坥坴坷坯坲坫圮坉坮 th international conference on document analysis and recognition (ICDAR) 圬坰坡坧坥坳圱圱圱圱坻圱圱圱圵圮坉坅坅坅圮 坍坵坨坡坭坭坡坤坚坥坳坨坡坮坁坦坺坡坬圬坁坮坤坲坥坡坳坋坿坯坬坳坣坨圬坓坨坥坲坡坺坁坨坭坥坤圬坡坮坤坍坡坲坣坵坳坌坩坷坩坣坫坩圮圲地圱圷圮坃坵坴坴坩坮坧坴坨坥坥坲坲坯坲坢坹坨坡坬坦场坉坮坶坥坳坴坩坧坡坴坩坯坮坯坦坶坥坲坹坤坥坥坰坣坮坮坡坮坤坡坤坶坡坮坣坥坤坴坲坡坩坮坩坮坧坳坴坲坡坴坥坧坩坥坳坦坯坲坤坯坣坵坭坥坮坴坩坭坡坧坥坣坬坡坳坳坩圌坣坡坴坩坯坮圮坉坮 th IAPR International Conference on Document Analysis and Recognition (ICDAR) 圬坶坯坬坵坭坥圱圬坰坡坧坥坳圸圸圳坻圸圸圸圮坉坅坅坅圮 坓坲坩坫坡坲坁坰坰坡坬坡坲坡坪坵圬坂坨坡坶坡坮坊坡坳坡坮坩圬坂坨坡坲坧坡坶坡坕坲坡坬坡坋坯坴坡圬坙坵坳坨坥坮坧坘坩坥圬坡坮坤坒坍坡坮坭坡坴坨坡圮圲地圲圱圮坄坯坣圭坦坯坲坭坥坲场坅坮坤圭坴坯圭坥坮坤坴坲坡坮坳坦坯坲坭坥坲坦坯坲坤坯坣坵坭坥坮坴坵坮坤坥坲坳坴坡坮坤坩坮坧圮 arxiv preprint arxiv: 圮 坍坩坣坨坥坡坬坂坡坥坣坨坬坥坲坡坮坤坒坯坬坦坉坮坧坯坬坤圮圲地圱圱圮坍坵坬坴坩坲坥坳坯坬坵坴坩坯坮坬坡坹坯坵坴坡坮坡坬坹坳坩坳坯坦坭坥坤坩坥坶坡坬坭坡坮坵坳坣坲坩坰坴坳坵坳坩坮坧坤坹坮坡坭坩坣坭坬坰圮坉坮 2011 International Conference on Document Analysis and Recognition 圬坰坡坧坥坳圱圱圸圵坻圱圱圸圹圮坉坅坅坅圮 坈坥坮坲坹坓坂坡坩坲坤圬坓坵坳坡坮坅坊坯坮坥坳圬坡坮坤坓坴坥坶坥坮坊坆坯坲坴坵坮坥圮圱圹圹地圮坉坭坡坧坥坳坥坧坭坥坮坴坡坴坩坯坮坢坹坳坨坡坰坥圭坤坩坲坥坣坴坥坤坣坯坶坥坲坳圮坉坮 [1990] Proceedings. 10th International Conference on Pattern Recognition 圬坶坯坬坵坭坥圱圬坰坡坧坥坳圸圲地坻圸圲圵圮坉坅坅坅圮 坁坮坵坫坲坩坴坩坂坡坮坳坡坬圬均坡坵坲坡坶坈坡坲坩坴圬坡坮坤坓坵坭坡坮坴坲坡坄坵坴坴坡坒坯坹圮圲地圱圴圮坔坡坢坬坥坥坸坴坲坡坣坴坩坯坮坦坲坯坭坤坯坣坵坭坥坮坴坩坭坡坧坥坳坵坳坩坮坧圌坸坥坤坰坯坩坮坴坭坯坤坥坬圮坉坮 Proceedings of the 2014 Indian Conference on Computer Vision Graphics and Image Processing 圬坰坡坧坥坳圱坻圸圮 坉坴坡坹坂坡坲圭坙坯坳坥坦圬坎坡坴坥坈坡坧坢坩圬坋坬坡坲坡坋坥坤坥坭圬坡坮坤坉坴坳坨坡坫坄坩坮坳坴坥坩坮圮圲地地圹圮坌坩坮坥坳坥坧坭坥坮坴坡坴坩坯坮坦坯坲坤坥坧坲坡坤坥坤坨坡坮坤坷坲坩坴坴坥坮坨坩坳坴坯坲坩坣坡坬坤坯坣坵坭坥坮坴坳圮坉坮 th International Conference on Document Analysis and Recognition 圬坰坡坧坥坳圱圱圶圱坻圱圱圶圵圮坉坅坅坅圮 坐坨坩坬坩坰坰坩坮坥坂坡坲坬坡坳圬坓圓坥坢坡坳坴坩坥坮坁坤坡坭圬坃坬圓坥坭坥坮坴坃坨坡坴坥坬坡坩坮圬坡坮坤坔坨坩坥坲坲坹坐坡坱坵坥坴圮圲地圱圴圮坁坴坹坰坥坤坡坮坤坨坡坮坤圭坷坲坩坴坴坥坮坴坥坸坴坢坬坯坣坫坳坥坧坭坥坮坴坡坴坩坯坮坳坹坳坴坥坭坦坯坲坨坥坴坥坲坯坧坥坮坥坯坵坳坡坮坤坣坯坭坰坬坥坸坤坯坣坵坭坥坮坴坳圮坉坮 th IAPR International Workshop on Document Analysis Systems 圬坰坡坧坥坳圴圶坻圵地圮坉坅坅坅圮 均坡坬坡坬坍坂坩坮坭坡坫坨坡坳坨坥坮坡坮坤坓坡坢坲坩坁坍坡坨坭坯坵坤圮圲地圱圹圮坄坯坣坵坭坥坮坴坬坡坹坯坵坴坡坮坡坬坹坳坩坳场坁坣坯坭坰坲坥坨坥坮坳坩坶坥坳坵坲坶坥坹圮 ACM Computing Surveys (CSUR) 圬圵圲在圶圩场圱坻圳圶圮 坄坡坮坓坂坬坯坯坭坢坥坲坧圮圱圹圹圱圮坍坵坬坴坩坲坥坳坯坬坵坴坩坯坮坭坯坲坰坨坯坬坯坧坩坣坡坬坡坰坰坲坯坡坣坨坴坯坤坯坣坵坭坥坮坴坩坭坡坧坥坡坮坡坬坹坳坩坳圮坉坮 Proc. of the international conference on document analysis and recognition, Saint-Malo, France 圮 坓坹坥坤坓坡坱坩坢坂坵坫坨坡坲坩圬坆坡坩坳坡坬坓坨坡坦坡坩坴圬坡坮坤坔坨坯坭坡坳坍坂坲坥坵坥坬圮圲地地圹圮坓坣坲坩坰坴圭坩坮坤坥坰坥坮坤坥坮坴坨坡坮坤坷坲坩坴坴坥坮坴坥坸坴坬坩坮坥坳坳坥坧坭坥坮坴坡坴坩坯坮坵坳坩坮坧坡坣坴坩坶坥坣坯坮坴坯坵坲坳圮坉坮 th International Conference on Document Analysis and Recognition 圬坰坡坧坥坳圴圴圶坻圴圵地圮坉坅坅坅圮 坓坹坥坤坓坡坱坩坢坂坵坫坨坡坲坩圬坍坡坹坣坥坉坢坲坡坨坩坭坁坬坩坁坬坁坺坡坷坩圬坆坡坩坳坡坬坓坨坡坦坡坩坴圬坡坮坤坔坨坯坭坡坳坍坂坲坥坵坥坬圮圲地圱地圮坄坯坣坵坭坥坮坴坩坭坡坧坥坳坥坧坭坥坮坴坡坴坩坯坮坵坳坩坮坧坤坩坳坣坲坩坭坩坮坡坴坩坶坥坬坥坡坲坮坩坮坧坯坶坥坲坣坯坮坮坥坣坴坥坤坣坯坭坰坯坮坥坮坴坳圮坉坮 Proceedings of the 9th IAPR International Workshop on Document Analysis Systems 圬坰坡坧坥坳圱圸圳坻圱圹地圮 坓坹坥坤坓坡坱坩坢坂坵坫坨坡坲坩圬坔坨坯坭坡坳坍坂坲坥坵坥坬圬坁坢坥坤坥坬坫坡坤坩坲坁坳坩圬坡坮坤坊坩坨坡坤坅坬圭坓坡坮坡圮圲地圱圲圮坌坡坹坯坵坴坡坮坡坬坹坳坩坳坦坯坲坡坲坡坢坩坣坨坩坳坴坯坲坩坣坡坬坤坯坣坵坭坥坮坴坩坭坡坧坥坳坵坳坩坮坧坭坡坣坨坩坮坥坬坥坡坲坮坩坮坧圮坉坮 2012 International Conference on Frontiers in Handwriting Recognition 圬坰坡坧坥坳圶圳圹坻圶圴圴圮坉坅坅坅圮 坚坨坡坯坷坥坩坃坡坩坡坮坤坎坵坮坯坖坡坳坣坯坮坣坥坬坯坳圮圲地圱圸圮坃坡坳坣坡坤坥坲圭坣坮坮场坄坥坬坶坩坮坧坩坮坴坯坨坩坧坨坱坵坡坬坩坴坹坯坢坪坥坣坴坤坥坴坥坣坴坩坯坮圮坉坮 Proceedings of the IEEE conference on computer vision and pattern recognition 圬坰坡坧坥坳圶圱圵圴坻圶圱圶圲圮 坊坩坮坃坨坥坮坡坮坤坄坡坮坩坥坬坌坯坰坲坥坳坴坩圮圲地圱圱圮坔坡坢坬坥坤坥坴坥坣坴坩坯坮坩坮坮坯坩坳坹坯國圭坬坩坮坥坨坡坮坤坷坲坩坴坴坥坮坤坯坣坵坭坥坮坴坳圮坉坮 2011 International Conference on Document Analysis and Recognition 圬坰坡坧坥坳圳圹圹坻圴地圳圮坉坅坅坅圮 坋坡坩坃坨坥坮圬坍坡坴坨坩坡坳坓坥坵坲坥坴圬坊坥坡坮坈坥坮坮坥坢坥坲坴圬坡坮坤坒坯坬坦坉坮坧坯坬坤圮圲地圱圷圮坃坯坮坶坯坬坵坴坩坯坮坡坬坮坥坵坲坡坬坮坥坴坷坯坲坫坳坦坯坲坰坡坧坥坳坥坧坭坥坮坴坡坴坩坯坮坯坦坨坩坳坴坯坲坩坣坡坬坤坯坣坵坭坥坮坴坩坭坡坧坥坳圮坉坮 th IAPR International Conference on Document Analysis and Recognition (ICDAR) 圬坶坯坬坵坭坥圱圬坰坡坧坥坳圹圶圵坻圹圷地圮坉坅坅坅圮

14 坍坥坮坧坬坩坃坨坥坮坧圬坍坩坮坧坨坵坩坑坩坵圬坘坩坮坧坓坨坩圬坊坵坮坈坵坡坮坧圬坡坮坤块坥坩坌坩坮圮圲地圲地圮坏坮坥圭坳坨坯坴坴坥坸坴圌坥坬坤坬坡坢坥坬坩坮坧坵坳坩坮坧坡坴坴坥坮坴坩坯坮坡坮坤坢坥坬坩坥坦坰坲坯坰坡坧坡坴坩坯坮坦坯坲坳坴坲坵坣坴坵坲坥坩坮坦坯坲坭坡坴坩坯坮坥坸坴坲坡坣坴坩坯坮圮坉坮 Proceedings of the 28th ACM International Conference on Multimedia 圬坰坡坧坥坳圳圴地坻圳圴圸圮 坁坲坩坮坤坡坭坄坡坳圬坓坡坩坫坡坴坒坯坹圬坕坪坪坷坡坬坂坨坡坴坴坡坣坨坡坲坹坡圬坡坮坤坓坷坡坰坡坮坋坐坡坲坵坩圮圲地圱圸圮坄坯坣坵坭坥坮坴坩坭坡坧坥坣坬坡坳坳坩圌圭坣坡坴坩坯坮坷坩坴坨坩坮坴坲坡圭坤坯坭坡坩坮坴坲坡坮坳坦坥坲坬坥坡坲坮坩坮坧坡坮坤坳坴坡坣坫坥坤坧坥坮坥坲坡坬坩坺坡坴坩坯坮坯坦坤坥坥坰坣坯坮坶坯坬坵坴坩坯坮坡坬坮坥坵坲坡坬坮坥坴坷坯坲坫坳圮坉坮 th International Conference on Pattern Recognition (ICPR) 圬坰坡坧坥坳圳圱圸地坻圳圱圸圵圮坉坅坅坅圮 坔坹坬坥坲坄坡坵坰坨坩坮坥坥圬坎坩坫坵坮坪坐坡坴坥坬圬坡坮坤坍坯坨坡坭坭坡坤坒坡坳坨坩坤坩圮圲地圱圹圮坍坯坤坵坬坡坲坭坵坬坴坩坭坯坤坡坬坡坲坣坨坩坴坥坣坴坵坲坥坦坯坲坤坯坣坵坭坥坮坴坣坬坡坳坳坩圌坣坡坴坩坯坮圮 arxiv preprint arxiv: 圮 坔坩坭坯坉坄坥坮坫坡坮坤坃坨坲坩坳坴坩坡坮坒坥坩坳坳坷坩坧圮圲地圱圹圮坂坥坲坴坧坲坩坤场坃坯坮坴坥坸坴坵坡坬坩坺坥坤坥坭坢坥坤坤坩坮坧坦坯坲圲坤坤坯坣坵坭坥坮坴坲坥坰坲坥坳坥坮坴坡坴坩坯坮坡坮坤坵坮坤坥坲坳坴坡坮坤坩坮坧圮 arxiv preprint arxiv: 圮 坈坡坲坳坨坄坥坳坡坩圬坐坲坡坴坩坫坋坡坹坡坬圬坡坮坤坍坡坹坡坮坫坓坩坮坧坨圮圲地圲圱圮坔坡坢坬坥坸场坁坢坥坮坣坨坭坡坲坫坤坡坴坡坳坥坴坦坯坲坳坴坲坵坣坴坵坲坥坡坮坤坣坯坮坴坥坮坴坩坮坦坯坲坭坡坴坩坯坮坥坸坴坲坡坣坴坩坯坮坦坲坯坭坳坣坩坥坮坴坩圌坣坴坡坢坬坥坳圮 坔坨坯坭坡坳均坄坩坥坴坴坥坲坩坣坨圬坒坩坣坨坡坲坤坈坌坡坴坨坲坯坰圬坡坮坤坔坯坭圓坡坳坌坯坺坡坮坯圭坐圓坥坲坥坺圮圱圹圹圷圮坓坯坬坶坩坮坧坴坨坥坭坵坬坴坩坰坬坥坩坮坳坴坡坮坣坥坰坲坯坢坬坥坭坷坩坴坨坡坸坩坳圭坰坡坲坡坬坬坥坬坲坥坣坴坡坮坧坬坥坳圮 Artificial intelligence 圬圸圹在圱圭圲圩场圳圱坻圷圱圮 坈坡坯坹坵坄坯坮坧圬坓坨坩坪坩坥坌坩坵圬坓坨坩坈坡坮圬坚坨坯坵坹坵坆坵圬坡坮坤坄坯坮坧坭坥坩坚坨坡坮坧圮圲地圱圹圮坔坡坢坬坥坳坥坮坳坥场坓坰坲坥坡坤坳坨坥坥坴坴坡坢坬坥坤坥坴坥坣坴坩坯坮坷坩坴坨坣坯坮坶坯坬坵坴坩坯坮坡坬坮坥坵坲坡坬坮坥坴坷坯坲坫坳圮坉坮 Proceedings of the AAAI Conference on Artificial Intelligence 圬坶坯坬坵坭坥圳圳圬坰坡坧坥坳圶圹坻圷圶圮 坁坮坡坃坯坳坴坡坥坓坩坬坶坡圮圲地地圹圮坌坥坡坲坮坩坮坧坲坩坣坨坨坩坤坤坥坮坭坡坲坫坯坶坭坯坤坥坬坳坩坮坤坯坣坵坭坥坮坴坡坮坡坬坹坳坩坳场坔坡坢坬坥坬坯坣坡坴坩坯坮圮坉坮 th International Conference on Document Analysis and Recognition 圬坰坡坧坥坳圸圴圳坻圸圴圷圮坉坅坅坅圮 坆坬坯坲坩坡坮坡坅坳坰坯坳坩坴坯圬坄坯坮坡坴坯坍坡坬坥坲坢坡圬均坩坯坶坡坮坮坩坓坥坭坥坲坡坲坯圬坅坮坲坩坣坯坁坮坮坥坳坥圬坡坮坤均坩坯坶坡坮坮坡坓坣坡坦坵坲坯圮圱圹圹地圮坁坮坥坸坰坥坲坩坭坥坮坴坡坬坰坡坧坥坬坡坹坯坵坴坲坥坣坯坧坮坩坴坩坯坮坳坹坳坴坥坭坦坯坲坯圎坣坥坤坯坣坵坭坥坮坴坡坵坴坯坭坡坴坩坣坣坬坡坳坳坩圌坣坡坴坩坯坮场坡坮坩坮圭坴坥坧坲坡坴坥坤坡坰坰坲坯坡坣坨坦坯坲坩坮坤坵坣坴坩坶坥坧坥坮坥坲坡坬坩坺坡坴坩坯坮圮坉坮 [1990] Proceedings. 10th International Conference on Pattern Recognition 圬坶坯坬坵坭坥圱圬坰坡坧坥坳圵圵圷坻圵圶圲圮坉坅坅坅圮 坆坬坯坲坩坡坮坡坅坳坰坯坳坩坴坯圬坓坴坥坦坡坮坯坆坥坲坩坬坬坩圬坔坥坲坥坳坡坍坁坂坡坳坩坬坥圬坡坮坤坎坩坣坯坬坡坄坩坍坡坵坲坯圮圲地地圸圮坍坡坣坨坩坮坥坬坥坡坲坮坩坮坧坦坯坲坤坩坧坩坴坡坬坤坯坣坵坭坥坮坴坰坲坯坣坥坳坳坩坮坧场坆坲坯坭坬坡坹坯坵坴坡坮坡坬坹坳坩坳坴坯坭坥坴坡坤坡坴坡坥坸坴坲坡坣坴坩坯坮圮坉坮 Machine learning in document analysis and recognition 圬坰坡坧坥坳圱地圵坻圱圳圸圮坓坰坲坩坮坧坥坲圮 坊坩坮坧坆坡坮坧圬坘坩坮坔坡坯圬坚坨坩坔坡坮坧圬坒坵坩坨坥坮坧坑坩坵圬坡坮坤坙坩坮坧坌坩坵圮圲地圱圲圮坄坡坴坡坳坥坴圬坧坲坯坵坮坤圭坴坲坵坴坨坡坮坤坰坥坲坦坯坲坭坡坮坣坥坭坥坴坲坩坣坳坦坯坲坴坡坢坬坥坤坥坴坥坣坴坩坯坮坥坶坡坬坵坡坴坩坯坮圮坉坮 th IAPR International Workshop on Document Analysis Systems 圬坰坡坧坥坳圴圴圵坻圴圴圹圮坉坅坅坅圮 坊坡坭坥坳坌坆坩坳坨坥坲圬坓坴坵坡坲坴坃坈坩坮坤坳圬坡坮坤坄坯坮坡坬坤坐坄圧坁坭坡坴坯圮圱圹圹地圮坁坲坵坬坥圭坢坡坳坥坤坳坹坳坴坥坭坦坯坲坤坯坣坵坭坥坮坴坩坭坡坧坥坳坥坧坭坥坮坴坡坴坩坯坮圮坉坮 [1990] Proceedings. 10th International Conference on Pattern Recognition 圬坶坯坬坵坭坥圱圬坰坡坧坥坳圵圶圷坻圵圷圲圮坉坅坅坅圮 坌坩坡坮坧坣坡坩均坡坯圬坙坩坬坵坮坈坵坡坮坧圬坈坥坲坶圓坥坄圓坥坪坥坡坮圬坊坥坡坮圭坌坵坣坍坥坵坮坩坥坲圬坑坩坮坱坩坮坙坡坮圬坙坵坆坡坮坧圬坆坬坯坲坩坡坮坋坬坥坢坥坲圬坡坮坤坅坶坡坌坡坮坧圮圲地圱圹圮坉坣坤坡坲圲地圱圹坣坯坭坰坥坴坩坴坩坯坮坯坮坴坡坢坬坥坤坥坴坥坣坴坩坯坮坡坮坤坲坥坣坯坧坮坩坴坩坯坮在坣坴坤坡坲圩圮坉坮 2019 International Conference on Document Analysis and Recognition (ICDAR) 圬坰坡坧坥坳圱圵圱地坻圱圵圱圵圮 圠坌坵坫坡坳坺均坡坲坮坣坡坲坥坫圬坒坡坦坡圠坬坐坯坷坡坬坳坫坩圬坔坯坭坡坳坺坓坴坡坮坩坳圠坬坡坷坥坫圬坂坡坲坴坯坳坺坔坯坰坯坬坳坫坩圬坐坩坯坴坲坈坡坬坡坭坡圬坍坩坣坨坡圠坬坔坵坲坳坫坩圬坡坮坤坆坩坬坩坰均坲坡坬坩圓坮坳坫坩圮圲地圲地圮坌坡坭坢坥坲坴场坌坡坹坯坵坴圭坡坷坡坲坥在坬坡坮坧坵坡坧坥圩坭坯坤坥坬坩坮坧坦坯坲坩坮坦坯坲坭坡坴坩坯坮坥坸坴坲坡坣坴坩坯坮圮 arxiv preprint arxiv: 圮 坍坡坸坃圮均坿坯坢坥坬圬坔坡坭坩坲坈坡坳坳坡坮圬坅坲坭坥坬坩坮坤坡坏坲坯圬坡坮坤均圮坏坲坳坩圮圲地圱圳圮坉坣坤坡坲圲地圱圳坴坡坢坬坥坣坯坭坰坥坴坩坴坩坯坮圮 th International Conference on Document Analysis and Recognition 圬坰坡坧坥坳圱圴圴圹坻圱圴圵圳圮 坔坯坢坩坡坳均坲坿坵坮坩坮坧圬均坵坮坤坲坡坭坌坥坩坦坥坲坴圬坔坯坢坩坡坳坓坴坲坡坵圙圬坊坯坨坡坮坮坥坳坍坩坣坨坡坥坬圬坡坮坤坒坯坧坥坲坌坡坢坡坨坮圮圲地圱圹圮坁坴坷坯圭坳坴坡坧坥坭坥坴坨坯坤坦坯坲坴坥坸坴坬坩坮坥坤坥坴坥坣坴坩坯坮坩坮坨坩坳坴坯坲坩坣坡坬坤坯坣坵坭坥坮坴坳圮 International Journal on Document Analysis and Recognition (IJDAR) 圬圲圲在圳圩场圲圸圵坻圳地圲圮 坊坥坡坮圭坐坨坩坬坩坰坰坥坔坨坩坲坡坮均坵坩坬坬坡坵坭坥坊坡坵坭坥圬坈坡坺坩坭坋坥坭坡坬坅坫坥坮坥坬圮圲地圱圹圮坆坵坮坳坤场坁坤坡坴坡坳坥坴坦坯坲坦坯坲坭坵坮坤坥坲圭坳坴坡坮坤坩坮坧坩坮坮坯坩坳坹坳坣坡坮坮坥坤坤坯坣坵坭坥坮坴坳圮坉坮 Accepted to ICDAR-OST 圮 坈坥均坵坯圬坘坩坡坭坥坮坧坑坩坮圬坊坩坡坭坩坮坧坌坩坵圬坊坵坮坹坵坈坡坮圬坊坩坮坧坴坵坯坌坩坵圬坡坮坤坅坲坲坵坩坄坩坮坧圮圲地圱圹圮坅坡坴坥坮场坅坮坴坩坴坹圭坡坷坡坲坥坡坴坴坥坮坴坩坯坮坦坯坲坳坩坮坧坬坥坳坨坯坴坶坩坳坵坡坬坴坥坸坴坥坸坴坲坡坣坴坩坯坮圮

15 坁坤坡坭块坈坡坲坬坥坹圬坁坬坥坸坕坦坫坥坳圬坡坮坤坋坯坮坳坴坡坮坴坩坮坯坳均坄坥坲坰坡坮坩坳圮圲地圱圵圮坅坶坡坬坵坡坴坩坯坮坯坦坤坥坥坰坣坯坮坶坯坬坵坴坩坯坮坡坬坮坥坴坳坦坯坲坤坯坣坵坭坥坮坴坩坭坡坧坥坣坬坡坳坳坩圌坣坡坴坩坯坮坡坮坤坲坥坴坲坩坥坶坡坬圮坉坮 International Conference on Document Analysis and Recognition (ICDAR) 圮 坋坡坩坭坩坮坧坈坥圬坘坩坡坮坧坹坵坚坨坡坮坧圬坓坨坡坯坱坩坮坧坒坥坮圬坡坮坤坊坩坡坮坓坵坮圮 圲地圱圵圮 坄坥坥坰坲坥坳坩坤坵坡坬坬坥坡坲坮坩坮坧坦坯坲坩坭坡坧坥 坲坥坣坯坧坮坩坴坩坯坮圮 坋坡坩坭坩坮坧坈坥圬均坥坯坲坧坩坡均坫坩坯坸坡坲坩圬坐坩坯坴坲坄坯坬坬圓坡坲圬坡坮坤坒坯坳坳均坩坲坳坨坩坣坫圮圲地圱圸圮坍坡坳坫坲圭坣坮坮圮 坊坯坮坡坴坨坡坮坈坥坲坺坩坧圬坐坡坷坥圠坬坋坲坺坹坳坺坴坯坦坎坯坷坡坫圬坔坨坯坭坡坳坍坿坵坬坬坥坲圬坆坲坡坮坣坥坳坣坯坐坩坣坣坩坮坮坯圬坡坮坤坊坵坬坩坡坮坍坡坲坴坩坮坅坩坳坥坮坳坣坨坬坯坳圮圲地圲地圮坔坡坰坡坳场块坥坡坫坬坹坳坵坰坥坲坶坩坳坥坤坴坡坢坬坥坰坡坲坳坩坮坧坶坩坡坰坲坥圭坴坲坡坩坮坩坮坧圮 arxiv preprint arxiv: 圮 坔坥坡坫坧坹坵坈坯坮坧圬坄坯坮坧坈坹坵坮坋坩坭圬坍坩坮坧坩坊坩圬块坯坮坳坥坯坫坈坷坡坮坧圬坄坡坥坨坹坵坮坎坡坭圬坡坮坤坓坵坮坧坲坡坥坐坡坲坫圮圲地圲地圮坂坲坯坳场坁坰坲坥圭坴坲坡坩坮坥坤坬坡坮坧坵坡坧坥坭坯坤坥坬坦坯坲坵坮坤坥坲坳坴坡坮坤坩坮坧坴坥坸坴坳坩坮坤坯坣坵坭坥坮坴圮 坚坨坥坮坧坈坵坡坮坧圬坋坡坩坃坨坥坮圬坊坩坡坮坨坵坡坈坥圬坘坩坡坮坧坂坡坩圬坄坩坭坯坳坴坨坥坮坩坳坋坡坲坡坴坺坡坳圬坓坨坩坪坩坡坮坌坵圬坡坮坤坃圮坖圮坊坡坷坡坨坡坲圮圲地圱圹圮坉坣坤坡坲圲地圱圹坣坯坭坰坥坴坩坴坩坯坮坯坮坳坣坡坮坮坥坤坲坥坣坥坩坰坴坯坣坲坡坮坤坩坮坦坯坲坭坡坴坩坯坮坥坸坴坲坡坣坴坩坯坮圮 2019 International Conference on Document Analysis and Recognition (ICDAR) 圬坓坥坰圮 块坯坮坳坥坯坫坈坷坡坮坧圬坊坩坮坹坥坯坮坧坙坩坭圬坓坥坵坮坧坨坹坵坮坐坡坲坫圬坓坯坨坥坥坙坡坮坧圬坡坮坤坍坩坮坪坯坯坮坓坥坯圮圲地圲地圮坓坰坡圭坴坩坡坬坤坥坰坥坮坤坥坮坣坹坰坡坲坳坩坮坧坦坯坲坳坥坭坩圭坳坴坲坵坣坴坵坲坥坤坤坯坣坵坭坥坮坴坩坮坦坯坲坭坡坴坩坯坮坥坸坴坲坡坣坴坩坯坮圮 arxiv preprint arxiv: 圮 坔坨坯坴坲坥坩坮坧坡坭坋坡坳坡坲圬坐坨坩坬坩坰坰坩坮坥坂坡坲坬坡坳圬坓坥坢坡坳坴坩坥坮坁坤坡坭圬坃坬圓坥坭坥坮坴坃坨坡坴坥坬坡坩坮圬坡坮坤坔坨坩坥坲坲坹坐坡坱坵坥坴圮圲地圱圳圮坌坥坡坲坮坩坮坧坴坯坤坥坴坥坣坴坴坡坢坬坥坳坩坮坳坣坡坮坮坥坤坤坯坣坵坭坥坮坴坩坭坡坧坥坳坵坳坩坮坧坬坩坮坥坩坮坦坯坲坭坡坴坩坯坮圮坉坮 th International Conference on Document Analysis and Recognition 圬坰坡坧坥坳圱圱圸圵坻圱圱圸圹圮坉坅坅坅圮 坁坮坯坯坰坒坋坡坴坴坩圬坃坨坲坩坳坴坩坡坮坒坥坩坳坳坷坩坧圬坃坯坲坤坵坬坡均坵坤坥坲圬坓坥坢坡坳坴坩坡坮坂坲坡坲坤坡圬坓坴坥國坥坮坂坩坣坫坥坬圬坊坯坨坡坮坮坥坳坈坿坯坨坮坥圬坡坮坤坊坥坡坮坂坡坰坴坩坳坴坥坆坡坤坤坯坵坬圮圲地圱圸圮坃坨坡坲坧坲坩坤场坔坯坷坡坲坤坳坵坮坤坥坲坳坴坡坮坤坩坮坧圲坄坤坯坣坵坭坥坮坴坳圮坉坮 Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing 圬坰坡坧坥坳圴圴圵圹坻圴圴圶圹圬坂坲坵坳坳坥坬坳圬坂坥坬坧坩坵坭圬坏坣坴坯坢坥坲圭坎坯坶坥坭坢坥坲圮坁坳坳坯坣坩坡坴坩坯坮坦坯坲坃坯坭坰坵坴坡坴坩坯坮坡坬坌坩坮坧坵坩坳坴坩坣坳圮 坍坯坨坡坭坥坤坋坥坲坲坯坵坭坩圬坏坴坨坭坡坮坥坓坡坹坥坭圬坡坮坤坁坹坭坥坮坓坨坡坢坯坵圮圲地圲地圮坖坩坳坵坡坬坷坯坲坤坧坲坩坤场坉坮坦坯坲坭坡坴坩坯坮坥坸坴坲坡坣圭坴坩坯坮坦坲坯坭坳坣坡坮坮坥坤坤坯坣坵坭坥坮坴坳坵坳坩坮坧坡坭坵坬坴坩坭坯坤坡坬坡坰坰坲坯坡坣坨圮 arxiv preprint arxiv: 圮 坋坯坩坣坨坩坋坩坳坥圬坁坫坩坮坯坲坩坓坡坴坯圬坡坮坤坍坯坴坯坩坉坷坡坴坡圮圱圹圹圸圮坓坥坧坭坥坮坴坡坴坩坯坮坯坦坰坡坧坥坩坭坡坧坥坳坵坳坩坮坧坴坨坥坡坲坥坡坶坯坲坯坮坯坩坤坩坡坧坲坡坭圮 Computer Vision and Image Understanding 圬圷地在圳圩场圳圷地坻圳圸圲圮 坊圮坋坵坭坡坲圬坐坥坮坧坙坥圬坡坮坤坄圮坄坯坥坲坭坡坮坮圮圲地圱圴圮坓坴坲坵坣坴坵坲坡坬坳坩坭坩坬坡坲坩坴坹坦坯坲坤坯坣坵坭坥坮坴坩坭坡坧坥坣坬坡坳坳坩圌坣坡坴坩坯坮坡坮坤坲坥坴坲坩坥坶坡坬圮 Pattern Recognit. Lett. 圬圴圳场圱圱圹坻圱圲圶圮 坑坵坡坮坮坡坮坌坩圬坊坩坮坧坤坯坮坧块坡坮坧圬坄坡坶坩坤块坩坰坦圬坡坮坤坚坨坵坯坷坥坮坔坵圮圲地圱圳圮坆坩坸坥坤圭坰坯坩坮坴坭坯坤坥坬坦坯坲坳坴坲坵坣坴坵坲坥坤坬坡坢坥坬坩坮坧圮坉坮 International conference on machine learning 圬坰坡坧坥坳圲圱圴坻圲圲圱圮坐坍坌坒圮 坍坩坮坧坨坡坯坌坩圬坌坥坩坃坵坩圬坓坨坡坯坨坡坮坈坵坡坮坧圬坆坵坲坵块坥坩圬坍坩坮坧坚坨坯坵圬坡坮坤坚坨坯坵坪坵坮坌坩圮圲地圲地坡圮坔坡坢坬坥坂坡坮坫场坔坡坢坬坥坢坥坮坣坨坭坡坲坫坦坯坲坩坭坡坧坥圭坢坡坳坥坤坴坡坢坬坥坤坥坴坥坣坴坩坯坮坡坮坤坲坥坣坯坧坮坩坴坩坯坮圮坉坮 Proceedings of the 12th Language Resources and Evaluation Conference 圬坰坡坧坥坳圱圹圱圸坻圱圹圲圵圬坍坡坲坳坥坩坬坬坥圬坆坲坡坮坣坥圬坍坡坹圮坅坵坲坯坰坥坡坮坌坡坮坧坵坡坧坥坒坥坳坯坵坲坣坥坳坁坳坳坯坣坩坡坴坩坯坮圮 坍坩坮坧坨坡坯坌坩圬坙坩坨坥坮坧坘坵圬坌坥坩坃坵坩圬坓坨坡坯坨坡坮坈坵坡坮坧圬坆坵坲坵块坥坩圬坚坨坯坵坪坵坮坌坩圬坡坮坤坍坩坮坧坚坨坯坵圮圲地圲地坢圮坄坯坣坂坡坮坫场坁坢坥坮坣坨坭坡坲坫坤坡坴坡坳坥坴坦坯坲坤坯坣坵坭坥坮坴坬坡坹坯坵坴坡坮坡坬坹坳坩坳圮坉坮 Proceedings of the 28th International Conference on Computational Linguistics 圬坰坡坧坥坳圹圴圹坻圹圶地圬坂坡坲坣坥坬坯坮坡圬坓坰坡坩坮在坏坮坬坩坮坥圩圬坄坥坣坥坭坢坥坲圮坉坮坴坥坲坮坡坴坩坯坮坡坬坃坯坭坭坩坴坴坥坥坯坮坃坯坭坰坵坴坡坴坩坯坮坡坬坌坩坮坧坵坩坳坴坩坣坳圮 坃坨坥坮坬坩坡坮坧坌坩圬坂坩坮坂坩圬坍坩坮坧坙坡坮圬块坥坩块坡坮坧圬坓坯坮坧坦坡坮坧坈坵坡坮坧圬坆坥坩坈坵坡坮坧圬坡坮坤坌坵坯坓坩圮圲地圲圱坡圮坓坴坲坵坣圭坴坵坲坡坬坬坭场坓坴坲坵坣坴坵坲坡坬坰坲坥圭坴坲坡坩坮坩坮坧坦坯坲坦坯坲坭坵坮坤坥坲坳坴坡坮坤坩坮坧圮 arxiv preprint arxiv: 圮 坐坥坩坺坨坡坯坌坩圬坊坩坵坸坩坡坮坧均坵圬坊坡坳坯坮坋坵坥坮圬坖坬坡坤坉坍坯坲坡坲坩坵圬坈坡坮坤坯坮坧坚坨坡坯圬坒坡坪坩坶坊坡坩坮圬坖坡坲坵坮坍坡坮坪坵坮坡坴坨坡圬坡坮坤坈坯坮坧坦坵坌坩坵圮圲地圲圱坢圮坓坥坬坦坤坯坣场坓坥坬坦圭坳坵坰坥坲坶坩坳坥坤坤坯坣坵坭坥坮坴坲坥坰坲坥坳坥坮坴坡坴坩坯坮坬坥坡坲坮坩坮坧圮坉坮 Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition 圬坰坡坧坥坳圵圶圵圲坻圵圶圶地圮 块坥坩坨坯坮坧坌坩坮圬坑坩坦坡坮坧均坡坯圬坌坥坩坓坵坮圬坚坨坵坯坹坡坯坚坨坯坮坧圬坋坡坩坈坵圬坑坩坮坒坥坮圬坡坮坤坑坩坡坮坧坈坵坯圮圲地圲圱圮坖坩坢坥坲坴圭坧坲坩坤场坁坪坯坩坮坴坬坹坴坲坡坩坮坥坤坭坵坬坴坩圭坭坯坤坡坬圲坤坤坯坣坵坭坥坮坴坲坥坰坲坥坳坥坮坴坡坴坩坯坮坦坯坲坫坥坹坩坮坦坯坲坭坡坴坩坯坮坥坸坴坲坡坣坴坩坯坮坦坲坯坭坤坯坣坵坭坥坮坴坳圮 arxiv preprint arxiv: 圮

16 块坥坩坌坩坵圬坄坲坡坧坯坭坩坲坁坮坧坵坥坬坯坶圬坄坵坭坩坴坲坵坅坲坨坡坮圬坃坨坲坩坳坴坩坡坮坓坺坥坧坥坤坹圬坓坣坯坴坴坒坥坥坤圬坃坨坥坮坧圭坙坡坮坧坆坵圬坡坮坤坁坬坥坸坡坮坤坥坲坃圮坂坥坲坧圮圲地圱圶圮坓坳坤场坓坩坮坧坬坥坳坨坯坴坭坵坬坴坩坢坯坸坤坥坴坥坣坴坯坲圮 Lecture Notes in Computer Science 圬坰坡坧坥圲圱坻圳圷圮 坘坩坡坯坪坩坮坧坌坩坵圬坆坥坩坹坵均坡坯圬坑坩坯坮坧坚坨坡坮坧圬坡坮坤坈坵坡坳坨坡坚坨坡坯圮圲地圱圹圮均坲坡坰坨坣坯坮坶坯坬坵坴坩坯坮坦坯坲坭坵坬坴坩坭坯坤坡坬坩坮坦坯坲坭坡坴坩坯坮坥坸坴坲坡坣坴坩坯坮坦坲坯坭坶坩坳坵坡坬坬坹坲坩坣坨坤坯坣坵坭坥坮坴坳圮坉坮 Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Industry Papers) 圬坰坡坧坥坳圳圲坻圳圹圬坍坩坮坮坥坡坰坯坬坩坳圬坍坩坮坮坥坳坯坴坡圬坊坵坮坥圮坁坳坳坯坣坩坡坴坩坯坮坦坯坲坃坯坭坰坵坴坡坴坩坯坮坡坬坌坩坮坧坵坩坳坴坩坣坳圮 坂坯坤坨坩坳坡坴坴坷坡坐坲坡坳坡坤坍坡坪坵坭坤坥坲圬坎坡坶坮坥坥坴坐坯坴坴坩圬坓坡坮坤坥坥坰坔坡坴坡圬坊坡坭坥坳坂坲坡坤坬坥坹块坥坮坤坴圬坑坩坚坨坡坯圬坡坮坤坍坡坲坣坎坡坪坯坲坫圮圲地圲地圮坒坥坰坲坥坳坥坮坴坡坴坩坯坮坬坥坡坲坮坩坮坧坦坯坲坩坮坦坯坲坭坡坴坩坯坮坥坸坴坲坡坣坴坩坯坮坦坲坯坭坦坯坲坭圭坬坩坫坥坤坯坣坵坭坥坮坴坳圮坉坮 proceedings of the 58th annual meeting of the Association for Computational Linguistics 圬坰坡坧坥坳圶圴圹圵坻圶圵地圴圮 坍坩坮坥坳坨坍坡坴坨坥坷圬坖坩坲坡坪坂坡坧坡坬圬坒坵坢園坥坮坐圓坥坲坥坺坔坩坴坯圬坄坩坭坯坳坴坨坥坮坩坳坋坡坲坡坴坺坡坳圬坅坲坮坥坳坴坖坡坬坶坥坮坹圬坡坮坤坃圮坖坊坡坷坡坨坡坲圮圲地圲圱坡圮坉坮坦坯坧坲坡坰坨坩坣坶坱坡圮 坍坩坮坥坳坨坍坡坴坨坥坷圬坄坩坭坯坳坴坨坥坮坩坳坋坡坲坡坴坺坡坳圬坡坮坤坃圮坖圮坊坡坷坡坨坡坲圮 圲地圲圱坢圮 坄坯坣坶坱坡场坁坤坡坴坡坳坥坴坦坯坲坶坱坡坯坮 坤坯坣坵坭坥坮坴坩坭坡坧坥坳圮 坁坪坯坹坍坯坮坤坡坬圬坐坥坴坥坲坌坩坰坰坳圬坡坮坤坃坖坊坡坷坡坨坡坲圮圲地圲地圮坉坩坩坴圭坡坲圭圱圳坫场坡坮坥坷坤坡坴坡坳坥坴坦坯坲坧坲坡坰坨坩坣坡坬坯坢坪坥坣坴坤坥坴坥坣坴坩坯坮坩坮坤坯坣坵坭坥坮坴坳圮坉坮 International Workshop on Document Analysis Systems 圬坰坡坧坥坳圲圱圶坻圲圳地圮坓坰坲坩坮坧坥坲圮 均坥坯坲坧坥坎坡坧坹坡坮坤坓坨坡坲坡坤坃坓坥坴坨圮圱圹圸圴圮坈坩坥坲坡坲坣坨坩坣坡坬坲坥坰坲坥坳坥坮坴坡坴坩坯坮坯坦坯坰坴坩坣坡坬坬坹坳坣坡坮坮坥坤坤坯坣坵坭坥坮坴坳圮 坌坡坷坲坥坮坣坥坏圧均坯坲坭坡坮圮圱圹圹圳圮坔坨坥坤坯坣坵坭坥坮坴坳坰坥坣坴坲坵坭坦坯坲坰坡坧坥坬坡坹坯坵坴坡坮坡坬坹坳坩坳圮 IEEE Transactions on pattern analysis and machine intelligence 圬圱圵在圱圱圩场圱圱圶圲坻圱圱圷圳圮 坍坡坳坡坹坵坫坩坏坫坡坭坯坴坯坡坮坤坍坡坫坯坴坯坔坡坫坡坨坡坳坨坩圮圱圹圹圳圮坁坨坹坢坲坩坤坰坡坧坥坳坥坧坭坥坮坴坡坴坩坯坮坭坥坴坨坯坤圮坉坮 Proceedings of 2nd International Conference on Document Analysis and Recognition (ICDAR 93) 圬坰坡坧坥坳圷圴圳坻圷圴圶圮坉坅坅坅圮 坓坯圌坡坁坲坥坳坏坬坩坶坥坩坲坡圬坂坥坮坯坩坴坓坥坧坵坩坮圬坡坮坤坆坲坥坤坥坲坩坣坋坡坰坬坡坮圮圲地圱圸圮坤坨坳坥坧坭坥坮坴场坁坧坥坮坥坲坩坣坤坥坥坰圭坬坥坡坲坮坩坮坧坡坰坰坲坯坡坣坨坦坯坲坤坯坣坵坭坥坮坴坳坥坧坭坥坮坴坡坴坩坯坮圮坉坮 th International Conference on Frontiers in Handwriting Recognition (ICFHR) 圬坰坡坧坥坳圷坻圱圲圮坉坅坅坅圮 坓坥坵坮坧坨坹坵坮坐坡坲坫圬坓坥坵坮坧坓坨坩坮圬坂坡坤坯坌坥坥圬坊坵坮坹坥坯坰坌坥坥圬坊坡坥坨坥坵坮坧坓坵坲坨圬坍坩坮坪坯坯坮坓坥坯圬坡坮坤坈坷坡坬坳坵坫坌坥坥圮圲地圱圹圮坃坯坲坤场坁坣坯坮坳坯坬坩坤坡坴坥坤坲坥坣坥坩坰坴坤坡坴坡坳坥坴坦坯坲坰坯坳坴圭坯坣坲坰坡坲坳坩坮坧圮 坄坡坶坩坤坐坩坮坴坯圬坁坮坤坲坥坷坍坣坃坡坬坬坵坭圬坘坩坮坧块坥坩圬坡坮坤块坂坲坵坣坥坃坲坯坦坴圮圲地地圳圮坔坡坢坬坥坥坸坴坲坡坣坴坩坯坮坵坳坩坮坧坣坯坮坤坩坴坩坯坮坡坬坲坡坮坤坯坭圌坥坬坤坳圮坉坮 Proceedings of the 26th annual international ACM SIGIR conference on Research and development in informaion retrieval 圬坰坡坧坥坳圲圳圵坻圲圴圲圮 坒坡坦坡圠坬坐坯坷坡坬坳坫坩圬圠坌坵坫坡坳坺坂坯坲坣坨坭坡坮坮圬坄坡坷坩坤坊坵坲坫坩坥坷坩坣坺圬坔坯坭坡坳坺坄坷坯坪坡坫圬坍坩坣坨坡圠坬坐坩坥坴坲坵坳坺坫坡圬坡坮坤均坡坢坲坩坥坬坡坐坡圠坬坫坡圮圲地圲圱圮均坯坩坮坧坦坵坬坬圭坴坩坬坴坢坯坯坧坩坥坯坮坤坯坣坵坭坥坮坴坵坮坤坥坲坳坴坡坮坤坩坮坧坷坩坴坨坴坥坸坴圭坩坭坡坧坥圭坬坡坹坯坵坴坴坲坡坮坳坦坯坲坭坥坲圮 arxiv preprint arxiv: 圮 坄坥坶坡坳坨坩坳坨坐坲坡坳坡坤圬坁坹坡坮均坡坤坰坡坬圬坋坳坨坩坴坩坪坋坡坰坡坤坮坩圬坍坡坮坩坳坨坖坩坳坡坶坥圬坡坮坤坋坡坶坩坴坡坓坵坬坴坡坮坰坵坲坥圮圲地圲地圮坃坡坳圭坣坡坤坥坴坡坢坮坥坴场坁坮坡坰坰坲坯坡坣坨坦坯坲坥坮坤坴坯坥坮坤坴坡坢坬坥坤坥坴坥坣坴坩坯坮坡坮坤坳坴坲坵坣坴坵坲坥坲坥坣坯坧坮坩坴坩坯坮坦坲坯坭坩坭坡坧坥圭坢坡坳坥坤坤坯坣坵坭坥坮坴坳圮坉坮 Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops 圬坰坡坧坥坳圵圷圲坻圵圷圳圮 坓坨坥坩坫坨坆坡坩坳坡坬坒坡坳坨坩坤圬坁坢坤坵坬坬坡坨坁坫坭坡坬圬坍坵坨坡坭坭坡坤坁坤坮坡坮圬坁坬坩坁坤坮坡坮坁坳坬坡坭圬坡坮坤坁坮坤坲坥坡坳坄坥坮坧坥坬圮圲地圱圷圮坔坡坢坬坥坲坥坣坯坧坮坩坴坩坯坮坩坮坨坥坴坥坲坯坧坥坮坥坯坵坳坤坯坣坵坭坥坮坴坳坵坳坩坮坧坭坡坣坨坩坮坥坬坥坡坲坮坩坮坧圮坉坮 th IAPR International conference on document analysis and recognition (ICDAR) 圬坶坯坬坵坭坥圱圬坰坡坧坥坳圷圷圷坻圷圸圲圮坉坅坅坅圮 坊坯坳坥坰坨坒坥坤坭坯坮坡坮坤坁坬坩坆坡坲坨坡坤坩圮圲地圱圸圮坙坯坬坯坶圳场坁坮坩坮坣坲坥坭坥坮坴坡坬坩坭坰坲坯坶坥坭坥坮坴圮 arxiv 圮 坓坨坡坯坱坩坮坧坒坥坮圬坋坡坩坭坩坮坧坈坥圬坒坯坳坳均坩坲坳坨坩坣坫圬坡坮坤坊坩坡坮坓坵坮圮圲地圱圶圮坆坡坳坴坥坲坲圭坣坮坮场坴坯坷坡坲坤坳坲坥坡坬圭坴坩坭坥坯坢圭坪坥坣坴坤坥坴坥坣坴坩坯坮坷坩坴坨坲坥坧坩坯坮坰坲坯坰坯坳坡坬坮坥坴坷坯坲坫坳圮 IEEE transactions on pattern analysis and machine intelligence 圬圳圹在圶圩场圱圱圳圷坻圱圱圴圹圮 坐坡坵坒坩坢坡圬坁坮坪坡坮坄坵坴坴坡圬坌坵坴坺均坯坬坤坭坡坮坮圬坁坬坩坣坩坡坆坯坲坮圓坥坳圬坏坲坩坯坬坒坡坭坯坳圬坡坮坤坊坯坳坥坰坌坬坡坤圓坯坳圮圲地圱圹圮坔坡坢坬坥坤坥坴坥坣坴坩坯坮坩坮坩坮坶坯坩坣坥坤坯坣坵坭坥坮坴坳坢坹坧坲坡坰坨坮坥坵坲坡坬坮坥坴坷坯坲坫坳圮坉坮 2019 International Conference on Document Analysis and Recognition (ICDAR) 圬坰坡坧坥坳圱圲圲坻圱圲圷圮坉坅坅坅圮

17 坔坡坫坡坳坨坩坓坡坩坴坯坨圬坍坩坣坨坩坹坯坳坨坩坔坡坣坨坩坫坡坷坡圬坡坮坤坔坯坳坨坩坦坵坭坩坙坡坭坡坡坩圮圱圹圹圳圮坄坯坣坵坭坥坮坴坩坭坡坧坥坳坥坧坭坥坮坴坡坴坩坯坮坡坮坤坴坥坸坴坡坲坥坡坯坲坤坥坲坩坮坧圮坉坮 Proceedings of 2nd International Conference on Document Analysis and Recognition (ICDAR 93) 圬坰坡坧坥坳圳圲圳坻圳圲圹圮坉坅坅坅圮 坒坩坴坥坳坨坓坡坲坫坨坥坬坡坮坤坁坲坮坡坢坎坡坮坤坩圮圲地圱圹圮坄坥坴坥坲坭坩坮坩坳坴坩坣坲坯坵坴坩坮坧坢坥坴坷坥坥坮坬坡坹坯坵坴坡坢坳坴坲坡坣坴坩坯坮坳坦坯坲坭坵坬坴坩圭坳坣坡坬坥坣坬坡坳坳坩圌坣坡坴坩坯坮坯坦坶坩坳坵坡坬坬坹坲坩坣坨坤坯坣坵坭坥坮坴坳圮坉坮 28th International Joint Conference on Artificial Intelligence (IJCAI), 2019 圮 坓坥坢坡坳坴坩坡坮坓坣坨坲坥坩坢坥坲圬坓坴坥坦坡坮坁坧坮坥圬坉坶坯块坯坬坦圬坁坮坤坲坥坡坳坄坥坮坧坥坬圬坡坮坤坓坨坥坲坡坺坁坨坭坥坤圮圲地圱圷圮坄坥坥坰坤坥坳坲坴场坄坥坥坰坬坥坡坲坮坩坮坧坦坯坲坤坥坴坥坣坴坩坯坮坡坮坤坳坴坲坵坣坴坵坲坥坲坥坣坯坧坮坩坴坩坯坮坯坦坴坡坢坬坥坳坩坮坤坯坣坵坭坥坮坴坩坭坡坧坥坳圮坉坮 th IAPR International Conference on Document Analysis and Recognition (ICDAR) 圬坶坯坬坵坭坥地圱圬坰坡坧坥坳圱圱圶圲坻圱圱圶圷圮 坁坳坩坦坓坨坡坨坡坢圬坆坡坩坳坡坬坓坨坡坦坡坩坴圬坔坨坯坭坡坳坋坩坥坮坩坮坧坥坲圬坡坮坤坁坮坤坲坥坡坳坄坥坮坧坥坬圮圲地圱地圮坁坮坯坰坥坮坡坰坰坲坯坡坣坨坴坯坷坡坲坤坳坴坨坥坢坥坮坣坨坭坡坲坫坩坮坧坯坦坴坡坢坬坥坳坴坲坵坣坴坵坲坥坲坥坣坯坧坮坩坴坩坯坮坳坹坳坴坥坭坳圮坉坮 Proceedings of the 9th IAPR International Workshop on Document Analysis Systems 圬坄坁坓圧圱地圬坰坡坧坥圱圱圳坻圱圲地圬坎坥坷坙坯坲坫圬坎坙圬坕坓坁圮坁坳坳坯坣坩坡坴坩坯坮坦坯坲坃坯坭坰坵坴坩坮坧坍坡坣坨坩坮坥坲坹圮 坚坨坩坸坩坮坓坨坩坡坮坤坖坥坮坵均坯坶坩坮坤坡坲坡坪坵圮圲地地圴圮坌坩坮坥坳坥坰坡坲坡坴坩坯坮坦坯坲坣坯坭坰坬坥坸坤坯坣坵坭坥坮坴坩坭坡坧坥坳坵坳坩坮坧坦坵坺坺坹坲坵坮坬坥坮坧坴坨圮坉坮 First International Workshop on Document Image Analysis for Libraries, Proceedings. 圬坰坡坧坥坳圳地圶坻圳圱圲圮坉坅坅坅圮 坓坨坯坡坩坢坁坨坭坥坤坓坩坤坤坩坱坵坩圬坍坵坨坡坭坭坡坤坉坭坲坡坮坍坡坬坩坫圬坓坴坥坦坡坮坁坧坮坥圬坁坮坤坲坥坡坳坄坥坮坧坥坬圬坡坮坤坓坨坥坲坡坺坁坨坭坥坤圮圲地圱圸圮坄坥坣坮坴场坄坥坥坰坤坥坦坯坲坭坡坢坬坥坣坮坮坦坯坲坴坡坢坬坥坤坥坴坥坣坴坩坯坮圮 IEEE Access 圬圶场圷圴圱圵圱坻圷圴圱圶圱圮 坒坡坹坭坯坮坤块坓坭坩坴坨圮圲地地圹圮坈坹坢坲坩坤坰坡坧坥坬坡坹坯坵坴坡坮坡坬坹坳坩坳坶坩坡坴坡坢圭坳坴坯坰坤坥坴坥坣坴坩坯坮圮坉坮 th International Conference on Document Analysis and Recognition 圬坰坡坧坥坳圲圴圱坻圲圴圵圮坉坅坅坅圮 坃坡坲坬坯坳坓坯坴坯坡坮坤坓坨坩坮坪坡坥坙坯坯圮圲地圱圹圮坖坩坳坵坡坬坤坥坴坥坣坴坩坯坮坷坩坴坨坣坯坮坴坥坸坴坦坯坲坤坯坣坵坭坥坮坴坬坡坹坯坵坴坡坮坡坬坹坳坩坳圮坉坮 Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) 圬坰坡坧坥坳圳圴圶圲坻圳圴圶圸圬坈坯坮坧坋坯坮坧圬坃坨坩坮坡圬坎坯坶坥坭坢坥坲圮坁坳坳坯坣坩坡坴坩坯坮坦坯坲坃坯坭坰坵坴坡坴坩坯坮坡坬坌坩坮坧坵坩坳坴坩坣坳圮 坔坯坭坡坳坺坓坴坡坮坩坳圠坬坡坷坥坫圬坆坩坬坩坰均坲坡坬坩圓坮坳坫坩圬坁坮坮坡块坲圓坯坢坬坥坷坳坫坡圬坄坡坷坩坤坌坩坰坩圓坮坳坫坩圬坁坧坮坩坥坳坺坫坡坋坡坬坩坳坫坡圬坐坡坵坬坩坮坡坒坯坳坡坬坳坫坡圬坂坡坲坴坯坳坺坔坯坰坯坬坳坫坩圬坡坮坤坐坲坺坥坭坹坳圠坬坡坷坂坩坥坣坥坫圮圲地圲圱圮坋坬坥坩坳坴坥坲场坋坥坹坩坮坦坯坲坭坡坴坩坯坮坥坸坴坲坡坣坴坩坯坮坤坡坴坡坳坥坴坳坩坮坶坯坬坶坩坮坧坬坯坮坧坤坯坣坵坭坥坮坴坳坷坩坴坨坣坯坭坰坬坥坸坬坡坹坯坵坴坳圮 坊坯坮坡坴坨坡坮坓坴坲坡坹坡坮坤坓坴坡坣坥坹坓坶坥坴坬坩坣坨坮坡坹坡圮圲地圲地圮坐坲坯坪坥坣坴坤坥坥坰坦坯坲坭场坅坸坴坲坡坣坴坩坮坦坯坲坭坡坴坩坯坮坦坲坯坭坤坯坣坵坭坥坮坴坳圮 坄坯坮坓坹坬坷坥坳坴坥坲坡坮坤坓坨坡坲坡坤坓坥坴坨圮圱圹圹圵圮坁坴坲坡坩坮坡坢坬坥圬坳坩坮坧坬坥圭坰坡坳坳坡坬坧坯坲坩坴坨坭坦坯坲坣坯坬坵坭坮坳坥坧坭坥坮坴坡坴坩坯坮圮坉坮 Proceedings of 3rd International Conference on Document Analysis and Recognition 圬坶坯坬坵坭坥圲圬坰坡坧坥坳圶圱圵坻圶圱圸圮坉坅坅坅圮 坒坹坯坴坡坔坡坮坡坫坡圬坋坹坯坳坵坫坥坎坩坳坨坩坤坡圬坡坮坤坓坥坮坙坯坳坨坩坤坡圮圲地圲圱圮坖坩坳坵坡坬坭坲坣场坍坡坣坨坩坮坥坲坥坡坤坩坮坧坣坯坭坰坲坥坨坥坮坳坩坯坮坯坮坤坯坣坵坭坥坮坴坩坭坡坧坥坳圮 arxiv preprint arxiv: 圮 坃坨坲坩坳坔坥坮坳坭坥坹坥坲坡坮坤坔坯坮坹坍坡坲坴坩坮坥坺圮圲地圱圷圮坁坮坡坬坹坳坩坳坯坦坣坯坮坶坯坬坵坴坩坯坮坡坬坮坥坵坲坡坬坮坥坴坷坯坲坫坳坦坯坲坤坯坣坵坭坥坮坴坩坭坡坧坥坣坬坡坳坳坩圌坣坡坴坩坯坮圮坉坮 th IAPR International Conference on Document Analysis and Recognition (ICDAR) 圬坶坯坬坵坭坥圱圬坰坡坧坥坳圳圸圸坻圳圹圳圮坉坅坅坅圮 坁坳坨坩坳坨坖坡坳坷坡坮坩圬坎坯坡坭坓坨坡坺坥坥坲圬坎坩坫坩坐坡坲坭坡坲圬坊坡坫坯坢坕坳坺坫坯坲坥坩坴圬坌坬坩坯坮坊坯坮坥坳圬坁坩坤坡坮坎均坯坭坥坺圬圠坌坵坫坡坳坺坋坡坩坳坥坲圬坡坮坤坉坬坬坩坡坐坯坬坯坳坵坫坨坩坮圮圲地圱圷圮坁坴坴坥坮坴坩坯坮坩坳坡坬坬坹坯坵坮坥坥坤圮坉坮 Advances in neural information processing systems 圬坰坡坧坥坳圵圹圹圸坻圶地地圸圮 坍坡坴坨坥坵坳坐坡坬坨坡坲坥坳坖坩坡坮坡坡坮坤坄圓坡坲坩坯坁坵坧坵坳坴坯坂坯坲坧坥坳坏坬坩坶坥坩坲坡圮圲地圱圷圮坆坡坳坴坣坮坮圭坢坡坳坥坤坤坯坣坵坭坥坮坴坬坡坹坯坵坴坡坮坡坬坹坳坩坳圮 2017 IEEE International Conference on Computer Vision Workshops (ICCVW) 圬坰坡坧坥坳圱圱圷圳坻圱圱圸地圮 坙坡坬坩坮块坡坮坧圬坒坯坢坥坲坴坈坡坲坡坬坩坣坫圬坡坮坤坉坨坳坩坮坔坐坨坩坬坬坩坰坳圮圲地地地圮坉坭坰坲坯坶坥坭坥坮坴坯坦坺坯坮坥坣坯坮坴坥坮坴坣坬坡坳坳坩圌坣坡坴坩坯坮坢坹坵坳坩坮坧坢坡坣坫坧坲坯坵坮坤坡坮坡坬坹坳坩坳圮坉坮 Fourth IAPR International Workshop on Document Analysis Systems.(DAS2000) 圮坃坩坴坥坳坥坥坲圮 坙坡坬坩坮块坡坮坧圬坉坨坳坩坮坔坐坨坩坬坬坩坰坳圬坡坮坤坒坯坢坥坲坴坍坈坡坲坡坬坩坣坫圮圲地地圲圮坔坡坢坬坥坤坥坴坥坣坴坩坯坮坶坩坡坰坲坯坢坡坢坩坬坩坴坹坯坰坴坩坭坩坺坡坴坩坯坮圮坉坮 International Workshop on Document Analysis Systems 圬坰坡坧坥坳圲圷圲坻圲圸圲圮坓坰坲坩坮坧坥坲圮 坚坨坩坲坵坯块坡坮坧圬坈坡坯坹坵坄坯坮坧圬坒坡坮坊坩坡圬坊坩坡坌坩圬坚坨坩坹坩坆坵圬坓坨坩坈坡坮圬坡坮坤坄坯坮坧坭坥坩坚坨坡坮坧圮圲地圲地坡圮坓坴坲坵坣坴坵坲坥圭坡坷坡坲坥坰坲坥圭坴坲坡坩坮坩坮坧坦坯坲坴坡坢坬坥坵坮坤坥坲坳坴坡坮坤坩坮坧坷坩坴坨坴坲坥坥圭坢坡坳坥坤坴坲坡坮坳坦坯坲坭坥坲坳圮 arxiv preprint arxiv: 圮

18 坚坩坬坯坮坧块坡坮坧圬坍坩坮坧坪坩坥坚坨坡坮圬坘坵坥坢坯坌坩坵圬坡坮坤坄坩坮坧坌坩坡坮坧圮圲地圲地坢圮坄坯坣坳坴坲坵坣坴场坁坭坵坬坴坩坭坯坤坡坬坭坥坴坨坯坤坴坯坥坸坴坲坡坣坴坨坩坥坲坡坲坣坨坹坳坴坲坵坣坴坵坲坥坩坮坤坯坣坵坭坥坮坴坦坯坲坧坥坮坥坲坡坬坦坯坲坭坵坮坤坥坲坳坴坡坮坤坩坮坧圮 arxiv preprint arxiv: 圮 坊坩坡坰坥坮坧块坡坮坧圬坃坨坯坮坧坹坵坌坩坵圬坌坩坡坮坷坥坮坊坩坮圬均坵坯坺坨坩坔坡坮坧圬坊坩坡坸坩坮坚坨坡坮坧圬坓坨坵坡坩坴坡坯坚坨坡坮坧圬坑坩坡坮坹坩坮坧块坡坮坧圬坙坡坱坩坡坮坧块坵圬坡坮坤坍坩坮坧坸坩坡坮坧坃坡坩圮圲地圲圱圮坔坯坷坡坲坤坳坲坯坢坵坳坴坶坩坳坵坡坬坩坮坦坯坲坭坡坴坩坯坮坥坸坴坲坡坣坴坩坯坮坩坮坲坥坡坬坷坯坲坬坤场坎坥坷坤坡坴坡坳坥坴坡坮坤坮坯坶坥坬坳坯坬坵坴坩坯坮圮坉坮 Proceedings of the AAAI Conference on Artificial Intelligence 圬坶坯坬坵坭坥圳圵圬坰坡坧坥坳圲圷圳圸坻圲圷圴圵圮 坙坡坬坩坮块坡坮坧坴圬坉坨坳坩坮坔坐坨坩坬坬坩坰坳坴圬坡坮坤坒坯坢坥坲坴坈坡坲坡坬坩坣坫圮圲地地圱圮坁坵坴坯坭坡坴坩坣坴坡坢坬坥坧坲坯坵坮坤坴坲坵坴坨坧坥坮坥坲坡坴坩坯坮坡坮坤坡坢坡坣坫坧坲坯坵坮坤圭坡坮坡坬坹坳坩坳圭坢坡坳坥坤坴坡坢坬坥坳坴坲坵坣坴坵坲坥坥坸坴坲坡坣坴坩坯坮坭坥坴坨坯坤圮坉坮 Proceedings of Sixth International Conference on Document Analysis and Recognition 圬坰坡坧坥坳圵圲圸坻圵圳圲圮坉坅坅坅圮 坈坡坯块坥坩圬坍坩坣坨坥坡坬坂坡坥坣坨坬坥坲圬坆坯坵坡坤坓坬坩坭坡坮坥圬坡坮坤坒坯坬坦坉坮坧坯坬坤圮圲地圱圳圮坅坶坡坬坵坡坴坩坯坮坯坦坳坶坭圬坭坬坰坡坮坤坧坭坭坣坬坡坳坳坩圌坥坲坳坦坯坲坬坡坹坯坵坴坡坮坡坬坹坳坩坳坯坦坨坩坳坴坯坲坩坣坡坬坤坯坣坵坭坥坮坴坳圮坉坮 th International Conference on Document Analysis and Recognition 圬坰坡坧坥坳圱圲圲地坻圱圲圲圴圮坉坅坅坅圮 坍坥坮坧坸坩块坥坩圬坙坩坦坡坮坈坥圬坡坮坤坑坩坯坮坧坚坨坡坮坧圮圲地圲地圮坒坯坢坵坳坴坬坡坹坯坵坴圭坡坷坡坲坥坩坥坦坯坲坶坩坳坵坡坬坬坹坲坩坣坨坤坯坣坵坭坥坮坴坳坷坩坴坨坰坲坥圭坴坲坡坩坮坥坤坬坡坮坧坵坡坧坥坭坯坤坥坬坳圮坉坮 Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval 圬坰坡坧坥坳圲圳圶圷坻圲圳圷圶圮 坃坨坲坩坳坴坯坰坨块坩坣坫坡坮坤坆坲坡坮坫坐坵坰坰坥圮圲地圱圸圮坆坵坬坬坹坣坯坮坶坯坬坵坴坩坯坮坡坬坮坥坵坲坡坬坮坥坴坷坯坲坫坳坦坯坲坰坡坧坥坳坥坧坭坥坮坴坡坴坩坯坮坯坦坨坩坳坴坯坲坩坣坡坬坤坯坣坵坭坥坮坴坩坭坡坧坥坳圮坉坮 th IAPR International Workshop on Document Analysis Systems (DAS) 圬坰坡坧坥坳圲圸圷坻圲圹圲圮坉坅坅坅圮 坋坷坡坮坙圮块坯坮坧圬坒坩坣坨坡坲坤均圮坃坡坳坥坹圬坡坮坤坆坲坩坥坤坲坩坣坨坍圮块坡坨坬圮 圱圹圸圲圮 坄坯坣坵坭坥坮坴坡坮坡坬坹坳坩坳坳坹坳坴坥坭圮 IBM journal of research and development 圬圲圶在圶圩场圶圴圷坻圶圵圶圮 坃坨坵坮坧圭坃坨坩坨块坵圬坃坨坩坥坮圭坈坳坩坮坧坃坨坯坵圬坡坮坤坆坵坃坨坡坮坧圮圲地地圸圮坁坭坡坣坨坩坮坥圭坬坥坡坲坮坩坮坧坡坰坰坲坯坡坣坨坦坯坲坡坮坡坬坹坺坩坮坧坤坯坣坵坭坥坮坴坬坡坹坯坵坴坳坴坲坵坣坴坵坲坥坳坷坩坴坨坴坷坯坲坥坡坤坩坮坧坯坲坤坥坲坳圮 Pattern recognition 圬圴圱在圱地圩场圳圲地地坻圳圲圱圳圮 坔坥圭坌坩坮块坵圬坃坨坥坮坧坌坩圬坍坩坮坧坹坡坮坧坚坨坡坮坧圬坔坡坯坃坨坥坮圬坓坰坵坲坴坨坩坁坭坢坡坈坯坭坢坡坩坡坨圬坡坮坤坍坩坣坨坡坥坬坂坥坮坤坥坲坳坫坹圮圲地圲圱圮坌坡坭坰坲坥坴场坌坡坹坯坵坴圭坡坷坡坲坥坭坵坬坴坩坭坯坤坡坬坰坲坥坴坲坡坩坮坩坮坧坦坯坲坤坯坣坵坭坥坮坴坵坮坤坥坲坳坴坡坮坤坩坮坧圮 arxiv preprint arxiv: 圮 坙坩坘坩坡坯坡坮坤坈坯坮坧坙坡坮圮圲地地圳圮坔坥坸坴坲坥坧坩坯坮坥坸坴坲坡坣坴坩坯坮坩坮坡坤坯坣坵坭坥坮坴坩坭坡坧坥坢坡坳坥坤坯坮坴坨坥坤坥坬坡坵坮坡坹坴坥坳坳坥坬坬坡坴坩坯坮圮 Pattern Recognition 圬圳圶在圳圩场圷圹圹坻圸地圹圮 坙坩坨坥坮坧坘坵圬坍坩坮坧坨坡坯坌坩圬坌坥坩坃坵坩圬坓坨坡坯坨坡坮坈坵坡坮坧圬坆坵坲坵块坥坩圬坡坮坤坍坩坮坧坚坨坯坵圮圲地圲地圮坌坡坹坯坵坴坌坍场坐坲坥圭坴坲坡坩坮坩坮坧坯坦坴坥坸坴坡坮坤坬坡坹坯坵坴坦坯坲坤坯坣坵坭坥坮坴坩坭坡坧坥坵坮坤坥坲坳坴坡坮坤坩坮坧圮坉坮 Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining 圬坋坄坄圧圲地圬坰坡坧坥圱圱圹圲坻圱圲地地圬坎坥坷坙坯坲坫圬坎坙圬坕坓坁圮坁坳坳坯坣坩坡坴坩坯坮坦坯坲坃坯坭坰坵坴坩坮坧坍坡坣坨坩坮坥坲坹圮 坙坡坮坧坘坵圬坙坩坨坥坮坧坘坵圬坔坥坮坧坣坨坡坯坌坶圬坌坥坩坃坵坩圬坆坵坲坵块坥坩圬均坵坯坸坩坮块坡坮坧圬坙坩坪坵坡坮坌坵圬坄坩坮坥坩坆坬坯坲坥坮坣坩坯圬坃坨坡坚坨坡坮坧圬块坡坮坸坩坡坮坧坃坨坥圬坍坩坮坚坨坡坮坧圬坡坮坤坌坩坤坯坮坧坚坨坯坵圮圲地圲圱坡圮坌坡坹坯坵坴坌坍坶圲场坍坵坬坴坩圭坭坯坤坡坬坰坲坥圭坴坲坡坩坮坩坮坧坦坯坲坶坩坳坵坡坬坬坹圭坲坩坣坨坤坯坣坵坭坥坮坴坵坮坤坥坲坳坴坡坮坤坩坮坧圮坉坮 Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) 圬坰坡坧坥坳圲圵圷圹坻圲圵圹圱圬坏坮坬坩坮坥圬坁坵坧坵坳坴圮坁坳坳坯坣坩坡坴坩坯坮坦坯坲坃坯坭坰坵坴坡坴坩坯坮坡坬坌坩坮坧坵坩坳坴坩坣坳圮 坙坩坨坥坮坧坘坵圬坔坥坮坧坣坨坡坯坌坶圬坌坥坩坃坵坩圬均坵坯坸坩坮块坡坮坧圬坙坩坪坵坡坮坌坵圬坄坩坮坥坩坆坬坯坲坥坮坣坩坯圬坃坨坡坚坨坡坮坧圬坡坮坤坆坵坲坵块坥坩圮圲地圲圱坢圮坌坡坹坯坵坴坘坌坍场坍坵坬坴坩坭坯坤坡坬坰坲坥圭坴坲坡坩坮坩坮坧坦坯坲坭坵坬坴坩坬坩坮坧坵坡坬坶坩坳坵坡坬坬坹圭坲坩坣坨坤坯坣坵坭坥坮坴坵坮坤坥坲坳坴坡坮坤坩坮坧圮 坘坩坡坯坙坡坮坧圬坅坲坳坩坮坙坵坭坥坲圬坐坡坵坬坁坳坥坮坴坥圬坍坩坫坥坋坲坡坬坥坹圬坄坡坮坩坥坬坋坩坦坥坲圬坡坮坤坃圮坌坥坥均坩坬坥坳圮圲地圱圷坡圮坌坥坡坲坮坩坮坧坴坯坥坸坴坲坡坣坴坳坥坭坡坮坴坩坣坳坴坲坵坣坴坵坲坥坦坲坯坭坤坯坣坵坭坥坮坴坳坵坳坩坮坧坭坵坬坴坩坭坯坤坡坬坦坵坬坬坹坣坯坮坶坯坬坵坴坩坯坮坡坬坮坥坵坲坡坬坮坥坴坷坯坲坫圮 坘坩坡坯坷坥坩坙坡坮坧圬坅坲坳坩坮坙坵坭坥坲圬坐坡坵坬坁坳坥坮坴坥圬坍坩坫坥坋坲坡坬坥坹圬坄坡坮坩坥坬坋坩坦坥坲圬坡坮坤坃圮坌坥坥均坩坬坥坳圮圲地圱圷坢圮坌坥坡坲坮坩坮坧坴坯坥坸坴坲坡坣坴坳坥坭坡坮坴坩坣坳坴坲坵坣坴坵坲坥坦坲坯坭坤坯坣坵坭坥坮坴坳坵坳坩坮坧坭坵坬坴坩坭坯坤坡坬坦坵坬坬坹坣坯坮坶坯坬坵坴坩坯坮坡坬坮坥坵坲坡坬坮坥坴坷坯坲坫坳圮 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) 圬坰坡坧坥坳圴圳圴圲坻圴圳圵圱圮 坁坮坴坯坮坩坯坊坩坭坥坮坯坙坥坰坥坳圬坘坵坚坨坯坮坧圬坡坮坤坄坯坵坧坬坡坳坂坵坲坤坩坣坫圮 圲地圲圱圮 坉坣坤坡坲圲地圲圱坣坯坭坰坥坴坩坴坩坯坮坯坮坳坣坩坥坮坴坩圌坣 坬坩坴坥坲坡坴坵坲坥坰坡坲坳坩坮坧圮 块坥坮坷坥坮坙坵圬坎坩坮坧坌坵圬坘坩坡坮坢坩坡坯坑坩圬坐坩坮坧均坯坮坧圬坡坮坤坒坯坮坧坘坩坡坯圮圲地圲圱圮坐坩坣坫场坐坲坯坣坥坳坳坩坮坧坫坥坹坩坮坦坯坲坭坡坴坩坯坮坥坸坴坲坡坣坴坩坯坮坦坲坯坭坤坯坣坵坭坥坮坴坳坵坳坩坮坧坩坭坰坲坯坶坥坤坧坲坡坰坨坬坥坡坲坮坩坮坧圭坣坯坮坶坯坬坵坴坩坯坮坡坬坮坥坴坷坯坲坫坳圮坉坮 th International Conference on Pattern Recognition (ICPR) 圬坰坡坧坥坳圴圳圶圳坻圴圳圷地圮坉坅坅坅圮

19 坐坥坮坧坚坨坡坮坧圬坙坵坮坬坵坘坵圬坚坨坡坮坺坨坡坮坃坨坥坮坧圬坓坨坩坬坩坡坮坧坐坵圬坊坩坮坧坌坵圬坌坩坡坮坧坑坩坡坯圬坙坩坎坩坵圬坡坮坤坆坥坩块坵圮圲地圲地圮坔坲坩坥场坅坮坤圭坴坯圭坥坮坤坴坥坸坴坲坥坡坤坩坮坧坡坮坤坩坮坦坯坲坭坡坴坩坯坮坥坸坴坲坡坣坴坩坯坮坦坯坲坤坯坣坵坭坥坮坴坵坮坤坥坲坳坴坡坮坤坩坮坧圮坉坮 Proceedings of the 28th ACM International Conference on Multimedia 圬坰坡坧坥坳圱圴圱圳坻圱圴圲圲圮 坘坵坚坨坯坮坧圬坅坬坡坨坥坨坓坨坡圌坥坩坂坡坶坡坮坩圬坡坮坤坁坮坴坯坮坩坯坊坩坭坥坮坯坙坥坰坥坳圮圲地圱圹坡圮坉坭坡坧坥圭坢坡坳坥坤坴坡坢坬坥坲坥坣坯坧坮坩坴坩坯坮场坤坡坴坡圬坭坯坤坥坬圬坡坮坤坥坶坡坬坵坡坴坩坯坮圮 arxiv preprint arxiv: 圮 坘坵坚坨坯坮坧圬坊坩坡坮坢坩坮坔坡坮坧圬坡坮坤坁坮坴坯坮坩坯坊坩坭坥坮坯坙坥坰坥坳圮圲地圱圹坢圮坐坵坢坬坡坹坮坥坴场坬坡坲坧坥坳坴坤坡坴坡坳坥坴坥坶坥坲坦坯坲坤坯坣圭坵坭坥坮坴坬坡坹坯坵坴坡坮坡坬坹坳坩坳圮坉坮 2019 International Conference on Document Analysis and Recognition (ICDAR) 圬坰坡坧坥坳圱地圱圵坻圱地圲圲圮坉坅坅坅圬坓坥坰圮