量通讯开销 MapReduce 模型简单, 且现实中很多问题都可用 MapReduce 模型来表示因此该模型公开后, 立刻受到极大的关注, 并在生物信息学文本挖掘等领域得到广泛的应用图 2.2 MapReduce 执行流程图 [3] 无论是流处理还是批处理, 都是大数据处理的可行思路大数据

Size: px

Start display at page:

Download "量通讯开销 MapReduce 模型简单, 且现实中很多问题都可用 MapReduce 模型来表示因此该模型公开后, 立刻受到极大的关注, 并在生物信息学文本挖掘等领域得到广泛的应用图 2.2 MapReduce 执行流程图 [3] 无论是流处理还是批处理, 都是大数据处理的可行思路大数据"

洲宽马
5 years ago
Views:

1 第二章大数据管理系统处理架构 2.1 概述无论是工业界还是学术界, 都已经广泛使用高级集群编程模型来处理日益增长的数据, 如 MapReduce 这些系统将分布式编程简化为自动提供位置感知 (locality-aware) 调度容错以及负载均衡, 使得大量用户能够在商用集群上分析庞大的数据集大多数现有的集群计算系统都是基于非循环的数据流模型 (acyclic data flow model) 从稳定的物理存储 ( 如分布式文件系统 ) 中加载记录, 一组确定性操作构成一个有向无环图 (Directed Acyclic Graph,DAG), 记录被传入这个 DAG, 然后写回稳定存储通过这个 DAG 数据流图, 运行时自动完成调度工作及故障恢复尽管非循环数据流是一种很强大的抽象方法, 但有些应用仍然无法使用这种方式描述, 包括 :(1) 机器学习和图应用中常用的迭代算法 ( 每一步对数据执行相似的函数 );(2) 交互式数据挖掘工具 ( 用户反复查询一个数据子集 ) 基于数据流的架构也不明确支持这种处理, 所以需要将数据输出到磁盘然后在每次查询时重新加载, 从而带来较大的开销当前大数据分析处理系统的发展趋势主要有两个方向 [1], 如图 2.1 所示, 一种是以 Hadoop 和 MapReduce 为代表的批处理 (Batch Processing) 系统, 另一种是为各种特定应用开发的流处理 (Stream Processing) 系统, 批处理是先存储后处理 (Store-then-process), 而流处理则是直接处理 (Straight-through processing) 图 2.1 大数据分析系统框架随着大数据时代的到来, 单一的计算模式已难以满足整个应用的需求, 因此需要考虑不同计算模式的混合使用 Spark 作为混合式计算模式的典型代表应运而生, 近年来逐渐引起了学术界和工业界的广泛重视本章首先简单介绍大数据两种代表性系统处理架构 : 批处理系统和流处理系统, 然后详细介绍 Spark 系统架构特性及性能分析 2.2 批处理系统 Google 公司在 2004 年提出的 MapReduce 编程模型是最具代表性的批处理模式一个完整的 MapReduce 过程如图 2.2 所示错误! 未定义书签 MapReduce 模型首先将用户的原始数据源进行分块, 然后分别交给不同的 Map 任务区处理 Map 任务从输入中解析出 Key/Value 对集合, 然后对这些集合执行用户自行定义的 Map 函数得到中间结果, 并将该结果写入本地硬盘 Reduce 任务从硬盘上读取数据之后, 会根据 key 值进行排序, 将具有相同 key 值的组织在一起最后用户自定义的 Reduce 函数会作用于这些排好序的结果并输出最终结果从 MapReduce 的处理过程我们可以看出,MapReduce 的核心设计思想在于 :1) 将问题分而治之 ;2) 把计算推到数据而不是把数据推到计算, 有效的避免数据传输过程中产生的大 5

2 量通讯开销 MapReduce 模型简单, 且现实中很多问题都可用 MapReduce 模型来表示因此该模型公开后, 立刻受到极大的关注, 并在生物信息学文本挖掘等领域得到广泛的应用图 2.2 MapReduce 执行流程图 [3] 无论是流处理还是批处理, 都是大数据处理的可行思路大数据的应用类型很多, 在实际的大数据处理中, 常常并不是简单的只使用其中的某一种, 而是将二者结合起来互联网是大数据最重要的来源之一, 很多互联网公司根据处理时间的要求将自己的业务划分为在线 (Online) 近线 (Nearline) 和离线 (Offline), 比如著名的职业社交网站 Linkedin [4] 这种划分方式是按处理所耗时间来划分的其中在线的处理时间一般在秒级, 甚至是毫秒级, 因此通常采用上面所说的流处理离线的处理时间可以以天为基本单位, 基本采用批处理方式, 这种方式可以最大限度的利用系统 I/O 近线的处理时间一般在分钟级或者是小时级, 对其处理模型并没有特别的要求, 可以根据需求灵活选择但在实际中多采用批处理模式 2.3 流处理系统流处理的基本理念是数据的价值会随着时间的流逝而不断减少因此尽可能快的对最新的数据做出分析并给出结果是所有流数据处理模式的共同目标需要采用流数据处理的大数据应用场景主要有网页点击数的实时统计传感器网络金融中的高频交易等流处理的处理模式将数据视为流, 源源不断的数据组成了数据流当新的数据到来时就立刻处理并返回所需的结果图 2.3 是流处理中基本的数据流模型 : Data Stream X 1 X i Memory CPU 图 2.3 基本的数据流模型 [5] 数据的实时处理是一个很有挑战性的工作, 数据流本身具有持续达到速度快且规模巨大等特点, 因此通常不会对所有的数据进行永久化存储, 而且数据环境处在不断的变化之中, 系统很难准确掌握整个数据的全貌由于响应时间的要求, 流处理的过程基本在内存中完成, 其处理方式更多的依赖于在内存中设计巧妙的概要数据结构 (Synopsis data structure), 内存容量是限制流处理模型的一个主要瓶颈以 PCM( 相变存储器 ) 为代表的 SCM(Storage Class Memory, 储存级内存 ) 设备的出现或许可以使内存未来不再成为流处理模型的制约 6

3 数据流的理论及技术研究已经有十几年的历史, 目前仍旧是研究热点于此同时很多实际系统也已开发和得到广泛的应用, 比较代表性的开源系统如 Twitter 的 Storm [ 6] Yahoo 的 S4 [7] 以及 Linkedin 的 Kafka [8] 等 2.4 混合处理系统 :Spark 整体介绍 Spark 是一种与 Hadoop 相似的开源集群计算环境, 现在是 Apache 孵化的顶级项目, 可用来构建大型的低延迟的数据分析应用程序 Spark 启用了内存分布数据集, 除了能够提供交互式查询外, 它还可以优化迭代工作负载 Spark 起始于 2008 年, 由 Yahoo 的 Hadoop 团队与 UC Berkeley AMPLab 协作开发,2009 年推出 Spark 的实例实现 Mesos,2010 年 Spark 在 Apache Software Foundation (ASF) 上开源 ( 年 12 月 19 日,Spark 发布了最新版图 2.4 Spark 的发展历程及应用概览现在使用 Spark 的企业或团体有 :Berkeley Princeton Foursquare Yahoo! 淘宝百度搜狐豆瓣等, 并且越来越引起工业界的关注和应用, 如图 2.4 所示, 近年来其发展呈不断上升趋势系统架构混合计算模式可体现在两个层面 [9] : 一是传统并行计算所关注的体系结构与底层并行程序设计语言层面计算模式的混合, 例如, 在体系结构层, 可根据大数据应用问题的需要搭建混合式的系统架构, 如 MapReduce 集群 +GPU 的混合, 或者 MapReduce 集群 + 众核协处理系统的 OpenMP/MPI 的混合模型混合模式的另一个层面是大数据处理高层计算模式的混合例如, 一个大数据应用可能需要提供流式计算模式以便接受和处理大量流式数据 ; 可能还需要提供基于 SQL 或 NoSQL 的数据查询分析能力以便进行日常的数据查询分析 ; 并且可能需要提供线下批处理和迭代计算以完成机器学习的深度数据挖掘分析 ; 一些大数据计算任务可能还涉及到复杂图计算或间接转化为图计算问题等因此, 很多大数据处理问题将需要混合使用多种计算模式此外, 为了提高计算性能, 各种计算模式还可以与内存计算模式混合, 实现高实时性的大数据查询和计算分析混合计算模式将成为满足多样性大数据处理和应用需求的有效手段混合计算模式集大成者当属 UC Berkeley AMPLab(Algorithms,Machines,and People Lab) 实验室推出的 Spark 系统, 如图 2.5 所示, 其涵盖了几乎所有典型的大数据计算模式, 包括迭代计算批处理计算内存计算流式计算 (Streaming Spark) 数据查询分析计算 (Shark) 以及图计算 (Bagel GraphX) 7

实现了以操作本地集合的方式来操作分布式数据集的抽象实现 RDD 表示已被划分 (partition), 不可变的并能够被并行操作的数据集合, 不同的数据集格式对应不同的 RDD 实现 RDD 必须是可序列化的,RDD 可以 cache 到内存中, 每次对 RDD 数据集的操作之后的结果都可以存放到内存中, 下一个操作可以直接从内存中输入, 省去了 MapReduce 大量的磁盘 I/O 操作

4 图 2.5 Spark 的体系结构 [10] 系统特性 Spark 采用分布式内存抽象, 称为弹性分布式数据集 (Resilient Distributed Datasets,RDD) [11], 支持基于工作集的应用, 同时具有数据流模型的特点 : 即自动容错位置感知调度和可伸缩性 RDD 允许用户在执行多个查询时显式地将工作集缓存在内存中, 极大地加速了后期的工作集重用 RDD 是 Spark 最核心的技术, 实现了以操作本地集合的方式来操作分布式数据集的抽象实现 RDD 表示已被划分 (partition), 不可变的并能够被并行操作的数据集合, 不同的数据集格式对应不同的 RDD 实现 RDD 必须是可序列化的,RDD 可以 cache 到内存中, 每次对 RDD 数据集的操作之后的结果都可以存放到内存中, 下一个操作可以直接从内存中输入, 省去了 MapReduce 大量的磁盘 I/O 操作这对于迭代运算常见的机器学习算法交互式数据挖掘来说效率提升比较大 RDD 提供了一种高度受限的共享内存方式, 即 RDD 是只读的记录分区的集合, 只能通过对其他 RDD 执行确定性的转换操作 ( 如 map,join 和 group by) 而创建这些限制保证了低开销的容错性与分布式共享内存系统需要高成本的检查点 (checkpoint) 和回滚 (rollback) 不同,RDD 通过血统 (lineage) 来重建丢失的分区 :RDD 中包含如何从其他 RDD 衍生 ( 即计算 ) 出本 RDD 所需的相关信息, 这样不需要检查点操作就可以重新构建丢失的数据分区尽管 RDD 不是一个普适的共享内存抽象, 但却具备了良好的描述能力可伸缩性和可靠性, 非常适合大多数数据并行型应用图 2.6 Spark 的任务阶段 (stage) 划分 [12] Spark 提供的数据集操作类型较多, 比如 map filter flatmap sample groupbykey reducebykey union join cogroup mapvalues sort partionby 等多种操作类型,Spark 把这些操作称为 Transformations 同时还提供 count collect reduce lookup save 等多种 Actions 操作 Spark 的调度器考虑了哪些 RDD 分区需要缓存在内存中, 调度器根据目标 RDD 的血统关系图 (lineage graph) 创建一个由 stage 构成的有向无环图 (DAG) 每个 stage 内部尽可 8

5 能多地包含一组具有窄依赖关系的转换, 并将它们流水线并行化 (pipeline) stage 的边界有两种情况 : 一是宽依赖上的混排 (shuffle) 操作 ; 二是已缓存分区, 它可以缩短父 RDD 的计算过程如图 2.6 所示, 实线方框表示 RDD, 实心矩形表示数据分区父 RDD 完成计算后, 可以在 stage 内启动一组任务计算丢失的分区要在 RDD F 上执行一个行为 (action), 调度器根据宽依赖创建一组 stage, 并在每个 stage 内部将具有窄依赖的转换流水线化 (pipeline), 图中所示不用再执行 stage 1, 因为 B 已经存在于缓存中了, 所以只需要运行 stage2 和 stage3 近年来以 Spark 为基础, 其周围形成的生态系统如图 2.7 所示, 主要包括 3 方面 : (1)Shark ( Hive on Spark) Shark 是在 Spark 的框架基础上提供和 Hive 一样的 HiveQL 命令接口, 为了最大程度的保持和 Hive 的兼容性,Shark 使用了 Hive 的 API 来实现 query Parsing 和 Logic Plan generation, 在最后的 Physical Plan execution 阶段用 Spark 代替 Hadoop MapReduce 通过配置 Shark 参数,Shark 可以自动在内存中缓存特定的 RDD, 实现数据重用, 进而加快特定数据集的检索同时,Shark 通过 UDF 用户自定义函数实现特定的数据分析学习算法, 使得 SQL 数据查询和运算分析能结合在一起, 最大化 RDD 的重复使用 (2)Streaming Spark 构建在 Spark 上处理 Stream 数据的框架, 基本的原理是将 Stream 数据分成小的时间片断 ( 几秒 ), 以类似 batch 批量处理的方式来处理这小部分数据 Streaming Spark 构建在 Spark 上, 一方面是因为 Spark 的低延迟执行引擎 (100ms+) 可以用于实时计算, 另一方面相比基于 Record 的其它处理框架 ( 如 Storm),RDD 数据集更容易做高效的容错处理此外小批量处理的方式使得它可以同时兼容批量和实时数据处理的逻辑和算法方便了一些需要历史数据和实时数据联合分析的特定应用场合 (3)Bagel(Pregel on Spark) 可以用 Spark 进行图计算, 这是个非常有用的小项目 Bagel 自带了一个例子, 实现了 Google 的 PageRank 算法 Spark 的运行模式主要包括 3 种 : 图 2.7 Spark 支持的生态系统 [12] (1)Standalone 模式为方便 Spark 的推广使用部署,Spark 提供了 Standalone 模式,Spark 一开始就设计运行于 Apache Mesos 资源管理框架上, 但是却带了部署测试的复杂性 Spark 因此提供了 Standalone 运行模式, 它由一个 Spark Master 和多个 Spark worker 组成, 与 Hadoop MapReduce 相似, 集群启动方式几乎一样 (2)Yarn 模式使用 Yarn 模式运行需要把 Spark 程序全部打包成一个 jar 包提交到 Yarn 上运行,Spark- -shell 现在还不支持 Yarn 模式, 目前只有 branch-0.8 版本真正支持 Yarn (3) 使用 Spark-shell 9

6 Spark-shell 使用很简单, 当 Spark 以 Standalone 模式运行后, 使用 $SPARK_HOME /spark -shell 进入 shell 即可, 在 Spark-shell 中 SparkContext 已经创建好, 实例名为 sc 可以直接使用在 Standalone 模式下,Spark 默认使用 FIFO 调度而不是公平调度, 而 Spark-shell 作为一个 Spark 程序一直运行在 Spark 上, 因此, 其它的 Spark 程序只能排队等待, 也就是说同一时间只能有一个 Spark-shell 运行性能分析如图 2.8 所示, 由于 Spark 的中间数据放到内存中, 在两种不同规模的机器上运行迭代运算, 其效率都比 Hadoop 高的多 Spark 更适合于迭代运算比较多的机器学习和数据挖掘运算, 图 2.9 对比了 Spark 与 Hadoop 在执行 K-means 和 Logistic Regression 两种算法时的效率, 可以清楚地看到,Spark 的效率远高于 Hadoop 图 2.8 Spark 与 Hadoop 迭代处理速度比较 Spark 比 Hadoop 更通用,Hadoop 只提供了 Map 和 Reduce 两种操作,Spark 提供的数据集操作类型很多在编程模型方面,Spark 比 Hadoop 更灵活,Spark 多种多样的数据集操作类型, 给开发上层应用的用户提供了方便各个处理节点之间的通信模型不再像 Hadoop 那样就是唯一的 Data Shuffle 一种模式, 用户可以命名物化控制中间结果的存储分区等图 2.9 Spark 与 Hadoop 执行不同算法速度比较但由于 RDD 的特性,Spark 不适用异步细粒度更新状态的应用, 例如 web 服务的存储或者是增量的 web 爬虫和索引, 对增量修改的应用模型不适合在容错性方面, 分布式数据集计算时通过 checkpoint 来实现容错, 而 checkpoint 有两种方式, 一个是 checkpoint data, 一个是 logging the updates 用户可以控制采用哪种方式来实现容错 RDD 通过血统 (lineage) 来重建丢失的分区在可用性方面,Spark 通过提供丰富的 Scala Java Python API 及交互式 Shell 来提高可用性, 其适用面比较广泛且比较通用 Spark 是基于内存的迭代计算框架, 适用于需要多次操作特定数据集的应用场合需要反复操作的次数越多, 所需读取的数据量越大, 受益越大, 数据量小但是计算密集度较大的场合, 受益就相对较小 10

Spark 也可以与 Hadoop 结合 Spark 可以直接对 HDFS 进行数据的读写, 同样支持 Spark on YARN Spark 可以与 MapReduce 运行于同一集群中, 共享存储资源与计算,Shark 在实现上借用 Hive 思想, 几乎与 Hive 完全兼容 2 Spark 与其它系统的对比图 2.10 Spark 与几种专用系统的对比如图 2.

7 Spark 也可以与 Hadoop 结合 Spark 可以直接对 HDFS 进行数据的读写, 同样支持 Spark on YARN Spark 可以与 MapReduce 运行于同一集群中, 共享存储资源与计算,Shark 在实现上借用 Hive 思想, 几乎与 Hive 完全兼容 2 Spark 与其它系统的对比图 2.10 Spark 与几种专用系统的对比如图 2.10 所示, 与当前比较流行的流处理系统 Storm 相比, 在吞吐率方面,Spark 性能高出一倍多 ; 与支持 SQL 查询的系统相比, 基于 Spark 实现的 Shark 远比 Hive 快, 与 Impala 系统性能相当 ; 在图数据处理方面, 基于 Spark 实现的 Giraph 与专用的图系统 GraphX 性能相当, 但远比 Hadoop 快表 2.1 对 Spark 的核心技术弹性分布式数据集 (RDD) 与分布式共享内存 (DSM) 的比较通过微基准 (microbenchmark) 和用户应用程序来评估 RDD 实验表明, 在处理迭代式应用上 Spark 比 Hadoop 快高达 20 多倍, 数据分析报表的性能提高了 40 多倍, 同时能够在 5.7 秒的延时内交互式扫描 1TB 的数据集此外, 在 Spark 之上实现了 Pregel 和 HaLoop 编程模型 ( 包括其位置优化策略,placement optimization), 以库的形式实现 ( 分别使用了 100 和 200 行 Scala 代码 ) 表 2.1 RDD 与分布式共享内存 (DSM) 的比较 [11] 对比项目 RDD 分布式共享内存读批量或细粒度操作细粒度操作写批量转换操作细粒度操作一致性不重要 (RDD 是不可更改的 ) 取决于应用程序或运行时容错性细粒度, 低开销 ( 使用 lineage) 需要检查点操作和程序回滚落后任务的处理任务备份很难处理任务安排基于数据存放的位置自动实现取决于应用程序 ( 通过运行时实现透明性 ) 如果内存不够与已有的数据流系统类似性能较差 2.5 小结大数据的规模越来越大, 应用复杂多样, 可能会同时包含不同特征的数据和计算, 数据交互是压倒一切的需求, 要求数据存取快并且快速产生分析处理结果由于 Hadoop 的吞吐率不高, 大规模的图数据处理或迭代计算中 MapReduce 延迟过高, 并且在 Hadoop 上表达复杂的商业逻辑也是个问题如何在 Hadoop 生态系统上解决以上这些问题, 如何使 Map- -Reduce 在迭代计算中更快, 都是亟需解决的问题在这种情况下, 单一的计算模式难以满足整个应用的需求, 因此需要考虑不同计算模式的混合使用 Spark 作为混合式计算模式的典型代表, 它提供了一个强大的内存计算引擎, 提供了丰富的 API 接口以供快速数据分析, 实现了优异的计算性能, 在实际应用中达到了 100 倍的速度提升, 同时保持与 Hadoop 平台的兼容性因此, 随着系统的不断稳定和成熟, Spark 有望成为与 Hadoop 共存的新一代大数据处理系统和平台 11

8 参考文献 [1]MengXiaofeng, CiXiang. Big data management : concepts, techniques and challenges[j].journal of Computer Research and Development,2013,50(1): (in Chinese) [3]Jeffrey Dean, Sanjay Ghemawat. MapReduce: Simplified Data Processing on Large Clusters[C]// Proc of OSDI 2004.CA:USENIX Association Berkeley,2004: [4]Shirshanka Das. Data Infrastructure at LinkedIn[C]// Proc of 5th Extremely Large Databases Conference. [5]Ravi Kumar. two computational paradigm for big data [EB/OL]. [ ].KDD summer school, [6] [7]Leonardo Neumeyer, Bruce Robbins, Anish Nair, et al. S4: Distributed Stream Computing Platform[C]// Proc of ICDM Workshops Piscataway, NJ: IEEE,2010: [8]Ken Goodhope, Joel Koshy, Jay Kreps, et al. Building LinkedIn s Real-time Activity Data Pipeline [J]. Data Engineering,2012,35(2):33-45 [9] 中国计算机学会大数据专家委员会, 大数据技术与产业发展白皮书 [R] ,P: [10] [11] Matei Z., Mosharaf C., Tathagata D., Ankur D., Justin M., Murphy M., Michael J. F., Scott S., Ion S. Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing[C]. Proceedings of the 9th USENIX Conference on Networked Systems Design and Implementation(NSDI 2012),Pages 2-2 [12] 12

ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示

完整的大数据解決方案 ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示 Dataframe Pig YARN Spark Stand Alone HDFS Spark Stand Alone Mesos Mesos Spark Streaming Hive Hadoop