大数据技术基础（2013版）

Size: px

Start display at page:

Download "大数据技术基础（2013版）"

闵应
5 years ago
Views:

大数据技术基础厦门大学计算机科学系厦门大学计算机系林子雨 ziyulin@xmu.edu.

第 3 章 Hadoop (2013 年新版 ) 林子雨厦门大学计算机科学系 E-mail:

1 大数据技术基础厦门大学计算机科学系厦门大学计算机系林子雨 2013 年新版 2013 年 9 月修订版厦门大学计算机科学系研究生课程大数据技术基础第 3 章 Hadoop (2013 年新版 ) 林子雨厦门大学计算机科学系 ziyulin@xmu.edu.cn 主页 :

2 提纲 Hadoop 概述 Hadoop 发展简史 Hadoop 的功能与作用为什么不用关系型数据库管理系统 Hadoop 优点 Hadoop 的应用现状和发展趋势 Hadoop 项目及其结构 Hadoop 的体系结构 Hadoop 与分布式开发 Hadoop 应用案例 Hadoop 平台上的海量数据排序本讲义 PPT 存在配套教材, 由林子雨通过大量阅读收集整理各种资料后编写而成下载配套教材请访问大数据技术基础 2013 班级网站 :

3 Hadoop 概述 Hadoop 是一个开源的可运行于大规模集群上的分布式并行编程框架, 它实现了 Map/Reduce 计算模型借助于 Hadoop, 程序员可以轻松地编写分布式并行程序, 将其运行于计算机集群上, 完成海量数据的计算

4 Hadoop 发展简史 Hadoop 起源于 Apache Nutch, 后者是一个开源的网络搜索引擎, 本身也是由 Lucene 项目的一部分 Nutch 项目开始于 2002 年, 一个可工作的抓取工具和搜索系统很快浮出水面 2004 年,Google 发表了论文, 向全世界介绍了 MapReduce 2005 年初,Nutch 的开发者在 Nutch 上有了一个可工作的 MapReduce 应用, 到当年年中, 所有主要的 Nutch 算法被移植到使用 MapReduce 和 NDFS 来运行 Nutch 中的 NDFS 和 MapReduce 实现的应用远不只是搜索领域在 2006 年 2 月, 他们从 Nutch 转移出来成为一个独立的 Lucene 子项目, 成为 Hadoop 在 2008 年 2 月, 雅虎宣布其搜索引擎产品部署在一个拥有 1 万个内核的 Hadoop 集群上 2008 年 4 月,Hadoop 打破世界纪录, 成为最快排序 1TB 数据的系统运行在一个 910 节点的群集,Hadoop 在 209 秒内排序了 1TB 的数据 ( 还不到三分半钟 ), 击败了前一年的 297 秒冠军同年 11 月, 谷歌在报告中生成, 它的 MapReduce 实现执行 1TB 数据的排序只用了 68 秒在 2009 年 5 月, 有报道宣称 Yahoo 的团队使用 Hadoop 对 1TB 的数据进行排序只花了 62 秒时间

5 Hadoop 大事记 2004 年最初的版本 ( 现在称为 HDFS 和 MapReduce) 由 Doug Cutting 和 Mike Cafarella 开始实施 2005 年 12 月 Nutch 移植到新的框架,Hadoop 在 20 个节点上稳定运行 2006 年 1 月 Doug Cutting 加入雅虎 2006 年 2 月 Apache Hadoop 项目正式启动以支持 MapReduce 和 HDFS 的独立发展 2006 年 2 月雅虎的网络计算团队采用 Hadoop 2006 年 4 月标准排序 (10GB 每个节点 ) 在 188 个节点上运行 47.9 个小时 2006 年 5 月雅虎建立了一个 300 个节点的 Hadoop 研究集群 2006 年 5 月标准排序在 500 个节点上运行 42 个小时 ( 硬件配置比 4 月的更好 ) 2006 年 11 月研究集群增加到 600 个节点

6 Hadoop 大事记 2006 年 12 月标准排序在 20 个节点上运行 1.8 个小时,100 个节点 3.3 小时,500 个节点 5.2 小时, 900 个节点 7.8 个小时 2007 年 1 月研究集群到达 900 个节点 2007 年 4 月研究集群达到两个 1000 个节点的集群 2008 年 4 月赢得世界最快 1TB 数据排序在 900 个节点上用时 209 秒 2008 年 10 月研究集群每天装载 10TB 的数据 2009 年 3 月 17 个集群总共台机器 2009 年 4 月赢得每分钟排序,59 秒内排序 500GB( 在 1400 个节点上 ) 和 173 分钟内排序 100TB 数据 ( 在 3400 个节点上 )

7 Hadoop 的作用与功能 Hadoop 采用了分布式存储方式, 提高了读写速度, 并扩大了存储容量采用 MapReduce 来整合分布式文件系统上的数据, 可保证分析和处理数据的高效与此同时,Hadoop 还采用存储冗余数据的方式保证了数据的安全性 Hadoop 中 HDFS 的高容错特性, 以及它是基于 Java 语言开发的, 这使得 Hadoop 可以部署在低廉的计算机集群中, 同时不限于某个操作系统 Hadoop 中 HDFS 的数据管理能力,MapReduce 处理任务时的高效率, 以及它的开源特性, 使其在同类的分布式系统中大放异彩, 并在众多行业和科研领域中被广泛采用

8 为什么不用关系型数据库管理系统在更新一小部分数据库记录的时候, 传统 RDBMS 采用的 B 树效果很好但在更新大部分数据库数据的时候,B 树的效率就没有 MapReduce 的效率高, 因为它需要使用排序 / 合并来重建数据库 RDBMS 适合点查询和更新,MapReduce 适合批处理 RDBMS 适合持续更新的数据集, MapReduce 适合数据被一次写入多次读取的应用 RDBMS 只能处理结构化数据,MapReduce 对于非结构化或半结构化数据非常有效 ( 避免规范化带来的非本地读问题 ) 二者互相融合是一种趋势传统关系型数据库数据大小 GB PB MapReduce 访问交互型和批处理批处理更新多次读写一次写入多次读取结构静态模式动态模式集成度高低伸缩性非线性线性

9 Hadoop 的优点 Hadoop 是一个能够对大量数据进行分布式处理的软件框架, 并且是以一种可靠高效可伸缩的方式进行处理的, 具有以下优点 : Hadoop 是可靠的 : 因为它假设计算元素和存储会失败, 因此它维护多个工作数据副本, 确保能够针对失败的节点重新分布处理 Hadoop 是高效的 : 因为它以并行的方式工作, 通过并行处理加快处理速度 Hadoop 还是可伸缩的, 能够处理 PB 级数据 Hadoop 成本低 : 依赖于廉价服务器 : 因此它的成本比较低, 任何人都可以使用运行在 Linux 平台上 :Hadoop 带有用 Java 语言编写的框架, 因此运行在 Linux 生产平台上是非常理想的支持多种编程语言 :Hadoop 上的应用程序也可以使用其他语言编写, 比如 C++

10 Hadoop 的应用现状和发展趋势由于 Hadoop 优势突出, 基于 Hadoop 的应用已经遍地开花, 尤其是在互联网领域 Yahoo! 通过集群运行 Hadoop, 以支持广告系统和 Web 搜索的研究 ; Facebook 借助集群运行 Hadoop, 以支持其数据分析和机器学习 ; 百度则使用 Hadoop 进行搜索日志的分析和网页数据的挖掘工作 ; 淘宝的 Hadoop 系统用于存储并处理电子商务交易的相关数据 ; 中国移动研究院基于 Hadoop 的大云 (BigCloud) 系统用于对数据进行分析和并对外提供服务 Hadoop 目前已经取得了非常突出的成绩随着互联网的发展, 新的业务模式还将不断涌现,Hadoop 的应用也会从互联网领域向电信电子商务银行生物制药等领域拓展相信在未来,Hadoop 将会在更多的领域中扮演幕后英雄, 为我们提供更加快捷优质的服务

11 Hadoop 项目及其结构 Hadoop 有许多元素构成最底部是 Hadoop 分布式文件系统 (HDFS), 它存储 Hadoop 集群中所有存储节点上的文件 HDFS 的上一层是 MapReduce 引擎, 该引擎由 JobTrackers 和 TaskTrackers 组成下图描述了 Hadoop 生态系统中的各层子系统

12 Hadoop 项目及其结构 Avro 用于数据序列化的系统 ; HDFS 是一种分布式文件系统, 运行于大型商用机集群,HDFS 为 HBase 提供了高可靠性的底层存储支持 ; HBase 位于结构化存储层, 是一个分布式的列存储数据库 ; MapReduce 是一种分布式数据处理模式和执行环境, 为 HBase 提供了高性能的计算能力 ; Zookeeper 是一个分布式的高可用性的协调服务, 提供分布式锁之类的基本服务, 用于构建分布式应用, 为 HBase 提供了稳定服务和 failover 机制 ; Hive 是一个建立在 Hadoop 基础之上的数据仓库, 它提供了一些用于数据整理特殊查询和分析存储在 Hadoop 文件中的数据集的工具 ; Pig 是一种数据流语言和运行环境, 用以检索非常大的数据集, 大大简化了 Hadoop 常见的工作任务 ; Sqoop 为 HBase 提供了方便的 RDBMS 数据导入功能, 使得传统数据库数据向 HBase 中迁移变的非常方便

13 Hadoop 的体系结构 HDFS 和 MapReduce 是 Hadoop 的两大核心而整个 Hadoop 的体系结构主要是通过 HDFS 来实现对分布式存储的底层支持的, 并且它会通过 MapReduce 来实现对分布式并行任务处理的程序支持

14 HDFS 的体系结构一个 HDFS 集群是由一个 NameNode 和若干个 DataNode 组成的其中 NameNode 作为主服务器, 管理文件系统的命名空间和客户端对文件的访问操作 ; 集群中的 DataNode 管理存储的数据 HDFS 允许用户以文件的形式存储数据从内部来看, 文件被分成若干个数据块, 而且这若干个数据块存放在一组 DataNode 上下图给出了 HDFS 的体系结构

15 MapReduce 的体系结构 MapReduce 是一种并行编程模式, 这种模式使得软件开发者可以轻松地编写出分布式并行程序在 Hadoop 的体系结构中,MapReduce 是一个简单易用的软件框架, 基于它可以将任务分发到由上千台商用机器组成的集群上, 并以一种高容错的方式并行处理大量的数据集, 实现 Hadoop 的并行任务处理功能 MapReduce 框架是由一个单独运行在主节点上的 JobTracker 和运行在每个集群从节点上的 TaskTracker 共同组成的主节点负责调度构成一个作业的所有任务, 这些任务分布在不同的从节点上主节点监控它们的执行情况, 并且重新执行之前失败的任务 ; 从节点仅负责由主节点指派的任务当一个 Job 被提交时,JobTracker 接收到提交作业和配置信息之后, 就会将配置信息等分发给从节点, 同时调度任务并监控 TaskTracker 的执行

16 Hadoop 的体系结构从上面的介绍可以看出,HDFS 和 MapReduce 共同组成了 Hadoop 分布式系统体系结构的核心 HDFS 在集群上实现了分布式文件系统, MapReduce 在集群上实现了分布式计算和任务处理 HDFS 在 MapReduce 任务处理过程中提供了文件操作和存储等支持, MapReduce 在 HDFS 的基础上实现了任务的分发跟踪执行等工作, 并收集结果, 二者相互作用, 完成了 Hadoop 分布式集群的主要任务

17 Hadoop 与分布式开发 Hadoop 上的并行应用程序开发是基于 MapReduce 编程框架的 MapReduce 编程模型的原理是 : 利用一个输入的 key/value 对集合来产生一个输出的 key/value 对集合 MapReduce 库的用户用两个函数来表达这个计算 :Map 和 Reduce 用户自定义的 map 函数接收一个输入的 key/value 对, 然后产生一个中间 key/value 对的集合 MapReduce 把所有具有相同 key 值的 value 集合在一起, 然后传递给 reduce 函数用户自定义的 reduce 函数接收 key 和相关的 value 集合 reduce 函数合并这些 value 值, 形成一个较小的 value 集合一般来说, 每次 reduce 函数调用只产生 0 或 1 个输出的 value 值通常我们通过一个迭代器把中间的 value 值提供给 reduce 函数, 这样就可以处理无法全部放入内存中的大量的 value 值集合了

18 Hadoop 与分布式开发下图是 MapReduce 的数据流图, 这个过程简而言之就是将大数据集分解为成百上千个小数据集, 每个 ( 或若干个 ) 数据集分别由集群中的一个节点 ( 一般就是一台普通的计算机 ) 进行处理并生成中间结果, 然后这些中间结果又由大量的节点合并, 形成最终结果图 8-4 也指出了 MapReduce 框架下并行程序中的三个主要函数 :map reduce main 在这个结构中, 需要用户完成的工作仅仅是根据任务编写 map 和 reduce 两个函数

19 Hadoop 与分布式开发 MapReduce 计算模型非常适合在大量计算机组成的大规模集群上并行运行每一个 map 任务和每一个 reduce 任务均可以同时运行于一个单独的计算节点上, 可想而知, 其运算效率是很高的, 那么这样的并行计算是如何做到的呢? 1. 数据分布存储 2. 分布式并行计算 3. 本地计算 4. 任务粒度 5. 数据分割 (Partition) 6. 数据合并 (Combine) 7. Reduce 8. 任务管道

20 Hadoop 应用案例随着企业的数据量的迅速增长, 存储和处理大规模数据已成为企业的迫切需求 Hadoop 作为开源的云计算平台, 已引起了学术界和企业的普遍兴趣在学术方面,Hadoop 得到了各科研院所的广泛关注, 多所著名大学加入到 Hadoop 集群的研究中来在商业方面,Hadoop 技术已经在互联网领域得到了广泛的应用互联网公司往往需要存储海量的数据并对其进行处理, 而这正是 Hadoop 的强项如 Facebook 使用 Hadoop 存储内部的日志拷贝, 以及数据挖掘和日志统计 ;Yahoo! 利用 Hadoop 支持广告系统并处理网页搜索 ; Twitter 则使用 Hadoop 存储微博数据日志文件和其他中间数据等在国内,Hadoop 同样也得到了许多公司的青睐, 如百度主要将 Hadoop 应用于日志分析和网页数据库的数据挖掘 ; 阿里巴巴则将 Hadoop 用于商业数据的排序和搜索引擎的优化等

21 Hadoop 平台上的海量数据排序 Yahoo! 研究人员使用 Hadoop 完成了 Jim Gray 基准排序, 此排序包含许多相关的基准, 每个基准都有自己的规则所有的排序基准都是通过测量不同记录的排序时间来制定的, 每个记录为 100 字节, 其中前面的 10 字节是键, 剩余的部分是数值 MinuteSort 是比较在一分钟内所排序的数据量大小,GraySort 是比较在对大规模数据 ( 至少 100TB) 进行排序时的排序速率 (TBs/minute) Yahoo! 的研究人员使用 Hadoop 排列 1TB 数据用时 62 秒, 排列 1PB 数据用时个小时, 具体如下表所示, 它获得了 Daytona 类 GraySort 和 MinuteSort 级别的冠军数据大小 (Bytes) 节点数副本数时间秒秒分钟分钟

22 本章小结本章首先介绍了 Hadoop 分布式计算平台 : 它是由 Apache 软件基金会开发的一个开源分布式计算平台以 Hadoop 分布式文件系统 (HDFS ) 和 MapReduce 为核心的 Hadoop 为用户提供了系统底层细节透明的分布式基础架构由于 Hadoop 拥有可计量成本低高效可信等突出特点, 基于 Hadoop 的应用已经遍地开花, 尤其是在互联网领域本章接下来介绍了 Hadoop 项目及其结构, 现在 Hadoop 已经发展成为一个包含多个子项目的集合, 被用于分布式计算, 虽然 Hadoop 的核心是 Hadoop 分布式文件系统和 MapReduce, 但 Hadoop 下的 Avro Hive HBase 等子项目提供了互补性服务或在核心层之上提供了更高层的服务 ; 接下来简要介绍了以 HDFS 和 MapReduce 为核心的 Hadoop 体系结构最后, 介绍了 Hadoop 的典型应用案例以及在 Hadoop 平台上的海量数据排序

主讲教师和助教主讲教师 : 林子雨单位 : 厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.cn 个人网页 :http://www.cs.

23 主讲教师和助教主讲教师 : 林子雨单位 : 厦门大学计算机科学系 ziyulin@xmu.edu.cn 个人网页 : 数据库实验室网站 : 助教 : 赖明星单位 : 厦门大学计算机科学系数据库实验室 2011 级硕士研究生 ( 导师 : 林子雨 ) mingxinglai@gmail.com 个人主页 : 欢迎访问大数据技术基础 2013 班级网站 : 本讲义 PPT 存在配套教材大数据技术基础, 请到上面网站下载

24 Department of Computer Science, Xiamen University, Sep, 2013 大数据技术基础厦门大学计算机系林子雨 2013 年 9 月修订版

白皮书英特尔 IT 部门实施 Apache Hadoop* 英特尔分发版软件的最佳实践目录要点概述...1 业务挑战...2 Hadoop* 分发版注意事项...3 Hadoop* 基础架构注意事项

白皮书英特尔 IT 部门实施 Apache Hadoop* 英特尔分发版软件的最佳实践目录要点概述...1 业务挑战...2 Hadoop* 分发版注意事项...3 Hadoop* 基础架构注意事项 IT@Intel 白皮书英特尔 IT 部门大数据和商业智能 2013 年 10 月英特尔 IT 部门实施 Apache Hadoop* 英特尔分发版软件的最佳实践要点概述仅在五周之内, 我们就实施了基于 Apache Hadoop* 英特尔分发版的低成本可完全实现的大数