大数据技术原理与应用

Size: px

Start display at page:

Download "大数据技术原理与应用"

畴峡殷
5 years ago
Views:

cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字第 2 章大数据处理架构 Hadoop

1 大数据技术原理与应用厦门大学计算机科学系 ( 第 2 版 ) 厦门大学计算机科学系林子雨 2017 年 2 月版本 ziyulin@xmu.edu.cn 大数据技术原理与应用 ( 第 2 版 ) 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字第 2 章大数据处理架构 Hadoop (PPT 版本号 :2017 年 2 月版本 ) 林子雨厦门大学计算机科学系 ziyulin@xmu.edu.cn 主页 :

2 本章配套教学视频大数据技术原理与应用 ( 第 2 版 ) 第 2 章大数据处理架构 Hadoop 在线视频观看地址

3 提纲 2.1 概述 2.2 Hadoop 项目结构 2.3 Hadoop 的安装与使用 2.4 Hadoop 集群的部署与使用本 PPT 是如下教材的配套讲义 : 大数据技术原理与应用概念存储处理分析与应用 (2017 年 2 月第 2 版 ) ISBN: 厦门大学林子雨编著, 人民邮电出版社欢迎访问大数据技术原理与应用教材官方网站 :

4 2.1 概述 Hadoop 简介 Hadoop 发展简史 Hadoop 的特性 Hadoop 的应用现状大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

5 2.1.1 Hadoop 简介 Hadoop 是 Apache 软件基金会旗下的一个开源分布式计算平台, 为用户提供了系统底层细节透明的分布式基础架构 Hadoop 是基于 Java 语言开发的, 具有很好的跨平台特性, 并且可以部署在廉价的计算机集群中 Hadoop 的核心是分布式文件系统 HDFS(Hadoop Distributed File System) 和 MapReduce Hadoop 被公认为行业大数据标准开源软件, 在分布式环境下提供了海量数据的处理能力几乎所有主流厂商都围绕 Hadoop 提供开发工具开源软件商业化工具和技术服务, 如谷歌雅虎微软思科淘宝等, 都支持 Hadoop

6 2.1.2 Hadoop 发展简史 Hadoop 的标志 Hadoop 最初是由 Apache Lucene 项目的创始人 Doug Cutting 开发的文本搜索库 Hadoop 源自始于 2002 年的 Apache Nutch 项目一个开源的网络搜索引擎并且也是 Lucene 项目的一部分在 2004 年,Nutch 项目也模仿 GFS 开发了自己的分布式文件系统 NDFS(Nutch Distributed File System), 也就是 HDFS 的前身 2004 年, 谷歌公司又发表了另一篇具有深远影响的论文, 阐述了 MapReduce 分布式编程思想 2005 年,Nutch 开源实现了谷歌的 MapReduce

7 2.1.2 Hadoop 发展简史到了 2006 年 2 月,Nutch 中的 NDFS 和 MapReduce 开始独立出来, 成为 Lucene 项目的一个子项目, 称为 Hadoop, 同时,Doug Cutting 加盟雅虎 2008 年 1 月,Hadoop 正式成为 Apache 顶级项目,Hadoop 也逐渐开始被雅虎之外的其他公司使用 2008 年 4 月,Hadoop 打破世界纪录, 成为最快排序 1TB 数据的系统, 它采用一个由 910 个节点构成的集群进行运算, 排序时间只用了 209 秒在 2009 年 5 月,Hadoop 更是把 1TB 数据排序时间缩短到 62 秒 Hadoop 从此名声大震, 迅速发展成为大数据时代最具影响力的开源分布式开发平台, 并成为事实上的大数据处理标准

8 2.1.3 Hadoop 的特性 Hadoop 是一个能够对大量数据进行分布式处理的软件框架, 并且是以一种可靠高效可伸缩的方式进行处理的, 它具有以下几个方面的特性 : 高可靠性高效性高可扩展性高容错性成本低运行在 Linux 平台上支持多种编程语言

9 2.1.3 Hadoop 的应用现状 Hadoop 凭借其突出的优势, 已经在各个领域得到了广泛的应用, 而互联网领域是其应用的主阵地 2007 年, 雅虎在 Sunnyvale 总部建立了 M45 一个包含了 4000 个处理器和 1.5PB 容量的 Hadoop 集群系统 Facebook 作为全球知名的社交网站,Hadoop 是非常理想的选择, Facebook 主要将 Hadoop 平台用于日志处理推荐系统和数据仓库等方面国内采用 Hadoop 的公司主要有百度淘宝网易华为中国移动等, 其中, 淘宝的 Hadoop 集群比较大

10 2.1.3 Hadoop 的应用现状 Hadoop 在企业中的应用架构

11 2.1.4 Apache Hadoop 版本演变 Apache Hadoop 版本分为两代, 我们将第一代 Hadoop 称为 Hadoop 1.0, 第二代 Hadoop 称为 Hadoop 2.0 第一代 Hadoop 包含三个大版本, 分别是 0.20.x,0.21.x 和 0.22.x, 其中, 0.20.x 最后演化成 1.0.x, 变成了稳定版, 而 0.21.x 和 0.22.x 则增加了 NameNode HA 等新的重大特性第二代 Hadoop 包含两个版本, 分别是 0.23.x 和 2.x, 它们完全不同于 Hadoop 1.0, 是一套全新的架构, 均包含 HDFS Federation 和 YARN 两个系统, 相比于 0.23.x,2.x 增加了 NameNode HA 和 Wire-compatibility 两个重大特性

12 2.1.4 Apache Hadoop 版本演变大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

13 2.1.5 Hadoop 各种版本 Apache Hadoop Hortonworks Cloudera(CDH:Cloudera Distribution Hadoop) MapR 选择 Hadoop 版本的考虑因素 : 是否开源 ( 即是否免费 ) 是否有稳定版是否经实践检验是否有强大的社区支持大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

14 2.1.5 Hadoop 各种版本大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

15 2.2 Hadoop 项目结构 Hadoop 的项目结构不断丰富发展, 已经形成一个丰富的 Hadoop 生态系统

16 2.2 Hadoop 项目结构组件 HDFS MapReduce YARN Tez Hive HBase Pig Sqoop Oozie Zookeeper Storm Flume Ambari 功能分布式文件系统分布式并行编程模型资源管理和调度器运行在 YARN 之上的下一代 Hadoop 查询处理框架 Hadoop 上的数据仓库 Hadoop 上的非关系型的分布式数据库一个基于 Hadoop 的大规模数据分析平台, 提供类似 SQL 的查询语言 Pig Latin 用于在 Hadoop 与传统数据库之间进行数据传递 Hadoop 上的工作流管理系统提供分布式协调一致性服务流计算框架一个高可用的, 高可靠的, 分布式的海量日志采集聚合和传输的系统 Hadoop 快速部署工具, 支持 Apache Hadoop 集群的供应管理和监控 Kafka Spark 一种高吞吐量的分布式发布订阅消息系统, 可以处理消费者规模的网站中的所有动作流数据类似于 Hadoop MapReduce 的通用并行框架

17 2.3 Hadoop 的安装与使用 Hadoop 安装之前的预备知识安装 Linux 虚拟机安装双操作系统详解 Hadoop 的安装与使用详细安装教程请参考厦门大学数据实验室建设的中国高校大数据课程公共服务平台上的技术文章 : 大数据技术原理与应用第二章大数据处理架构 Hadoop 学习指南, 给出了每步安装命令和效果截图访问地址 :

18 2.3.1 Hadoop 安装之前的预备知识 ( 一 )Linux 的选择 (1) 选择哪个 Linux 发行版? 在 Linux 系统各个发行版中,CentOS 系统和 Ubuntu 系统在服务端和桌面端使用占比最高, 网络上资料最是齐全, 所以建议使用 CentOS 或 Ubuntu 在学习 Hadoop 方面, 虽然两个系统没有多大区别, 但是推荐使用 Ubuntu 操作系统 (2) 选择 32 位还是 64 位? 如果电脑比较老或者内存小于 2G, 那么建议选择 32 位系统版本的 Linux 如果内存大于 4G, 那么建议选择 64 位系统版本的 Linux

19 2.3.1 Hadoop 安装之前的预备知识 ( 二 ) 系统安装方式 : 选择虚拟机安装还是双系统安装建议电脑比较新或者配置内存 4G 以上的电脑可以选择虚拟机安装电脑较旧或配置内存小于等于 4G 的电脑强烈建议选择双系统安装, 否则, 在配置较低的计算机上运行 LInux 虚拟机, 系统运行速度会非常慢鉴于目前教师和学生的计算机硬件配置一般不高, 建议在实践教学中采用双系统安装, 确保系统运行速度

20 2.3.1 Hadoop 安装之前的预备知识 ( 三 ) 关于 Linux 的一些基础知识 Shell 是指提供使用者使用界面的软件 ( 命令解析器 ), 类似于 DOS 下的 command 和后来的 cmd.exe 它接收用户命令, 然后调用相应的应用程序 sudo 命令 sudo 是 ubuntu 中一种权限管理机制, 管理员可以授权给一些普通用户去执行一些需要 root 权限执行的操作当使用 sudo 命令时, 就需要输入您当前用户的密码输入密码在 Linux 的终端中输入密码, 终端是不会显示任何你当前输入的密码, 也不会提示你已经输入了多少字符密码, 读者不要误以为键盘没有响应输入法中英文切换 linux 中英文的切换方式是使用键盘 shift 键来切换, 也可以点击顶部菜单的输入法按钮进行切换 Ubuntu 自带的 Sunpinyin 中文输入法已经足够读者使用 Ubuntu 终端复制粘贴快捷键在 Ubuntu 终端窗口中, 复制粘贴的快捷键需要加上 shift, 即粘贴是 ctrl+shift+v

21 2.3.1 Hadoop 安装之前的预备知识 ( 四 )Hadoop 安装方式单机模式 :Hadoop 默认模式为非分布式模式 ( 本地模式 ), 无需进行其他配置即可运行非分布式即单 Java 进程, 方便进行调试伪分布式模式 :Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行, 节点既作为 NameNode 也作为 DataNode, 同时, 读取的是 HDFS 中的文件分布式模式 : 使用多个节点构成集群环境来运行 Hadoop

2.3.2 安装 Linux 虚拟机一材料和工具 1 下载 VirtualBox 虚拟机软件 2. 下载 Ubuntu LTS 14.

22 2.3.2 安装 Linux 虚拟机一材料和工具 1 下载 VirtualBox 虚拟机软件 2. 下载 Ubuntu LTS ISO 映像文件二步骤 ( 一 ) 确认系统版本如果选择的系统是 64 位 Ubuntu 系统, 那么在安装虚拟机前, 我们还要进入 BIOS 开启 CPU 的虚拟化

23 2.3.2 安装 Linux 虚拟机 ( 二 ) 安装前的准备 1. 打开 VirtualBox, 点击创建按钮, 创建一个虚拟机 2. 给虚拟机命名, 选择操作系统, 版本 3. 选择内存大小, 这里设置的 1024M 4. 创建虚拟硬盘 5. 选择虚拟硬盘文件类型 VDI 6. 虚拟硬盘选择动态分配 7. 选择文件存储的位置和容量大小 8. 点击创建

24 2.3.2 安装 Linux 虚拟机 ( 三 ) 安装 Ubuntu

25 2.3.3 安装双操作系统第一步 : 制作安装 U 盘具体可参考百度经验文章第二步 : 双系统安装具体可参考百度经验文章安装后 Window 和 Ubuntu 都可以用, 默认 windows 优先启动可以在电脑启动时, 选择进入 Ubuntu 系统而不是 Windows 系统

26 2.3.4 Hadoop 的安装与使用 ( 单机 / 伪分布式 ) Hadoop 基本安装配置主要包括以下几个步骤 : 创建 Hadoop 用户 SSH 登录权限设置安装 Java 环境单机安装配置伪分布式安装配置详细安装配置过程请参考厦门大学数据库实验室出品教程 Hadoop 安装教程 _ 单机 / 伪分布式配置 _Hadoop2.6.0/Ubuntu 在大数据课程学生服务站中的第二章学习指南有该教程链接地址大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

27 创建 Hadoop 用户如果安装 Ubuntu 的时候不是用的 hadoop 用户, 那么需要增加一个名为 hadoop 的用户首先按 ctrl+alt+t 打开终端窗口, 输入如下命令创建新用户 : $ sudo useradd m hadoop s /bin/bash 上面这条命令创建了可以登陆的 hadoop 用户, 并使用 /bin/bash 作为 shell 接着使用如下命令设置密码, 可简单设置为 hadoop, 按提示输入两次密码 : $ sudo passwd hadoop 可为 hadoop 用户增加管理员权限, 方便部署, 避免一些对新手来说比较棘手的权限问题 : $ sudo adduser hadoop sudo

28 SSH 登录权限设置 SSH 是什么? SSH 为 Secure Shell 的缩写, 是建立在应用层和传输层基础上的安全协议 SSH 是目前较可靠专为远程登录会话和其他网络服务提供安全性的协议利用 SSH 协议可以有效防止远程管理过程中的信息泄露问题 SSH 最初是 UNIX 系统上的一个程序, 后来又迅速扩展到其他操作平台 SSH 是由客户端和服务端的软件组成, 服务端是一个守护进程 (daemon), 它在后台运行并响应来自客户端的连接请求, 客户端包含 ssh 程序以及像 scp( 远程拷贝 ) slogin( 远程登陆 ) sftp( 安全文件传输 ) 等其他的应用程序配置 SSH 的原因 : Hadoop 名称节点 (NameNode) 需要启动集群中所有机器的 Hadoop 守护进程, 这个过程需要通过 SSH 登录来实现 Hadoop 并没有提供 SSH 输入密码登录的形式, 因此, 为了能够顺利登录每台机器, 需要将所有机器配置为名称节点可以无密码登录它们

29 安装 Java 环境 Java 环境可选择 Oracle 的 JDK, 或是 OpenJDK 可以在 Ubuntu 中直接通过命令安装 OpenJDK 7 $ sudo apt-get install openjdk-7-jre openjdk-7-jdk 还需要配置一下 JAVA_HOME 环境变量具体请参考网络教程 : 大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

30 单机安装配置 Hadoop 2 安装文件的下载 Hadoop 2 可以到官网下载, 需要下载 hadoop-2.x.y.tar.gz 这个格式的文件, 这是编译好的, 另一个包含 src 的则是 Hadoop 源代码, 需要进行编译才可使用如果读者是使用虚拟机方式安装 Ubuntu 系统的用户, 请用虚拟机中的 Ubuntu 自带 firefox 浏览器访问本指南, 再点击下载地址, 才能把 hadoop 文件下载虚拟机 ubuntu 中请不要使用 Windows 系统下的浏览器下载, 文件会被下载到 Windows 系统中, 虚拟机中的 Ubuntu 无法访问外部 Windows 系统的文件, 造成不必要的麻烦如果读者是使用双系统方式安装 Ubuntu 系统的用户, 请进去 Ubuntu 系统, 在 Ubuntu 系统打开 firefox 浏览器, 再点击下载

31 单机安装配置选择将 Hadoop 安装至 /usr/local/ 中 $ sudo tar -zxf ~/ 下载 /hadoop tar.gz -C /usr/local # 解压到 /usr/local 中 $cd /usr/local/ $sudo mv./hadoop-2.6.0/./hadoop # 将文件夹名改为 hadoop $sudo chown -R hadoop:hadoop./hadoop # 修改文件权限 Hadoop 解压后即可使用输入如下命令来检查 Hadoop 是否可用, 成功则会显示 Hadoop 版本信息 : $ cd /usr/local/hadoop $./bin/hadoop version Hadoop 默认模式为非分布式模式 ( 本地模式 ), 无需进行其他配置即可运行

32 伪分布式安装配置 Hadoop 可以在单节点上以伪分布式的方式运行,Hadoop 进程以分离的 Java 进程来运行, 节点既作为 NameNode 也作为 DataNode, 同时, 读取的是 HDFS 中的文件 Hadoop 的配置文件位于 /usr/local/hadoop/etc/hadoop/ 中, 伪分布式需要修改 2 个配置文件 core-site.xml 和 hdfs-site.xml Hadoop 的配置文件是 xml 格式, 每个配置以声明 property 的 name 和 value 的方式来实现

33 伪分布式安装配置实验步骤 : 修改配置文件 :core-site.xml,hdfs-site.xml,mapred-site.xml 初始化文件系统 hadoop namenode -format 启动所有进程 start-all.sh 访问 web 界面, 查看 Hadoop 信息运行实例

34 伪分布式安装配置修改配置文件 core-site.xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> <description>abase for other temporary directories.</description> </property> <property> <name>fs.defaultfs</name> <value>hdfs://localhost:9000</value> </property> </configuration> hadoop.tmp.dir 表示存放临时数据的目录, 即包括 NameNode 的数据, 也包括 DataNode 的数据该路径任意指定, 只要实际存在该文件夹即可 name 为 fs.defaultfs 的值, 表示 hdfs 路径的逻辑名称

35 伪分布式安装配置修改配置文件 hdfs-site.xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/local/hadoop/tmp/dfs/data</value> </property></configuration> dfs.replication 表示副本的数量, 伪分布式要设置为 1 dfs.namenode.name.dir 表示本地磁盘目录, 是存储 fsimage 文件的地方 dfs.datanode.data.dir 表示本地磁盘目录,HDFS 数据存放 block 的地方

36 伪分布式安装配置关于三种 Shell 命令方式的区别 : 1. hadoop fs 2. hadoop dfs 3. hdfs dfs hadoop fs 适用于任何不同的文件系统, 比如本地文件系统和 HDFS 文件系统 hadoop dfs 只能适用于 HDFS 文件系统 hdfs dfs 跟 hadoop dfs 的命令作用一样, 也只能适用于 HDFS 文件系统

37 2.4 Hadoop 集群的部署与使用集群节点类型集群规模集群硬件配置集群网络拓扑集群的建立与安装集群基准测试在云计算环境中使用 Hadoop 大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

38 2.4.1 Hadoop 集群中有哪些节点类型 Hadoop 框架中最核心的设计是为海量数据提供存储的 HDFS 和对数据进行计算的 MapReduce MapReduce 的作业主要包括 :(1) 从磁盘或从网络读取数据, 即 IO 密集工作 ;(2) 计算数据, 即 CPU 密集工作 Hadoop 集群的整体性能取决于 CPU 内存网络以及存储之间的性能平衡因此运营团队在选择机器配置时要针对不同的工作节点选择合适硬件类型一个基本的 Hadoop 集群中的节点主要有 NameNode: 负责协调集群中的数据存储 DataNode: 存储被拆分的数据块 JobTracker: 协调数据计算任务 TaskTracker: 负责执行由 JobTracker 指派的任务 SecondaryNameNode: 帮助 NameNode 收集文件系统运行的状态信息

39 2.4.2 集群硬件配置在集群中, 大部分的机器设备是作为 Datanode 和 TaskTracker 工作的 Datanode/TaskTracker 的硬件规格可以采用以下方案 : 4 个磁盘驱动器 ( 单盘 1-2T), 支持 JBOD(Just a Bunch Of Disks, 磁盘簇 ) 2 个 4 核 CPU, 至少 2-2.5GHz 16-24GB 内存千兆以太网 NameNode 提供整个 HDFS 文件系统的 NameSpace( 命名空间 ) 管理块管理等所有服务, 因此需要更多的 RAM, 与集群中的数据块数量相对应, 并且需要优化 RAM 的内存通道带宽, 采用双通道或三通道以上内存硬件规格可以采用以下方案 : 8-12 个磁盘驱动器 ( 单盘 1-2T) 2 个 4 核 /8 核 CPU 16-72GB 内存千兆 / 万兆以太网 SecondaryNameNode 在小型集群中可以和 NameNode 共用一台机器, 较大的群集可以采用与 NameNode 相同的硬件

40 2.4.3 集群规模要多大 Hadoop 集群规模可大可小, 初始时, 可以从一个较小规模的集群开始, 比如包含 10 个节点, 然后, 规模随着存储器和计算需求的扩大而扩大如果数据每周增大 1TB, 并且有三个 HDFS 副本, 然后每周需要一个额外的 3TB 作为原始数据存储要允许一些中间文件和日志 ( 假定 30%) 的空间, 由此, 可以算出每周大约需要增加一台新机器存储两年数据的集群, 大约需要 100 台机器对于一个小的集群, 名称节点 (NameNode) 和 JobTracker 运行在单个节点上, 通常是可以接受的但是, 随着集群和存储在 HDFS 中的文件数量的增加, 名称节点需要更多的主存, 这时, 名称节点和 JobTracker 就需要运行在不同的节点上第二名称节点 (SecondaryNameNode) 会和名称节点可以运行在相同的机器上, 但是, 由于第二名称节点和名称节点几乎具有相同的主存需求, 因此, 二者最好运行在不同节点上

41 2.4.4 集群网络拓扑普通的 Hadoop 集群结构由一个两阶网络构成每个机架 (Rack) 有个服务器, 配置一个 1GB 的交换机, 并向上传输到一个核心交换机或者路由器 (1GB 或以上 ) 在相同的机架中的节点间的带宽的总和, 要大于不同机架间的节点间的带宽总和

42 2.4.5 集群的建立与安装采购好相关的硬件设备后, 就可以把硬件装入机架, 安装并运行 Hadoop 安装 Hadoop 有多种方法 : (1) 手动安装 (2) 自动化安装为了缓解安装和维护每个节点上相同的软件的负担, 可以使用一个自动化方法实现完全自动化安装, 比如 Red Hat Linux Kickstart Debian 或者 Docker 自动化安装部署工具, 会通过记录在安装过程中对于各个选项的回答来完成自动化安装过程

43 2.4.6 Hadoop 集群基准测试如何判断一个 Hadoop 集群是否已经正确安装? 可以运行基准测试 Hadoop 自带有一些基准测试程序, 被打包在测试程序 JAR 文件中用 TestDFSIO 基准测试, 来测试 HDFS 的 IO 性能用排序测试 MapReduce:Hadoop 自带一个部分排序的程序, 这个测试过程的整个数据集都会通过洗牌 (Shuffle) 传输至 Reducer, 可以充分测试 MapReduce 的性能

44 2.4.7 在云计算环境中使用 Hadoop Hadoop 不仅可以运行在企业内部的集群中, 也可以运行在云计算环境中可以在 Amazon EC2 中运行 Hadoop EC2 是一个计算服务, 允许客户租用计算机 ( 实例 ), 来运行自己的应用客户可以按需运行或终止实例, 并且按照实际使用情况来付费 Hadoop 自带有一套脚本, 用于在 EC2 上面运行 Hadoop 在 EC2 上运行 Hadoop 尤其适用于一些工作流例如, 在 Amazon S3 中存储数据, 在 EC2 上运行集群, 在集群中运行 MapReduce 作业, 读取存储在 S3 中的数据, 最后, 在关闭集群之前将输出写回 S3 中 ; 如果长期使用集群, 复制 S3 数据到运行在 EC2 上的 HDFS 中, 则可以使得数据处理更加高效, 因为,HDFS 可以充分利用数据的位置,S3 则做不到, 因为,S3 与 EC2 的存储不在同一个节点上

45 本章小结 Hadoop 被视为事实上的大数据处理标准, 本章介绍了 Hadoop 的发展历程, 并阐述了 Hadoop 的高可靠性高效性高可扩展性高容错性成本低运行在 Linux 平台上支持多种编程语言等特性 Hadoop 目前已经在各个领域得到了广泛的应用, 雅虎 Facebook 百度淘宝网易等公司都建立了自己的 Hadoop 集群经过多年发展,Hadoop 项目已经变得非常成熟和完善, 包括 Common Avro Zookeeper HDFS MapReduce HBase Hive Chukwa Pig 等子项目, 其中,HDFS 和 MapReduce 是 Hadoop 的两大核心组件本章最后介绍了如何在 Linux 系统下完成 Hadoop 的安装和配置, 这个部分是后续章节实践环节的基础

附录 : 主讲教师林子雨简介主讲教师 : 林子雨单位 : 厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.

cn/linziyu 数据库实验室网站 :http://dblab.xmu.edu.

46 附录 : 主讲教师林子雨简介主讲教师 : 林子雨单位 : 厦门大学计算机科学系 ziyulin@xmu.edu.cn 个人网页 : 数据库实验室网站 : 扫一扫访问个人主页林子雨, 男,1978 年出生, 博士 ( 毕业于北京大学 ), 现为厦门大学计算机科学系助理教授 ( 讲师 ), 曾任厦门大学信息科学与技术学院院长助理晋江市发展和改革局副局长中国计算机学会数据库专业委员会委员, 中国计算机学会信息系统专业委员会委员, 荣获 2016 中国大数据创新百人称号中国高校首个数字教师提出者和建设者, 厦门大学数据库实验室负责人, 厦门大学云计算与大数据研究中心主要建设者和骨干成员,2013 年度厦门大学奖教金获得者主要研究方向为数据库数据仓库数据挖掘大数据云计算和物联网, 并以第一作者身份在软件学报计算机学报和计算机研究与发展等国家重点期刊以及国际学术会议上发表多篇学术论文作为项目负责人主持的科研项目包括 1 项国家自然科学青年基金项目 (No ) 1 项福建省自然科学青年基金项目 (No.2013J05099) 和 1 项中央高校基本科研业务费项目 (No ), 同时, 作为课题负责人完成了国家发改委城市信息化重大课题国家物联网重大应用示范工程区域试点泉州市工作方案 2015 泉州市互联网经济调研等课题中国高校首个数字教师提出者和建设者,2009 年至今, 数字教师大平台累计向网络免费发布超过 100 万字高价值的研究和教学资料, 累计网络访问量超过 100 万次打造了中国高校大数据教学知名品牌, 编著出版了中国高校第一本系统介绍大数据知识的专业教材大数据技术原理与应用, 并成为京东当当网等网店畅销书籍 ; 建设了国内高校首个大数据课程公共服务平台, 为教师教学和学生学习大数据课程提供全方位一站式服务, 年访问量超过 50 万次具有丰富的政府和企业信息化培训经验, 厦门大学管理学院 EDP 中心浙江大学管理学院 EDP 中心厦门大学继续教育学院泉州市科技培训中心特邀培训讲师, 曾给中国移动通信集团公司福州马尾区政府福建龙岩卷烟厂福建省物联网科学研究院石狮市物流协会厦门市物流协会浙江省中小企业家四川泸州企业家江苏沛县企业家等开展信息化培训, 累计培训人数达 3000 人以上

附录 : 大数据技术原理与应用教材大数据技术原理与应用概念存储处理分析与应用 ( 第 2 版 ), 由厦门大学计算机科学系林子雨博士编著,

分布式文件系统 HDFS 分布式数据库 HBase NoSQL 数据库云数据库分布式并行编程模型 MapReduce Spark 流计算图计算

安排了入门级的实践操作, 让读者更好地学习和掌握大数据关键技术本书可以作为高等院校计算机专业信息管理等相关专业的大数据课程教材,

47 附录 : 大数据技术原理与应用教材大数据技术原理与应用概念存储处理分析与应用 ( 第 2 版 ), 由厦门大学计算机科学系林子雨博士编著, 是中国高校第一本系统介绍大数据知识的专业教材扫一扫访问教材官网全书共有 15 章, 系统地论述了大数据的基本概念大数据处理架构 Hadoop 分布式文件系统 HDFS 分布式数据库 HBase NoSQL 数据库云数据库分布式并行编程模型 MapReduce Spark 流计算图计算数据可视化以及大数据在互联网生物医学和物流等各个领域的应用在 Hadoop HDFS HBase 和 MapReduce 等重要章节, 安排了入门级的实践操作, 让读者更好地学习和掌握大数据关键技术本书可以作为高等院校计算机专业信息管理等相关专业的大数据课程教材, 也可供相关技术人员参考学习培训之用欢迎访问大数据技术原理与应用概念存储处理分析与应用教材官方网站 :

48 附录 : 中国高校大数据课程公共服务平台扫一扫访问平台主页扫一扫观看 3 分钟 FLASH 动画宣传片

49 Department of Computer Science, Xiamen University, 2017 大数据技术原理与应用 ( 第 2 版 ) 厦门大学计算机科学系林子雨 ziyulin@xmu.edu.cn

大数据技术原理与应用

大数据技术原理与应用厦门大学计算机科学系厦门大学计算机科学系林子雨 2015 年版 ziyulin@xmu.edu.cn 大数据技术原理与应用 http://dblab.xmu.edu.cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字第二章大数据处理架构 Hadoop (PPT 版本号 :2015 年 6 月第 1.0 版 ) 林子雨厦门大学计算机科学系