大数据技术原理与应用

大数据技术原理与应用 厦门大学计算机科学系厦门大学计算机科学系林子雨 2015 年版 ziyulin@xmu.edu.cn 大数据技术原理与应用 http://dblab.xmu.edu.cn/post/bigdata 温馨提示 : 编辑幻灯片母版, 可以修改每页 PPT 的厦大校徽和底部文字 第二章大数据处理架构 Hadoop (PPT 版本号 :2015 年 6 月第 1.0 版 ) 林子雨厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.cn 主页 :http://www.cs.xmu.edu.cn/linziyu

提纲 2.1 概述 2.2 Hadoop 项目结构 2.3 Hadoop 的安装与使用 本 PPT 是如下教材的配套讲义 : 21 世纪高等教育计算机规划教材 大数据技术原理与应用 概念 存储 处理 分析与应用 (2015 年 6 月第 1 版 ) 厦门大学林子雨编著, 人民邮电出版社 ISBN:978-7-115-39287-9 欢迎访问 大数据技术原理与应用 教材官方网站 : http://dblab.xmu.edu.cn/post/bigdata

2.1 概述 2.1.1 Hadoop 简介 2.1.2 Hadoop 发展简史 2.1.3 Hadoop 的特性 2.1.4 Hadoop 的应用现状

2.1.1 Hadoop 简介 Hadoop 是 Apache 软件基金会旗下的一个开源分布式计算平台, 为用户提供了系统底层细节透明的分布式基础架构 Hadoop 是基于 Java 语言开发的, 具有很好的跨平台特性, 并且可以部署在廉价的计算机集群中 Hadoop 的核心是分布式文件系统 HDFS(Hadoop Distributed File System) 和 MapReduce Hadoop 被公认为行业大数据标准开源软件, 在分布式环境下提供了海量数据的处理能力 几乎所有主流厂商都围绕 Hadoop 提供开发工具 开源软件 商业化工具和技术服务, 如谷歌 雅虎 微软 思科 淘宝等, 都支持 Hadoop

2.1.2 Hadoop 发展简史 Hadoop 的标志 Hadoop 最初是由 Apache Lucene 项目的创始人 Doug Cutting 开发的文本搜索库 Hadoop 源自始于 2002 年的 Apache Nutch 项目 一个开源的网络搜索引擎并且也是 Lucene 项目的一部分 在 2004 年,Nutch 项目也模仿 GFS 开发了自己的分布式文件系统 NDFS(Nutch Distributed File System), 也就是 HDFS 的前身 2004 年, 谷歌公司又发表了另一篇具有深远影响的论文, 阐述了 MapReduce 分布式编程思想 2005 年,Nutch 开源实现了谷歌的 MapReduce

2.1.2 Hadoop 发展简史 到了 2006 年 2 月,Nutch 中的 NDFS 和 MapReduce 开始独立出来, 成为 Lucene 项目的一个子项目, 称为 Hadoop, 同时,Doug Cutting 加盟雅虎 2008 年 1 月,Hadoop 正式成为 Apache 顶级项目,Hadoop 也逐渐开始被雅虎之外的其他公司使用 2008 年 4 月,Hadoop 打破世界纪录, 成为最快排序 1TB 数据的系统, 它采用一个由 910 个节点构成的集群进行运算, 排序时间只用了 209 秒 在 2009 年 5 月,Hadoop 更是把 1TB 数据排序时间缩短到 62 秒 Hadoop 从此名声大震, 迅速发展成为大数据时代最具影响力的开源分布式开发平台, 并成为事实上的大数据处理标准

2.1.3 Hadoop 的特性 Hadoop 是一个能够对大量数据进行分布式处理的软件框架, 并且是以一种可靠 高效 可伸缩的方式进行处理的, 它具有以下几个方面的特性 : 高可靠性 高效性 高可扩展性 高容错性 成本低 运行在 Linux 平台上 支持多种编程语言

2.1.3 Hadoop 的应用现状 Hadoop 凭借其突出的优势, 已经在各个领域得到了广泛的应用, 而互联网领域是其应用的主阵地 2007 年, 雅虎在 Sunnyvale 总部建立了 M45 一个包含了 4000 个处理器和 1.5PB 容量的 Hadoop 集群系统 Facebook 作为全球知名的社交网站,Hadoop 是非常理想的选择, Facebook 主要将 Hadoop 平台用于日志处理 推荐系统和数据仓库等方面 国内采用 Hadoop 的公司主要有百度 淘宝 网易 华为 中国移动等, 其中, 淘宝的 Hadoop 集群比较大

2.2 Hadoop 项目结构 经过多年的发展,Hadoop 项目不断完善和成熟, 目前已经包含多个子项目 ( 如图 2-2 所示 ) 除了核心的 HDFS 和 MapReduce 以外,Hadoop 项目还包括 Common Avro Zookeeper HBase Hive Chukwa Pig 等子项目, 它们提供了互补性服务或在核心层上提供了更高层的服务 Pig Chukwa Hive HBase MapReduce HDFS ZooKeeper Common Avro 图 2-2 Hadoop 项目结构图

2.3 Hadoop 的安装与使用 Hadoop 基本安装配置主要包括以下几个步骤 : 创建 Hadoop 用户 Java 安装 SSH 登录权限设置 单机安装配置 伪分布式安装配置

2.3.1 创建 Hadoop 用户 添加用户 -----useradd 删除用户 -----userdel 更改密码 -----passwd 在本次实验中, 创建的用户名为 hadoop

2.3.2 Java 安装 使用 CentOS 自带的 java 版本 安装 Oracle 官方 java 版本

2.3.3 SSH 登录权限 SSH 是什么? SSH 为 Secure Shell 的缩写, 是建立在应用层和传输层基础上的安全协议 SSH 是由客户端和服务端的软件组成, 服务端是一个守护进程 (daemon), 他在后台运行并响应来自客户端的连接请求, 客户端包含 ssh 程序以及像 scp( 远程拷贝 ) slogin( 远程登陆 ) sftp( 安全文件传输 ) 等其他的应用程序 配置 SSH 的原因 : Hadoop 名称节点 (NameNode) 需要启动集群中所有机器的 Hadoop 守护进程, 这个过程需要通过 SSH 登录来实现 Hadoop 并没有提供 SSH 输入密码登录的形式, 因此, 为了能够顺利登录每台机器, 需要将所有机器配置为名称节点可以无密码登录它们

2.3.4 安装单机 Hadoop Hadoop 版本 :1.2.1 下载地址 :http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-1.2.1/ 实验步骤 : 解压缩 hadoop-1.2.1.tar.gz 修改 hadoop-env.sh 查看 hadoop 版本信息 :./hadoop version 运行 hadoop 实例

2.3.5 Hadoop 伪分布式安装 文件名称 格式 描述 hadoop-env.sh Bash 脚本 记录配置 Hadoop 运行所需的环境变量, 以运 行 Hadoop core-site.xml Hadoop 配置 XML Hadoop core 的配置项, 例如 HDFS 和 MapReduce 常用的 I/O 设置等 hdfs-site.xml Hadoop 配置 XML Hadoop 的守护进程的配置项, 包括 NameNode SecondaryNameNode 和 DataNode 等 mapred-site.xml Hadoop 配置 XML MapReduce 守护进程的配置项, 包括 JobTracker 和 TaskTracker masters 纯文本 运行 SecondaryNameNode 的机器列表 ( 每行一个 ) slaves 纯文本 运行 DataNode 和 TaskTracker 的机器列表 ( 每行一个 ) hadoopmetrics.properties Java 属性 Hadoop 配置文件 控制 metrics 在 Hadoop 上如何发布的属性

2.3.5 Hadoop 伪分布式安装 实验步骤 : 修改配置文件 :core-site.xml,hdfs-site.xml,mapred-site.xml 初始化文件系统 hadoop namenode -format 启动所有进程 start-all.sh 访问 web 界面, 查看 Hadoop 信息 运行实例

本章小结 Hadoop 被视为事实上的大数据处理标准, 本章介绍了 Hadoop 的发展历程, 并阐述了 Hadoop 的高可靠性 高效性 高可扩展性 高容错性 成本低 运行在 Linux 平台上 支持多种编程语言等特性 Hadoop 目前已经在各个领域得到了广泛的应用, 雅虎 Facebook 百度 淘宝 网易等公司都建立了自己的 Hadoop 集群 经过多年发展,Hadoop 项目已经变得非常成熟和完善, 包括 Common Avro Zookeeper HDFS MapReduce HBase Hive Chukwa Pig 等子项目, 其中,HDFS 和 MapReduce 是 Hadoop 的两大核心组件 本章最后介绍了如何在 Linux 系统下完成 Hadoop 的安装和配置, 这个部分是后续章节实践环节的基础

主讲教师和助教 主讲教师 : 林子雨 单位 : 厦门大学计算机科学系 E-mail: ziyulin@xmu.edu.cn 个人网页 :http://www.cs.xmu.edu.cn/linziyu 数据库实验室网站 :http://dblab.xmu.edu.cn 助教 : 蔡珉星 单位 : 厦门大学计算机科学系数据库实验室 2013 级硕士研究生 ( 导师 : 林子雨 ) E-mail: caiminxing@126.com 欢迎访问 大数据技术原理与应用 概念 存储 处理 分析与应用 教材官方网站 :http://dblab.xmu.edu.cn/post/bigdata

Department of Computer Science, Xiamen University, June, 2015