正文.indd

Size: px

Start display at page:

Download "正文.indd"

刘山
5 years ago
Views:

1 第 2 章 Hadoop 的安装与配置本章内容在 Linux 上安装与配置 Hadoop 在 Windows 上安装与配置 Hadoop 安装和配置 Hadoop 集群日志分析及几个小技巧小结

2 第2章 Hadoop 的安装与配置 19 Hadoop 的安装非常简单大家可以在官网上下载到最近的几个版本网址为 apache.etoak.com/hadoop/core/ Hadoop 最早是为了在 Linux 平台上使用而开发的但是 Hadoop 在 UNIX Windows 和 Mac OS X 系统上也运行良好不过在 Windows 上运行 Hadoop 稍显复杂首先必须安装 Cygwin 以模拟 Linux 环境然后才能安装 Hadoop 在 Unix 上安装 Hadoop 的过程与在 Linux 上安装基本相同因此下面不会对其进行详细介绍 2.1 在 Linux 上安装与配置 Hadoop 在 Linux 上安装 Hadoop 之前需要先安装两个程序 JDK 1.6 或更高版本 SSH 安全外壳协议推荐安装 OpenSSH 下面简述一下安装这两个程序的原因 Hadoop 是用 Java 开发的 Hadoop 的编译及 MapReduce 的运行都需要使用 JDK Hadoop 需要通过 SSH 来启动 salve 列表中各台主机的守护进程因此 SSH 也是必须安装的即使是安装伪分布式版本因为 Hadoop 并没有区分集群式和伪分布式对于伪分布式 Hadoop 会采用与集群相同的处理方式即依次序启动文件 conf/slaves 中记载的主机上的进程只不过伪分布式中 salve 为 localhost 即为自身所以对于伪分布式 Hadoop SSH 一样是必须的安装 JDK 1.6 安装 JDK 的过程很简单下面以 Ubuntu 为例 1 下载和安装 JDK 确保可以连接到互联网输入命令 sudo apt-get install sun-java6-jdk 输入密码确认然后就可以安装 JDK 了这里先解释一下 sudo 与 apt 这两个命令 sudo 这个命令允许普通用户执行某些或全部需要 root 权限命令它提供了详尽的日志可以记录下每个用户使用这个命令做了些什么操作同时 sudo 也提供了灵活的管理方式可以限制用户使用命令 sudo 的配置文件为 /etc/ sudoers apt 的全称为 the Advanced Packaging Tool 是 Debian 计划的一部分是 Ubuntu 的软件包管理软件通过 apt 安装软件无须考虑软件的依赖关系可以直接安装所需要的软件 apt 会自动下载有依赖关系的包并按顺序安装在 Ubuntu 中安装有 apt 的一个图形化界面程序 synaptic 中文译名为新立得大家如果有兴趣也可以使用这个程序来安装所需要的软

3 20 Hadoop 实战件如果大家想了解更多可以查看一下关于 Debian 计划的资料 2 配置环境变量输入命令 sudo gedit /etc/profile 输入密码打开 profile 文件在文件的最下面输入如下内容 #set Java Environment export JAVA_HOME= 你的 JDK 安装位置一般为 /usr/lib/jvm/java-6-sun export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH" export PATH="$JAVA_HOME/:$PATH" 这一步的意义是配置环境变量使你的系统可以找到 JDK 3 验证 JDK 是否安装成功输入命令 java -version 查看信息 java version "1.6.0_14" Java(TM) SE Runtime Environment (build 1.6.0_14-b08) Java HotSpot(TM) Server VM (build 14.0-b16, mixed mode) 配置 SSH 免密码登录同样以 Ubuntu 为例假设用户名为 u 1 确认已经连接上互联网输入命令 sudo apt-get install ssh 2 配置为可以无密码登录本机首先查看在 u 用户下是否存在.ssh 文件夹注意 ssh 前面有. 这是一个隐藏文件夹输入命令 ls -a /home/u 一般来说安装 SSH 时会自动在当前用户下创建这个隐藏文件夹如果没有可以手动创建一个接下来输入命令 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 解释一下 ssh-keygen 代表生成密钥 -t 注意区分大小写表示指定生成的密钥类型 dsa 是 dsa 密钥认证的意思即密钥类型 -P 用于提供密语 -f 指定生成的密钥文件关于密钥密语的相关知识这里就不详细介绍了里面会涉及 SSH 的一些知识如果读者有兴趣可以自行查阅资料

4 第2章 Hadoop 的安装与配置 21 在 Ubuntu 中 ~ 代表当前用户文件夹这里即 /home/u 这个命令会在.ssh 文件夹下创建两个文件 id_dsa 及 id_dsa.pub 这是 SSH 的一对私钥和公钥类似于钥匙及锁把 id_dsa.pub 公钥追加到授权的 key 里面去输入命令 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 这段话的意思是把公钥加到用于认证的公钥文件中这里的 authorized_keys 是用于认证的公钥文件至此无密码登录本机已设置完毕 3 验证 SSH 是否已安装成功以及是否可以无密码登录本机输入命令 ssh -version 显示结果 OpenSSH_5.1p1 Debian-6ubuntu2, OpenSSL 0.9.8g 19 Oct 2007 Bad escape character 'rsion'. 显示 SSH 已经安装成功了输入命令 ssh localhost 会有如下显示 The authenticity of host 'localhost (::1)' can't be established. RSA key fingerprint is 8b:c3:51:a5:2a:31:b7:74:06:9d:62:04:4f:84:f8:77. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'localhost' (RSA) to the list of known hosts. Linux master generic #48-Ubuntu SMP Fri Oct 16 14:04:26 UTC 2009 i686 To access official Ubuntu documentation, please visit: Last login: Mon Oct 18 17:12: from master admin@hadoop:~$ 这说明已经安装成功第一次登录时会询问你是否继续链接输入 yes 即可进入实际上在 Hadoop 的安装过程中是否无密码登录是无关紧要的但是如果不配置无密码登录每次启动 Hadoop 都需要输入密码以登录到每台机器的 DataNode 上考虑到一般的 Hadoop 集群动辄数百台或上千台机器因此一般来说都会配置 SSH 的无密码登录安装并运行 Hadoop 介绍 Hadoop 的安装之前先介绍一下 Hadoop 对各个节点的角色定义

5 22 Hadoop 实战 Hadoop 分别从三个角度将主机划分为两种角色第一划分为 master 和 slave 即主人与奴隶第二从 HDFS 的角度将主机划分为 NameNode 和 DataNode 在分布式文件系统中目录的管理很重要管理目录的就相当于主人而 NameNode 就是目录管理者第三从 MapReduce 的角度将主机划分为 JobTracker 和 TaskTracker 一个 job 经常被划分为多个 task 从这个角度不难理解它们之间的关系 Hadoop 有官方发行版与 cloudera 版其中 cloudera 版是 Hadoop 的商用版本这里先介绍 Hadoop 官方发行版的安装方法 Hadoop 有三种运行方式单节点方式单机伪分布方式与集群方式乍看之下前两种方式并不能体现云计算的优势在实际应用中并没有什么意义但是在程序的测试与调试过程中它们还是很有意义的你可以通过以下地址获得 Hadoop 的官方发行版下载 Hadoop tar.gz 并将其解压这里会解压到用户目录下一般为 /home/[ 你的用户名 ]/ 单节点方式配置安装单节点的 Hadoop 无须配置在这种方式下 Hadoop 被认为是一个单独的 Java 进程这种方式经常用来调试伪分布式配置你可以把伪分布式的 Hadoop 看做是只有一个节点的集群在这个集群中这个节点既是 master 也是 slave 既是 NameNode 也是 DataNode 既是 JobTracker 也是 TaskTracker 伪分布式的配置过程也很简单只需要修改几个文件如下所示进入 conf 文件夹修改配置文件 Hadoop-env.sh: export JAVA_HOME= 你的 JDK 安装地址指定 JDK 的安装位置 conf/core-site.xml: <configuration> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </configuration> 这是 Hadoop 核心的配置文件这里配置的是 HDFS 的地址和端口号 conf/hdfs-site.xml: <configuration> <name>dfs.replication</name>

6 第2章 Hadoop 的安装与配置 23 <value>1</value> </configuration> 这是 Hadoop 中 HDFS 的配置配置的备份方式默认为 3 在单机版的 Hadoop 中需要将其改为 1 conf/mapred-site.xml: <configuration> <name>mapred.job.tracker</name> <value>localhost:9001</value> </configuration> 这是 Hadoop 中 MapReduce 的配置文件配置的是 JobTracker 的地址和端口需要注意的是如果安装的是 0.20 之前的版本那么只有一个配置文件即为 Hadoopsite.xml 接下来在启动 Hadoop 前需格式化 Hadoop 的文件系统 HDFS 这点与 Windows 是一样的重新分区后的卷总是需要格式化的进入 Hadoop 文件夹输入下面的命令 bin/hadoop NameNode -format 格式化文件系统接下来启动 Hadoop 输入命令 bin/start-all.sh 全部启动最后验证 Hadoop 是否安装成功打开浏览器分别输入网址 (MapReduce 的 Web 页面 ) (HDFS 的 Web 页面 ) 如果都能查看说明 Hadoop 已经安装成功对于 Hadoop 来说安装 MapReduce 及 HDFS 都是必须的但是如果有必要你依然可以只启动 HDFS start-dfs.sh 或 MapReduce start-mapred.sh 关于完全分布式的 Hadoop 会在 2.3 节详述 2.2 在 Windows 上安装与配置 Hadoop 相对于 Linux Windows 版本的 JDK 安装过程更容易你可以在 com/zh_cn/download/manual.jsp 下载到最新版本的 JDK 这里再次申明 Hadoop 的编译及 MapReduce 程序的运行很多地方都需要使用 JDK 的相关工具因此只安装 JRE 是不够的

7 24 Hadoop 实战安装过程十分简单运行即可程序会自动配置环境变量在之前的版中还没有这项功能新版本的 JDK 中已经可以自动配置环境变量了安装 Cygwin Cygwin 是在 Windows 平台下模拟 Unix 环境的一个工具只有通过它才可以在 Windows 环境下安装 Hadoop 可以通过这个链接下载 Cygwin 双击运行安装程序选择 install from internet 根据网络状况选择合适的源下载程序进入 select packages 界面然后进入 Net 勾选 openssl 及 openssh 如图 2-1 所示图 2-1 勾选 openssl 及 openssh 如果打算在 Eclipse 上编译 Hadoop 还必须安装 Base Category 下的 sed 如图 2-2 所示图 2-2 勾选 sed 另外建议安装 Editors Category 下的 vim 以便在 Cygwin 上直接修改配置文件配置环境变量依次点击我的电脑属性高级系统设置环境变量修改环境变量里的 path 设置在其后添加 Cygwin 的 bin 目录和 Cygwin 的 usr\bin 目录安装和启动 sshd 服务点击桌面上的 Cygwin 图标启动 Cygwin 执行 ssh-host-config 命令当要求输入 Yes/ No 时选择输入 No 当看到 Have fun 时表示 sshd 服务安装成功在桌面上的我的电脑图标上右击点击管理菜单启动 CYGWIN sshd 服务配置 SSH 免密码登录执行 ssh-keygen 命令生成密钥文件按如下命令生成 authorized_keys 文件 cd ~/..ssh/ cp id_rsa.pub authorized_keys

8 第2章 Hadoop 的安装与配置 25 完成上述操作后执行 exit 命令先退出 Cygwin 窗口如果不执行这一步操作下面的操作可能会遇到错误接下来重新运行 Cygwin 执行 ssh localhost 命令在第一次执行时会有提示然后输入 yes 直接回车即可另外在 Windows 上安装 Hadoop 的过程与 Linux 一样这里就不再赘述了 2.3 安装和配置 Hadoop 集群网络拓扑通常来说一个 Hadoop 的集群体系结构由两层网络拓扑组成如图 2-1 所示结合实际的应用来看每个机架中会有台机器这些机器共享一个 1GB 带宽的网络交换机在所有的机架之上还有一个核心交换机或路由器通常来说其网络交换能力为 1GB 或更高可以很明显地看出同一个机架中机器节点之间的带宽资源肯定要比不同机架中机器节点间丰富这也是 Hadoop 随后设计数据读写分发策略要考虑的一个重要因素定义集群拓扑在实际应用中为了使 Hadoop 集群获得更高的性能读者需要配置集群使 Hadoop 能够感知其所在的网络拓扑结构当然如果集群中机器数量很少而且它们存在于一个机架中那么就不用做太多额外的工作而当集群中存在多个机架时就要使 Hadoop 清晰地知道每台机器所在的机架随后在处理 MapReduce 任务时 Hadoop 会优先选择在机架内部进行数据传输而不是在机架间这样就可以更充分地使用网络带宽资源同时 HDFS 可以更加智能地部署数据副本并在性能和可靠性间寻找到最优的平衡在 Hadoop 中网络的拓扑结构机器节点及机架的网络位置定位都是通过树结构来描述的通过它来确定节点间的距离这个距离是 Hadoop 做决策判断时的参考因素 NameNode 也是通过这个距离来决定应该把数据副本放到哪里的当一个 map 任务到达时它会被分配到一个 TaskTracker 上运行 JobTracker 节点则会使用网络位置来确定 map 任务执行的机器节点在图 2-3 中笔者使用树结构来描述网络拓扑结构主要包括两个网络位置交换机 / 机架 1 和交换机 / 机架 2 因为在图中的集群只有一个最高级别的交换机所以此网络拓扑可简化描述为 / 机架 1 和 / 机架 2 在配置 Hadoop 时 Hadoop 会确定节点地址和其网络位置的映射此映射在代码中通过 Java 接口 DNSToSwitchMapping 实现代码如下 public interface DNSToSwitchMapping { public List<String> resolve(list<string> names); }

26 Hadoop 实战 Switch1 Rack1 Rack2 Node1 Node2 Node3 Node4 Node5 Node6 Disks Disks Disks Disks Disks Disks 图 2-1 Hadoop 的网络拓扑结构其中参数 names 是 IP 地址的一个 List 数据这个函数返回的值为对应网络位置的字符串列表在 opology.node.

9 26 Hadoop 实战 Switch1 Rack1 Rack2 Node1 Node2 Node3 Node4 Node5 Node6 Disks Disks Disks Disks Disks Disks 图 2-1 Hadoop 的网络拓扑结构其中参数 names 是 IP 地址的一个 List 数据这个函数返回的值为对应网络位置的字符串列表在 opology.node.switch.mapping.impl 的配置参数中定义了一个 DNSToSwitchMapping 接口的实现 NameNode 通过它确定完成任务的机器节点所在的网络位置在图 2-1 的实例中可以将节点 1 节点 2 节点 3 映射到 / 机架 1 中节点 4 节点 5 节点 6 映射到 / 机架 2 中事实上在实际应用中管理员可能不需要手动做额外的工作去配置这些映射关系系统有一个默认的接口实现 ScriptBasedMapping 它可以运行用户自定义的一个脚本区完成映射如果用户没有定义它则会将所有的机器节点映射到一个单独的网络位置中默认的机架上如果用户定义了映射则这个脚本的位置由 topology.script.file. name 的属性控制脚本必须获取一批主机的 IP 地址作为参数进行映射同时生成一个标准的网络位置给输出建立和安装 Cluster 想要建立 Hadoop 集群首先要做的就是选择并购买机器在机器到手之后就要进行网络部署并安装软件了安装和配置 Hadoop 有很多方法这一部分内容在前文已经详细讲解见 2.1 节和 2.2 节同时还告诉了读者在实际部署时应该考虑的情况为了简化我们在每个机器节点上安装和维护相同软件的过程通常会采用自动安装法比如 Red Hat Linux 下的 Kickstart 或 Debian 的全程自动化安装这些工具先会记录你的安装过程以及你对选择项的选择然后根据记录来自动安装软件同时它会在每个进程的结尾提供一个钩子执行脚本在对那些不包含在标准安装中的最终系统进行调整和自定义时这是非常有用的下面我们将具体介绍一下如何部署和配置 Hadoop Hadoop 为了应对不同的使用需求不管是开发实际应用还是研究有着不同的运行方式包括单节点单机伪分布集群等前面已经详细介绍了 Hadoop 在 Windows 和 Linux 平台下的安装与配置下面将对

10 第2章 Hadoop 的安装与配置 27 Hadoop 的分布式配置做具体的介绍 1. Hadoop 集群的配置在配置伪分布式的过程中大家也许会觉得 Hadoop 的配置很简单但那只是最基本的配置 Hadoop 的配置文件分为两类只读类型的默认文件 src/core/core-default.xml src/hdfs/hdfs-default.xml src/ mapred/mapred-default.xml conf/mapred-queues.xml 定位 site-specific 设置 conf/core-site.xml conf/hdfs-site.xml conf/mapred-site.xml conf/mapred-queues.xml 除此之外也可以通过设置 conf/hadoop-env.sh 来为 Hadoop 的守护进程设置环境变量在 bin/ 文件夹内 Hadoop 是通过 org.apache.hadoop.conf.configuration 来读取配置文件的在 Hadoop 的设置中 Hadoop 的配置是通过资源 resource 定位的每个资源由一系列 name/value 对以 XML 文件的形式构成它以一个字符串命名或以 Hadoop 定义的 Path 类命名这个类是用于定义文件系统中的文件或文件夹的如果是以字符串命名的 Hadoop 会通过 classpath 调用此文件如果是以 Path 类命名的那么 Hadoop 会直接在本地文件系统中搜索文件资源设定有两个特点如下所示 Hadoop 允许定义最终参数 final parameters 如果任意资源声明了 final 这个值那么之后加载的任何资源都不能改变这个值定义最终资源的格式是这样的 <name>dfs.client.buffer.dir</name> <value>/tmp/hadoop/dfs/client</value> <final>true</final> // 注意这个值 Hadoop 允许参数传递如下所示当 tempdir 被调用时 basedir 会作为值被调用 <name>basedir</name> <value>/user/${user.name}</value> <name>tempdir</name> <value>${basedir}/tmp</value> 刚才提到读者可以通过设置 conf/hadoop-env.sh 为 Hadoop 的守护进程设置环境变量一般来说大家至少需要在这里设置在主机上安装 JDK 的位置 JAVA_HOME 以使 Hadoop 找到 JDK 大家也可以在这里通过 HADOOP_*_OPTS 对不同的守护进程分别进行设置如表 2-1 所示

11 28 Hadoop 实战表 2-1 Hadoop 的守护进程配置表守护进程 (Daemon) NameNode DataNode SecondaryNameNode JobTracker TaskTracker 配置选项 (Configure Options) HADOOP_NameNode_OPTS HADOOP_DataNode_OPTS HADOOP_SECONDARYNameNode_OPTS HADOOP_JOBTRACKER_OPTS HADOOP_TASKTRACKER_OPTS 例如, 如果想设置 NameNode 使用 parallelgc, 那么可以这样写 : export HADOOP_NameNode_OPTS="-XX:+UseParallelGC ${HADOOP_NameNode_OPTS}" 在这里也可以进行其他设置, 比如设置 Java 的运行环境 (HADOOP_OPTS), 设置日志文件的存放位置 (HADOOP_LOG_DIR), 或者 SSH 的配置 (HADOOP_SSH_OPTS) 等关于 conf/core-site.xml conf/hdfs-site.xml conf/mapred-site.xml 的配置可查看表 2-2 表 2-3 和表 2-4 参数 (Parameter) fs.default.name 表 2-2 conf/core-site.xml 的配置值 (Value) NameNode 的 IP 地址及端口表 2-3 参数 (Parameter) dfs.name.dir dfs.data.dir conf/hdfs-site.xml 的配置值 (Value) NameNode 存储名字空间及汇报日志的位置 DataNode 存储数据块的位置表 2-4 conf/mapred-site.xml 的配置参数 (Parameter) mapreduce.jobtracker.address JobTracker 的 IP 地址及端口 mapreduce.jobtracker.system.dir 值 (Value) MapReduce 在 HDFS 上存储文件的位置, 例如 /Hadoop/ mapred/system/ mapreduce.cluster.local.dir MapReduce 的缓存数据存储在文件系统上的位置 mapred.tasktracker.{map reduce}.tasks.maximum 每台 TaskTracker 所能运行的 Map 或 Reduce 的 task 最大数量 dfs.hosts/dfs.hosts.exclude 允许或禁止的 DataNode 列表 mapreduce.jobtracker.hosts.filename/ mapreduce.jobtracker.hosts.exclude.filename mapreduce.cluster.job-authorization-enabled 允许或禁止的 TaskTrackers 列表布尔类型, 标志着 job 存取控制列表是否支持对 job 的观察和修改配置并不复杂, 一般而言, 除了规定端口 IP 地址文件的存储位置外, 其他配置都不是必须修改的, 可以根据需要决定是采用默认配置还是自己修改还有一点需要注意的是,

12 第 2 章 Hadoop 的安装与配置 29 以上配置都被默认为最终参数 (final parameters), 这些参数都不可以在程序中再次修改接下来可以看一下 conf/mapred-queues.xml 的配置列表 ( 如表 2-5 所示 ) 表 2-5 conf/mapred-queues.xml 的配置标签或属性 (Tag/Attribute) 值 (Value) 是否可刷新 queues 配置文件的根元素无意义 aclsenabled 布尔类型 <queues> 标签的属性, 标志着存取控制列表是否支持控制 job 的提交及所有 queues 的管理 queue <queues> 的子元素, 定义系统中的 queue 无意义 name <queue> 的子元素, 代表名字否 state <queue> 的子元素, 代表 queue 的状态是 acl-submit-job acl-administer-job <queue> 的子元素, 定义一个能提交 job 到该 queue 的用户或组的名单列表 <queue> 的子元素, 定义一个能更改 job 的优先级或能杀死已提交到该 queue 的 job 用户或组的名单列表 properties <queues> 的子元素, 定义优先调度规则无意义 property <properties> 的子元素无意义 key 的子元素调度程序指定 value 的属性调度程序指定是是是相信大家能猜出上表中的 mapred-queues.xml 文件是用来做什么的, 这个文件就是用来设置 MapReduce 系统的队列顺序的 queues 是 JobTracker 中的一个抽象概念, 可以在一定程度上管理 job, 因此它为管理员提供了一种管理 job 的方式这种控制是常见且有效的, 例如通过这种管理可以把不同的用户划分为不同的组, 或分别赋予他们不同的级别, 并且会优先执行高级别用户提交的 job 按照这个思路, 很容易想到三种原则 : 同一类用户提交的 job 统一提交到同一个 queue 中 ; 运行时间较长的 job 可以提交到同一个 queue 中 ; 把很快就能运行完成的 job 划分到一个 queue 中, 并且限制好 queue 中 job 的数量上限 queues 的有效性很依赖在 JobTracker 中通过 mapreduce.jobtracker.taskscheduler 设置的调度规则 (scheduler), 一些调度算法可能只需要一个 queue, 不过有些调度算法可能会很复杂, 需要设置很多 queue queues 的大部分设置的更改都不需要重新启动 MapReduce 系统就可以生效, 不过也有一些需要重启系统的, 具体可见表 2-5 conf/mapred-queues.xml 的文件配置与其他文件略有不同, 配置格式如下所示 : <queues aclsenabled="$aclsenabled"> <queue> <name>$queue-name</name> <state>$state</state> <queue>

13 30 Hadoop 实战 <name>$child-queue1</name> <properties> <property key="$key" value="$value"/>... </properties> <queue> <name>$grand-child-queue1</name>... </queue> </queue> <queue> <name>$child-queue2</name>... </queue> <queue> <name>$leaf-queue</name> <acl-submit-job>$acls</acl-submit-job> <acl-administer-jobs>$acls</acl-administer-jobs> <properties> <property key="$key" value="$value"/>... </properties> </queue> </queue> </queues> 以上这些就是 Hadoop 配置的主要内容其他还有一些诸如内存配置方面的信息如有兴趣可以参阅官方的配置文档 2. 一个具体的配置为了方便阐述这里只搭建一个有三台主机的小集群相信读者还没有忘记 Hadoop 对主机的三种定位方式分别为 master 和 slave JobTracker 和 TaskTracker NameNode 和 DataNode 为了方便在分配 IP 地址时顺便规定一下角色下面是为这三台机器分配的 IP 地址及相应的角色 master,NamoNode,jobtracker-master 主机名 slave,DataNode,tasktracker-slave1 主机名 slave,DataNode,tasktracker-slave2 主机名首先在三台主机上创建相同的用户这是 Hadoop 的基本要求 1 在三台主机上安装 JDK 1.6 并设置环境变量 2 在这三台主机上安装 OpenSSH 并配置 SSH 可以无密码登录安装方式不再赘述建立 ~/.ssh 文件夹如已存在则无须创建 ~ 代表 Ubuntu 的

14 第2章 Hadoop 的安装与配置当前用户文件夹生成密钥并配置 SSH 无密码登录本机输入命令 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 将文件拷贝到两台 slave 主机相同的文件夹内输入命令 scp authorized_keys slave1:~/.ssh/ scp authorized_keys slave2:~/.ssh/ 查看是否可以从 master 主机无密码登录 slave 输入命令 ssh slave1 ssh slave2 3 在三台主机上分别设置 /etc/hosts 及 /etc/hostname hosts 这个文件用于定义主机名与 IP 地址之间的对应关系 /etc/hosts: localhost master slave slave2 hostname 这个文件用于定义 Ubuntu 的主机名 /etc/hostname: 你的主机名如 master slave1 等 4 配置三台主机的 Hadoop 文件内容如下 conf/hadoop-env.sh: export JAVA_HOME= 你的 Java 安装地址 conf/core-site.xml: <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  <configuration> <name>fs.default.name</name> <value>hdfs://master:9000</value> <name>hadoop.tmp.dir</name> <value> 你希望 Hadoop 存储数据块的位置 </value> // 此文件夹需手动创建 31

15 32 Hadoop 实战 </configuration> conf/hdfs-site.xml: <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  <configuration> <name>dfs.replication</name> <value>2</value> </configuration> conf/mapred-site.xml: <?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>  <configuration> <name>mapred.job.tracker</name> <value>master:9001</value> </configuration> conf/masters: master conf/slaves: slave1 slave2 5) 启动 Hadoop bin/hadoop NameNode -format bin/start-all.sh 你可以通过命令 : Hadoop dfsadmin -report 查看集群状态, 或者通过及查看集群状态 2.4 日志分析及几个小技巧如果大家在安装的时候遇到问题, 或者按步骤安装完后却不能运行 Hadoop, 那么建议

16 第 2 章 Hadoop 的安装与配置 33 仔细查看日志信息,Hadoop 记录了详尽的日志信息, 日志文件保存在 logs 文件夹内无论是启动, 还是以后会经常用到的 MapReduce 中的每一个 job, 以及 HDFS 等相关信息,Hadoop 均存有日志文件以供分析例如 : NameNode 和 DataNode 的 namespaceid 不一致, 这个错误是很多人在安装时会遇到的, 日志信息为 : java.io.ioexception: Incompatible namespaceids in /root/tmp/dfs/data: NameNode namespaceid = ; DataNode namespaceid = 若 HDFS 一直没有启动, 读者可以查询日志, 并通过日志进行分析, 以上提示信息显示了 NameNode 和 DataNode 的 namespaceid 不一致这个问题一般是由于两次或两次以上的格式化 NameNode 造成的, 有两种方法可以解决, 第一种方法是删除 DataNode 的所有资料 ; 第二种方法是修改每个 DataNode 的 namespaceid( 位于 /dfs/data/current/version 文件中 ) 或修改 NameNode 的 namespaceid ( 位于 /dfs/name/current/version 文件中 ), 使其一致下面这两种方法在实际应用中也可能会用到 1) 重启坏掉的 DataNode 或 JobTracker 当 Hadoop 集群的某单个节点出现问题时, 一般不必重启整个系统, 只须重启这个节点, 它会自动连入整个集群在坏死的节点上输入如下命令即可 : bin/hadoop-daemon.sh start DataNode bin/hadoop-daemon.sh start jobtracker 2) 动态加入 DataNode 或 TaskTracker 这个命令允许用户动态将某个节点加入集群中 bin/hadoop-daemon.sh --config./conf start DataNode bin/hadoop-daemon.sh --config./conf start tasktracker 2.5 小结本章主要讲解了 Hadoop 的安装和配置过程 Hadoop 的安装过程并不复杂, 基本配置也简单明了, 其中有以下几个关键点 : Hadoop 主要是用 Java 语言编写的, 它无法使用 Linux 预装的 OpenJDK, 因此在安装 Hadoop 前要先安装 Oracle 公司的 JDK( 版本要在 1.6 以上 ); 作为分布式系统,Hadoop 需要通过 SSH 的方式启动处于 slave 上的程序, 因此必须安装和配置 SSH 因此, 在安装 Hadoop 前需要安装 JDK 和 SSH 在 Windows 系统上安装 Hadoop 与在 Linux 系统上安装有一点不同, 就是在 Windows 系统上需要通过 Cygwin 模拟 Linux 环境, 而 SSH 的安装也需要在安装 Cygwin 时进行选择,

17 34 Hadoop 实战请不要忘了这一点集群配置只须记住 conf/hadoop-env.sh conf/core-site.xml conf/hdfs-site.xml conf/ mapred-site.xml conf/mapred-queues.xml 这 5 个文件的作用即可, 另外 Hadoop 有些配置是可以在程序中修改的, 这部分内容不是本章的重点, 因此没有详细说明

在Windows上安装Hadoop

在Windows上安装Hadoop 一见 2010.1.6 www.hadoopor.com/hadoopor@foxmail.com 1. 安装 JDK 不建议只安装 JRE, 而是建议直接安装 JDK, 因为安装 JDK 时, 可以同时安装 JRE MapReduce 程序的编写和 Hadoop 的编译都依赖于 JDK, 光 JRE 是不够的 JRE 下载地址 :http://www.java.com/zh_cn/download/manual.jsp