目录 一 安装配置步骤 虚拟机的准备工作 安装和配置 JDK 环境 配置 SSH 免密码登录 编辑 etc/hosts 文件 配置 hadoop 将 master 上的 Hadoop 安装包拷

Transcription

1 hadoop 集群部署 ( 部署 )

2 目录 一 安装配置步骤 虚拟机的准备工作 安装和配置 JDK 环境 配置 SSH 免密码登录 编辑 etc/hosts 文件 配置 hadoop 将 master 上的 Hadoop 安装包拷贝到数据节点上 编辑 master 主机的 etc/profile 文件 格式化 hadoop 启动 hadoop 二 验证 hadoop 群集 通过 hadoop dfsadmin -report 命令验证 通过 web 访问 hadoop 验证 三 Hadoop 的使用 Hadoop 中的命令 (Command) 使用 运行.jar 代码 使用 web 界面查看信息 四 Hadoop 相关资源 / 21

3 一 安装配置步骤 1.1 虚拟机的准备工作 1 新建四台虚拟机, 并安装好 centos6.2, 接着把四台虚拟机分别命名为 Master DataNode1 DataNode2 DataNode3; 2 四台 VM 配置好 IP 地址 ; 3 四台 VM 均要配置好相同的 hadoop 管理用的用户名, 本次实验是 : jntest 安装和配置 JDK 环境 四台 VM 均需要安装 JDK 1.6, 并设置环境变量准备工作 : 1 先下载好 JDK 1.6(oracle 官网可以下载 ); 2 把下载好的 JDK 1.6 上传到四台 VM 中, 可以用 winscp 工具上传 若是在虚拟机能上网, 直接在虚拟机里下载好即可, 就可以免了上传文件这一步 具体步骤 : 1 用 jntest01 登录到 VM, 切换到 JDK 存放的路径, 然后安装 jdk, 具体命令操作如下 : su // 需临时切换到 root 权限, 但前提是要只是 root 密码 password: // 输入 root 的密码 chmod u+x jdk-6u26-linux-x64-rpm.bin // 授予 jdk 安装包用户具有执行的权限./ jdk-6u26-linux-x64-rpm // 安装 jdk 2 安装 jdk 过程都是自动的, 安装完后, 会提示按 enter 键继续, 此时 jdk 安装完毕 ; 3 安装完 jdk 后, 此时 jdk 的环境还没生效, 我们可以在命令行输入 java version 查看, 此时会 linux 的 java 版本还是系统自带的 open java 版本 ; 4 设置环境变量, 使 java 环境生效, 具体操作如下 : vi /etc/profile // 用 vi 编辑工具编辑 etc/profile 文件, 在文件的最后那里输入如 下命令 3 / 21

4 #set java environment export JAVA_HOME=/usr/java/jdk1.6.0_26 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin export JAVA_HOME CLASSPATH PATH 5 编辑完 etc/profile 文件后, 保存好之后还需输入下面这个命令使其马上生效 source /etc/profile 6 为 java 建立符号链接, 具体如下操作如下 cd /usr/bin // 切换目录 ln -s -f /usr/java/jdk1.6.0_26/jre/bin/java // 建立符号连接 ln -s -f /usr/java/jdk1.6.0_26/bin/javac // 建立符号连接 所示 : 至此 JDK 的安装和配置完成, 我们可以通过 java version 命令查看是否安装成功, 如下图 1.3 配置 SSH 免密码登录 准备工作 : 使用 jntest01 登陆 1 确保四台虚拟机的用户家目录下有.ssh 目录, 并且确保.ssh 的权限是 700( 即 rwr) 默认情况下会建立, 如下图所示 : 4 / 21

5 2 如果没有, 则需要手动新建, 如下 : 确保已经在家目录下, 使用 mkdir.ssh 命令创建目录, 如下图 : 3 另外还需要确认创建出来的.ssh 目录要确保权限是 700 若不是, 需授权 chmod 700.ssh // 需在 jntest01 的家目录下进行, 不然的话使用绝对路径 配置步骤 : 1 由于刚刚通过 su 命令临时切换到 root 用户, 这里需要切换回 jntest01, 我们可以通过按组合键 ctrl+d 切换回 jntest01, 以下步骤没有说明的话, 都是再 jntest01 用户下操作 2 确认是否安装了 SSH, 可以用如下命令确定 rpm -qa grep ssh 默认情况下,SSH 就已经预安装了, 输入 rpm -qa grep ssh 就会出现如下四个安装包, 表示已经安装了, 如下所示 : openssh-clients-5.3p1-70.el6.x86_64 openssh-server-5.3p1-70.el6.x86_64 openssh-5.3p1-70.el6.x86_64 openssh-askpass-5.3p1-70.el6.x86_64 3 生成密钥, 输入如下命令 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 4 把公钥加到认证的公钥文件中, 命令如下 cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 5 授权 authorized_keys 文件的权限为 644, 具体命令和操作如下 : 5 / 21

6 chmod 644 ~/.ssh/authorized_keys 6 接着验证 ssh 免密码登陆是否配置成功, 命令如下 ssh localhost 会出现如下显示 : The authenticity of host 'localhost (: : 1)' can't be established. RSA key fingerprint is 17:4d:07:ef:6a:95:38:b4:97:b5:f1:d0:c4:4a:63:4e. Are you sure you want to continue connecting (yes/no)? yes Warning: Permanently added 'localhost' (RSA) to the list of known hosts. jntest01@ 's password: authorized_keys 100% KB/s 00:00 这说明已经配置成功了, 第一次登陆时会询问你是否继续链接, 输入 yes 即可 7 为其他三台主机配置 SSH 免密码登录, 输入如下密码 : scp ~/.ssh/authorized_keys :~/.ssh/ // ~ 代表当前用户文件夹, 此命令是把 authorized_keys 这个文件复制到 这台机子上的同样位置上, 其他主机只需更改个 IP 地址即可 8 注意: 复制完 authorized_keys 文件后, 此时需要登录到另外三台虚拟机中, 确保 authorized_keys 文件的权限是 644, 若不是的话, 要修改权限 如下图 : 1.4 编辑 etc/hosts 文件 1 在四台 linux 主机中, 分别编辑 etc/hosts 文件, 添加四台主机名, 如下所示 : localhost 6 / 21

7 master DataNode DataNode DataNode3 2 确保添加成功, 如下图所示 1.5 配置 hadoop 通过 winscp 软件把 hadoop 安装包 hadoop tar.gz 上传到命名为 master( 作为命名主机 ) 的 linux 主机中, 存放路径为 :/usr/local 解压 hadoop 安装包 用 jntest01 登录 master 这台主机, 切换到 hadoop 压缩包存放路径, 具体操作命令如下 : cd /usr/local // 切换到安装包路径 su password: // 切换 root 权限 // 提示输入 root 密码 tar -zxvf hadoop tar.gz // 接着解压安装包 chown -R jntest01:jntest01 hadoop // 把解压出来的安装包的用户更改为 jntest01 chmod 744 hadoop // 把安装包的权限设置为 744 接着按组合键 ctrl+d 退出 root 用户 配置 hadoop 配置文件 (1) 配置 conf/hadoop-env.sh 文件 1 编辑 conf/hadoop-env.sh 文件 7 / 21

8 cd /usr/local/hadoop-1.0.3/conf // 切换到 hadoop 的 conf 配置文件路径 2 编辑 hadoop-env.sh 文件 vi hadoop-env.sh 3 在文件的最后一行添加如下: export JAVA_HOME=/usr/java/jdk1.6.0_26 (2) 配置 conf/core-site.xml 文件 1 还是在刚刚的路径(/usr/local/hadoop-1.0.3/conf), 编辑 core-site.xml 文件 vi core-site.xml 2 在两个 <configuration> 之间插入如下代码 <property> <name>fs.default.name</name> <value>hdfs:// :9000/</value> </property> 其中,fs.default.name 是 NameNode 的 URI hdfs:// 主机名 : 端口 / (3) 配置 conf/hdfs-site.xml 文件在两个 <configuration> 之间插入如下代码 <property> <name>dfs.replication</name> <value>3</value> </property> 这是是设置数据备份的副本数量, 默认是 3, 可以自己更改 数据默认存储在数据节点的 /tmp/data 这个路径里 (4) 配置 conf/mapred-site.xml 在两个 <configuration> 之间插入如下代码 : <property> 8 / 21

9 <name>mapred.job.tracker</name> <value> :9001</value> </property> 这里是设置 jobtracker 角色 (5) 配置 conf/masters 和 conf/slaves 来设置主从结点 vi masters 输入 : //master 主机的 IP 或者也可以输入主机名 master vi slaves 输入 : // 输入数据节点是 IP 或者主机名 1.6 将 master 上的 Hadoop 安装包拷贝到数据节点上 在 master 上设置好 hadoop 的配置文件后, 可以通过 scp 命令把 hadoop 的安装包拷贝到每一个 Slave 相同的目录下, 这样的话另外三个节点就不需要再进行安装配置了 有一点要注意的是, 需要用 su 切换到 root 权限再使用 SCP 命令复制文件, 复制完成后, 还需把 hadoop 的安装包再更改用户和权限 在这里以复制到 这个节点为例, 其他的操作均一致 1 su // 切换 root password: // 输入 root 密码 scp -r hadoop :/usr/local/ 2 连接过程中会提示你输入 这台主机 root 用户的密码, 输入密码后, 就会自动复制过去 3 然后再登录 这台机, 进行更改用户和授权 9 / 21

10 chown -R jntest01:jntest01 hadoop // 把解压出来的安装包的用户更改为 jntest01 chmod 744 hadoop // 把安装包的权限设置为 编辑 master 主机的 etc/profile 文件 在文件的最后一行加入 : export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin export HADOOP_HOME_WARN_SUPPRESS=1 添加这些内容的目的是把 hadoop 的命令行变量 bin 添加到环境变量中, 方便使用 hadoop 的命令 1.8 格式化 hadoop 切换到 cd /usr/local/hadoop-1.0.3/bin, 输入命令 :./hadoop namenode -format 1.9 启动 hadoop 1 进入 hadoop 的 bin 文件夹 cd /usr/local/hadoop-1.0.3/bin 2 查看 bin 目录下的可执行脚本命令, 比较常用的就 start-all.sh( 启动 hadoop 所有的角色进程 ),stop-all.sh( 停止 hadoop 所有的角色进程 ),hadoop(hadoop 的管理操作命令 ): 3 执行./start-all.sh,hadoop 的服务随即启动, 如下图所示 : 10 / 21

11 二 验证 hadoop 群集 2.1 通过 hadoop dfsadmin -report 命令验证 1 在 master( 命名空间主机 ) 中, 输入 jps, 检查角色是否存在, 如下图所示 : 2 输入 hadoop dfsadmin -report 命令, 可以查看 hadoop 群集的概况, 如下图 : 11 / 21

12 2.2 通过 web 访问 hadoop 验证 通过访问 web 界面访问 hadoop 的群集概况和数据节点概况, 可以通过以下两种方式进行访问, 其中 master-ip 是指命名主机的 IP 地址 ( 查看命名空间情况 ) ( 查看整个分布式文件系统的状态, 浏览分布式文件系统中的文件 以及 log) 如下图所 : 12 / 21

13 13 / 21

14 三 Hadoop 的使用 3.1 Hadoop 中的命令 (Command) 使用 这部分内容其实可以通过 hadoop help 来查看, 我主要侧重于介绍一下我用的比较多的几个命令 Hadoop dfs 这个命令后面加参数就是对于 HDFS 的操作, 和 Linux 操作系统的命令很类似, 例如 : Hadoop dfs -ls 就是查看 /usr/root 目录下的内容, 默认如果不填路径这就是当前用户路径 ; Hadoop dfs -rmr xxx 就是删除目录, 还有很多命令看看就很容易上手 ; Hadoop dfsadmin -report 这个命令可以全局的查看 DataNode 的情况 ; Hadoop job 后面增加参数是对于当前运行的 Job 的操作, 例如 list,kill 等 ; Hadoop balancer 就是前面提到的均衡磁盘负载的命令 如这里面我输入 hadoop help, 会出现所有可用于管理 hadoop 的命令介绍 : 14 / 21

15 3.2 运行.jar 代码 注意 : 编写好代码后, 需编译成执行的文件, 如.jar 在这里我们用 hadoop 自带的 wordcount 单词统计 hadoop-examples jar.jar 代码来测 试 1 我们先用 vi 编辑器编辑两份.txt 文件, 分别命名为 test01.txt 和 test01.txt, 并分别输入一小段英文单词, 如下所示 (1) 切换到 jntest01 用户的家目录, 把两个文件都存放在家目录, 接着使用 vi 工具编辑, 如下 ( 编写的内容这里就不截图出来了, 大家在做实验时, 可以自行找两篇英文短文复制黏贴进去即可 ) (2) 使用 vi 工具编辑时, 按字母 i 进入编辑模式, 编写好之后, 按 Esc, 然后再按 :, 输入 wq 即可保存 2 接着在 HDFS 文件系统中新建一个文件夹 hadoop fs -mkdir input 3 把 test01 和 test02 上传到 input 目录中 hadoop fs -put test01 input hadoop fs -put test02 input 4 检查刚刚上传到 HDFS 的系统中的文件是否上传成功 5 切换到 /usr/local/hadoop 目录, 执行 15 / 21

16 hadoop jar hadoop-examples jar \wordcount input output //output 是一个 目录, 这里的意思是说把结果输出到 output 这个目录下 6 接着就会输出如下运行结果, 如下 : 从上面的输出运行情况来看,Map 的任务数量为 2 个,Reduce 的任务数量是 1 个 Map 输入的 record 是 53,Map 任务的中间结果输出数量是 查看执行了单词统计后计算结果, 执行如下命令 hadoop fs -ls output // 查看输出结果的目录下面有哪些文档 hadoop fs -cat output/part-r // 查看统计结果 由于单词较多, 截图并没有把全部统计结果显示出来, 只截取了部分 16 / 21

17 3.3 使用 web 界面查看信息 Hadoop 自带的 web 用户界面在查看工作的信息时很方便 当 job 在运行的时候, 它对跟踪 job 工作进程很有用, 同样在工作完成后查看工作统计和日志时也会很有用 查看群集概况通过在 IE 地址栏输入 主机的 IP):50030, 这里显示的是 hadoop 群集的信息, 主要是群集概况和命名主机的存储路径 如下图所示 : 17 / 21

18 查看 JobTracker 页面下面显示的是一个 JobTracker 页面 页面的第一部分给出了 hadoop 安装的想不想信息, 比如版本号 编译完成时间 JobTracker 当前的运行状态和开始时间 接下来是集群的一个总结信息 : 集群容量及它的使用情况, 以及群集上运行的 map 和 reduce 的数量 提交的工作总量 当前可用的 TaskTracker 节点数 集群的容量 ( 用集群上可用的 map 和 reduce 任务槽的数量表示 ( map 任务容量 和 reduce 任务容量 )) 和每个节点平均可用槽的数量 总结的下面是一个正在运行的工作日程表, 打开后能看到工作的序列 在下面显示的是正在运行 完成 失败的工作, 而且是通过表来体现的, 在表中每一行显示的是一个工作并且显示了工作的 ID 号 所属者 名字和进程的信息最后, 在页面的最下面是 JobTracker 日志的连接和 JobTracker 的历史信息 18 / 21

19 查看 Job 的工作页面点击一个工作 ID 将看到一个工作页面, 由于页面太大, 下面将分别截图显示, 首先显示的是页面最前面的内容 如下图 1 所示 在图 1 中, 在页面的顶部是一个关于工作的一些总结性基本信息, 比如工作所属者 名字 工作文件 工作已经执行了多长时间等 工作文件是工作的加强配置文件, 包含在工作运行期间的所有有效熟悉和属性的取值 如果不去想某个熟悉的取值, 可以点击进一步查看文件 当工作运行是, 可以在页面上监控它到进展情况, 因为页面会周期性的更新 在总结信息的下面是一张表, 塌陷了 mapo 和 reduce 的进展情况 在 任务栏 现了改工作的 map 和 reduce 任务 19 / 21

20 的总数 (map 和 reduce 各占一行 ) 在其他类现了这些任务的状态 : 赞同 ( 等待执行 ) 正在执 行 完成 ( 运行成功 ) 终止, 最后一列现了失败或终止的任务所尝试的总数 图 1 图 2 显示的是工作或页面最下面的内容 这里显示的是每个任务完成情况的一个图形化表示 任务页面 图 3 20 / 21

21 任务页面中有一些链接可以查看该工作里任务的详细信息 四 Hadoop 相关资源 1 如果对 hadoop 感兴趣的话, 可以在开源中国社区找到众多关于 hadoop 的学习资料和相关博客, 里面的内容写得很不错的, 值得一看 2 hadoop 相关组件的下载地址 21 / 21