如果你想配置完全分布式平台请参见本博客 Hadoop2.2.0 完全分布式集群平台安装与设置 首先, 你得在电脑上面安装好 jdk7, 如何安装, 这里就不说了, 网上一大堆教程! 然后安装好 ssh, 如何安装请参见本博客 Linux 平台下安装 SSH 并设置好无密码登录 ( Ubuntu 和 CentOS 如何配置 SSH 使得无密码登陆 ) 好了, 上面的前提条件部署好之后, 下面将进入 Hadoop2.2.0 的部署 运行下面命令, 将最新版的 hadoop 下载下来 : [wyp@wyp hadoop]$ wget \ http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz 当然, 你也可以用下载的软件到上面的地址去下载 上面的命令是一行, 由于此处太长了, 所以强制弄成两行 假设下载好的 hadoop 存放在 /home/wyp/downloads/hadoop 目录中, 由于下载下来的 hadoop 是压缩好的, 请将它解压, 运行下面的命令 : [wyp@wyp hadoop]$ tar -xvf hadoop-2.2.0.tar.gz 解压之后, 你将会看到如下目录结构 : [wyp@wyp hadoop]$ ls -l total 56 drwxr-xr-x. 2 wyp wyp 4096 Oct 7 14:38 bin drwxr-xr-x. 3 wyp wyp 4096 Oct 7 14:38 etc drwxr-xr-x. 2 wyp wyp 4096 Oct 7 14:38 include drwxr-xr-x. 3 wyp wyp 4096 Oct 7 14:38 lib drwxr-xr-x. 2 wyp wyp 4096 Oct 7 14:38 libexec -rw-r--r--. 1 wyp wyp 15164 Oct 7 14:46 LICENSE.txt drwxrwxr-x. 3 wyp wyp 4096 Oct 28 14:38 logs -rw-r--r--. 1 wyp wyp 101 Oct 7 14:46 NOTICE.txt -rw-r--r--. 1 wyp wyp 1366 Oct 7 14:46 README.txt drwxr-xr-x. 2 wyp wyp 4096 Oct 28 12:37 sbin drwxr-xr-x. 4 wyp wyp 4096 Oct 7 14:38 share 1 / 5
下面是配置 Hadoop 的步骤 : 首先设置好 Hadoop 环境变量 : [wyp@wyp hadoop]$ sudo vim /etc/profile 在 /etc/profile 文件的末尾加上以下配置 export HADOOP_DEV_HOME=/home/wyp/Downloads/hadoop export PATH=$PATH:$HADOOP_DEV_HOME/bin export PATH=$PATH:$HADOOP_DEV_HOME/sbin export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME} export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME} export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME} export YARN_HOME=${HADOOP_DEV_HOME} export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop 然后按 :wq 保存 为了让刚刚的设置生效, 运行下面的命令 [wyp@wyp hadoop]$ sudo source /etc/profile 接下来修改 Hadoop 的 hadoop-env.sh 配置文件, 设置 jdk 所在的路径 : [wyp@wyp hadoop]$ vim etc/hadoop/hadoop-env.sh 在里面找到 JAVA_HOME, 并将它的值设置为你电脑 jdk 所在的绝对路径 # The java implementation to use. export JAVA_HOME=/home/wyp/Downloads/jdk1.7.0_45 设置好之后请保存退出 接下来请配置好一下几个文件 ( 都在 hadoop 目录下的 etc/hadoop 目录下 ): ----------------core-site.xml <name>fs.default.name</name> <value>hdfs://localhost:8020</value> 2 / 5
------------------------- yarn-site.xml <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.shufflehandler</value> ------------------------ mapred-site.xml <name>mapreduce.framework.name</name> <value>yarn</value> <name>mapred.system.dir</name> <value>file:/opt/cloud/hadoop_space/mapred/system</value> <name>mapred.local.dir</name> <value>file:/opt/cloud/hadoop_space/mapred/local</value> ----------- hdfs-site.xml <name>dfs.namenode.name.dir</name> <value>file:/opt/cloud/hadoop_space/dfs/name</value> <name>dfs.datanode.data.dir</name> <value>file:/opt/cloud/hadoop_space/dfs/data</value> <description>determines where on the local filesystem an DFS data node should store its blocks. If this is a comma-delimited list of directories, then data will be stored in all named 3 / 5
directories, typically on different devices. Directories that do not exist are ignored. </description> <name>dfs.replication</name> <value>1</value> <name>dfs.permissions</name> <value>false</value> 上面的配置弄好之后, 现在来进行测试, 看看配置是否正确 首先格式化一下 HDFS, 如下命令 : [wyp@wyp hadoop]$ hdfs namenode -format 13/10/28 16:47:33 INFO namenode.namenode: STARTUP_MSG: /************************************************************... 此处省略好多文字... ************************************************************/ 13/10/28 16:47:33 INFO namenode.namenode: registered UNIX signal handlers for [TERM, HUP, INT] Formatting using clusterid: CID-9931f367-92d3-4693-a706-d83e120cacd6 13/10/28 16:47:34 INFO namenode.hostfilemanager: read includes: HostSet( ) 13/10/28 16:47:34 INFO namenode.hostfilemanager: read excludes: HostSet( )... 此处也省略好多文字... 13/10/28 16:47:38 INFO util.exitutil: Exiting with status 0 13/10/28 16:47:38 INFO namenode.namenode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at wyp/192.168.142.138 ************************************************************/ [wyp@wyp hadoop]$ 4 / 5
Powered by TCPDF (www.tcpdf.org) 大概出现上面的输出, 好了, 去启动一下你的 Hadoop 吧, 命令如下 : [wyp@wyp hadoop]$ sbin/start-dfs.sh [wyp@wyp hadoop]$ sbin/start-yarn.sh 查看一下是否安装好了 Hadoop, 命令如下 : [wyp@wyp hadoop]$ jps 9582 Main 9684 RemoteMavenServer 7011 DataNode 7412 ResourceManager 17423 Jps 7528 NodeManager 7222 SecondaryNameNode 6832 NameNode [wyp@wyp hadoop]$ 其中的 jps 是 jdk 自带的, 如果出现 NameNode SecondaryNameNode NodeManager Re sourcemanager DataNode 这五个进程, 那就恭喜你了, 你的 Hadoop 已经安装好了! 这里附上如何关闭 Hadoop 各个服务 [wyp@wyp hadoop]$ sbin/stop-dfs.sh [wyp@wyp hadoop]$ sbin/stop-yarn.sh 本博客文章除特别声明, 全部都是原创! 转载本文请加上 : 转载自过往记忆 (https://www.iteblog.com/) 本文链接 : () 5 / 5