在Fedora上部署Hadoop2.2.0伪分布式平台

Size: px

Start display at page:

Download "在Fedora上部署Hadoop2.2.0伪分布式平台"

选税寿
5 years ago
Views:

1 如果你想配置完全分布式平台请参见本博客 Hadoop2.2.0 完全分布式集群平台安装与设置首先, 你得在电脑上面安装好 jdk7, 如何安装, 这里就不说了, 网上一大堆教程! 然后安装好 ssh, 如何安装请参见本博客 Linux 平台下安装 SSH 并设置好无密码登录 ( Ubuntu 和 CentOS 如何配置 SSH 使得无密码登陆 ) 好了, 上面的前提条件部署好之后, 下面将进入 Hadoop2.2.0 的部署运行下面命令, 将最新版的 hadoop 下载下来 : [wyp@wyp hadoop]$ wget \ 当然, 你也可以用下载的软件到上面的地址去下载上面的命令是一行, 由于此处太长了, 所以强制弄成两行假设下载好的 hadoop 存放在 /home/wyp/downloads/hadoop 目录中, 由于下载下来的 hadoop 是压缩好的, 请将它解压, 运行下面的命令 : [wyp@wyp hadoop]$ tar -xvf hadoop tar.gz 解压之后, 你将会看到如下目录结构 : [wyp@wyp hadoop]$ ls -l total 56 drwxr-xr-x. 2 wyp wyp 4096 Oct 7 14:38 bin drwxr-xr-x. 3 wyp wyp 4096 Oct 7 14:38 etc drwxr-xr-x. 2 wyp wyp 4096 Oct 7 14:38 include drwxr-xr-x. 3 wyp wyp 4096 Oct 7 14:38 lib drwxr-xr-x. 2 wyp wyp 4096 Oct 7 14:38 libexec -rw-r--r--. 1 wyp wyp Oct 7 14:46 LICENSE.txt drwxrwxr-x. 3 wyp wyp 4096 Oct 28 14:38 logs -rw-r--r--. 1 wyp wyp 101 Oct 7 14:46 NOTICE.txt -rw-r--r--. 1 wyp wyp 1366 Oct 7 14:46 README.txt drwxr-xr-x. 2 wyp wyp 4096 Oct 28 12:37 sbin drwxr-xr-x. 4 wyp wyp 4096 Oct 7 14:38 share 1 / 5

2 下面是配置 Hadoop 的步骤 : 首先设置好 Hadoop 环境变量 : [wyp@wyp hadoop]$ sudo vim /etc/profile 在 /etc/profile 文件的末尾加上以下配置 export HADOOP_DEV_HOME=/home/wyp/Downloads/hadoop export PATH=$PATH:$HADOOP_DEV_HOME/bin export PATH=$PATH:$HADOOP_DEV_HOME/sbin export HADOOP_MAPARED_HOME=${HADOOP_DEV_HOME} export HADOOP_COMMON_HOME=${HADOOP_DEV_HOME} export HADOOP_HDFS_HOME=${HADOOP_DEV_HOME} export YARN_HOME=${HADOOP_DEV_HOME} export HADOOP_CONF_DIR=${HADOOP_DEV_HOME}/etc/hadoop 然后按 :wq 保存为了让刚刚的设置生效, 运行下面的命令 [wyp@wyp hadoop]$ sudo source /etc/profile 接下来修改 Hadoop 的 hadoop-env.sh 配置文件, 设置 jdk 所在的路径 : [wyp@wyp hadoop]$ vim etc/hadoop/hadoop-env.sh 在里面找到 JAVA_HOME, 并将它的值设置为你电脑 jdk 所在的绝对路径 # The java implementation to use. export JAVA_HOME=/home/wyp/Downloads/jdk1.7.0_45 设置好之后请保存退出接下来请配置好一下几个文件 ( 都在 hadoop 目录下的 etc/hadoop 目录下 ): core-site.xml <name>fs.default.name</name> <value>hdfs://localhost:8020</value> 2 / 5

3 yarn-site.xml <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.shufflehandler</value> mapred-site.xml <name>mapreduce.framework.name</name> <value>yarn</value> <name>mapred.system.dir</name> <value>file:/opt/cloud/hadoop_space/mapred/system</value> <name>mapred.local.dir</name> <value>file:/opt/cloud/hadoop_space/mapred/local</value> hdfs-site.xml <name>dfs.namenode.name.dir</name> <value>file:/opt/cloud/hadoop_space/dfs/name</value> <name>dfs.datanode.data.dir</name> <value>file:/opt/cloud/hadoop_space/dfs/data</value> <description>determines where on the local filesystem an DFS data node should store its blocks. If this is a comma-delimited list of directories, then data will be stored in all named 3 / 5

4 directories, typically on different devices. Directories that do not exist are ignored. </description> <name>dfs.replication</name> <value>1</value> <name>dfs.permissions</name> <value>false</value> 上面的配置弄好之后, 现在来进行测试, 看看配置是否正确首先格式化一下 HDFS, 如下命令 : [wyp@wyp hadoop]$ hdfs namenode -format 13/10/28 16:47:33 INFO namenode.namenode: STARTUP_MSG: /************************************************************... 此处省略好多文字... ************************************************************/ 13/10/28 16:47:33 INFO namenode.namenode: registered UNIX signal handlers for [TERM, HUP, INT] Formatting using clusterid: CID-9931f367-92d a706-d83e120cacd6 13/10/28 16:47:34 INFO namenode.hostfilemanager: read includes: HostSet( ) 13/10/28 16:47:34 INFO namenode.hostfilemanager: read excludes: HostSet( )... 此处也省略好多文字... 13/10/28 16:47:38 INFO util.exitutil: Exiting with status 0 13/10/28 16:47:38 INFO namenode.namenode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at wyp/ ************************************************************/ [wyp@wyp hadoop]$ 4 / 5

5 Powered by TCPDF ( 大概出现上面的输出, 好了, 去启动一下你的 Hadoop 吧, 命令如下 : [wyp@wyp hadoop]$ sbin/start-dfs.sh [wyp@wyp hadoop]$ sbin/start-yarn.sh 查看一下是否安装好了 Hadoop, 命令如下 : [wyp@wyp hadoop]$ jps 9582 Main 9684 RemoteMavenServer 7011 DataNode 7412 ResourceManager Jps 7528 NodeManager 7222 SecondaryNameNode 6832 NameNode [wyp@wyp hadoop]$ 其中的 jps 是 jdk 自带的, 如果出现 NameNode SecondaryNameNode NodeManager Re sourcemanager DataNode 这五个进程, 那就恭喜你了, 你的 Hadoop 已经安装好了! 这里附上如何关闭 Hadoop 各个服务 [wyp@wyp hadoop]$ sbin/stop-dfs.sh [wyp@wyp hadoop]$ sbin/stop-yarn.sh 本博客文章除特别声明, 全部都是原创! 转载本文请加上 : 转载自过往记忆 ( 本文链接 : () 5 / 5

Hadoop2.2.0完全分布式集群平台安装与设置

Hadoop2.2.0完全分布式集群平台安装与设置如果你想搭建伪分布式 Hadoop 平台, 请参见本博客在 Fedora 上部署 Hadoop2.2.0 伪分布式平台经过好多天的各种折腾, 终于在几台电脑里面配置好了 Hadoop2.2.0 分布式系统, 现在总结一下如何配置前提条件 : (1) 首先在每台 Linux 电脑上面安装好 JDK6 或其以上版本, 并设置好 JAVA_HOME 等, 测试一下 java javac jps 等命令是否可以在终端使用,