三開啟第一台機器, 點擊右上角網路手動設定, 解除鎖定選擇 eth1 屬性並設定固定 ip( 例如 : ) 第二台機器網路設定要選擇 eth3 設定固定 ip( ) 四接著編輯 /etc/hosts 輸入 ip 以及主機名稱, 第二台機器也

Size: px

Start display at page:

Download "三開啟第一台機器, 點擊右上角網路手動設定, 解除鎖定選擇 eth1 屬性並設定固定 ip( 例如 : ) 第二台機器網路設定要選擇 eth3 設定固定 ip( ) 四接著編輯 /etc/hosts 輸入 ip 以及主機名稱, 第二台機器也"

夜臧
5 years ago
Views:

1 一操作準備假設有一台主機, 先在實體主機上安裝 virtualbox, 我們利用 virtualbox 來模擬兩台虛擬的機器, 模擬的作業系統選擇 ubuntu 版本二安裝虛擬機器 ( 共要安裝兩台虛擬機器, 安裝時要注意使用者名稱及密碼如果安裝虛擬機器完成之後, 將機器關閉並且完成以下設定設定第一個虛擬網路介面卡選擇 NAT 模式可以對外連線, 而第二張虛擬網路卡指定為 Internal Network 內部網路可以對內連線

三開啟第一台機器, 點擊右上角網路手動設定, 解除鎖定選擇 eth1 屬性並設定固定 ip( 例如 :192.168.100.

102) 四接著編輯 /etc/hosts 輸入 ip 以及主機名稱, 第二台機器也要設定 ( 在終端機上輸入指令 sudo

2 三開啟第一台機器, 點擊右上角網路手動設定, 解除鎖定選擇 eth1 屬性並設定固定 ip( 例如 : ) 第二台機器網路設定要選擇 eth3 設定固定 ip( ) 四接著編輯 /etc/hosts 輸入 ip 以及主機名稱, 第二台機器也要設定 ( 在終端機上輸入指令 sudo gedit /etc/hosts) 完成之後重新啟動機器五接下來設定 /etc/ssh/ssh_config 裡面的 StrictHostKeyChecking 改成 no 來方便免密碼登入

( 在終端機上輸入 sudo gedit /etc/ssh/ssh_config ) 第二台機器也要設定六安裝 java, 選擇左上介面系統

openjdk-6-jre-lib 和 openjdk-6- jdk) 補充 : 收尋 SSH, 找到 openssh-server 並安裝,

ssh/id_rsa -P "" ~$ cp ~/.ssh/id_rsa.pub ~/.

3 ( 在終端機上輸入 sudo gedit /etc/ssh/ssh_config ) 第二台機器也要設定六安裝 java, 選擇左上介面系統 --> 管理 -->synaptic 套件管理程式搜尋 sun-java6 並且標記為安裝 ( 舊版已經收尋不到, 收尋 openjdk 並安裝 openjdk-6-jre-lib 和 openjdk-6- jdk) 補充 : 收尋 SSH, 找到 openssh-server 並安裝, 安裝這個是為了讓兩台電腦建立連線, 接著將 key 產生並複製到其他節點上 ssh-keygen -t rsa -f ~/.ssh/id_rsa -P "" ~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys ~$ scp -r ~/.ssh node2:~ 最後測試兩節點是否有連線成功 ~$ ssh 節點名稱如果失敗, 可能是兩台的網路狀況出問題, 另用 ifconfig 檢查兩台網路的固定 IP 是否建立成功

七安裝完成之後我們接著安裝 Hadoop 下載安裝 Hadoop 到主機一上, 其他的機器等設定好在一起作 ~$ cd /opt /opt$ sudo wget http://ftp.twaren.net/unix/web/apache/hadoop/core/hadoop- 0.20.2/hadoop-0.20.2.tar.gz /opt$ sudo tar zxvf hadoop-0.20.2.tar.gz /opt$ sudo mv hadoop-0.

4 七安裝完成之後我們接著安裝 Hadoop 下載安裝 Hadoop 到主機一上, 其他的機器等設定好在一起作 ~$ cd /opt /opt$ sudo wget /hadoop tar.gz /opt$ sudo tar zxvf hadoop tar.gz /opt$ sudo mv hadoop / hadoop /opt$ sudo chown -R 使用者 : 使用者 hadoop /opt$ sudo mkdir /var/hadoop /opt$ sudo chown -R 使用者 : 使用者 /var/hadoop 八設定 hadoop-env.sh 檔案 /opt$ cd hadoop/ /opt/hadoop$sudo gedit conf/hadoop-env.sh 將以下資訊貼入 conf/hadoop-env.sh 檔內 export JAVA_HOME=/usr/lib/jvm/java-6-sun( 原本的 java 無法取得, 要將路徑設到新的 java openjdk 套件 ) export HADOOP_HOME=/opt/hadoop export HADOOP_CONF_DIR=/opt/hadoop/conf export HADOOP_LOG_DIR=/tmp/hadoop/logs export HADOOP_PID_DIR=/tmp/hadoop/pids 注意, 在此實做中, 我們多設定了 HADOOP_PID_DIR 及 HADOOP_LOG_DIR 的參數, 並且把值寫入到我們 hadooper 的家目錄中, 此舉並非完全必要, 但一個目的是介紹更多 hadoop-env.sh 內的參數, 另一目的為讓 log,pid 等常變資料與 hadoop 家目錄分離

5 九設定 hadoop-site.xml 檔案第二個設定檔是 hadoop-site.xml, 由於官方所提供的範例並無法直接執行, 因此我們參考線上文件, 做了以下的修改 /opt/hadoop$sudo gedit conf/core-site.xml 將以下資料取代掉原本的內容 <configuration> <name>fs.default.name</name> <value>hdfs:// 主機一 ip:9000</value> <name>hadoop.tmp.dir</name> <value>/var/hadoop/hadoop-${user.name}</value> </configuration> /opt/hadoop$sudo gedit conf/hdfs-site.xml 將以下資料取代掉原本的內容 <configuration> <name>dfs.replication</name> <value>2</value> </configuration> /opt/hadoop$sudo gedit conf/mapred-site.xml 將以下資料取代掉原本的內容 <configuration> <name>mapred.job.tracker</name> <value> 主機一 ip:9001</value> </configuration> 注意!fs.default.name =hdfs:// 主機一 ip:9000/; 而 mapred.job.tracker = 主機一 ip:9001, 看出差異了嗎! 一個有指 hdfs://, 一個沒有, 重要! 易混淆十設定 slaves /opt/hadoop$sudo gedit conf/slaves

將 localhost 這行刪掉, 換成主節點和子節點的 ip 主機一的 ip 主機二的 ip 十一 Hadoop_Home 內的資料複製到其他台主機 /opt/hadoop$ssh 主機二 sudo mkdir /opt/hadoop /opt/hadoop$ssh 主機二 sudo chown R 使用者 : 使用者 /opt/hadoop /opt/hadoop$ ssh 主機二 sudo

6 將 localhost 這行刪掉, 換成主節點和子節點的 ip 主機一的 ip 主機二的 ip 十一 Hadoop_Home 內的資料複製到其他台主機 /opt/hadoop$ssh 主機二 sudo mkdir /opt/hadoop /opt/hadoop$ssh 主機二 sudo chown R 使用者 : 使用者 /opt/hadoop /opt/hadoop$ ssh 主機二 sudo mkdir /var/hadoop /opt/hadoop$ ssh 主機二 sudo chown R 使用者 : 使用者 /var/hadoop 在主機一上遠端主機二, 在上面建立資料夾及權限設定複製主機一 hadoop 資料夾到主機二 /opt/hadoop$scp r /opt/hadoop/* 主機二 :/opt/hadoop/ 十二格式化 HDFS /opt/hadoop$bin/hadoop namenode -format 十三啟動 Hadoop /opt/hadoop$bin /start-all.sh 十四再來我們啟動瀏覽器輸入主機一名稱 :50070/, 檢查 namenode 運作狀況

7 十五最後檢查完後記得有 start 也要 stop, 要把 hadoop 停止 /opt/hadoop$bin /stop-all.sh 以上是安裝 hadoop 雲端系統

8 以下是安裝公平調度器 (Fair Scheduler)( 一種排序方法 ) Step.0 開始前請先關閉 Hadoop, 進入終端機並且輸入 /opt/hadoop$bin /stop-all.sh Step.1 將公平調度器放到你的 Hadoop 中 fairscheduler.jar 從 HADOOP/contrib/fairscheduler 複製到 HADOOP/lib /opt/hadoop$cp /contrib/fairscheduler/fairscheduler.jar /opt/hadoop/lib Step.2 設定 mapred-site.xml 新增以下資料 <name>mapred.jobtracker.taskscheduler</name> <value>org.apache.hadoop.mapred.fairscheduler</value> Step.3 設定 fair-scheduler.xml.template 再 HADOOP/conf/ 底下新增 fair-scheduler.xml.template 檔案並且建立資料 /opt/hadoop/conf$sudo gedit fair-scheduler.xml.template 將以下資料輸入 <?xml version="1.0"?> <allocations> <poolname="sample_pool"> <minmaps>5</minmaps> <minreduces>5</minreduces> <weight>2.0</weight> </pool> <username="sample_user"> <maxrunningjobs>6</maxrunningjobs> </user>

9 <usermaxjobsdefault>3</usermaxjobsdefault> </allocations> Step.4 複製 Hadoop 資料夾及權限修改 /opt/hadoop$ssh 主機二 sudo chown R 使用者 : 使用者 /opt/hadoop /opt/hadoop$ ssh 主機二 sudo chown R 使用者 : 使用者 /var/hadoop /opt/hadoop$scp r /opt/hadoop/* 主機二 :/opt/hadoop/ Step.5 觀看成果打開瀏覽器輸入主機一名稱 :50030/scheduler 安裝完公平調度器之後, 我們就要來了解 Fair 與 FIFO 的差別分配工作一. 首先先將 hadoop on 起來 /opt/hadoop$bin/start-all.sh 二. 我們將 hadoop 中的 conf 資料夾 input 進去 /opt/hadoop$bin/hadoop dfs put /opt/hadoop/conf input Input 完後就可以依工作類型讓他執行三. 執行 hadoop-0.20.example.jar 內附的 wordcount 程式開始計算 input 資料夾裡面每一種文字出現的次數 /opt/hadoop$bin/hadoop jar hadoop examples.jar wordcount input output 四. 以下是工作執行成功的畫面 /opt/hadoop$bin/hadoop dfs get output output /opt/hadoop$cat output/*

10 工作正在運行, 如下圖

11 失敗的工作, 如下圖完成的工作, 如下圖

12 五. 測試主節點與子節點各丟進一個我們發現在主節點的 jobtrack 的網址上, 有兩個 job 正在運行, 如下圖

13 六. 分析 FIFO 與 Fair 之前的執行方法有何不同 FIFO 的運行方式

14 Fair 的運行方式七. 看出其中的不一樣了嗎,FIFO 是誰先近來誰就先執行工作, 直到完成才會換下一個工作, 但是 Fair 不一樣,Fair 是每個工作輪流執行一段時間, 直到完成工作

15 以上是安裝公平調度器以下是在 hadoop 上安裝 hbase 資料庫 Step.0 開始前請先將 hadoop 開啟 /opt/hadoop$bin /start-all.sh Step.1 下載 hbase, 並解 hbase 解壓縮至 /opt 資料夾裡, 且設定權限 security.tar.gz( 原本的下載的路徑已經無法下載, 將下面的版本改成這個 hbase ) $wget /hbase tar.gz $sudo tar -zxvf hbase tar.gz -C /opt/ $sudo ln -sf /opt/hbase /opt/hbase $sudo chown R 使用者 : 使用者 /opt/hbase Step.2 設定 /opt/hbase/conf/hbase-env.sh 新增以下資料到 /opt/hbase/conf/hbase-env.sh 檔案裡面 export JAVA_HOME=/usr/lib/jvm/java-6-sun export HADOOP_CONF_DIR=/opt/hadoop/conf export HBASE_HOME=/opt/hbase export HBASE_LOG_DIR=/var/hadoop/hbase-logs export HBASE_PID_DIR=/var/hadoop/hbase-pids export HBASE_MANAGES_ZK=true export HBASE_CLASSPATH=$HBASE_CLASSPATH:/opt/hadoop/conf Step.3 設定 /opt/hbase/conf/hbase-site.xml 新增以下資料到 /opt/hbase/conf/hbase-site.xml 檔案裡面 <configuration> <name>hbase.rootdir</name> <value>hdfs:// 主機一名稱 :9000/hbase</value> <description>the directory shared by region servers. </description> <name>hbase.tmp.dir</name> <value>/var/hadoop/hbase-${user.name}</value> <description>temporary directory on the local filesystem.</description> <name>hbase.master</name> <value> 主機一名稱 :60000</value>

16 <description>the port master should bind to.</description> <name>hbase.cluster.distributed</name> <value>true</value> <description>the mode the cluster will be in. Possible values are false: standalone and pseudo-distributed setups with managed Zookeeper true: fully-distributed with unmanaged Zookeeper Quorum (see hbaseenv.sh) </description> <name>hbase.zookeeper.property.clientport</name> <value>2222</value> <description>property from ZooKeeper's config zoo.cfg. </description> <name>hbase.zookeeper.quorum</name> <value> 主機一名稱, 主機二名稱 </value> <description>comma separated list of servers in the ZooKeeper Quorum. </description> <name>hbase.zookeeper.property.datadir</name> <value>/var/hadoop/hbase-data</value> </configuration> Step.4 將 hadoop 的設定放到 hbase 內 $cd /opt/hbase/conf $cp /opt/hadoop/conf/core-site.xml./ $cp /opt/hadoop/conf/hdfs-site.xml./ $cp /opt/hadoop/conf/mapred-site.xml./ Step.5 設定 /opt/hbase/conf/regionservers 新增以下資料到 /opt/hbase/conf/regionservers 檔案裡面主機一名稱主機二名稱 Step.6 複製主節點中的 hbase 至其他節點 $cd /opt/hbase /opt/hbase$ssh 主機二 sudo mkdir /opt/hadoop /opt/hbase$ssh 主機二 sudo chown R 使用者 : 使用者 /opt/hadoop

17 /opt/hbase$scp r /opt/hbase/* 主機二 :/opt/hbase/ Step.7 啟動 hbase /opt/hbase$bin/start-hbase.sh 打開瀏覽器輸入主機一名稱 :60010/(60020,60030)

18 八.Hbase shell 操作表格範例 $cd /opt/hbase /opt/hbase$bin/hbase shell Step1: 新增一個 123 table, 欄位中的名子和分數 Step2: 新增第一位將值 put 進去

19 Step3: 新增二位並將值 put 進去 Step4: 選取表格, 查看輸入的數值

20 Step5: 接下來進行刪除的動作 ( 將要刪除的欄位選取起來 ) Step6: 取得所要刪除的學號

21 Step7:( 黑 ) 刪除欄位 ( 藍 ) 刪除欄位後的表格 Step8: 接下來做修改的動作, 修改的時候我們直接把值重新 put 進去就可以了

22 Step9: 查看網頁我們可以看到新增的 table

雲端 Cloud Computing 技術指南運算應用平台與架構 10/04/15 11:55:46 INFO 10/04/15 11:55:53 INFO 10/04/15 11:55:56 INFO 10/04/15 11:56:05 INFO 10/04/15 11:56:07 INFO

雲端 Cloud Computing 技術指南運算應用平台與架構 10/04/15 11:55:46 INFO 10/04/15 11:55:53 INFO 10/04/15 11:55:56 INFO 10/04/15 11:56:05 INFO 10/04/15 11:56:07 INFO CHAPTER 使用 Hadoop 打造自己的雲 8 8.3 測試 Hadoop 雲端系統 4 Nodes Hadoop Map Reduce Hadoop WordCount 4 Nodes Hadoop Map/Reduce $HADOOP_HOME /home/ hadoop/hadoop-0.20.2 wordcount echo $ mkdir wordcount $ cd wordcount

三 開啟第一台機器, 點擊右上角網路手動設定, 解除鎖定選擇 eth1 屬性並設定固定 ip( 例如 : ) 第二台機器網路設定要選擇 eth3 設定固定 ip( ) 四 接著編輯 /etc/hosts 輸入 ip 以及主機名稱, 第二台機器也

三開啟第一台機器, 點擊右上角網路手動設定, 解除鎖定選擇 eth1 屬性並設定固定 ip( 例如 : ) 第二台機器網路設定要選擇 eth3 設定固定 ip( ) 四接著編輯 /etc/hosts 輸入 ip 以及主機名稱, 第二台機器也