Blog：Hadoop 系列文章之三：建立 Hadoop 多點分散架構.docx

Size: px

Start display at page:

Download "Blog：Hadoop 系列文章之三：建立 Hadoop 多點分散架構.docx"

弃举卢
5 years ago
Views:

1 第七章 : Hadoop 多點分散架構 7-1 建立 Hadoop 多點分散架構了解如何建立單點分散架構的 Hadoop 之後, 接下來, 我們就要來實作 Hadoop 的多點分散架構, 雖然, 單點分散架構的 Hadoop 就可以運作, 但若真的要讓 Hadoop 發揮完整的功能, 還是需要透過多點的分散架構, 才能真正凸顯出 Hadoop 強大的運算能力, 而這邊就以建立一台 Namenode 一台 Secondary Namenode, 與兩台 DataNode 的架構, 來介紹如何架構出 Hadoop 多點的分散架構建立 Namenode 與部屬分散架構基礎環境產生 NameNode 節點 ( 虛擬 ) 電腦這邊一樣先透過模版電腦來建立 NameNode, 指令如下 : $ sudo lxc-clone -o us1204 -n nn 其中, nn 為 Namenode 的 ( 虛擬 ) 電腦名稱, us1204 則是拿來建立 NameNode 的模版電腦, 而模版電腦的建立方式, 與製作 Hadoop 虛擬模版電腦一文內的製作方式相同設定 SSH 自動連線登入建立好 Namenode 之後, 利用以下指令將 nn 這台 LXC 虛擬電腦開機 : $ sudo lxc-start -n nn 登入系統之後, 接著要建立 SSH 自動登入憑證, 直接在家目錄底下, 輸入以下指令來產生自動登入連線金鑰 ( 憑證 ): $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 金鑰產生之後, 接著要將金鑰複製並更名為 authorized_keys : $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 這樣就完成了 SSH 自動登入連線的設定, 不過, 由於第一次連線時, 系統還是會顯示詢問是否要建立連線的訊息, 且還要確認之後才能連線, 但這樣就失去了自動登入的意義, 所以, 要避免系統詢問是否連線的訊息, 則需要修改 ssh 的設定檔, 請利用任一編輯器開啟以下檔案 :

第七章 : Hadoop 多點分散架構 7-2 $ sudo vim /etc/ssh/ssh_config 檔案開啟之後, 尋找 StrictHostKeyChecking 的字串, 找到之後, 請去除原本標記的符號, 並將原本的 ask, 修改為 no ( 或新增一行也可以 ): 修改完成, 就可以存檔退出, 這樣等會第一次進行 SSH 連線時, 就會藉由已經建立的自動

2 第七章 : Hadoop 多點分散架構 7-2 $ sudo vim /etc/ssh/ssh_config 檔案開啟之後, 尋找 StrictHostKeyChecking 的字串, 找到之後, 請去除原本標記的符號, 並將原本的 ask, 修改為 no ( 或新增一行也可以 ): 修改完成, 就可以存檔退出, 這樣等會第一次進行 SSH 連線時, 就會藉由已經建立的自動登入連線金鑰來直接登入, 而不會再出現詢問是否連線的訊息了設定 ( 新增 )Hadoop Log 檔案的儲存位置跟建立單點分散架構一樣, 需要手動來產生存放 Log 檔案的目錄區, 也還需要更動此檔案目錄的權限, 指令如下 : $ sudo mkdir /opt/hadoop/logs $ sudo chmod 777 /opt/hadoop/logs 設定 Secondary Namenode 等一下會建立另外一台電腦名稱為 sn 的 Secondary Namenode 虛擬電腦, 所以這邊就預先將資訊寫入 Hadoop 的 masters 設定檔內 : $ sudo vim /opt/hadoop/conf/masters

3 第七章 : Hadoop 多點分散架構 7-3 檔案開啟之後, 直接將原本的 localhost 修改為 sn 即可 : 設定 Datanode 而另外兩台 Datanode 虛擬電腦的電腦名稱預設為 dn01 與 dn02, 也預先將資訊寫入 slaves 設定檔之內 : $ sudo vim /opt/hadoop/conf/slaves 一樣將原本的 localhost 修改為 dn01 與 dn02 即可 : 設定 Namenode 的連線資訊與 HDFS 檔案儲存的目錄跟單點分散架構一樣, 也需要設定 Namenode 的連線資訊與 HDFS 資料儲存的目錄, 用任一編輯器開啟 core-site.xml 檔案 : $ sudo vim /opt/hadoop/conf/core-site.xml 檔案開啟之後, 在 <configuration> 與 </configuration> 標籤區段內輸入以下資訊 : <property> <name>fs.default.name</name> <value>hdfs://nn:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/ubuntu/data</value> </property>

第七章 : Hadoop 多點分散架構 7-4 輸入完成如下圖 : 其中, hdfs://nn:9000 就是 Namenode 的連線資訊, nn 就是 Namenode 這一台電腦的電腦名稱, 而 /home/ubuntu/data 就是 HDFS 檔案儲存目錄的實際路徑, 所以等一下需要在家目錄內建立名稱為 data 的資料夾 ( 當然,

4 第七章 : Hadoop 多點分散架構 7-4 輸入完成如下圖 : 其中, hdfs://nn:9000 就是 Namenode 的連線資訊, nn 就是 Namenode 這一台電腦的電腦名稱, 而 /home/ubuntu/data 就是 HDFS 檔案儲存目錄的實際路徑, 所以等一下需要在家目錄內建立名稱為 data 的資料夾 ( 當然, 資料夾名稱可以自定 ) 設定 Namenode 與 Secondary Namenode 連線資訊, 以及區塊資料複製的數量開啟 hdfs-site.xml 檔案, 並在 <configuration> 與 </configuration> 標籤區段內輸入以下資料 : $ sudo vim /opt/hadoop/conf/hdfs-site.xml

第七章 : Hadoop 多點分散架構 7-5 <property> <name>dfs.http.address</name> <value>nn:50070</value> </property> <property> <name>dfs.secondary.http.address</name> <value>sn:50090</value> </property> <property> <name>dfs.

5 第七章 : Hadoop 多點分散架構 7-5 <property> <name>dfs.http.address</name> <value>nn:50070</value> </property> <property> <name>dfs.secondary.http.address</name> <value>sn:50090</value> </property> <property> <name>dfs.replication</name> <value>2</value> </property> 輸入完成如下圖 : 這邊的設定值就很明顯的跟單點分散架構的設定值不同, 原因在於此多點分散架構的架構內, 有兩台 NameNode, 所以必須個別設定 Web 連線所需要的連接埠號碼, 設定值內的連接埠號碼都是預設值, 除非有特殊需要或狀況, 否則維持預設值即可, 還有, 此多點分散的架構內, 也有兩台 DataNode, 所以 Replication 的值要可以設定為 2 設定 Jobtracker 的連線位置

第七章 : Hadoop 多點分散架構 7-6 開啟 mapred-site.xml 以下檔案, 並在 <configuration> 與 </configuration> 標籤區段內輸入以下資訊 : $ sudo vim /opt/hadoop/conf/mapred-site.xml <property> <name>mapred.job.

6 第七章 : Hadoop 多點分散架構 7-6 開啟 mapred-site.xml 以下檔案, 並在 <configuration> 與 </configuration> 標籤區段內輸入以下資訊 : $ sudo vim /opt/hadoop/conf/mapred-site.xml <property> <name>mapred.job.tracker</name> <value>nn:9001</value> </property> 輸入完成如下圖 : 而 nn:9001 就是 Jobtracker 的連線資訊, nn 則是擔任 Jobtracker 的電腦名稱, 但因為我們並沒有特別為 Jobtracker 另外建立一台獨立運作的機器, 所以 nn 此節點除了具有 NameNode 的角色之外, 也會扮演 Jobtracker 的角色設定 Hadoop 環境變數開啟以下檔案, 並找到 export JAVA_HOME=... 的欄位, 去除原本標記的符號 (#), 並修改 JAVA_HOME 的實際路徑 : $ sudo vim /opt/hadoop/conf/hadoop-env.sh

7 第七章 : Hadoop 多點分散架構 7-7 雖然在建置模版電腦的時候, 已經有將 JAVA_HOME 的設定值寫入系統的 PATH 內, 但在 Hadoop 實際的運作中, 因使用 root 帳號權限, 所以會去讀取 hadoop-env.sh 檔案內 JAVA_HOME 的設定值, 所以這是必須要修改的檔案, 若沒有修改 JDK 的實際路徑, 則後續執行 Hadoop 時, 會有錯誤發生建立 Hadoop (HDFS) 使用的資料夾回到家目錄底下, 並建立一個供 Hadoop (HDFS) 使用的資料夾 : $ mkdir data(data 為資料夾名稱, 此名稱可以自定 ) 到此, 就算完成了 NameNode 的設定與 Hadoop 基礎環境的部屬, 接下來, 我們就要以 NameNode 這台虛擬電腦, 來當做模版主機, 來建立 Secondary Namenode 與 Datanode 建置與部屬完整 Hadoop 多點分散架構複製產生 Secondary Namenode 與 Datanode 在進行後續操作之前, 先將 NameNode, 也就是 nn 這台虛擬電腦關機, 關機後再利用以下指令, 來產生 Secondary NameNode 與 DataNode: $ sudo lxc-clone -o nn -n sn (Secondary Namenode) $ sudo lxc-clone -o nn -n dn01 (Datanode 1) $ sudo lxc-clone -o nn -n dn02 (Datanode 2)

8 第七章 : Hadoop 多點分散架構 7-8 修改 Hosts 檔案以上三台虛擬電腦建立 ( 複製 ) 完成之後, 接著再利用任一編輯器, 設定四台 LXC 虛擬電腦的 hosts 檔案 : $ sudo vim /var/lib/lxc/nn/rootfs/etc/hosts $ sudo vim /var/lib/lxc/sn/rootfs/etc/hosts $ sudo vim /var/lib/lxc/dn01/rootfs/etc/hosts $ sudo vim /var/lib/lxc/dn02/rootfs/etc/hosts 檔案開啟之後, 將內容都修改為以下的設定值 : localhost nn sn dn dn02 輸入完成, 就都可以存檔退出修改網路組態檔接著再利用編輯器, 開啟每一台 LXC 虛擬電腦的網路組態檔 : $ sudo /var/lib/lxc/nn/rootfs/etc/network/interface $ sudo /var/lib/lxc/sn/rootfs/etc/network/interface $ sudo /var/lib/lxc/dn01/rootfs/etc/network/interface $ sudo /var/lib/lxc/dn02/rootfs/etc/network/interface 檔案開啟之後, 將原本 eth0 的網路組態設定 ( 預設為 DHCP), 修改為 : auto eth0

9 第七章 : Hadoop 多點分散架構 7-9 iface eth0 inet static address netmask gateway dns-nameservers 其中, 要注意的地方, 就是 address 這一個欄位, 每一台 LXC 虛擬電腦的 IP 位址都不一樣, nn 為 , sn 為 , dn01 為 , 而 dn02 則為啟動與測試 Hadoop 多點分散架構完成以上的步驟之後, 就算完成了 Hadoop 多點分散架構的設定, 接下來就要來實際測試 Hadoop 多點分散架構的是否能正常運作利用以下指令, 來依序啟動 Hadoop 各個節點電腦 : $ sudo lxc-start -n nn -d( 參數 -d, 全部丟到背景執行 ) $ sudo lxc-start -n sn -d $ sudo lxc-start -n dn01 -d $ sudo lxc-start -n dn02 -d 各節點的 LXC 虛擬電腦啟動之後, 直接利用以下指令來進入 Namenode(nn) 的登入畫面 :

第七章 : Hadoop 多點分散架構 7-10 $ sudo lxc-console -n nn 登入 nn 之後, 直接在 nn 的終端機內, 反覆輸入以下指令來測試 SSH 是否可以順利自動登入到其他節點電腦內 : $ ssh nn $ ssh sn $ ssh dn01 $ ssh dn02 以上每次順利登入之後, 記得要再輸入 exit 的指令, 來登出連線, 回到原先 nn 的終端

10 第七章 : Hadoop 多點分散架構 7-10 $ sudo lxc-console -n nn 登入 nn 之後, 直接在 nn 的終端機內, 反覆輸入以下指令來測試 SSH 是否可以順利自動登入到其他節點電腦內 : $ ssh nn $ ssh sn $ ssh dn01 $ ssh dn02 以上每次順利登入之後, 記得要再輸入 exit 的指令, 來登出連線, 回到原先 nn 的終端機畫面, 在進行下一台節點的 SSH 連線測試確認 SSH 自動登入的功能可以正常執行之後, 接下來在 nn 的終端機輸入以下指令, 來測試 JDK 與 Hadoop 的指令能否正常執行 : $ java -version $ hadoop version 以上若有正常回覆版本訊息, 就表示 JDK 與 Hadoop 的相關指令都可以正常執行, 當然, 在 nn 這台節點電腦上可以正常執行, 也表示 sn dn01 與 dn02 可以正常執行, 因為這三台節點電腦, 都是從 nn 這台節點電腦複製而來, 所以相關的 PATH 設置也都是相同的接下來, 再來確認 Secondary NameNode 的角色是否正確設置 : $ cat /opt/hadoop/conf/masters

第七章 : Hadoop 多點分散架構 7-11 以一併確認 Datanode 的角色是否也正確設定無誤 : $ cat /opt/hadoop/conf/slaves 若都有回覆負責相關角色的電腦名稱, 則表示設定值是沒有問題的最後, 在次查看以下的設定檔內容, 是否正確無誤 : $ cat /opt/hadoop/conf/core-site.

11 第七章 : Hadoop 多點分散架構 7-11 以一併確認 Datanode 的角色是否也正確設定無誤 : $ cat /opt/hadoop/conf/slaves 若都有回覆負責相關角色的電腦名稱, 則表示設定值是沒有問題的最後, 在次查看以下的設定檔內容, 是否正確無誤 : $ cat /opt/hadoop/conf/core-site.xml $ cat /opt/hadoop/conf/hdfs-site.xml $ cat /opt/hadoop/conf/mapred-site.xml $ cat /opt/hadoop/conf/hadoop-env.sh 呼, 所有的設定與檢測總算是完成了, 接下來就真的要來實測 Hadoop 是否可以正常運作了, 首先, 就先從格式化 HDFS 檔案系統開始吧, 請直接在 nn 的終端機介面輸入以下指令來格式化 HDFS 檔案系統 : $ hadoop namenode -format

的服務, 只啟動 Hadoop 的分散式檔案系統 (HDFS), 來進行測試輸入以下指令, 來啟動 Hadoop 的分散式檔案系統 : $ start-dfs.

12 第七章 : Hadoop 多點分散架構 7-12 看到如上圖的回應, 就完成了格式化 HDFS 檔案系統的動作, 且此指令執行完成之後, 還會將 NameNode 給關閉, 不過, 實際上, 因為我們並還沒有實際啟動 Hadoop 的服務, 所以沒有影響接著, 這邊我們就先不完整啟動整個 Hadoop 的服務, 只啟動 Hadoop 的分散式檔案系統 (HDFS), 來進行測試輸入以下指令, 來啟動 Hadoop 的分散式檔案系統 : $ start-dfs.sh 看到如上圖的回覆訊息, 就是成功啟動了 Hadoop 的分散式檔案系統接下來, 分散式檔案系統 (HDFS) 啟動之後, 可以使用以下指令來檢視 HDFS 的系統資訊 :

HDFS 的檔案系統, 使用以下指令, 就可以在 HDFS 內建立資料夾 : $ hadoop dfs

13 第七章 : Hadoop 多點分散架構 7-13 $ hadoop dfsadmin -report 由系統回覆的訊息, 我們就可以清楚的看到 HDFS 與各個節點之間的詳細資訊最後, 我們就來實際使用 HDFS 的檔案系統, 使用以下指令, 就可以在 HDFS 內建立資料夾 : $ hadoop dfs -mkdir /abc(abc 為資料夾名稱, 可以自定 ) 資料夾建立完成之後, 來檢視一下 HDFS 的目錄資訊 :

14 第七章 : Hadoop 多點分散架構 7-14 $ hadoop dfs -ls / 成功且正確看到 abc 的資料夾之後, 就表示 HDFS 檔案系統正常運作無誤, 可以來好好使用 Hadoop 的分散式檔案系統了以上, 就是透過 Hadoop 模版電腦的設置, 以及使用 LXC 虛擬系統的優勢, 來快速建立 Hadoop 多點分散式的架構, 這不只解決了的以往 Hadoop 設置時, 相關檔案需要複製來複製去的困擾, 也減輕了 Java 與 Hadoop 安裝上的複雜度, 相信這樣快速的建構模式, 大概只有 LXC 虛擬系統的架構可以做到吧

Blog：Hadoop 系列文章之二：建立 Hadoop 單點分散架構.docx

Blog：Hadoop 系列文章之二：建立 Hadoop 單點分散架構.docx 第六章 : Hadoop 單點分散架構 6-1 建立 Hadoop 單點分散架構由製作 Hadoop 虛擬模版電腦一文, 我們已經預先製作了 Hadoop 系統所需要的模版 ( 虛擬 ) 電腦, 這邊, 我們就利用此模版電腦, 從建立單點分散架構, 來開始了解 Hadoop 複製模版 ( 虛擬 ) 電腦由於模版電腦後續還需要使用, 所以必須保留其原貌, 這邊就利用 LXC 複製 (Clone)