1. Application Starter - Cloudera 產品的 CaaS 規格有哪些? 答 : 支援的 OS 為 Centos 6.4, 其規格如下 : Application Starter - Hadoop 0.20 (Cloudera CDH3u5): 支援 Big Data 標準

Size: px

Start display at page:

Download "1. Application Starter - Cloudera 產品的 CaaS 規格有哪些? 答 : 支援的 OS 為 Centos 6.4, 其規格如下 : Application Starter - Hadoop 0.20 (Cloudera CDH3u5): 支援 Big Data 標準"

己列纪
6 years ago
Views:

1 目錄 1. Application Starter - Cloudera 產品的 CaaS 規格有哪些? Application Starter - Cloudera 預載的服務有哪些? Application Starter - Cloudera 預載的服務安裝於何處? 如何查看 Apache HDFS MapReduce HBase Ganglia Solr 服務狀態? 如何整合使用 hicloud S3? 如何檢查 Apache HDFS MapReduce HBase 服務是否正常運作? 如何關閉 Apache HDFS MapReduce HBase Ganglia Solr 服務? 如何啟動 Apache HDFS MapReduce HBase Gangli Solr 服務? 如何設定各服務防火牆規則? 如何取得 Hadoop 平台服務相關密碼? 如何新增 Data Node 至既有的 Hadoop 平台? 如何從既有的 Hadoop 平台移除 Data Node? 如何使用 HDFS over FTP 上傳檔案至 HDFS? 如何執行 word count 範例程式? 如何在 Excel 連結 Apache Hive?

2 1. Application Starter - Cloudera 產品的 CaaS 規格有哪些? 答 : 支援的 OS 為 Centos 6.4, 其規格如下 : Application Starter - Hadoop 0.20 (Cloudera CDH3u5): 支援 Big Data 標準型 S M L XL Application Starter - Hadoop 2.00 (Cloudera CDH4.3) 支援 Big Data 標準型 S M L XL 2. Application Starter - Cloudera 預載的服務有哪些? 答 : Application Starter - Hadoop 0.20 (Cloudera CDH3u5) 主要預載 Apache Hadoop 0.20 與 Hbase 軟體, 其他預載軟體說明描述如下 : 服務名稱版本資訊網頁 HDFS MapReduce HBase Ganglia Oozie Hue Zookeeper Hive HDFS over FTP CDH3u5 ftp://master_ip:2222 ( 預設帳密 :hdfs / 密碼可參考本文件使用說明 10) Flume Application Starter - Hadoop 2.00 (Cloudera CDH4.3) 主要預載 Apache Hadoop 2.00 與 Hbase 軟體, 其他預載軟體說明描述如下 : 服務名稱版本資訊網頁 HDFS MapReduce HBase Ganglia Oozie

3 Hue Zookeeper Hive HDFS over FTP CDH4.3 ftp://master_ip:2222 ( 預設帳密 :hdfs / 密碼可參考本文件使用說明 10) Flume ClouderaSearch(So lr) 註 1: Master_IP 為 Hadoop 平台中 master 主機的 IP, 主機資訊的取得方法可參考 Big Data 叢集安裝服務使用說明手冊的 Hadoop 平台環境說明章節註 2: 各服務詳細資訊可參考官方文件 : CDH3u5 ocumentation-v3u5.html CDH4.3 ocumentation-v4-3-0.html 3. Application Starter - Cloudera 預載的服務安裝於何處? 答 : 各服務的安裝目錄及參數的設定檔位置描述如下 : CDH3u5 服務名稱安裝目錄設定檔位置 HDFS /usr/lib/hadoop /etc/hadoop MapReduce /usr/lib/hadoop /etc/hadoop HBase /usr/lib/hbase /etc/hbase Ganglia /etc/ganglia /etc/ganglia Oozie /usr/lib/oozie /etc/oozie Hue /use/share/hue /etc/hue Zookeeper /usr/lib/zookeeper /etc/zookeeper Hive /usr/lib/hive /etc/hive HDFS over FTP /usr/lib/hdfs-over-ftp /usr/lib/hdfs-over-ftp Flume /usr/lib/flume /etc/flume 3

4 CDH4.3 Application Starter - Cloudera 使用說明手冊 v1.4 服務名稱安裝目錄設定檔位置 HDFS /usr/lib/hadoop-hdfs/ /etc/hadoop MapReduce /usr/lib/hadoop-0.20-mapreduce/ /etc/hadoop HBase /usr/lib/hbase /etc/hbase Ganglia /etc/ganglia /etc/ganglia Oozie /usr/lib/oozie /etc/oozie Hue /use/share/hue /etc/hue Zookeeper /usr/lib/zookeeper /etc/zookeeper Hive /usr/lib/hive /etc/hive HDFS over FTP /usr/lib/hdfs-over-ftp /usr/lib/hdfs-overftp Flume /usr/lib/ flume-ng /etc/flume ClouderaSearch(Solr) /usr/lib/solr /etc/solr 4. 如何查看 Apache HDFS MapReduce HBase Ganglia Solr 服務狀態? 答 : (1) 以 root 身分登入 master 主機, 解壓縮檢查服務工具包 tar zxvf /root/ manage_cluster.tgz (2) 執行查看服務狀態程式 i. 執行 python /root/manage_cluster/hadoopservice/checkhadoopstatus.py 4

5 5. 如何整合使用 hicloud S3? 答 : 有兩種方式提供給使用者使用 hicloud S3 1. 於 Hadoop 平台服務安裝時加入 S3 相關資訊在供裝 Hadoop 平台時預先填入 S3 Access Key 與 Secret Key, 平台安裝完成後即可使用 S3 服務 2. 手動登入 Hadoop 平台進行設定以 root 身份分別登入 Hadoop 虛擬主機, 並依照下列步驟進行設定 (1) 修改所有 Hadoop 平台主機的 S3 設定, 參考指令如下 : vim /etc/hadoop/conf/core-site.xml <property> <name>fs.s3n.awsaccesskeyid</name> <value> 於此處填上系統配發給您的 access key</value> </property> <property> <name>fs.s3n.awssecretaccesskey</name> <value> 於此處填上系統配發給您的 secrect key </value> </property> 5

6 完成上述步驟後您就可以經由 Hadoop 指令存取 hicloud S3 的資源下面列出常用的指令範例 : (1) 在 S3 建立目錄 hadoop fs mkdir s3n://s3 bucket 名稱 / 目錄名稱 (2) 上傳本機檔案至 S3 目錄 hadoop fs put 本機檔案完整路徑 s3n://s3 bucket 名稱 / 目錄名稱 / 檔案名稱 (3) 下載 S3 檔案至本機 hadoop fs get s3n://s3 bucket 名稱 / 目錄名稱 / 檔案名稱本機檔案完整路徑 (4) 刪除 S3 檔案 hadoop fs rm s3n://s3 bucket 名稱 / 目錄名稱 / 檔案名稱 (5) 刪除 S3 目錄 hadoop fs rm s3n://s3 bucket 名稱 / 目錄名稱 (6) 將多個檔案從 S3 複製到 HDFS hadoop fs -cp s3n://s3 bucket 名稱 / 目錄名稱 /* HDFS 目錄名稱 / (7) 將多個檔案從 HDFS 複製到 S3 hadoop fs -cp HDFS 目錄名稱 /* s3n://s3 bucket 名稱 / 目錄名稱 / (8) 利用 distcp 進行 S3 HDFS 檔案複製平行處理 hadoop distcp -p s3n://s3 bucket 名稱 / 目錄名稱 / hdfs://nn 主機名稱 /HDFS 目錄名稱 / (9) 利用 distcp 進行 HDFS S3 檔案複製平行處理 hadoop distcp -p hdfs://nn 主機名稱 /HDFS 目錄名稱 / s3n://s3 bucket 名稱 / 目錄名稱 / (10) 您可以輸入 hadoop fs help 以及 hadoop distcp 取得完整說明 6. 如何檢查 Apache HDFS MapReduce HBase 服務是否正常運作? 答 : (1) 以 root 身分登入 master 主機 (2) 解壓縮檢查服務工具包 tar zxvf /root/hdp-test.tgz, 確定服務狀態為啟動, 執行檢查服務程式 sh /root/hdp-test/hadoop-test-main.sh, 檢查結果將會顯示在螢幕上 6

通過顯示 pass, 沒通過則顯示 failed 1-4 HDFS Creating HDFS File 可否在 HDFS 上建立檔案, 通過顯示 pass, 沒通過則顯示 failed 1-5 HDFS Modifying

7 (3) 檢查項目如下表 : 編號服務名稱描述 1-1 HDFS Checking Available Data Nodes 檢查 Data Node 個數是否如預期, 通過顯示 pass, 沒通過則顯示 failed 1-2 HDFS Creating Directory 可否在 HDFS 上建立目錄, 通過顯示 pass, 沒通過則顯示 failed 1-3 HDFS Modifying HDFS Directory 可否修改 HDFS 上的目錄, 通過顯示 pass, 沒通過則顯示 failed 1-4 HDFS Creating HDFS File 可否在 HDFS 上建立檔案, 通過顯示 pass, 沒通過則顯示 failed 1-5 HDFS Modifying HDFS File 可否修改 HDFS 上的檔案, 通過顯示 pass, 沒通過則顯示 failed 1-6 HDFS Removing HDFS File 可否移除 HDFS 上的檔案, 通過顯示 pass, 沒通過則顯示 failed 7

8 1-7 HDFS Removing HDFS Directory 2-1 MapReduce 2-2 MapReduce Checking Available Task Trackers Running Benchmark 3-1 HBase Checking Active Servers 3-2 HBase Creating HBase Table 3-3 HBase Putting HBase Record 3-4 HBase Getting HBase Record 3-5 HBase Scaning HBase Record Application Starter - Cloudera 使用說明手冊 v1.4 MapReduce 3-6 HBase Adding HBase Column Family 3-7 HBase Removing HBase Column Family 3-8 HBase Removing HBase Record 3-9 HBase Removing HBase Table 可否移除 HDFS 上的目錄, 通過顯示 pass, 沒通過則顯示 failed 檢查 Task Tracker 個數是否如預期, 通過顯示 pass, 沒通過則顯示 failed 是否可以順利執行 MapReduce job, 通過顯示 pass, 沒通過則顯示 failed 檢查 Region server 個數是否如預期, 通過顯示 pass, 沒通過則顯示 failed 是否可以建立 HBase table, 通過顯示 pass, 沒通過則顯示 failed 是否可以 put HBase record, 通過顯示 pass, 沒通過則顯示 failed 是否可以 get HBase record, 通過顯示 pass, 沒通過則顯示 failed 是否可以 scan HBase record, 通過顯示 pass, 沒通過則顯示 failed 是否可以增加 HBase column family, 通過顯示 pass, 沒通過則顯示 failed 是否可以移除 HBase column family, 通過顯示 pass, 沒通過則顯示 failed 是否可以移除 HBase record, 通過顯示 pass, 沒通過則顯示 failed 是否可以移除 HBase table, 通過顯示 pass, 沒通過則顯示 failed 7. 如何關閉 Apache HDFS MapReduce HBase Ganglia Solr 服務? 答 : (1) 以 root 身分登入 master 主機, 解壓縮檢查服務工具包 tar zxvf /root/ 8

9 manage_cluster.tgz (2) 執行停止服務程式, 執行時須輸入欲停止的服務名稱 (HBase=hbase MapReduce=mapred HDFS=hdfs Ganglia=ganglia Solr=solr), python /root/manage_cluster/hadoopservice/stophadoopservice.py <hbase/mapred/hdfs>, 服務停止順序必須為 HBase MapReduce HDFS (3) 執行結果可參考如下 : 註 1: Solr(cloudera-Search) 僅 CDH4.3 支援 9

8. 如何啟動 Apache HDFS MapReduce HBase Ganglia Solr 服務?

HBase=hbase Ganglia=ganglia Solr=solr), python

10 8. 如何啟動 Apache HDFS MapReduce HBase Ganglia Solr 服務? 答 : (1) 以 root 身分登入 master 主機, 解壓縮檢查服務工具包 tar zxvf /root/ manage_cluster.tgz (2) 執行啟動服務程式, 執行時須輸入欲啟動的服務名稱 (HDFS=hdfs MapReduce=mapred HBase=hbase Ganglia=ganglia Solr=solr), python /root/manage_cluster/hadoopservice/starthadoopservice.py <hdfs/mapred/hbase>, 服務停止順序必須為 HDFS MapReduce HBase (3) 執行結果可參考如下 : 註 1: Solr(cloudera-Search) 僅 CDH4.3 支援 10

py, 防火牆配置只針對平台主機做設定, 如需要加入平台外的主機, 必須將規則加入到 /root/firewall/iptables.

11 9. 如何設定各服務防火牆規則? 答 : 主機作業系統內的防火牆預設為關閉, 為了安全考量, 建議利用防火牆設定工具, 設定防火牆規則, 設定步驟如下 (1) 以 root 身分登入 master 主機, 解壓縮檢查服務工具包 tar zxvf /root/ manage_cluster.tgz (2) 執行建立防火牆規則程式 python /root/manage_cluster/fw/genfwrule.py, 防火牆配置只針對平台主機做設定, 如需要加入平台外的主機, 必須將規則加入到 /root/firewall/iptables.allow (3) 執行佈署防火牆設定程式 python /root/manage_cluster/fw/syncfirewall.py (4) 執行啟動平台防火牆程式 python /root/manage_cluster/fw/startclusterfw.py (5) master/slave 主機防火牆規則如下 master 主機 Destination Service Chain Proto Interface Source port Target port SSH INPUT TCP eth0 1024: ACCEPT 11

12 HDFS INPUT TCP eth0 1024: ACCEPT MapReduce INPUT TCP eth0 1024: ACCEPT HBase INPUT TCP eth0 1024: ACCEPT Hive Metastore INPUT TCP eth0 1024: ACCEPT Hive Server INPUT TCP eth0 1024: ACCEPT Zookeeper INPUT TCP eth0 1024: ACCEPT Module Chain State Target state INPUT NEW, INVALID REJECT slave 主機 Service Chain Proto Interface Source port Destination port Target HDFS INPUT TCP eth0 1024: ACCEPT MapReduce INPUT TCP eth0 1024: ACCEPT HBase INPUT TCP eth0 1024: , ACCEPT Module Chain State Target state INPUT NEW, INVALID REJECT 10. 如何取得 Hadoop 平台服務相關密碼? 答 : 各項服務的密碼查詢方式如下 oozie /etc/oozie/conf/oozie-site.xml 或 /etc/oozie/oozie-site.xml 參數 oozie.service.storeservice.jdbc.password 值即為 oozie 密碼 hive /etc/hive/conf/hive-site.xml 參數 javax.jdo.option.connectionpassword 值即為 hive 密碼 mysql 密碼檔置於 master 主機 /root/mysql.pw, 解密方式 : i. 以 root 身分登入 master 主機 ii. openssl enc -aes-256-cbc -in /root/mysql.pw -d iii. 輸入 Master 主機登入密碼後, mysql root 密碼顯示於 console openssl enc -aes-256-cbc -in /root/mysql.pw -d enter aes-256-cbc decryption password: 1QC9KJRR 12

13 hdfsoverftp 密碼檔置於 master 主機 /root/hdfsoverftp.pw, 解密方式 : i. 以 root 身分登入 master 主機 ii. 執行 openssl enc -aes-256-cbc -in /root/hdfsoverftp.pw -d iii. 輸入 Master 主機登入密碼後, ftp 密碼顯示於 console openssl enc -aes-256-cbc -in /root/ hdfsoverftp.pw-d enter aes-256-cbc decryption password: 2EC4KJII Application Starter - Cloudera 使用說明手冊 v 如何新增 Data Node 至既有的 Hadoop 平台? 答 : 請進入 hicloud CaaS 雲運算申裝欲新增至既有 Hadoop 平台的主機, 產品規格處 1-1 作業系統類型選擇 Linux, 1-2 映像檔選擇與叢集相對應的 hadoop 版本 Application Starter - Hadoop 0.20 (Cloudera CDH3u5) 或是 Application Starter - Hadoop 2.00 (Cloudera CDH4.3), 開機後自行登入主機, 並執行以下步驟 Hadoop 服務 i. 以 root 身分登入 master 主機 ii. 新增欲加入節點 IP 至 /etc/hadoop/conf/includes iii. 更新 namenode 的 datanode 清單, 執行以下指令 sudo u hdfs hadoop dfsadmin refreshnodes iv. 新增欲加入節點 IP 至 /etc/hadoop/conf/slaves v. 將修正後的 hadoop 設定檔同步至所有節點 ( 包含新增節點 ), 同時將 /etc/hosts 檔案同步至新增節點中 vi. 以 root 身分連線至新增節點並行以下指令 alternatives --install /etc/hadoop-0.20/conf hadoop-0.20-conf /etc/hadoop-0.20/hadoop 60 mkdir -p /opt/hadoop/hdfs mkdir -p /opt/hadoop/mapred mkdir -p /var/run/hadoop-0.20/ mkdir -p /var/lib/hadoop-0.20/cache/ chown -R hdfs:hadoop /opt/hadoop chown -R mapred:mapred /opt/hadoop/mapred chown -R hdfs:hadoop /var/run/hadoop-0.20/ chgrp -R hadoop /var/lib/hadoop-0.20/cache/ chmod -R 777 /var/lib/hadoop-0.20/cache/ 13

14 vii. 啟動 datanode 服務 service hadoop-0.20-datanode start viii. 重新啟動 mapreduce 服務 i. 可參考本文件使用說明 8 ii. 可透過以下指令避免每次操作皆須輸入密碼 ssh-copy-id -i ~/.ssh/id_dsa.pub 新增節點 IP ix. 檢查新增節點是否有出現在 UI 網頁中 (( ( x. 以 root 身分登入 master 主機, 並執行以下指令進行 hdfs balance sudo u hdfs hadoop balancer 可參考 Hadoop FAQ I have a new node I want to add to a running Hadoop cluster; how do I start services on just one node? 的說明, 將主機新增至既有的 Hadoop 平台 Ganglia 監控服務 i. 以 root 身分登入 master 主機 ii. 複製 master 主機中的 gmond 設定檔至新增節點 scp /etc/ganglia/gmond.conf $NewAddNodeIP:/etc/ganglia/ iii. 登入新增主機並執行下列指令, 啟用 gmond 服務 chkconfig --add gmond chkconfig gmond on service gmond start 補充 : passwordless 設定 i. 以 root 身分登入 master 主機, 執行以下指令, 輸入新增節點 root 密碼後即可完成 master 主機到新增節點 ssh passwordless 設定 ssh-copy-id -i ~/.ssh/id_rsa.pub $NewAddNodeIP 12. 如何從既有的 Hadoop 平台移除 Data Node? 答 : 須注意移除節點會因 Hadoop 平台所存的資料量影響移除節點所花費的時間, 移除節點執行步驟如下 i. 以 root 身分登入 master 主機 ii. 新增欲移除節點 IP 至 /etc/hadoop/conf/excludes iii. 重新啟動 mapreduce 服務 i. 可參考本文件使用說明 8 iv. 更新 namenode 的 datanode 清單, 執行以下指令 14

15 sudo u hdfs hadoop dfsadmin refreshnodes v. 到 hdfs UI( 查看移除節點狀態是否為 Decommission In Progress vi. 當節點狀態顯示 Decommissioned, 可以將移除集點關機退租 ( 可能需花費相當時間 ) vii. 從 /etc/hadoop/conf/includes 移除節點資訊 (master 主機 ) viii. 更新 namenode 的 datanode 清單, 執行以下指令 sudo u hdfs hadoop dfsadmin refreshnodes ix. 從 /etc/hadoop/conf/slaves 移除節點資訊 (master 主機 ) x. 登入移除節點並完成關機作業, 完成後進行退租可參考 Hadoop FAQ I want to make a large cluster smaller by taking out a bunch of nodes simultaneously. How can this be done? 13. 如何使用 HDFS over FTP 上傳檔案至 HDFS? 答 : 用一般的 FTP client 工具 (ex:filezilla) 連至平台 HDFS over FTP server, 即可以一般 FTP 的操作方法將本機的檔案上傳到 HDFS HDFS over FTP server 會裝在平台的 Master 主機上,port 是 2222, 帳號是 hdfs, 密碼是 Master 主機登入密碼, 前述資訊皆可在 hicloud Big Data 叢集安裝紀錄頁面取得 14. 如何執行 word count 範例程式? 答 :word count 是 Apache Hadoop 預設提供的數個範例程式之一, 您可以執行這個程式來計算檔案內單字出現的次數執行 word count 程式的步驟如下 : i. 以 root 身分登入 master 主機 ii. 您可以將檔案存放在 HDFS 既有的目錄, 或是建立新的目錄來存放檔案建立目錄的指令範例如下 : sudo u hdfs hadoop fs mkdir HDFS 目錄名稱 iii. 將檔案從 master 主機上傳至 HDFS, 操作指令範例如下 : sudo -u hdfs hadoop fs -put 本機來源檔案完整路徑 HDFS 目錄名稱 / iv. 檢視剛剛上傳檔案的資訊, 操作指令範例如下 : sudo -u hdfs hadoop fs -ls HDFS 目錄名稱 / Found 1 items -rw-r--r-- 3 hdfs supergroup XX-XX XX:XX HDFS 目錄名稱 / 來源檔案名稱 v. 開始執行程式, 操作指令範例如下 : 15

16 CDH3u5 sudo -u hdfs hadoop jar /usr/lib/hadoop/hadoop-examples.jar wordcount HDFS 目錄名稱 / 來源檔案名稱 HDFS 結果存放目錄路徑 CDH4.3 sudo -u hdfs hadoop jar /usr/lib/hadoop-0.20-mapreduce/hadoop-examples.jar wordcount HDFS 目錄名稱 / 來源檔案名稱 HDFS 結果存放目錄路徑請注意結果存放目錄不能事先存在, 否則執行時會出現下列的錯誤訊息 : XX/XX/XX XX:XX:XX ERROR security.usergroupinformation: PriviledgedActionException as:hdfs (auth:simple) cause:org.apache.hadoop.mapred.filealreadyexistsexception: Output directory HDFS 結果存放目錄路徑 already exists vi. 若程式正常執行,console 將會顯示 Job 目前執行進度, 畫面範例如下 : XX/XX/XX XX:XX:07 INFO input.fileinputformat: Total input paths to process : 1 XX/XX/XX XX:XX:07 INFO mapred.jobclient: Running job: job_ _0002 XX/XX/XX XX:XX:08 INFO mapred.jobclient: map 0% reduce 0% XX/XX/XX XX:XX:13 INFO mapred.jobclient: map 100% reduce 0% XX/XX/XX XX:XX:22 INFO mapred.jobclient: map 100% reduce 33% XX/XX/XX XX:XX:23 INFO mapred.jobclient: map 100% reduce 100% vii. 您可以經由 Hadoop 指令檢視執行結果, 操作指令範例如下 : sudo -u hdfs hadoop fs cat HDFS 結果存放目錄 /part-r more "AS 3 "Contribution" 1 "Contributor" 1 或是下載結果檔案至本機端, 操作指令範例如下 : sudo -u hdfs hadoop fs get HDFS 結果存放目錄 /part-r 本機端完整路徑 15. 如何在 Excel 連結 Apache Hive? 答 : 您可以經由 Hive ODBC 驅動程式, 在微軟 Excel 讀取儲存在 Apache Hive 裡的資料下面將以 Windows 7 與 Excel 2007 為例, 說明如何進行安裝與設定 : i. 啟動 Hadoop 平台的 Hive Server 服務 A. 以 root 身分登入 master 主機 B. 執行下列指令以啟動 Hive Server 服務, 預設使用 TCP PORT 10000; 您可以自行修改成其它 Port 16

17 ii. Application Starter - Cloudera 使用說明手冊 v1.4 su - hdfs cd /usr/lib/hive/bin export HIVE_PORT=10000./hive --service hiveserver > /tmp/hive.log 2>&1 & C. 確認 Hive Server 服務是否開始運作 ps -ef grep java grep hive-service more D. 檢視 Log 內容查看 Hive Server 的運作記錄 vim /tmp/hive.log E. 您可以參考 Apache Hive Wiki 網頁取得更完整的說明在個人電腦安裝 Apache Hive ODBC 驅動程式 A. 連結至 Cloudera ODBC Drivers for Apache Hive 網頁 ponents/download-products/downloads-listing/connectors/cloudera-odbcdrivers.html B. 請根據您的 Windows 環境下載 32-bit 或 64-bit 的驅動程式 C. 執行前一步驟下載的驅動程式, 點選 Next, 勾選 I accept the terms in the License Agreement, 然後選擇安裝路徑開始進行安裝 17

18 D. 安裝完成後, 請至開始控制台系統與安全性系統管理工具, 點選資料來源 (ODBC) 進行設定 E. 選擇使用者資料來源名稱後點選新增, 在建立新資料來源視窗選擇 Cloudera ODBC Driver for Apache Hive, 然後點選完成 18

b) 的 Port, 預設是 10000 Database: 請輸入 default Hive Server Type: 請選擇 Hive Server 1 G.

19 F. 在設定視窗請依序輸入 : Data Source Name: 您可以自訂資料來源名稱 Host: 參考前述步驟 (i.a) 的 master 主機 IP 地址 Port: 參考前述步驟 (i.b) 的 Port, 預設是 Database: 請輸入 default Hive Server Type: 請選擇 Hive Server 1 G. 完成輸入後您可以點選下方 Test 進行測試, 若是沒有問題將會顯示連線測試正常訊息 iii. H. 您可以參考前述步驟 (ii.a) 網頁下方的 Installation Guide 取得完整說明在 Excel 讀取 Apache Hive 的資料 A. 開啟 Excel 2007 B. 選擇上方工具列資料從其他來源從資料連線精靈開啟 19

20 設定視窗 Application Starter - Cloudera 使用說明手冊 v1.4 C. 在歡迎視窗選擇 ODBC DSN 並點選下一步 D. 在連接 ODBC 資料來源視窗選擇您在前述步驟 (ii.f) 輸入的 Data Source Name, 並點選下一步 E. 在選擇資料庫與資料表視窗選擇您要匯入的表格, 然後點選下一步 20

21 F. 在儲存資料連線檔案視窗選擇您要儲存的路徑, 然後點選完成 G. 在匯入資料視窗選擇您要將資料存放在 Excel 工作表的位置, 然後點選確定 H. 接下來資料將匯入 Excel 工作表, 您可以對這些資料作進一步的計算或分析 21

I. 您可以參考下列網頁取得完整的說明連接 ( 匯入 ) 外部資料 http://office.microsoft.com/zh-tw/excel-help/hp010089898.

22 I. 您可以參考下列網頁取得完整的說明連接 ( 匯入 ) 外部資料使用 Microsoft Query 擷取外部資料 22

雲端 Cloud Computing 技術指南運算應用平台與架構 10/04/15 11:55:46 INFO 10/04/15 11:55:53 INFO 10/04/15 11:55:56 INFO 10/04/15 11:56:05 INFO 10/04/15 11:56:07 INFO

雲端 Cloud Computing 技術指南運算應用平台與架構 10/04/15 11:55:46 INFO 10/04/15 11:55:53 INFO 10/04/15 11:55:56 INFO 10/04/15 11:56:05 INFO 10/04/15 11:56:07 INFO CHAPTER 使用 Hadoop 打造自己的雲 8 8.3 測試 Hadoop 雲端系統 4 Nodes Hadoop Map Reduce Hadoop WordCount 4 Nodes Hadoop Map/Reduce $HADOOP_HOME /home/ hadoop/hadoop-0.20.2 wordcount echo $ mkdir wordcount $ cd wordcount