基於Hadoop的資料倉儲Hive Introduction to Hive

Size: px

Start display at page:

Download "基於Hadoop的資料倉儲Hive Introduction to Hive"

态喻
5 years ago
Views:

1 基於 Hadoop 的資料倉儲 Hive Introduction to Hive 巨量資料技術與應用 Big Data Technologies and Applications 國立聯合大學資訊管理學系陳士杰老師

2 大綱概述 Hive 系統架構 Hive 工作原理 Hive HA 基本原理 Impala Hive 程式設計實踐 2

3 概述資料倉儲概念傳統資料倉儲面臨的挑戰 Hive 簡介 Hive 與 Hadoop 生態系統中其他元件的關係 Hive 與傳統資料庫的比較 Hive 在企業中的部署和應用 3

4 資料倉儲 (Data Warehouse) 概念不同主題之資訊分析架構 : 過去多個獨立資料庫後來單一整合的系統銷售配送財務庫存銷售配送財務庫存 Data Warehouse 4

5 資料倉儲可視為一個非常大型的資料庫它可將分散各地不同性質與功能的資料庫之資料, 經由 ETL 的程序加以整併並儲存 ETL: 為資料清理 (Data Cleaning) 的過程, 包含萃取 (Extract) 轉置 (Transform) 載入(Load) 目的 : DW 的目的在於整合及運用資料早期的 DW 是以 RDB 為主, 以各項資訊系統的結構化資料為整合對象若非必要是不刪除資料的將所有資料儲存在同一個地方, 透過各種分析方法, 如 : 線上分析處理 (OLAP ) 資料探勘(Data Mining) 對這些資料進行分析, 以幫助決策者能從大量的資料中, 分析出有價值的決策資訊, 擬定策略與快速回應, 幫助決策者或知識工作者從事更快及更好的決策 5

6 DW 具備以下四個特性, 用以支援管理決策 : 主題導向 (Subject-Oriented): 資料倉儲中存放著用以處理不同主題的資料, 如 : 客戶產品銷售等整合性 (Integrated): 資料可來自組織內外不同的異質性 (Heterogeneous) 來源, 如 : 不同的資料庫檔案等, 予以整合, 並轉換為具備標準化一致化的格式反應歷史變化 (Time-variant): 可累積歷史性 (Historical) 資料依據不同時間點, 反應不同時間點的資料, 以分析比較不同時間點的資訊 ( 如 :5 到 10 年 ); 傳統關聯式資料庫系統僅儲存某時刻的資料, 如 : 交易前的資料不會被儲存不可揮發性 (Nonvolatile): DW 儲存長期間的歷史資料, 大多為讀取 (Read) 新增(Add) 資料的操作, 極少修改或刪除 6

7 資料倉儲體系結構 : 7

8 個別階層 (Individual) 部門階層 (Departmental) 元素階層 (Atomic) 作業階層 (Operational) 資料倉儲前端的各種查詢工具不同部門應用的資料超市 (Data Mart) Data Mart 是資料倉儲的一個子集為了某個主題或應用的決策參考, 擷取資料倉儲中部份資料, 形成較小的資料倉儲, 以提供特殊的需求指資料倉儲本體指企業內外部的資料來源, 有作業資料庫現有資料庫分析工具所使用的資料企業外部資料等應用區分成集結成 8

9 傳統資料倉儲面臨的挑戰無法滿足快速增長的海量資料儲存需求傳統的 DW 還是基於關聯式資料庫系統來儲存資料無法有效處理不同類型的資料僅支援結構化資料, 理由同上計算和處理能力不足縱向擴充能力有限, 無法橫向擴充, 理由同上 9

依賴分散式平行計算模型 MapReduce 處理資料定義了簡單的類似 SQL 的查詢語言 HiveQL 用戶可以透過編寫的 HiveQL 語句執行

10 Hive 簡介 Hive 是一個構建於 Hadoop 頂層的資料倉儲工具支援大規模資料儲存分析, 具有良好的可擴展性 ( 橫向擴充 ) 某種程度上可以看作是使用者程式設計介面,Hive 本身不儲存和處理資料 ( 一般所討論的 DW 會包含這兩個功能 ) 依賴分散式檔案系統 HDFS 儲存資料依賴分散式平行計算模型 MapReduce 處理資料定義了簡單的類似 SQL 的查詢語言 HiveQL 用戶可以透過編寫的 HiveQL 語句執行 MapReduce 任務可以很容易把原來構建在關聯式資料庫上的資料倉儲應用程式移植到 Hadoop 平臺上 ( HiveQL) 是一個可以提供有效合理直觀組織和使用資料的分析工具 10

11 Hive 具有的兩個特點非常適用於資料倉儲採用批次處理方式處理海量資料 Hive 把 HiveQL 語句轉換成一系列 MapReduce 任務進行執行, 而 MapReduce 是以批次處理為主的運算模式資料倉儲儲存的是靜態資料, 而且資料本身也不會頻繁變化 ; 靜態資料的分析適合採用批次處理方式, 不需要快速回應給出結果提供適合資料倉儲操作的工具 Hive 本身提供了一系列對資料進行提取轉換載入 (ETL) 的工具, 可以儲存查詢和分析儲存在 Hadoop 中的大規模資料這些工具能夠滿足資料倉儲各種應用場域 11

SQL 的語句來分析資料, 適合用於半結構資料之即時互動分析環境, 也可用於資料倉儲的 ETL 環節中,

12 Hive 與 Hadoop 生態系統中其他元件的關係 Hive 依賴於 HDFS 儲存資料 Hive 依賴於 MapReduce 處理資料在某些場域下 Pig 可以作為 Hive 的替代工具 Pig 也提供類似 SQL 的語句來分析資料, 適合用於半結構資料之即時互動分析環境, 也可用於資料倉儲的 ETL 環節中, 不需使用 Hive 本身的 ETL HBase 提供資料的即時查詢分析與隨機讀寫, 可彌補 Hive 的不足 12

13 Hive 與傳統資料庫的比較 Hive 在很多方面和傳統的關聯式資料庫類似, 但是它的底層依賴的是 HDFS 和 MapReduce, 所以在很多方面又有別於傳統資料庫比較項目 Hive 傳統資料庫資料插入支持批量導入支持單條和批量導入資料更新不支持支持索引支持支持分區支持支持執行延遲高低擴展性好有限 13

14 Hive 在企業中的部署和應用 1. Hive 在企業巨量資料分析平臺中的常見佈署應用 14

15 2. Hive 在 Facebook 公司中的應用基於 Oracle 的資料倉儲系統已經無法滿足激增的業務需求 Facebook 公司開發了資料倉儲工具 Hive, 並在企業內部進行了大量部署 Web Servers Scribe Servers Filers Oracle RAC Hive on Hadoop cluster Federated MySQL 15

16 Hive 系統架構由三大模組構成 : 使用者介面模組包括 : CLI:Hive 自帶命令列界面 HWI: Hive 自帶網頁界面 JDBC ODBC Thrift Server: Hive 自帶 RPC 通信接口驅動模組 (Driver) 包括編譯器優化器執行器等, 負責把 HiveSQL 語句轉換成一系列 MapReduce 作業中繼資料儲存模組 (Metastore) 是一個獨立的關聯式資料庫 ( 自帶 derby 資料庫, 或 MySQL 資料庫 ) 16

17 Hive 工作原理 SQL 語句轉換成 MapReduce 作業的基本原理 Hive 中 SQL 查詢轉換成 MapReduce 作業的過程 17

18 SQL 語句轉換成 MapReduce 的基本原理 join 的實作原理 : SELECT name, orderid FROM user u JOIN order o ON u.uid=o.uid; 18

19 Hive 中 SQL 查詢轉換成 MapReduce 作業的過程當用戶向 Hive 輸入一段命令或查詢時,Hive 需要與 Hadoop 交互運作來完成該操作 : 驅動模組接收該命令或查詢編譯器對該命令或查詢進行解析編譯由優化器對該命令或查詢進行優化計算該命令或查詢透過執行器進行執行 19

20 第 1 步 : 由 Hive 驅動模組中的編譯器對使用者輸入的 SQL 語言進行語法解析, 將 SQL 語句轉化為抽象語法樹的形式第 2 步 : 抽象語法樹的結構仍很複雜, 不方便直接翻譯為 MapReduce 演算法程式, 因此, 把抽象語法樹轉化為查詢塊第 3 步 : 把查詢塊轉換成邏輯查詢計畫, 裡面包含了許多邏輯運算子第 4 步 : 重寫邏輯查詢計畫, 進行優化, 合併多餘操作, 減少 MapReduce 任務數量第 5 步 : 將邏輯運算子轉換成需要執行的具體 MapReduce 任務第 6 步 : 對生成的 MapReduce 任務進行進一步優化, 生成最終的 MapReduce 任務執行計畫第 7 步 : 由 Hive 驅動模組中的執行器, 對最終的 MapReduce 任務進行執行輸出 20

21 幾點說明 : 當啟動 MapReduce 程式時,Hive 本身是不會生成 MapReduce 演算法程式的需要透過一個表示 Job 執行計畫的 XML 檔驅動執行內置的原生的 Mapper 和 Reducer 模組 Hive 透過和 JobTracker 通信來初始化 MapReduce 任務, 不必直接部署在 JobTracker 所在的管理節點上執行通常在大型集群上, 會有專門的閘道機來部署 Hive 工具閘道機的作用主要是遠端操作和管理節點上的 JobTracker 通信來執行任務資料檔案通常儲存在 HDFS 上,HDFS 由名稱節點管理 21

22 Hive HA 基本原理問題 : 在實際應用中,Hive 也暴露出不穩定的問題 ; 在極少數情況下, 會出現 Port 沒有回應或行程遺失問題解決方案 :Hive HA(High Availability) 由多個 Hive 實例進行管理的, 這些 Hive 實例被納入到一個資源池中, 並由 HAProxy 提供一個統一的對外介面客戶端的查詢請求首先訪問 HAProxy,HAProxy 接收到一個 Hive 查詢請求後, 會輪詢資源池裡可用的 hive 資源, 並進行邏輯可用性測試如果某個 Hive 實例邏輯可用, 則直接把客戶端的 Hive 查詢請求連接到該 Hive 實例 ; 若邏輯不可用, 則將該 Hive 實例放入黑名單, 然後繼續讀取池裡其他 Hive 實例進行邏輯可用性測試 Hive HA 每隔一段時間 ( 可配置 ), 對黑名單中的 Hive 實例進行重啟如果重啟後可用, 則將該 Hive 實例從黑名單中移除, 加入資源池對於程式開發人員來說, 可以把它認為是一台超強 Hive" 22

23 Impala Impala 簡介 Impala 系統架構 Impala 查詢執行過程 Impala 與 Hive 的比較 23

24 Impala 簡介 Impala 是由 Cloudera 公司開發的新型查詢系統, 它提供 SQL 語義, 能快速查詢儲存在 Hadoop 的 HDFS 和 HBase 上的 PB 級巨量資料, 在性能上比 Hive 高出 3~30 倍 Impala 的執行需要依賴於 Hive 的中繼資料 (Metadata) Impala 是參照 Google 的 Dremel 系統進行設計的 Impala 採用了與商用平行關聯式資料庫類似的分散式查詢引擎, 不需要轉成 MapReduce 任務, 可以直接與 HDFS 和 HBase 進行交互查詢, 所以執行效率比 Hive 高 Impala 和 Hive 採用相同的 SQL 語法 ODBC 驅動程式和使用者介面 ODBC Driver Impala Metastore(Hive) HDFS HBase 24

25 Impala 系統架構 Impala 和 Hive HDFS HBase 等工具是統一部署在一個 Hadoop 平臺上的 Impala 主要由 Impalad,State Store 和 CLI 三部分組成 ( 下圖虛線部份 ) Common Hive SQL and interface CLI SQL App ODBC Hive Metastore Unified metadata HDFS NN State Store Query Planner Fully MPP Query Planner Fully MPP Query Planner Distributed Distributed Query Coordinator Query Coordinator Query Coordinator Query ExecEngine Query ExecEngine Query ExecEngine HDFS DN HBase HDFS DN HBase HDFS DN HBase Local Direct Local Direct Reads Reads 25

26 Impala 主要由 Impalad,State Store 和 CLI 三部分組成 : 1. Impalad 負責協調客戶端提交之查詢的執行包含 Query Planner Query Coordinator 和 Query Exec Engine 三個模組與 HDFS 的資料節點 (HDFS DN) 執行在同一節點上, 以就近處理資料給其他 Impalad 分配任務, 以及收集其他 Impalad 的執行結果進行匯總 Impalad 也會執行其他 Impalad 給其分配的任務, 主要就是對本地 HDFS 和 HBase 裡的部分資料進行操作 2. State Store 會建立一個 statestored 行程負責收集分佈在集群中各個 Impalad 行程的資源資訊, 用於查詢調度 3. CLI 給用戶提供查詢使用的命令列工具還提供了 Hue JDBC 及 ODBC 的使用介面說明 :Impala 中的中繼資料直接儲存在 Hive 中 Impala 採用與 Hive 相同的中繼資料 SQL 語法 ODBC 驅動程式和使用者介面, 從而使得在一個 Hadoop 平臺上, 可以統一部署 Hive 和 Impala 等分析工具, 同時支援批次處理和即時查詢 26

27 Impala 查詢執行過程 27

28 Impala 執行查詢的具體過程 : 第 0 步 : 當用戶提交查詢前,Impala 先建立一個負責協調客戶端提交之查詢的 Impalad 行程, 該行程會向 Impala State Store 提交註冊訂閱資訊,State Store 會建立一個 statestored 行程,statestored 行程透過建立多個執行緒來處理 Impalad 的註冊訂閱資訊第 1 步 : 用戶透過 CLI 客戶端提交一個查詢到 impalad 行程,Impalad 的 Query Planner 對 SQL 語句進行解析, 生成解析樹 ; 然後,Planner 把這個查詢的解析樹變成若干 PlanFragment, 發送到 Query Coordinator, 由 Query Coordinator 來負責統一協調, 協調各個不同的節點來執行任務 ( 子查詢 ), 並負責收集匯總的結果第 2 步 :Coordinator 需要知道查詢要如何分割分割後的資料都被放到哪個節點上, 所以需要透過從 MySQL 中繼資料庫中獲取中繼資料, 從 HDFS 的名稱節點中獲取資料所在位址, 以得到儲存這個查詢相關資料的所有資料節點 28

29 第 3 步 :Coordinator 初始化相對應 impalad 上的任務, 即 : 把查詢任務分配給所有儲存這個查詢相關資料的資料節點第 4 步 :Query Executor 完成本地的查詢任務, 並由 Query Coordinator 彙總來自各個 impalad 的結果第 5 步 :Coordinator 把匯總後的結果返回給 CLI 客戶端 29

30 Impala 與 Hive 的比較 Hive 與 Impala 的不同點總結如下 : 1.Hive 適合於長時間的批次處理查詢分析, 而 Impala 適合於即時互動式 SQL 查詢 2.Hive 依賴於 MapReduce 計算框架, Impala 把執行計畫表現為一棵完整的執行計畫樹, 直接分發執行計畫到各個 Impalad 執行查詢 3.Hive 在執行過程中, 如果記憶體放不下所有資料, 則會使用輔助儲存體, 以保證查詢能循序執行完成, 而 Impala 在遇到記憶體放不下資料時, 不會利用輔助儲存體, 所以 Impala 目前處理查詢時會受到一定的限制 ( 因記憶體空間限制 ) 30

31 Hive 與 Impala 的相同點總結如下 : 1. Hive 與 Impala 使用相同的儲存資料池, 都支援把資料儲存於 HDFS 和 HBase 中 2. Hive 與 Impala 使用相同的中繼資料 3. Hive 與 Impala 中對 SQL 的解釋處理比較相似, 都是透過語法分析生成執行計畫 31

32 總結 Impala 的目的不在於取代現有的 MapReduce 工具, 在於彌補現有工具的不足把 Hive 與 Impala 配合使用效果最佳可以先使用 Hive 進行資料轉換處理, 之後再使用 Impala 在 Hive 處理後的結果資料集上進行快速的資料分析 32

33 Hive 程式設計實踐 Hive 的安裝與配置 Hive 的資料型態 Hive 基本操作 Hive 應用實例 :WordCount Hive 程式設計的優勢在此僅做簡要說明, 詳細安裝與使用請見本教材線上講義 : 環境設定 - 單元 05: 資料倉儲 Hive 之安裝配置實務操作 - 單元 07:Hive 簡易操作課程網頁 : 教師網頁 : 33

34 Hive 的安裝與配置 1. Hive 安裝安裝 Hive 之前需要安裝 jdk1.6 以上版本以及啟動 Hadoop 下載安裝套件 apache-hive bin.tar.gz 下載地址 : 解壓安裝套件 apache-hive bin.tar.gz 至路徑 /usr/local 配置系統環境, 將 hive 下的 bin 目錄添加到系統的 path 中 2. Hive 配置 Hive 有三種執行模式 : 單機模式虛擬分散式模式分散式模式均是透過修改 hive-site.xml 檔, 如果 hive-site.xml 檔不存在, 我們可以參考 $Hive_HOME/conf 目錄下的 hive-default.xml.template 範例文件, 複製此範例文件並新建 hive-site.xml 檔 34

35 Hive 的資料型態 Hive 的基本資料型態類型描述範例 TINYINT 1 個位元組 (8 位元 ) 有符號整數 1 SMALLINT 2 個位元組 (16 位元 ) 有符號整數 1 INT 4 個位元組 (32 位元 ) 有符號整數 1 BIGINT 8 個位元組 (64 位元 ) 有符號整數 1 FLOAT 4 個位元組 (32 位 ) 單精確度浮點數 1.0 DOUBLE 8 個位元組 (64 位 ) 雙精度浮點數 1.0 BOOLEAN 布林類型,true/false true STRING 字串, 可以指定字元集 nuu TIMESTAMP 整數浮點數或者字串 (Unix 新紀元秒 ) BINARY 位元組陣列 [0,1,0,1,0,1,0,1] Hive 的集合資料型態類型描述範例 ARRAY 一組有序欄位, 欄位的類型必須相同 Array(1,2) MAP 一組無序的鍵 / 值對, 鍵的類型必須是原子的, 值可以是任何資料型態, 同一個映射的鍵和值的類型必須相同 Map( a,1, b,2) STRUCT 一組命名的欄位, 欄位類型可以不同 Struct( a,1,1,0) 35

36 Hive 基本操作 1. create: 建立資料庫表格視圖建立資料庫 1 建立資料庫 hive hive> create database hive; 2 再次建立資料庫 hive 因為 hive 已經存在, 所以會出現異常訊息, 加上 if not exists 關鍵字, 則不會出現異常訊息 hive> create database if not exists hive; 36

37 建立表格 1 在 hive 資料庫中, 建立表格 usr, 含三個屬性 id,name,age hive> use hive; // 進入 hive 資料庫 hive>create table if not exists usr(id bigint, name string, age int); 2 在 hive 資料庫中, 建立表格 usr, 含三個屬性 id,name,age, 指定儲存路徑為 /usr/local/hive/warehouse/hive/usr hive>create table if not exists hive.usr(id bigint,name string,ageint) >location /usr/local/hive/warehouse/hive/usr ; 建立視圖 1 建立視圖 little_usr, 只包含 usr 表中的 id,age 屬性 hive>create view little_usr as select id, age from usr; 37

38 2. show: 查看資料庫表格視圖查看資料庫 1 查看 Hive 中包含的所有資料庫 hive> show databases; 2 查看 Hive 中以 h 開頭的所有資料庫 hive>show databases like h.* ; 查看表格和視圖 1 查看資料庫 hive 中所有表格和視圖 hive> use hive; hive> show tables; 2 查看資料庫 hive 中以 u 開頭的所有表格和視圖 hive> show tables in hive like u.* ; 38

39 3. load: 向表格中載入資料 1 把目錄 /usr/local/data 下的資料檔案中的資料載入到 usr 表並覆蓋原有資料 hive> load data local inpath /usr/local/data overwrite into table usr; 2 把目錄 /usr/local/data 下的資料檔案中的資料載入到 usr 表不覆蓋原有資料 hive> load data local inpath /usr/local/data into table usr; 3 把分散式檔案系統目錄 hdfs://master_server/usr/local/data 下的資料檔案資料載入到 usr 表並覆蓋原有資料 hive> load data inpath hdfs://master_server/usr/local/data >overwrite into table usr; 39

40 4. insert: 向表格中插入資料或從表中匯出資料 1 向表 usr1 中插入來自 usr 表的資料並覆蓋原有資料 hive> insert overwrite table usr1 > select * from usr where age=10; 2 向表 usr1 中插入來自 usr 表的資料並追加在原有資料後 hive> insert into table usr1 > select * from usr > where age=10; 40

41 Hive 應用實例 :WordCount 字數統計任務要求 : 首先, 需要建立一個需要分析的輸入資料檔案然後, 編寫 HiveQL 語句實作 WordCount 演算法具體步驟如下 : (1) 建立 input 目錄, 其中 input 為輸入目錄命令如下 : $ cd /usr/local/hadoop $ mkdir input (2) 在 input 資料夾中建立兩個測試檔 file1.txt 和 file2.txt, 命令如下 : $ cd /usr/local/hadoop/input $ echo "hello world" > file1.txt $ echo "hello hadoop" > file2.txt 41

(3) 進入 hive 命令列介面, 編寫 HiveQL 語句實作 WordCount 演算法, 命令如下 : docs $ hive hive> create table docs(line string); hive> load data inpath 'input' overwrite into table docs; hive>create table word_count as

42 (3) 進入 hive 命令列介面, 編寫 HiveQL 語句實作 WordCount 演算法, 命令如下 : docs $ hive hive> create table docs(line string); hive> load data inpath 'input' overwrite into table docs; hive>create table word_count as select word, count(1) as count from (select explode(split(line,' '))as word from docs) w group by word order by word; W 執行完成後, 用 select 語句查看執行結果如下 : hello world hello hadoop word hello world hello hadoop 42

43 Hive 的程式設計優勢 WordCount 演算法在 MapReduce 中的程式設計實作和 Hive 中程式設計實作的主要不同點 : 1. 採用 Hive 實作 WordCount 演算法需要編寫較少的程式碼量在 MapReduce 中,WordCount 類別由 63 行 Java 程式碼編寫而成在 Hive 中只需要編寫 7 行程式碼 2. 在 MapReduce 的實作中, 需要進行編譯生成 jar 套件來執行演算法, 而在 Hive 中不需要 HiveQL 語句的最終實作需要轉換為 MapReduce 任務來執行, 這都是由 Hive 框架自動完成的, 使用者不需要瞭解具體實作細節 43

44 本章小結本章詳細介紹了 Hive 的基本知識 Hive 是一個構建於 Hadoop 頂層的資料倉儲工具, 主要用於對儲存在 Hadoop 檔中的資料集進行資料整理特殊查詢和分析處理 Hive 在某種程度上可以看作是使用者程式設計介面, 本身不儲存和處理資料, 依賴 HDFS 儲存資料, 依賴 MapReduce 處理資料 Hive 支援使用自身提供的命令列 CLI 簡單網頁 HWI 訪問方式, 及透過 Karmasphere Hue Qubole 等工具的外部訪問 Hive 在資料倉儲中的具體應用中, 主要用於報表中心的報表分析統計上在 Hadoop 集群上構建的資料倉儲由多個 Hive 進行管理, 具體實作採用 Hive HA 原理的方式, 實現一台超強 hive" Impala 作為新一代開源巨量資料分析引擎, 支援即時計算, 並在性能上比 Hive 高出 3~30 倍, 甚至在將來的某一天可能會超過 Hive 的使用率而成為 Hadoop 上最流行的即時計算平臺本章最後以字詞統計為例, 介紹如何使用 Hive 進行簡單程式設計 44

45 - 本單元結束 - 感謝您的聆聽 45

业务与运营 Business & Operation (Transform) 加载 (Load) 至目的端的过程, 该部分在数据挖掘和分析过程中为最基础的一部分一个良好的 ETL 系统应该有以下几个功能 1

业务与运营 Business & Operation (Transform) 加载 (Load) 至目的端的过程, 该部分在数据挖掘和分析过程中为最基础的一部分一个良好的 ETL 系统应该有以下几个功能 1 Business & Operation 业务与运营大数据技术在精准营销中的应用王小鹏北京东方国信科技股份有限公司北京 100102 摘要简要介绍主流的大数据技术架构和大数据挖掘技术 ; 阐述大数据技术在精准营销与维系系统建设中的应用,