PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

霞俞
5 years ago
Views:

2 完整的大數據解決方案

3 ABOUT ME 唐建法 / TJ MongoDB 大中華區首席架構師 MongoDB 中文社區聯合發起人 AGENDA MongoDB 簡單介紹 Spark 簡單介紹 Spark + MongoDB

4 Relational MongoDB: 新一代分佈式大數據資料庫 Expressive Query & Secondary Indexes Flexibility Strong Consistency Scalability NoSQL Enterprise System Integrations Global Deployment

5 How I Met MongoDB Startup in 2012 提供 Social API for Games 某一個遊戲突然流行 1000 多請求每秒一個週末改寫代碼並上線支撐 4000 多每秒請求 Python + MySQL 伺服器停止響應

$第一大特點 : 豐富的文檔模型, 快速開發 RDBMS MongoDB { } first_name: Paul, surname: Miller, city: London, location: [45.123,47.$

6 第一大特點 : 豐富的文檔模型, 快速開發 RDBMS MongoDB { } first_name: Paul, surname: Miller, city: London, location: [45.123,47.232], cars: [ { model: Bentley, year: 1973, value: , }, { model: Rolls Royce, year: 1965, value: , } ]

7 第二大特點 : 無限的擴展性, 大數據能力分片使用場景 Auto Routing Requests Zone Aware Scale Out Resource Utilization RTO Shorter SLA Increased read/write capacity Zero downtime Elastic Scaling

8 MongoDB: 增長最快的非關係型資料庫 RANK DBMS MODEL SCORE GROWTH (20 MO) 1. Oracle Relational DBMS 1,442-5% 2. MySQL Relational DBMS 1,294 2% 3. Microsoft SQL Server Relational DBMS 1,131-10% 4. MongoDB Document Store % 5. PostgreSQL Relational DBMS % 6. DB2 Relational DBMS % 7. Microsoft Access Relational DBMS % 8. Cassandra Wide Column % 9. SQLite Relational DBMS % Source: DB-engines database popularity rankings; May 2015

9 Spark 介紹

10 什麼是 Spark? 通用, 快速, 大規模數據處理引擎 Spark SQL Streaming Machine Learning Java, Python, Scala, R 全內存計算可比 Map Reduce 快 100 倍橫向擴展 HDFS 原生支持

11 我能用它做什麼? 個性化產品推薦流處理商業情報

12 Spark 生態系統 Dataframe Pig YARN Spark Stand Alone HDFS Spark Stand Alone 程序接口 Mesos Mesos Spark Streaming 計算引擎資源快樂數據存儲 Hive Hadoop MapReduce Spark Spark SQL

13 HDFS vs. MongoDB HDFS MongoDB 共同點橫向擴展, 支持 PB 級數據量低成本, x86 數據自動複製支持非結構化數據粗顆粒度細顆粒度, 權限西華差別點無索引一次寫入, 只讀為主二級索引讀寫混合非交互式, 分钟或小時級別 SLA 交互式, 毫秒級響應時間

14 一個日誌的例子索引 { error: 1 } log log { ts: :50:50, host: xyz, error:404,.body: { } } { ts: :49:23, host: def, error:019,.body: { } } { ts: :49:22, host: xyz, error:null, body: { } }... { ts: :04:12, host: abc, error: 500, body: { } } log... 使用场景 HDFS MongoDB 7 月 1 日到 31 日所有頁面點擊總數 OK OK 每日 HTTP 404 錯誤統計低效 : 需要掃描所有內容可利用索引, 秒級響應對日誌添加自定義字段來保存分析结果不支持 OK

15 Spark + MongoDB

16 Spark 工作方式 map filter union intersect Parellelize Transform Action Result Parellelize Transform Action Result Parellelize Transform Action Result Parellelize Transform Action Result

17 STORA GE PROCESSING Spark MongoDB 架構 Driver Spark Master 任务调度原始数据计算结果连接器 WORKER WORKER WORKER WORKER EXECUT OR EXECU TOR EXECU TOR EXECU TOR

18 STORA GE PROCESSING Spark MongoDB HDFS 混合架構 Driver Spark Master 任务调度原始数据计算结果连接器 WORKER WORKER WORKER WORKER EXECUT OR EXECU TOR EXECU TOR EXECU TOR

19 Mongo Spark Connector 連接器雙向支持, 讀出與寫入條件下推 Co-Lo 部署本地數據訪問

20 案例分享

21 Spark + MongoDB 成功案例客戶案例实现价值乘客行為大數據分析客戶 360 度視圖改善客戶體驗, 降低客戶流失實時監控分析跨國銀行所有客戶交易行為降低客戶資金風險提高合規性運價計算, 海量緩存降低機票查詢響應時間改善用戶體驗提高直銷率

22 東方航空的挑戰每天客座率每天需支持查询数量, 基於 12000:1 查定比 260, , 亿目标 :50% 直销率

23 365 思路 : 空間換時間 365 天 x 1000 航班 x 26 倉位 x 100 渠道 x N 類型 = 數十億運價數據實時運算目前運價通過透過實時計算, 支持每天 1000 多萬 QPS x PVG SZX LAX NYC BOS BOS LAX BOS LAX NYC LAX NYC Stay Duration Stay Duration Stay Duration Stay Duration Stay Duration 26 仓位空間換時間窮舉所有日期航班倉位計算出所有運價儲存結果于 MongoDB 直接从 MongoDB 查詢機票運價 Date Date Date Date Date Date

24 DR V DR V DR V DR V Spark + MongoDB 方案 B2T IB2C B2M Call Center Mobile B2C Inv API Fare API Inv API Fare API Fare Inv Impl Fare Inv Impl 運價查詢 TEXT Spark Master 批處理計算 Spark Master... Spark Submit Fare Cache Seat Inventory

25 批處理計算流程 START Vars: Flight schedule Base price Price Rules vars Submit Batch Job Load Reference Data Broadcast Variables Split Jobs vars Master 準備任務到 MongoDB 讀出型計算任務 Spark 並發計算結果存入 mongodb Input job Parallel Compute Parallel Compute Input job output Collect Results Collect Results output END

26 Spark 任務入口程序 // initialization dependencies including base prices, pricing rules and some reference data Map dependencies = MyDependencyManager.loadDependencies(); // broadcasting dependencies javasparkcontext.broadcast(dependencies); // create job rdd cabinsrdd = MongoSpark.load(javaSparkContext).withPipeline(pipeline) // for each cabin, date, airport pair, calculate the price cabinsrdd.map(function calc_price); // collect the result, which will cause the data to be stored into MongoDB cabinsrdd.collect() cabinsrdd.savetomongo()

27 處理能力和響應時間比較單節點處理能力 :10x more 響應時間 : 30x less Throughput Latency Legacy Spark+Mongo 0 Legacy Spark+Mongo

28 結語

29 + 已經有 MongoDB, 什麼時候該用 Spark 個性化產品推薦機器學習流处理已經有 Spark 和 Hadoop 什麼时候用 MongoDB 需要支持隨機更新分析結果用於交互式 APP 數據需要靈活的查詢

30 + 有獎問答 MongoDB MongoDB+Spark 在數據庫排名中的位置是第幾位的兩大特點是什麼的集成方案中?,? 使用 MongoDB 較之于 Hadoop HDFS 有什麼優勢?

31 谢谢 THANK YOU!

ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示

完整的大数据解決方案 ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示 Dataframe Pig YARN Spark Stand Alone HDFS Spark Stand Alone Mesos Mesos Spark Streaming Hive Hadoop