PowerPoint 演示文稿

Size: px

Start display at page:

Download "PowerPoint 演示文稿"

硫苏苗
5 years ago
Views:

1 成就直达号的大数据引擎技术专场百度直达号百度开放服务平台百度开放云

2 百度 OLAP 系统实践

3 目录 OLAP 背景介绍 Palo 整体架构 Palo 关键技术 Palo 对外开放

4 什么是 OLAP Online Analytical Processing Analytical Processing vs. Transactional Processing Online vs. Offline (Interactive vs. Batch)

5 OLTP vs. OLAP OLTP OLAP 面向应用日常交易处理明细查询, 分析决策访问模式简单小事务, 操作少量数据复杂聚合查询, 可以过大量数据数据当前最新数据历史数据数据规模 GB TB ~ PB 数据更新实时更新批量更新数据组织满足 3NF 反范式, 星型模型

6 Online vs. Offline

7 OLAP - Interactive Data Analysis 结构化数据的简单查询分析文本数据的简单查询分析各类数据的复杂分析 Reporting Multidimensional Analysis Text Analysis Data Mining SQL DB (PALO) Search DB Mining DB

8 OLAP 应用 - 在线报表

9 OLAP 应用 - 多维分析

Netezza 商业产品产品简介技术特点收购情况 Greenplum Vertica Aster Data ParAccel 2000 年在美国成立 Netezza TwinFin 2003 年在美国成立 Greenplum Database 2005 年在美国成立 Vertica Analytic Database 2005 年在美国成立 ncluster 2005 年在美国成立 PADB

10 Netezza 商业产品产品简介技术特点收购情况 Greenplum Vertica Aster Data ParAccel 2000 年在美国成立 Netezza TwinFin 2003 年在美国成立 Greenplum Database 2005 年在美国成立 Vertica Analytic Database 2005 年在美国成立 ncluster 2005 年在美国成立 PADB 软硬一体机采用 FPGA 数据过滤代替索引行存 + 列存 Shared-Nothing 集群列存 Shared-Nothing 集群 SQL-MapReduce Shared-Nothing 集群列存 + 自适应压缩 Shared-Nothing 集群 2010 年 9 月 20 日,IBM 出资 17.8 亿美元收购 2010 年 7 月 6 日,EMC 出资 3 亿美元收购 2011 年 2 月,HP 出资 3.5 亿美元收购 2011 年 7 月 6 日,Teradata 出资 2.63 亿美元收购 2013 年 Actian 出资 1.5 亿美元收购, Redshift 宣称使用 ParAccel

11 ive Analysis of Web-Scale Datasets (Google 2010) mplementation On The MapReduce 开源社区和互联网企业 Framework (Google 2011) essing a Trillion Cells per Mouse Click (Google 2012)

12 目录 OLAP 背景介绍 Palo 整体架构 Palo 关键技术 Palo 对外开放

13 Palo A MPP-based Interactive Data Analysis SQL DB A Google Mesa Clone, is simpler and better than Mesa 面向百 TB~PB 级别, 结构化数据, 毫秒 / 秒级分析百度大数据部 OLAP 团队研发第三代产品 Doris -> OlapStroageEngine -> Palo PALO 意为玩转 OLAP 80+ 产品线使用,400+ 机器, 单一业务最大百 TB,15 年预计部署 1000 台

14 简单可依赖 Palo 设计原则和定位低成本线性扩展支持云化部署 1/10 ~1/100 Cost 100~200 节点 / 1000 TB 高可用高查询性能高加载性能 % Uptime 10W QPS/ 100GB/s 10 TB / Hour

15 整体架构 MySQL Tools (MySQL Networking) Palo-FE (Leader, Java) Palo-FE (Follower, Java) Palo-FE (Follower, Java) Palo-FE (Observer, Java) Palo-BE (C++) Palo-BE (C++) Palo-BE (C++) Palo-BE (C++)

16 目录 OLAP 背景介绍 Palo 整体架构 Palo 关键技术 Palo 对外开放

17 Frontend Metadata Management State Machine + Replicated Log 类似 Raft 协议思想 Log Replicating Leader Followers Observers Metadata In MEM Metadata In MEM Metadata In MEM Checkpoint.10 LOG.11 LOG.12 Checkpoint.10 LOG.11 LOG.12 Checkpoint.10 LOG.11 LOG.12 Checkpoint.13 LOG.13 LOG.14 Checkpoint.13 LOG.13 LOG.14 Checkpoint.13 LOG.13 LOG.14

18 MySQL Networking Protocol MySQL Tools (MySQL Networking) Palo-FE (Leader, Java) Palo-FE (Follower, Java) Palo-FE (Follower, Java) Palo-FE (Observer, Java) Palo-BE (C++) Palo-BE (C++) Palo-BE (C++) Palo-BE (C++)

19 MySQL Client MySQL Proxy MySQL Protocol Layer Frontend 轻量级客户端与上层应用兼容容易学习曲线平缓, 方便用户上手使用利用 MySQL 相关工具, 比如 MySQL Proxy

20 Tableau 兼容性

21 BIEE 兼容性

22 R 语言兼容性

23 Keys 存储模型 Values Values 聚合方式 Sum, Replace Base 表 Delta 更新 Rollup 表引自 Google Mesa Paper

24 引自 Google Mesa Paper Compaction

25 存储格式行列存数据块存储每个块包含 256 行块内按列存储块整体压缩稀疏索引索引驻内存每个块一个索引项索引文件 date= , uid=1000 数据块部分 Key 作为索引 (Shortkey)

存储格式列存储数据按列存储, 每一列单独存放只访问查询涉及的列, 大量降低 I/O 数据类型一致, 方便压缩 www.gbase.cn 数据包建索引, 数据即索引 GBase 8a 技术白皮书 GBase 8a 核心功能 4.3.2. 智能索引使用原理 a (date) b (int) c d e 100101 8, 10.

26 存储格式列存储数据按列存储, 每一列单独存放只访问查询涉及的列, 大量降低 I/O 数据类型一致, 方便压缩数据包建索引, 数据即索引 GBase 8a 技术白皮书 GBase 8a 核心功能智能索引使用原理 a (date) b (int) c d e , , Palo 存储引擎利用原始过滤条件以及 min max 和 sum 智能索引技术将数据集查询范围尽可能地缩小, 可以大大减少 I/O, 提升查询性能 5, , , True = 完全确定 Possible = 有可能 False = 完全排除必须读取列数据可以进一步优化结合其它条件过滤后确定不需要读取列数据 , , , 10, , 25, {min, max, sum,...} b 列一个需要打开的数据包 select from where group by order by a sum(b) as b mytab a<='100101' a b desc 结果集过滤条件 I/O 基本算子假设一个表 mytab, 按列存储了 a b c d e 五列,GBase 8a 存储引擎将每

27 数据分区单层分区 Hash Partition Elastic Range Partition Tablet1 Tablet2 Tablet3 Tablet4 Tablet5

28 数据分区单层分区问题导入性能低, 元数据更新频繁冷数据, 会重复进行 compaction, 浪费资源冷热数据部方便进行异构存储介质优化 (SSD/SATA) 数据删除比较低效复合分区 PARTITION BY LIST(date) ( PARTITION VALUES IN ( ), PARTITION VALUES IN ( ) ) SUBPARTITION BY HASH(user) PARTITIONS 16;

29 向量执行引擎

30 行式执行引擎的问题向量执行引擎每行一次函数调用, 打断 CPU 流水, 不利于分支预测指令和数据的 cache miss 编译器不友好, 不利于循环展开,SIMD 设计思路单条处理到批量处理行式处理到列式处理效果 Star Scheme benchmark 性能提升 2~4 倍

31 库内分析计算传输数据传输数据计算计算 UDF UDAF UDTF

32 Palo 核心技术存储引擎分布式存储引擎, 单表容量可以到百 TB~PB 复合分区列存储, 高效压缩和编码, 智能索引小批量导入 + 批量原子提交,MVCC 高效的分布式数据导入在线 create rollup,schema change 完善的分布式管理框架 ( 自动副本均衡, 副本修复 )

33 Palo 核心技术查询引擎实现 Mysql 网络协议, 易用, 和各种 BI 工具无缝对接 Share-noting MPP 架构, 可扩展性好大表分布式 join (shuffle 和 broadcast) 谓词下推, 复杂谓词下推 Rollup 表智能选择 Partition pruning 向量执行引擎库内分析丰富的 SQL 表达 : 窗口函数多租户资源隔离

34 目录 OLAP 背景介绍 Palo 整体架构 Palo 关键技术 Palo 对外开放

35 基于 Palo 的云分析 OLAP Engine OLAP Engine Alpha BigQuery 模式

36 基于 Palo 的云分析 OLAP Engine OLAP Engine Beta 2015 下半年, 目前正在邀请用户测试 Redshift 模式

37 开源计划 2015 下半年,10 月左右, 开源 Palo 2016 年开源云化框架

39 成就直达号的大数据引擎技术专场百度直达号百度开放服务平台百度开放云

幻灯片 1

幻灯片 1 百度 OLAP 数据库 Palo 场景一百度统计为网站站长提供流量分析, 网站分析, 受众分析等多种分析服务 450w 网站每天查询量 1500w, 峰值 QPS 2000+, 一致性日输入数据量 1TB+ 导入频次 5 分钟 30ms 平均查询时延场景一在线报表场景二百糯数据集市集运营业务分析订单管理会员管理客户关系管理等一体的综合数据平台 10-100TB 场景下, 秒级分析