coscon2016

Size: px

Start display at page:

Download "coscon2016"

有畏占
5 years ago
Views:

2 Apache HAWQ 替代传统数据仓库的 SQL-on-Hadoop 引擎常雷博士 Apache HAWQ 创始人乐我科技 CEO 微信号 :changleicn 邮件

3 大数据挑战 : SQL-on-Hadoop 的诞生低成本带来很多数据都在 Hadoop/HDFS 上分析应用的敏捷性并行编程框架 (MapReduce 等 ) 局限使用起来比较复杂很难跟其它系统交互死板的框架 : 数据流控制很多没有必要的物化写盘数据分析 90% 工作只需要 SQL 就满足需求现有人员的技能基本都是 SQL 基于 Connector 的数据仓库??? 数据多份性能问题和其他系统融合 : 资源管理

4 SQL-on-Hadoop 和并行数据库存储共享 HDFS, 难于控制在哪里存放数据资源共享环境难于控制资源 (CPU, Memory, IO 等 ) 数据多样非关系型, 格式多种多样, parquet, text, json 数据往往不干净规模和数据量往往要高于传统并行数据库和其它 Hadoop 生态环境的集成语言的集成 (Java/C++)

5 SQL-on-Hadoop 引擎 SQL Dremel

6 Apache HAWQ 针对分析和机器学习的原生 Hadoop SQL 并行数据库 Apache HAWQ 是一个完整兼容 ANSI-SQL 标准的高性能原生 Hadoop MPP 分析型数据库提供对 Hadoop 上 PB 级数据的高性能交互式查询能力并且提供对主要 BI 工具的描述性分析支持, 以及支持预测型分析的机器学习库

可用性内置机器学习库查询外部数据发现新知识数据科学分析外部数据源查询所有数据类型和 Hadoop 生态系统原生集成云端部署

7 Apache HAWQ: 主要功能 Apache HAWQ 利用现有技能和工具轻松与其它工具集成兼容 ANSI SQL 标准 OLAP 扩展 JDBC ODBC 基于代价的优化器 HDFS 原生文件格式压缩及分区核心动态流水线 ACID 事务多语言 UDF 可扩展可用性内置机器学习库查询外部数据发现新知识数据科学分析外部数据源查询所有数据类型和 Hadoop 生态系统原生集成云端部署弹性执行引擎多级容错 PB 级规模在线秒级扩容 HDFS/YARN 资源队列多租户细粒度安全管理多种工作负载 PB 级数据分析交互式查询性能

MADLib 机器学习库 Predictive Analytics Library Supervised Learning Regression

Generalized LinearModels LinearRegression Logistic Regression Marginal

Clustered Variance Support Vector Machines Tree Methods Decision Tree

Unsupervised Learning Association Rules (Apriori) Clustering (K-means)

Other Modules Conjugate Gradient Linear Solvers PMML Export Random

Operations Dimensionality Reduction (PCA) Encoding Categorical Variables

Distance Functions Sparse Vectors Statistics Descriptive Cardinality

8 MADLib 机器学习库 Predictive Analytics Library Supervised Learning Regression Models Cox ProportionalHazards Regression Elastic Net Regularization Generalized LinearModels LinearRegression Logistic Regression Marginal Effects Multinomial Regression Ordinal Regression Robust Variance, Clustered Variance Support Vector Machines Tree Methods Decision Tree Random Forest Other Methods Conditional Random Field Naïve Bayes Unsupervised Learning Association Rules (Apriori) Clustering (K-means) Topic Modeling (LDA) Time Series ARIMA Model Evaluation Cross Validation Other Modules Conjugate Gradient Linear Solvers PMML Export Random Sampling Term Frequency for Text Data Types and Transformations Array Operations Dimensionality Reduction (PCA) Encoding Categorical Variables Matrix Operations Matrix Factorization (SVD, Low Rank) Norms and Distance Functions Sparse Vectors Statistics Descriptive Cardinality Estimators Correlation Summary Inferential Hypothesis Tests Other Statistics Probability Functions Aug 2015

9 HAWQ 组件

10 Yarn libyarn NameNode HAWQ 架构 Masters Resource Broker Optimizer Parser/ Analyzer Resource Manager HDFS Catalog Cache client Fault Tolerance Service Dispatcher Catalog Service Virtual Segment Virtual Segment Virtual Segment Virtual Segment Virtual Segment Virtual Segment Physical Segment DataNode Interconnect Physical Segment DataNode Interconnect Physical Segment DataNode NodeManager NodeManager NodeManager External System

11 查询执行流程 Resource Manager

12 查询计划 Motion: Redistribution Broadcast Gather SELECT l_orderkey, count(l_quantity) FROM lineitem, orders WHERE l_orderkey=o_orderkey AND l_tax>0.01 GROUP BY l_orderkey;

与 MADLib 机器学习以及数据挖掘包的紧密集成直接分析 Hadoop 数据的机器学习以及数据挖掘包线性可扩展的体系架构, 灵活及可扩展性

13 优点及好处原生 Hadoop 高级分析引擎高性能, 低延迟, 弹性执行,PB 级数据可扩展性,ACID 支持, 多级容错完善的 ANSI SQL 标准兼容 SQL-92, -99, -2003, OLAP 完善的 SQL 标准支持, 使得企业可以利用现有的 BI 软件以及技能 MAD 与 MADLib 机器学习以及数据挖掘包的紧密集成直接分析 Hadoop 数据的机器学习以及数据挖掘包线性可扩展的体系架构, 灵活及可扩展性 Scale-Up, Scale-Out 体系架构, 灵活性, 以及功能可扩展性基于代价的查询优化最大化查询性以及充分利用 Hadoop 集群资源

14 SQL-on-Hadoop 引擎比较私有软件 & 闭源 & 非线性可扩展原生 Hadoop & 开放 & 及线性可扩展高性能及 SQL 兼容性 Big SQL Vortex 受限的性能及 SQL 兼容性 SQL

15 HAWQ 与 Impala 性能比较 HAWQ Faster on 46 of 62 TPC-DS queries completed* 4.55x mean avg. 12 hrs faster total * Impala supported 74 of 99 queries, 12 crashed mid-run HAWQ Faster Impala Faster

16 标准及第三方工具兼容 SQL-92, SQL-99, SQL-2003, OLAP 扩展, 与 Postgresql 和 GPDB 语法兼容标准 JDBC, ODBC 连接支持 Hortonworks HDP, 与 Apache Hadoop 兼容的发行版本支持 Tableau, SAS 等各大 BI 工具支持 informatica 等主流 ETL 工具 Hadoop 标准 ODPi 发起者之一

17 HAWQ 2.0 新特性 (1) 资源管理与 YARN 集成 HAWQ 现在包含了一个新的资源管理器, 支持多级资源管理 :YRAN 级别 / 查询级别 / 操作符级别弹性查询执行基于查询的代价,HAWQ 可以动态的分配若干个 virtual segment 来执行查询动态集群伸缩解耦计算和存储, 解耦主节点和从节点, 从而实现秒级扩容块级别存储 HAWQ 2.0 优化了 AO 以及 Parquet 表存储格式, 使得一个大文件可以被多个 Scanner 进程以块粒度访问, 从而 HAWQ 可以达到优化的查询并行度

18 HAWQ 2.0 新特性 (2) 表数据文件单目录存储 HAWQ 2.0 现在把一个表的所有数据文件存放在 HDFS 的一个目录中这样方便了 HAWQ 与外部系统的数据交换新调度器为了支持弹性查询执行功能,HAWQ 2.0 现在包含了一个新的调度器新的调度器可以动态组合不同节点上的查询执行进程来动态调度和管理查询的执行新的容错服务 HAWQ 2.0 重新设计了容错服务, 新的容错基于心跳和动态探测 HAWQ 现在可以动态检测到新加的节点并且可以简单的把失效节点从集群中移除 HDFS 元数据缓存提升了计算到数据调度中数据局部性匹配方法的效率 HCatalog & PXF 集成 HAWQ 现在和 HCatalog 实现了集成基于 PXF 对 Hive 表的访问不再需要先创建外部表用户也可以使用 psql 中的 \d+ 命令来描述 HCatalog 中的表和元信息

19 Apache HAWQ 规划生态系统集成集群管理数据联邦可插拔存储数据管理功能包括其它未支持 BI 工具, Heron, Spark 等增加 Ambari 和命令行工具的集群管理功能提高对外部数据查询的性能以及支持访问更多外部系统的能力支持可插拔文件系统以及文件格式 : 包括对 ORC,S3 的支持等增加更新, 删除和索引功能, 方便用户开发分析应用

20 Apache HAWQ 社区

21 向 HAWQ 社区做贡献 Documentation Wiki Bug reports Bug fixes Features Website: Wiki: HAWQ Repo: JIRA: Mailing lists:

22 代码共享流程 Start a JIRA Fork a github repo - Clone your repo to local Add the github repo as upstream Create a feature branch and commit your code Start a pull request for code review Details: +HAWQ

23 热门领域 Indexes Snapshot Geo-replication Integrate with ecosystems Other areas

ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示

完整的大数据解決方案 ABOUT ME AGENDA 唐建法 / TJ MongoDB 高级方案架构师 MongoDB 中文社区联合发起人 Spark 介绍 Spark 和 MongoDB 案例演示 Dataframe Pig YARN Spark Stand Alone HDFS Spark Stand Alone Mesos Mesos Spark Streaming Hive Hadoop