星环科技被 Gartner 列为主流 Hadoop 发行版厂商在十月份的 webinar Hadoop 2016: Moving Into Mainstream 中,Gartner 宣布了市场中的新成员星环科技的加入而在最新发布的研究报告 Market Guide for Hadoop Dis

Size: px

Start display at page:

Download "星环科技被 Gartner 列为主流 Hadoop 发行版厂商在十月份的 webinar Hadoop 2016: Moving Into Mainstream 中,Gartner 宣布了市场中的新成员星环科技的加入而在最新发布的研究报告 Market Guide for Hadoop Dis"

宿埋杜
5 years ago
Views:

1 Hadoop 推动现代数据仓库技术的深刻变革星环科技孙元浩星环科技创始人兼 CTO

最具代表性厂商 ) 中的主流 Hadoop 发行版厂商 Gartner 对星环及其产品的概括如下 : 星环总部设在中国上海星环科技的产品名为 Transwarp Data Hub, 它包含一整套 Hadoop 组件, 星环科技还为

2 星环科技被 Gartner 列为主流 Hadoop 发行版厂商在十月份的 webinar Hadoop 2016: Moving Into Mainstream 中,Gartner 宣布了市场中的新成员星环科技的加入而在最新发布的研究报告 Market Guide for Hadoop Distributions 中,Gartner 将星环,Cloudera, Hortonworks, IBM,MapR 和 Pivotal 一同被列 Representative Vendors( 最具代表性厂商 ) 中的主流 Hadoop 发行版厂商 Gartner 对星环及其产品的概括如下 : 星环总部设在中国上海星环科技的产品名为 Transwarp Data Hub, 它包含一整套 Hadoop 组件, 星环科技还为 Transwarp Data Hub 配备了星环独有的 NoSQL 搜索引擎批量分析组件流处理组件和数据挖掘组件 Transwarp Data Hub 支持 Docker 和 Kubernetes, 还提供独特的 PL/SQL 编译器目前, 星环科技大多数业务在中国 2

3 星环科技被 Gartner 选入数据仓库魔力象限的 Visionary 象限近日, 国际知名咨询机构 Gartner 针对当前数据仓库及数据管理解决方案市场, 在其魔力象限 1. 中对全球 21 家厂商进行了对比分析, 其中, Oracle Teradata Oracle 和 Microsoft 三家公司包揽了前三甲, 而全球最具发展前景的公司却是来自中国的公司星环科技 (Transwarp), 这也是该领域的魔力象限中第一次出现中国公司优势星环科技虽然年轻, 但是已经在中国市场中颇具影响力星环科技在 18 个月内赢取了 200 个客户星环科技的产品有其独特的功能, 例如它的 SQL 引擎 Inceptor, 基于 Apache Spark, 兼容 Oracle SQL 和 PL/SQL, 支持事务处理的 CRUD(CREATE, READ, UPDATE, DELETE) 并能保证 ACID Inceptor 在被调查的用户中受到了非常高的评价被调查的用户表示他们对星环的产品支持以及提供的培训都非常满意星环科技注意目前, 星环仅在中国有业务虽然如此, 中国庞大的市场以及中国市场特有的要求给星环的发展空间巨大虽然暂时还没有推出云上的解决方案, 但是星环科技的云解决方案已经在计划中被调查的客户指出星环的产品还有一些功能的缺失, 尤其在产品的管理功能方面被调客户还指出市场中对口人才的稀缺即使如此, 被调客户对星环科技各方面的评价都持平报告中的平均水平 3

4 Hadoop 应用统计 Source: Wikibon Source: Transwarp 4

5 What is a Data Warehouse? Architectural Construct: Integrated Time variant Subject orientation Analytic orientation Service level driven Mission-critical Physical Implementation: Centrally stored data Modeled Mixed workload Optimized Servers Storage 5

6 传统数据仓库技术面临的挑战数据处理延时长, 无法看到实时运营状况 Operational Data Warehouse 数据源不断增多, 访问和数据同步变得复杂 ; 开始包括非结构化和半结构化数据 ; 上层业务和使用部门增多, 资源管理和安全控制变得困难 Logical Data Warehouse 数据量增大应用不断增加, 运行沉重缓慢, 不堪重负原先的逻辑数据模型, 不能有效支撑数据快速分析和价值发现 ; 需要新的方法发掘数据的统计相关性因果关系关联关系等规律 Scalable Traditional Data Warehouse Context Independent Data Warehouse 6

7 可扩展的分布式计算技术单机计算并行计算分布数据计算均分布化 MPI 消息通讯模式 Map/Reduce 计算模式 ZK Cluster Transaction Manager Inceptor master metastore 星环 SQL on Hadoop 已经能够高效处理 100TB 数据的复杂分析 Test environment: 29 worker nodes 2 CPUs, 12 Cores, E v2 100GB memory Network: 2 X 1Gbps Disks: 12 X 3TB Executor Executor Executor Executor ORC Files DataNode ORC Files DataNode ORC Files DataNode ORC Files DataNode Transwarp Inceptor s Physical Deployment Diagram 7

8 Logical Data Warehouse 设计模式 Can the Architecture Perform as Required? Do the Descriptions and Categories Match? Use-Case Access Semantics Taxonomy/Ontology Resolution SLA Requirements Auditing and Management Statistics <>/=/~ DQ, MDM, Gov Metadata Locate Data Audit Data Repositories And/Or Federation/ Virtualization And/Or Distributed Process Optimize Data Persist, Pervasive, Latency, Optimized Schema Write to Write Transient, Diverse Usage, Native Schema Write to Read Comprehensive, Undefined Schema Read to Read 8

关系数据库为主 StarGate vs QueryGrid vs ORCL connector Inceptor Batch SQL Interactive Analysis

DATABASE LINK link_to_oracle CONNECT TO user IDENTIFIED BY 'password' USING

inceptor_tab 表做 join: SELECT * FROM oracle_tab@link_to_oracle a JOIN orc_table b ON a.

9 Database Federation 需要具备对多种关系数据库和 Hadoop 数据源进行交叉查询, 聚合, 以及关联操作等能力两种技术方案和路线 : Hadoop 为主 v.s. 关系数据库为主 StarGate vs QueryGrid vs ORCL connector Inceptor Batch SQL Interactive Analysis StarGate Access Platform 创建一个到 oracle_server 上 Oracle 数据库 oracle_db 的 dblink: CREATE DATABASE LINK link_to_oracle CONNECT TO user IDENTIFIED BY 'password' USING 'jdbc:oracle:thin:@oracle_server:1521:oracl e_db'; 使用该 dblink 中的 oracle_tab 表与 inceptor 中的 inceptor_tab 表做 join: SELECT * FROM oracle_tab@link_to_oracle a JOIN orc_table b ON a.col = b.col; DB2 Driver Oracle Driver ORC/Parquet Driver Holodesk Driver Hyperdrive 驱动层实现数据访问计算算子下推以减少数据传输执行计划仍采用分布式计算 Source DB2 Source Oracle Source Text, ORC, Parquet on HDFS Source Holodesk Source Hyperbase 9

基于 Docker/ 星环 TOS 的微服务多租户架构 Software Service

oozie Platform Service Layer zookeeper hadoop

Scheduler System Service Infrastructure Layer

coordination orchestration auto-scaling discovery

10 基于 Docker/ 星环 TOS 的微服务多租户架构 Software Service Layer terminal hue BI rstudio app1 app2 nginx oozie Platform Service Layer zookeeper hadoop inceptor discover hyperbase stream redis kafka Transwarp Operating System - elastic micro-service management system Containers Scheduler System Service Infrastructure Layer Container Plugins CPU/MEM Disk Network coordination orchestration auto-scaling discovery priority-based scheduler storage manager VLAN manager etcd load balancer replicator name service 10

采用星环 StreamSQL, 将复杂 PL/SQL 统计计算前推到流处理框架,

11 Operational Data Warehouse 设计模式准实时 ETL processing_job 流式计算 speed_table batch_table queries App processing_job Operational Database Hybrid Transactional & Analytical DB? 有点难方式一 : 采用 Transwarp Data Alive, 将 DB2/Oracle 的更新准实时同步到 Hadoop 中, 通常存入星环 Inceptor 的 ORC 事务表中, 适合后端统计较重的应用场合方式二 : 采用星环 StreamSQL, 将复杂 PL/SQL 统计计算前推到流处理框架, 适合对延时要求很高同时运算模型又比较复杂的场景, 结果集写入星环 Hyperbase( 可高并发查询 ) 或者 Holodesk( 可做 OLAP 分析 ) 中 11

12 实时流式数据处理连续摄取 / 注入连续分析 ATM 过滤 / 采样基础设施提供服务 : 在跨硬件 / 软件节点中调度分析建立流连接 SQL 变换 PL/SQL 预警关联 / 分类基于 R 算法面向流数据的实时分析平台, 实现流数据端到端的低延迟分析处理 12

Context Independent DW 设计架构重要功能 : Data Engineers Data Scientists Notebook: Apache Zeppelin 关联分析统计意义上的因果分析

Analytical DB GraphSQL Data Frame Abstraction Feature Extraction using data frame and native R operations

Dimension Reduction 主成分分析 Machine Learning using more distributed algorithms Clustering 聚类算法 Association

Algorithm 遗传算法 Discriminat e Analysis 判别分析 Data Mining using native R algorithms Decision Methods 决策方法 Factor

13 Context Independent DW 设计架构重要功能 : Data Engineers Data Scientists Notebook: Apache Zeppelin 关联分析统计意义上的因果分析时序模式预测分析关联网络分析图分析图检索文本分析和挖掘搜索自由分析和探索多种数据源, 无需已知数据模式 Data Transformation using PL/SQL Inceptor Analytical DB GraphSQL Data Frame Abstraction Feature Extraction using data frame and native R operations Hyperbase Document/Search Graph Database Statistics 统计算法 Sequential Analysis 时序分析 Classificatio n 分类算法 Dimension Reduction 主成分分析 Machine Learning using more distributed algorithms Clustering 聚类算法 Association Mining 关联 / 推荐 Regression 回归算法 Deep Learning 深度机器学习 Transwarp Discover Distributed Algorithm Library Genetic Algorithm 遗传算法 Discriminat e Analysis 判别分析 Data Mining using native R algorithms Decision Methods 决策方法 Factor Analysis 因子分析 Sampling 采样算法 Belief Network 信念网络 R Runtime Library R 语言动态运行库 Q-Learning 增强学习 Graph Inference 图推理 Transwarp Hadoop 分布式文件系统 13

14 Summary: 基于大数据技术的数据仓库逻辑架构实时数据 Kafka 实时接收 Operational DW Traditional DW Data Mart Context-independent DW 实时决策平台 (StreamSQL) 离线批处理平台 (SQL) 自助分析平台 (SQL) 数据探索平台 (R) 检索平台 (SQL) 现有业务系统 CRM ERP HR Finance 非 / 半结构化数据社交网络宏观政策 / 经济其他信息 ETL TDA T+0 ~ T+1 Flume 流式处理实时研判数据加工结构化数据存储层主题模型层轻度汇总层明细层贴源层资源管理平台 (TOS) (Virtualization,Multi-tenant SLA, Audit) 非结构化存储日志处理影像存储文本分析图计算 14 主题模型自助报表数据质量管理交互探索元数据管理作业调度管理统计预测 Logical Data Warehouse 模型发现明细查询综合搜索

15 TRANSWARP

16 传统数据仓库面临的问题 S Operational Systems Pull/push Data Warehouse Architecture EDW Portal O ERP RDBMS U R C E D A T A CRM HR Finance Misc External Sources Other Reference data EBCDIC Flat files XML Spread Sheets Legacy data Staging Area Transformation And load processes Data Mining CRM REVENUE SALES Aggregation Meta data Info Tactical Reporting Business Intelligence Analytics Forecasting 面临的挑战 : 1. 数据量增长过快, 导致运算效率下降 2. 数据抽取处理的代价过高, 无法在统一的视图下处理 16

合集

Ver 1.0 版本目录第一章当大数据遇上 SSD 01 第二章广东移动运用 Hadoop 创新应用 04 第三章第四章第五章第六章第七章第八章第九章第十章如何利用大数据分析提升垃圾短信过滤效果广东电信用大数据重构室内网优大数据提升

星环科技被 Gartner 列为主流 Hadoop 发行版厂商 在十月份的 webinar Hadoop 2016: Moving Into Mainstream 中,Gartner 宣布了市场中的新成员 星环科技的加入 而在最新发布的研究报告 Market Guide for Hadoop Dis

星环科技被 Gartner 列为主流 Hadoop 发行版厂商在十月份的 webinar Hadoop 2016: Moving Into Mainstream 中,Gartner 宣布了市场中的新成员星环科技的加入而在最新发布的研究报告 Market Guide for Hadoop Dis