Inceptor_2016白皮书 - 看稿文件

Size: px

Start display at page:

Download "Inceptor_2016白皮书 - 看稿文件"

机年何
7 years ago
Views:

1 关于我们 : 星环科技是目前国内极少数掌握大数据核心技术的高科技公司, 专注于企业级大数据核心平台数据库软件的研发公司产品 Transwarp Data Hub (TDH) 以其业界最完整的 SQL on Hadoop 支持 ; 独特的对分布式 ACID 数据一致性支持 ; 以及对 SSD 优化提高集群性价比等特点, 比肩硅谷同行产品的功能和性能在业界处于领先水平在全球去 IOE 的大背景下,TDH 已成为在数据仓库, 数据集市等领域替代传统数据库公认的大数据产品

数据一致性支持 ; 以及对 SSD 优化提高集群性价比等特点, 比肩硅谷同行产品的功能和性能在业界处于领先水平在全球去 IOE

2 Transwarp Inceptor

3 Inceptor 产品组件和功能特点 Inceptor 产品组件和功能特点 Transwarp Inceptor 是星环科技推出的用于数据仓库和交互式分析的大数据平台软件, 基于 Hadoop 和 Spark 技术平台打造, 加上 8 大创新的功能组件, 有效的解决了企业级大数据数据处理和分析的各种技术难题, 帮助企业快速的构建和推广数据业务 TranswarpInceptor 提供完整的 SQL 支持, 支持主流的 SQL 模块化扩展, 兼容通用开发框架和工具, 支持事务特性保证数据的准确性, 允许多租户的隔离与管理, 能够利用内存或者 SSD 来加速数据的读取, 支持与关系型数据库实时对接并做统计分析, 辅以高性能的 SQL 执行引擎, 从而能够给企业提供高性价比和高度可扩展的解决方案 JDBC ODBC SHELL Batch & Interactive SQL Engine 多租户管理组件 Guardian SQL 2003 Compiler 语法解析器 SQL Parser 优化器 COST BASED OPTIMIZER Transaction Manager 分布式增删改 Distributed CRUD 事务并发控制器 Concurrency Controller PL/SQL Compiler 存储过程解析器 Procedure Parser 控制流优化器 CFG Optimizer 计算资源配置 Resource Management 用户安全授权管理 Security & Authorization 代码生成 CODE GENERATOR 并行优化器 Parallel Optimizer 行级安全控制 Row Level Security Distributed Execution Engine 分布式执行引擎 Stargate 数据源连接器 Transwarp Holodesk 分布式内存列式存储 Transwarp HDFS2 分布式持久化数据存储 Transwarp Hyperbase 分布式实时数据库 Transwarp RDBMS 关系数据库 SQL 编译器 SQL 2003 Compiler 企业级数据仓库数据集市等应用大多基于 SQL 来开发, 而 Hadoop 业界的产品大部分对 SQL 的兼容程序比较差, 或者不支持 SQL 的模块化扩展, 因而应用迁移的成本非常高, 甚至是不具备可行性为了降低应用迁移成本,Transwarp Inceptor 开发了完整的 SQL 编译器, 支持 ANSI SQL 92 和 SQL 99 标准, 并且支持 ANSI SQL 2003 OLAP 核心扩展, 可以满足绝大部分现有的数据仓库业务对 SQL 的要求, 方便应用平滑迁移

多租户管理组件 Guardian SQL 2003 Compiler 语法解析器 SQL Parser 优化器 COST BASED OPTIMIZER Transaction Manager 分布式增删改 Distributed CRUD 事务并发控制器 Concurrency Controller PL/SQL Compiler 存储过程解析器 Procedure Parser 控制流优化器

4 除了更好的 SQL 语义分析层以外,Inceptor 包含强大的优化器保证 SQL 在引擎上有最佳的性能 Inceptor 包含 3 级优化器 : 首先是基于规则的优化器, 应用静态优化规则并生成一个逻辑执行计划, 其次是基于成本的优化器, 通过衡量多个不同执行计划的 CPU,IO 和网络成本, 来选择一个更合理的计划并生成物理执行计划 ; 最后是代码生成器, 对一些比较核心的执行逻辑生成更高效的执行代码或者 Java Byte Code, 从而保证 SQL 业务在分布式平台上有最佳性能存储过程编译器 PL/SQL Compiler 国内现有的数据仓库应用大都基于 SQL 2003, 而且大量使用存储过程来构建复杂应用因此除了 SQL 编译器以外,Transwarp Inceptor 还包含存储过程编译器用于对存储过程的编译和执行 Inceptor 支持 OraclePL/SQL 和 DB2SQLPL 两大主流 SQL 标准, 包括完整的数据类型流程控制 Package 游标异常处理以及动态 SQL 执行, 并且支持在存储过程中做高速统计, 增删改查与分布式事务操作因此, 有了存储过程编译器的补充,Inceptor 可以满足绝大部分数据应用的从关系型数据库到 Inceptor 平台的迁移除了 SQL 语法层面的支持, 存储过程编译器包含一个完整的优化器, 包含 CFGOptimizer,Parallel Optimizer, 和 DAG Optimizer CFG Optimizer 对存储过程中的代码进行优化, 完成循环展开, 冗余代码消除, 函数内联等主要优化 ParallelOptimizer 将一些原本串行的逻辑做并行化处理, 利用集群的计算能力来提高整体执行速度, 对一些关键的功能如游标的性能提升非常明显 DAGOptimizer 会根据生成的 DAG 图二次优化, 生成更合理的物理执行计划, 重点降低了 shuffle 等任务开销为了有效的和其他数据库兼容,Inceptor 支持通过不同的方言设置来隔离不同的 SQL 标准之间的差异, 从而避免数据计算和处理标准的二义性, 因此保证数据处理的正确性事务管理单元 Transaction Manager 为了更好的满足数据仓库业务场景的需求,Inceptor 提供完整的增删改 SQL 支持, 允许从多数据源中加工数据同时为了有效的保证数据处理的准确性,Inceptor 提供了分布式事务的支持, 保证了处理过程中数据的 ACID, 即原子性一致性隔离性和持久性 Inceptor 支持以 Begin Transaction 启动事务, 以 commit 或者 rollback 来结束事务事务管理单元通过两阶段封锁协议和 MVCC 来实现一致性和隔离性的控制, 支持 Serializable Snapshot Isolation 隔离级别, 因而可以保证并发情况下的事务一致性 Inceptor 支持 SQL 2003 中关于增删改查部分的语义规范, 支持 Insert,Update,Delete,Truncate 以及 Merge Into 原语, 支持单条或者从其他数据表以及嵌套查询中更新数据表, 并且内置一致性检查功能以防止非法改动通过 SQL 编译器的优化, 增删改 SQL 执行计划通过分布式引擎在集群中并发执行, 系统整体的吞吐率能够达到关系数据库的数倍, 能够满足批处理业务的高吞吐率要求另外, 通过合理的资源规划,Inceptor 在做数据的增删改的同时, 允许租户对数据做高速的统计分析

支持 OraclePL/SQL 和 DB2SQLPL 两大主流 SQL 标准, 包括完整的数据类型流程控制 Package 游标异常处理以及动态 SQL 执行, 并且支持在存储过程中做高速统计, 增删改查与分布式事务操作因此, 有了存储过程编译器的补充,Inceptor 可以满足绝大部分数据应用的从关系型数据库到 Inceptor 平台的迁移除了 SQL 语法层面的支持,

5 Inceptor 产品组件和功能特点分布式内存列式存储 Holodesk 为了加速交互式分析的速度,Inceptor 推出了基于内存或者 SSD 的列式存储引擎 Holodesk Holodesk 将数据在内存或者 SSD 中做列式存储, 辅以基于内存的执行引擎, 可以完全避免 IO 带来的延时, 极大的提高数据扫描速度除了列式存储加快统计分析速度,Holodesk 支持为数据字段构建分布式索引通过智能索引技术为查询构建最佳查询方案,Inceptor 可以将 SQL 查询延时降低到毫秒级 Holodesk 允许用户对多字段组合构建 OLAP-Cube, 并将 cube 直接存储于内存或者 SSD 上, 无需额外的 BI 工具来构建 Cube, 因此对于一些复杂的统计分析和报表交互查询,Holodesk 能够实现秒级的反应除了性能优势,Holodesk 在可用性方面也表现出色 Holodesk 的元数据和存储都原生支持高可用性, 通过一致性协议和多版本来支持异常处理和灾难恢复在异常情况下,Holodesk 能够自动恢复重建所有的表信息和数据, 无需手工恢复, 从而减少开发与运维的成本, 保证系统的稳定性 Inceptor 重点优化了基于 SSD 的 Holodesk 性能, 使得基于 PCIE SSD 的性能达到全内存的方案的 80% 以上因此结合使用低成本的内存 / 闪存混合存储方案, 可接近全内存存储的分析性能, 保证解决方案的高性价比分布式执行引擎 Distributed Execution Engine Inceptor 基于 Apache Spark 深度开发了专用分布式计算引擎, 不仅大幅提高了计算性能, 而且有效的解决了 Spark 在稳定性方面的很多问题, 确保计算引擎能够 7x24 小时无间断运行此外,Inceptor 引擎独立构建了分布式数据层, 将计算数据从计算引擎 JVM 内存空间中独立出来, 因此可以有效减少 JVM GC 对系统性能和稳定性的影响在 SQL 执行计划优化方面,Inceptor 实现了基于代价的优化器和基于规则的优化器, 辅以 100 多种优化规则, 可以保证 SQL 应用在无需手工改动的情况下能够发挥最大的性能对于数据倾斜等常见的数据处理难题, 执行引擎也能够自动识别并加以优化, 能够解决绝大部分存在数据倾斜的计算场景, 杜绝数据倾斜对系统稳定性的影响为了更好的适应各种数据场景,Inceptor 的执行引擎包含两种执行模式 : 低延时模式和高吞吐模式低延时模式主要应用在数据量比较小的场景, 执行引擎会生成执行延时低的物理执行计划, 通过减少或避免一些高延时的任务 ( 如 IO, 网络等 ) 来保证 SQL 的执行时间很短, 达到或者逼近关系型数据库在这些场景下的性能高吞吐模式主要应用在大数据的场景, 通过合理的分布式执行来提高超大数据量上的复杂统计分析的性能因此,Inceptor 的执行引擎可以满足从 GB 到 PB 的各种数据量上的数据业务需求数据源连接器 Stargate 企业数据可能会分散在多个系统中, 彼此不能共享数据或者进行相关的分析, 从而造成数据孤岛的现象通过构建统一的大数据平台可以有效的解决大部分场景下的数据孤岛问题, 然后仍然存在一些数据因为各种关系无法迁移统一平台上的现象为了解决此类问题,Inceptor 推出了数据源连接器 Stargate

在可用性方面也表现出色 Holodesk 的元数据和存储都原生支持高可用性, 通过一致性协议和多版本来支持异常处理和灾难恢复在异常情况下,Holodesk 能够自动恢复重建所有的表信息和数据, 无需手工恢复, 从而减少开发与运维的成本, 保证系统的稳定性 Inceptor 重点优化了基于 SSD 的 Holodesk 性能, 使得基于 PCIE SSD 的性能达到全内存的方案的 80% 以上

6 Stargate 是连接执行引擎和各种数据源的连接器, 可以将多种不同数据源的数据接入引擎做实时的统计分析, 而无需事先将数据导入 HDFS, 从而更加方便用户的业务构建多样化需求在语法层面,Inceptor 兼容 Oracle DB-Link 规范, 通过创建 database link 来预先建立和其他数据源的连接池, 然后就可以在 SQL 中通过 link 的方式在 Inceptor 中实时访问该数据源的数据, 无需其他操作在执行计划开始后,Stargate 通过预先建立的连接从其他数据源中抽取需要的数据, 输入进入执行引擎层参与 SQL 计算在计算完成后, 释放相关的数据库连接以及对应的资源目前 Stargate 支持关系数据库包括 Oracle,DB2,Mysql,Teradata 以及 PostgreSQL 此外,Stargate 目前可以接入 Holodesk,HDFS,Hyperbase 等平台内数据源, 未来将支持 Elastic Search 和 Redis 作为数据源多租户管理组件 Guardian Guardian 提供完整的多租户管理功能, 包括租户资源管理, 租户权限管理以及安全控制等模块, 可以方便企业在统一的大数据平台上的多租户的管理和分配 Guardian 允许对多租户进行 CPU 和内存资源的配置和管理, 不同的租户使用不同的 CPU 和内存资源池, 因而不会互相干扰此外可以给不同的用户设定不同的优先级来实现服务质量控制 (QoS) Guardian 支持通过 SQL 对用户磁盘空间的配置和管理, 包括对数据空间和临时空间的配额, 更改和管理, 以方便平台对存储资源的合理分配, 管控和计费 Guardian 支持使用 LDAP 协议做用户访问控制, 支持 Kerberos 协议用作底层访问控制, 从而保证数据的安全性和隔离性 Guardian 支持一整套基于 SQL 的数据库 / 表的权限控制, 管理员可以设置用户对表的查询, 修改, 删除等权限, 并包含一整套的角色设定, 可以通过角色组的设置来便捷的实现用户权限控制此外,Guardian 支持 Row Level Security, 对表的数据进行精确的行级权限控制在多租户的场景下, 可以保证不同租户只能看到表中自身有权限的数据, 而不会看到属于其他租户的数据, 从而有精确的数据隔离中间件管理单元 Connector Inceptor 完整的支持 JDBC4.0 和 ODBC3.5 标准, 因此能够支持 Hibernate/Spring 等中间件, 完全兼容 Tableau/QlikView/Cognos 等报表工具, 可以和企业当前的数据应用层完整对接此外,Inceptor 也支持与其他数据同步工具的对接, 已经完成了和 IBM CDC 的相互认证与整合, 并且能够支持 Oracle Golden Date,SAP Data Service 等工具因此, 企业用户可以实时的将交易数据同步到 Inceptor 内做交互式统计分析业务

此外,Stargate 目前可以接入 Holodesk,HDFS,Hyperbase 等平台内数据源, 未来将支持 Elastic Search 和 Redis 作为数据源多租户管理组件 Guardian Guardian 提供完整的多租户管理功能, 包括租户资源管理, 租户权限管理以及安全控制等模块, 可以方便企业在统一的大数据平台上的多租户的管理和分配 Guardian 允许对多租户进行

7 基于 Inceptor 的大数据平台建设方案基于 Inceptor 的大数据平台建设方案数据仓库建设方案在当前移动互联的浪潮下, 数据呈现爆炸式增长, 企业内部和外部的流处理实时数据自助报表分析预测 R 语言量化模型核心系统数据产生的速度超过以往任何时刻信用卡系统网银以往基于传统关系数据库或者 MPP 客服系统数据仓库平台 (Transwarp Data Hub) 构建的数据仓库往往处理能力不够, ECIF-MDM 贴源区基础区主题区元数据区并且可扩展性不强, 无法满足企业... 国际业务平台对大规模数据的处理要求基于 Transwarp Inceptor 构建的非结构化处理平台 (Hadoop & Hyperbase) 大数据平台, 处理能力更强, 并发性日志处理影像储存语音分析视频识别语历史备份库更高, 更易于扩展, 能够极大的提速数据仓库的批量处理能力前端通过 Sqoop,flume 等 ETL 工具整合现有企业内部数据, 并可以通过 Kafka 等工具实时接入外部数据, 存 Inceptor 并且完成对海量的数据进行存储清洗加工建模等, 把先前无法利用的数据充分利用, 提升对数据的认识此外, 通过在大数据平台中部署实时决策平台 (Stream) 和数据探索平台 (Discover), 辅以 Inceptor 的强大处理能力, 企业可以构建更多开创型应用, 如准实时系统日志分析应用客户实时风险监测实时的用户体验优化与客户行为分析客户标签化画像应用, 加快业务数据分析团队自主的数据探索和业务建模过程 Kafka 数据集市建设方案交互式分析和探索是数据集市市场的重点业务, 但是传统关系型数据库或者基于 Map Reduce 的计算框架对临时的实时性要求高的交互式分析无法快速响应, 查询效率低, 无法进行有效数据探索 Inceptor 提供基于内存或者 SSD 的列式存储 Holodesk, 并且提供基于内存的超强统计分析能力, 数据通过 ETL 工具导入 Inceptor Holodesk 中, 在内存或者 SSD 上建立分布式索引和 OLAP-Cube Tableau Cognos 数据集市 Inceptor SQL Engine Holodesk Text 日志 OLAP-Cube ORC OBIEE SQL2003 PL/SQL ORUD:ORC Transaction 数据仓库 RStudio Discover HDFS Flume FTP Sqoop 系统日志账单文件 Oracle MySQL DB2 Oozie With HUE 报表工具通过 JDBC/ODBC 接口来访问 Cube, 无需在 BI 工具中额外构建 Cube, 极大的降低了交互式分析的延时此外, 通过集成 R 语言以及并行化大量的数据挖掘算法, 用户可以实时的从 Holodesk 中数据抽取数据进行数据挖掘和探索

.. 国际业务平台对大规模数据的处理要求基于 Transwarp Inceptor 构建的非结构化处理平台 (Hadoop & Hyperbase) 大数据平台, 处理能力更强, 并发性日志处理影像储存语音分析视频识别语历史备份库更高, 更易于扩展, 能够极大的提速数据仓库的批量处理能力前端通过 Sqoop,flume 等 ETL 工具整合现有企业内部数据, 并可以通过 Kafka

8 准实时数据分析平台方案 Oracle MySQL DB2 Oracle Golden Gate IBM CDC Inceptor Holodesk ORC Tableau Cognos OBIEE 一些企业将交易型业务和分析型业务分开部署, 但是需要分析系统能够对交易数据做实时统计分析传统的 MPP 或者 Hadoop 无法满足类似场景的需求, 而 Inceptor 可以帮助用户打造相关的解决方案在上层平台通过 IBM CDC 或者 Oracle Golden Gate 等实时同步工具连接关系数据库, 这些实时同步工具通过分析数据更改日志来生成输入数据, 并标记原始事务的边界 Inceptor JDBC/ODBC 驱动能够识别相关的事务和数据, 并生成 Inceptor 的事务和增删改操作, 然后将数据写入 Inceptor 最后报表工具就可以实时的对相关的数据做统计分析基准测试 TPC-DS 认证 TPC-DS 是 TPC 组织制定的用于评测决策支持系统 ( 或数据仓库 ) 的标准 SQL 测试集这个测试集包含对大数据集的统计 / 报表生成 / 联机查询 / 数据挖掘等复杂应用, 测试用的数据也是充分设计, 尽量模拟真实数据的特点由于和企业数据仓库类应用非常类似,TPC-DS 成为客观衡量多个不同数据仓库技术的最佳测试集 TPC-DS 在 Transwarp Inceptor 上能够完整运行, 并通过第三方专业机构上海软件测评中心的专业认证, 表明 Inceptor 能够非常有效的满足数据仓库业务的需求 Inceptor 相对其他引擎性能提升倍数 Impala 2.1 Tez SparkSQL 结语 Transwarp Inceptor 是星环科技推出的大数据分析平台软件, 支持 99% 的 SQL2003 标准, 是 Hadoop 业界唯一一个同时支持 Oracle PL/SQL 和 DB2 SQL PL 扩展的平台, 也是唯一一个支持 ACID 分布式事务的大数据平台同时,Inceptor 也是 Hadoop 业界首个支持 SSD 和内存存储的计算引擎, 可比基于硬盘的方案快一个数量级 Transwarp Inceptor 定位于数据仓库, 数据集市和准实时数据分析市场, 可以替代基于关系数据库或者 MPP 的解决方案, 增强企业用户的数据分析能力, 帮助企业挖掘数据价值, 构建数据时代的关键应用

最后报表工具就可以实时的对相关的数据做统计分析基准测试 TPC-DS 认证 TPC-DS 是 TPC 组织制定的用于评测决策支持系统 ( 或数据仓库 ) 的标准 SQL 测试集这个测试集包含对大数据集的统计 / 报表生成 / 联机查询 / 数据挖掘等复杂应用, 测试用的数据也是充分设计, 尽量模拟真实数据的特点由于和企业数据仓库类应用非常类似,TPC-DS

合集

Ver 1.0 版本目录第一章当大数据遇上 SSD 01 第二章广东移动运用 Hadoop 创新应用 04 第三章第四章第五章第六章第七章第八章第九章第十章如何利用大数据分析提升垃圾短信过滤效果广东电信用大数据重构室内网优大数据提升