Extreme Performance Data Warehousing

Size: px

Start display at page:

Download "Extreme Performance Data Warehousing"

望郁毕
5 years ago
Views:

1 < 在此处插入图片 > 通过 Oracle 数据仓库实现极限性能许向东产品架构专家

2 分布式数据集市和服务器昂贵的数据仓库体系结构数据集市联机分析 ETL 数据挖掘

3 整合到一个数据仓库中低成本服务器和存储上的单一信息源数据集市联机分析 ETL 数据挖掘 Oracle 数据库 11g

4 数据仓库解决方案的选择自定义解决方案参考配置 Database Machine 灵活满足要求最高的数据仓库数据仓库的最佳实践配置完备的系统, 包括软件服务器网络设备和存储设备

5 大大简化部署 Database Machine 消除了数据库系统部署的复杂性数月的参数配置排错调优 Database Machine 当天即可完成部署预置的经过测试的可稳定运行的标准配置无需更改现有应用程序即可获得极限性能 - 开箱即用数月到数天

6 最好的数据仓库机 OLAP ETL 巨大的高容量并行硬件实现超大数据量的快速处理 Exadata 直接在存储端进行数据密集型处理最全面的分析功能 OLAP 统计空间数据数据挖掘实时事务 ETL 高效的查询专门针对数据仓库的强大优化灵活分区位图索引联接索引物化视图结果缓存数据挖掘新增诱人的新数据仓库功能存储索引数据挖掘模型评价

Sun Oracle Database Machine 产品系列 Basic Quarter Rack Half Rack Full Rack 2 到 8 个 Full Racks 数据库服务器 1 2 4 8

2 TB 21 TB 50 TB 100 TB 200 800TB 用户数据 ( 未压缩 ) 2 TB 6 TB 14 TB 28 TB 56 224 TB I/O 吞吐量 ( 硬盘 ) 1.5 GB/ 秒 4.

7 Sun Oracle Database Machine 产品系列 Basic Quarter Rack Half Rack Full Rack 2 到 8 个 Full Racks 数据库服务器 Exadata 存储服务器总磁盘容量 (SAS) 7.2 TB 21 TB 50 TB 100 TB TB 用户数据 ( 未压缩 ) 2 TB 6 TB 14 TB 28 TB TB I/O 吞吐量 ( 硬盘 ) 1.5 GB/ 秒 4.5 GB/ 秒 10.5 GB/ 秒 21 GB/ 秒 GB/ 秒 I/O 吞吐量 ( 闪存 ) 3.6 GB/ 秒 11 GB/ 秒 25 GB/ 秒 50 GB/ 秒 GB/ 秒每秒 I/O 操作数 (IOPS) 75, , ,000 1,000,000 1M 8M 机架数 N/A

InfiniBand 6 Gb SAS 链路 DDR3 DRAM 新增更好 SAS 磁盘容量增加 33% SATA 磁盘容量增加 100% 600 GB

8 Sun Oracle Database Machine 硬件改善与先前的 Database Machine 采用相同的体系结构相同数量和类型的服务器 CPU 和磁盘更快 CPU 加快 80% 网络设备加快 100% 磁盘吞吐量提高 50% 内存加快 200% 最新技术 Xeon 5500 Nehalem 40 Gb InfiniBand 6 Gb SAS 链路 DDR3 DRAM 新增更好 SAS 磁盘容量增加 33% SATA 磁盘容量增加 100% 600 GB SAS 磁盘 2 TB SATA 磁盘内存增加 125% 72 GB/ 数据库节点以太网连接增加 100% 4 个以太网链路 / 数据库节点外加闪存存储! 新增

5 带闪存的吞吐量 10 50 21 Exadata storage server: 0 HITACHI USP V TERADATA

9 闪存采用 Sun FlashFire 技术闪存可将扫描吞吐量提高一倍多 50 GB/ 秒与列压缩相结合闪存中有超过 50 TB 的数据对压缩数据的查询提高到 500 GB/ 秒查询吞吐量未压缩数据的查询吞吐量 7.5 带闪存的吞吐量 Exadata storage server: 0 HITACHI USP V TERADATA 2550 NETEZZA TwinFin 12 SUN ORACLE Database Machine 4 x 96GB Sun Flash PCIe 卡

10 Exadata 的存储端数据库处理 Exadata Storage Server 在存储端进行数据密集型处理使用 where 谓词筛选行列筛选联接筛选增量备份筛选存储索引扫描加密数据数据挖掘模型评价通常可将发送到数据库服务器的数据减少 10 倍无需更改应用程序处理是自动和透明的即使在查询期间存储单元或磁盘发生故障

整合来自各存储单元的数据, 构成结果集 2MB 的数据被返回给服务器只查找相关的列 : customer_name 和满足查询条件的行 :

11 Exadata Smart Scan 处理技术 SELECT customer_name FROM calls WHERE amount > 200; 构造 Smart Scan 并发送给各存储单元 Smart Scan 识别出 TB 表中满足条件的行和列返回数据行整合来自各存储单元的数据, 构成结果集 2MB 的数据被返回给服务器只查找相关的列 : customer_name 和满足查询条件的行 : where amount>200 将扫描处理从数据库主机下移到存储单元, 减少了大量的无效数据传输量返回少量数据行, 而不是整个表大大降低了数据库主机 CPU 资源的占用

12 Exadata 存储索引无需任何开销即可透明地消除 I/O Table A B C D 索引 Min B = 1 Max B =5 Min B = 3 Max B =8 Exadata 存储索引在内存中保存表数据的汇总信息存储列的 MIN 和 MAX 值通常每 MB 磁盘空间建立一个索引项如果 MIN 和 MAX 值不匹配查询的 where 子句, 则不访问磁盘 I/O 完全地自动化和透明 Select * from Table where B<2 - 仅第一组记录匹配

13 Exadata 混合列压缩数据按列存储, 再压缩针对数据仓库的查询模式为提高速度进行了优化通常压缩比可达 10 倍扫描成比例增长针对不常访问数据的归档模式为减小空间进行了优化通常可达 15 倍压缩对某些数据可达 50 倍压缩高达 50 倍

14 好处倍增 10 TB 的用户数据需要 10 TB 的 IO 1 TB ( 压缩 ) 100 GB ( 分区修剪 ) 20 GB ( 存储索引 ) 内存或闪存上的 5 GB 智能扫描在 Database Machine 上实现亚秒级数据减少 10 倍, 扫描加快 2000 倍

15 Database Machine 成功案例 Database Machine 在全世界的各行各业中都战胜了所有竞争对手

16 Sun Oracle Database Machine 极限性能极限性能的数据仓库, 由 Sun Oracle Exadata 存储服务器提供支持预先安装和预先配置企业可以帮助客户快速获得成功, 并获得很高的投资回报功能完备功能完备, 具有数据库中 ETL 分析 (OLAP 数据挖掘 ) 等功能

17 Oracle 的数据集成战略深度数据集成在 Oracle 数据库中嵌入数据集成集成优化最适合 Oracle 数据库将外部信息加载到 Oracle 数据库的最简便方式提供全面的数据集成广泛的异构技术基础集成的运行数据管理工具同类最佳 : 与竞争对手相比有着显著的体系结构优势可热插拔 : 支持各种数据源和打包的应用程序预先集成了 Oracle 产品组合解决方案进行深度数据集成的同时降低成本和复杂性

18 ODI 企业版捆绑 E-LT 功能原有源应用程序源 OLTP 源 Oracle Data Integrator 与 Oracle Warehouse Builder E-LT 转换与 E-T-L 实时更改数据捕获高速批量数据移动基于数据集的数据转换数据仓库规划系统

19 OWB 11g 第 2 版通过高性能代码实现异构连接可扩展的异构连接可连接到任何支持 JDBC ODBC 或网关的数据存储针对更改数据捕获和实时提取的增强支持高级 ERP/CRM/MDM 连接器可将任意 web 服务作为数据提供者调用, 将提取发布为 web 服务可用于任何平台的高性能代码使用可扩展的代码模板创建代码利用数据库引擎实现最佳性能使用自带的加载器和下载器实现快速的批量数据加载提高开发人员产能基于 Fusion Client Platform 的新声明式用户接口丰富的元数据支持, 可实现端到端的数据影响分析 Oracle BI EE 元数据生成

20 Mark Rittman Rittman Mead Consulting 的共同创始人 Rittman Mead 之所以推荐 Oracle Warehouse Builder, 是因为它是利用 Oracle 数据库的高级功能进行 ETL 开发的最有效方式此外, 它还提供整个生命周期部署所需的元数据管理和数据质量特性 rittman 公司本身也是一个专业的 oracle 数据仓库和商业智能方面的顾问公司

21 Oracle 管理着最大的数据库网站个性化 500,000,000 个用户 (5 亿 ) 200 TB 数据仓库气象研究超过 220 TB 的 Oracle 数据库运行在 Linux 上的世界最大数据库

22 星型查询优化特有的数据仓库访问方法问 :2008 年 5 月份在波士顿销售的雨伞总数是多少? 客户时间销售产品渠道

23 星型查询优化通过位图联接索引实现查询重写重写 SQL 的优化技术不需要更改代码分两个阶段执行查询第 1 阶段从事实表中检索所需的行位图联接所有外键列上的索引第 2 阶段将此行集联接到维度表返回维度表的联接通过 hash join 实现

24 Oracle 分区优化的性能全面的分区策略, 解决业务问题一个管理所有数据的统一方法不仅仅用于数据仓库和高端 OLTP 新的分区特性将分区应用到每个应用程序中降低总拥有成本将不常用的数据放在较低成本的存储中第 8 代久经考验的功能随时间推移和客户使用而累积的经验

25 Oracle 分区 10 年创新数据库版本 Oracle8 数据库 Oracle8i 数据库 Oracle9i 数据库 Oracle9i 数据库第 2 版 Oracle 数据库 10g Oracle 数据库 10g 第 2 版 Oracle 数据库 11gR1 核心功能范围分区散列和组合分区列表分区范围 - 列表组合分区全局散列索引每个表 1M 分区引用分区间隔分区虚拟列分区完全组合分区

26 分区的概念简单但强大 SALES SALES SALES 欧洲美国一月二月一月二月大型表难以管理分区分而治之更易于管理提高性能组合分区更高的性能更灵活地满足业务需求

27 通过分区提高性能分区修剪问 :2009 年 5 月 20 日和 5 月 21 日的销售总额是多少? Sales 表 5/17 Select sum(sales_amount) From SALES Where sales_date between to_date( 05/20/2009, MM/DD/YYYY ) And to_date( 05/22/2009, MM/DD/YYYY ); 仅读取 2 个相关的分区 5/18 5/19 5/20 5/21 5/22

28 使用分区功能管理数据增长 SALES 表 (7 年 ) % 不常用 5% 常用低端存储层每 TB 减至原来的 1/3 到 1/2 高端存储层

29 并行处理 Partition Wise Join Sales 对 2008 年 5 月 18 日进行范围分区子分区 1 Customer 对 2008 年 5 月 18 日进行范围分区子分区 1 Select sum (sales_amount) From Sales s, Customer c Where s.cust_id = c.cust_id; 子分区 1 子分区 1 子分区 2 子分区 2 子分区 2 子分区 2 子分区 3 子分区 3 子分区 3 子分区 3 子分区 4 子分区 4 子分区 4 子分区 4 两个表具有相同的并行度, 并在联接列 (cust_id) 上以相同的方式进行分区将一个大的连接分成各个对应分区间的连接, 而且这些分区连接操作还可以并行执行

30 汇总管理物化视图 -MV 独立的数据库对象存储预先计算的和聚合的结果数据库支持复杂透明的查询重写查询不变仍针对基表进行支持 Join 其他聚合等操作数据库支持快速增量刷新基于查询定义

31 增强的物化视图刷新针对常规插入的刷新时间减少新旧刷新时间比 [%] 物化视图刷新 11.2 之前的物化视图刷新插入的行数 11g 第 2 版中刷新性能平均提高 30 40%

32 数据库中分析功能极限分析 Oracle OLAP 多维查询概要管理可嵌入和集成在数据库中安全 Oracle 数据挖掘高级预测分析高级算法嵌入的集成的安全分析和汇总发现和预测

33 Oracle OLAP 功能完备的多维 OLAP 服务器为即席 / 不可预测的查询提供出色的查询性能增强业务智能应用程序的分析内容数据集的快速增量更新基于 SQL 的业务智能应用程序的汇总管理解决方案支持多维数据集组成的物化视图提供更好的查询性能和快速的增量更新嵌在 Oracle 数据库实例和存储中可靠安全易管理完全兼容网格计算 / 真正应用集群

34 电子表格中的分析维计算加亮提示功能层级式导航和聚合趋势指示符

35 汇总管理 SQL 查询汇总地区日期按地区汇总的销售额按时间汇总的销售额查询重写按产品汇总的销售额按渠道汇总的销售额产品关系星型模式渠道

36 多维数据集组成的物化视图 SQL 查询汇总地区日期查询重写产品渠道自动刷新 OLAP 多维数据集

37 Oracle 数据挖掘零售业客户细分响应建模电信客户流失网络入侵银行信用评级违约概率高等教育校友捐赠招生查找隐藏模式发现新洞察预测未来公共部门偷税漏税犯罪分析制造保修分析可靠性分析医疗保健患者疗效分析欺诈检测化工分子聚合物产出分析

38 最短洞察时间传统的分析 Oracle 数据挖掘模型匹配模型构建数据准备和转换匹配数据移动模型构建数据准备和转换数周到数天数小时到数分钟

39 数据库中的数据挖掘 Exadata Smart Scan 模型评估在 Exadata Storage Server 中执行显著提高性能 SELECT cust_id from customers WHERE region = US AND prediction_probability (churnmod, Y, using *) > 0.8;

40 数据库中的数据挖掘为 OBI EE 报表和信息板提供更好的信息 Oracle BI EE 和其他工具可以使用 Oracle 数据库中提供的 ODM 预测和概率分析来生成报表

41 RAC OLAP Oracle Retail 数据模型使用行业标准构建 3NF 逻辑数据模型包含预建的 OLAP 模型数据挖掘模型示例报表和信息板特定于零售业的量度和 KPI 简单快速地部署加快价值实现针对 Oracle 进行了优化同类最佳的数据仓库技术包含 Exadata Storage Oracle Retail 数据模型分区数据挖掘 Oracle 数据库 11g 压缩 Oracle Exadata Storage

42 Oracle 数据仓库全面开放集成标准组件认证配置全面的安全措施更高的可用性更易于管理降低拥有成本 BI 应用产品 BI 工具数据模型数据库操作系统智能存储

43 Oracle 数据仓库客户体验... 请参见注释!

44 Oracle 在数据仓库领域拔得头筹信息来源 :IDC,2009 年 7 月全球数据仓库管理工具 2008 年度供应商市场份额

45 更多信息数据仓库或

Extreme Performance Data Warehousing

Extreme Performance Data Warehousing < 在此处插入图片 > 通过 Oracle 数据仓库实现极限性能分布式数据集市和服务器昂贵的数据仓库体系结构数据集市联机分析 ETL 数据挖掘整合到一个数据仓库中低成本服务器和存储上的单一信息源数据集市联机分析 ETL 数据挖掘 Oracle 数据库 11g 数据仓库解决方案的选择自定义解决方案参考配置 Database Machine 灵活满足要求最高的数据仓库数据仓库的最佳实践配置