Extreme Performance Data Warehousing

Size: px

Start display at page:

Download "Extreme Performance Data Warehousing"

侈滏井
5 years ago
Views:

1 < 在此处插入图片 > 通过 Oracle 数据仓库实现极限性能

2 分布式数据集市和服务器昂贵的数据仓库体系结构数据集市联机分析 ETL 数据挖掘

3 整合到一个数据仓库中低成本服务器和存储上的单一信息源数据集市联机分析 ETL 数据挖掘 Oracle 数据库 11g

4 数据仓库解决方案的选择自定义解决方案参考配置 Database Machine 灵活满足要求最高的数据仓库数据仓库的最佳实践配置完备的系统, 包括软件服务器网络设备和存储设备

5 大大简化部署 Database Machine 消除了数据库系统部署的复杂性数月的配置排错调优 Database Machine 当天即可完成部署预置的经过测试的可稳定运行的标准配置无需更改现有应用程序即可获得极限性能数月到数天

6 最好的数据仓库机 OLAP ETL 巨大的高容量并行硬件实现超大数据量的快速处理 Exadata 直接在存储端进行数据密集型处理最全面的分析功能 OLAP 统计空间数据数据挖掘实时事务 ETL 高效的点查询专门针对数据仓库的强大优化灵活分区位图索引联接索引物化视图结果缓存数据挖掘诱人的新数据仓库功能新增

InfiniBand 6 Gb SAS 链路 DDR3 DRAM 新增更好 SAS 磁盘容量增加 33% SATA 磁盘容量增加 100% 600 GB

7 Sun Oracle Database Machine 硬件改善与先前的 Database Machine 采用相同的体系结构相同数量和类型的服务器 CPU 和磁盘更快 CPU 加快 80% 网络设备加快 100% 磁盘吞吐量提高 50% 内存加快 200% 最新技术 Xeon 5500 Nehalem 40 Gb InfiniBand 6 Gb SAS 链路 DDR3 DRAM 新增更好 SAS 磁盘容量增加 33% SATA 磁盘容量增加 100% 600 GB SAS 磁盘 2 TB SATA 磁盘内存增加 125% 72 GB/ 数据库节点以太网连接增加 100% 4 个以太网链路 / 数据库节点外加闪存存储! 新增

8 简单的查询示例昨天的销售额是多少? Oracle 数据库网格 Select sum(sales) where Date= 24-Sept 优化器选择分区和索引来访问 Exadata 存储网格扫描分区 / 索引中压缩的块检索 9 月 24 日的销售额求和扫描了 10 TB 将 1 GB 返回服务器

9 Exadata 的存储端数据库处理 Exadata Storage Server 在存储端进行数据密集型处理使用 where 谓词筛选行列筛选联接筛选增量备份筛选存储索引扫描加密数据数据挖掘模型评价通常可将发送到数据库服务器的数据减少 10 倍无需更改应用程序处理是自动和透明的即使在查询期间单元或磁盘发生故障

10 闪存闪存可将扫描吞吐量提高一倍多 50 GB/ 秒与列压缩相结合闪存中有超过 50 TB 的数据对压缩数据的查询提高到 500 GB/ 秒查询吞吐量未压缩数据的查询吞吐量 HITACHI USP V 7.5 TERADATA 2550 带闪存的吞吐量 10 NETEZZA TwinFin SUN ORACLE Database Machine

11 Exadata 混合列压缩数据按列存储, 然后压缩针对数据仓库的查询模式为提高速度进行了优化通常压缩比可达 10 倍扫描成比例增长针对不常访问数据的归档模式为减小空间进行了优化通常可达 15 倍压缩对某些数据可达 50 倍压缩高达 50 倍

12 Exadata 存储索引无需任何开销即可透明地消除 I/O Table A B C D 索引 Min B = 1 Max B =5 Min B = 3 Max B =8 Exadata 存储索引在内存中保存表数据的汇总信息存储列的 MIN 和 MAX 值通常每 MB 磁盘空间建立一个索引项如果 MIN 和 MAX 值不匹配查询的 where 子句, 则不访问磁盘 I/O 完全地自动化和透明 Select * from Table where B<2 - 仅第一组记录匹配

13 好处倍增 10 TB 的用户数据需要 10 TB 的 IO 1 TB ( 压缩 ) 100 GB ( 分区修剪 ) 20 GB ( 存储索引 ) 内存或闪存上的 5 GB 智能扫描在 Database Machine 上实现亚秒级数据减少 10 倍, 扫描加快 2000 倍

14 Database Machine 成功案例 Database Machine 在全世界的各行各业中都战胜了所有竞争对手

15 Sun Oracle Database Machine 极限性能极限性能的数据仓储, 由 Sun Oracle Exadata 存储服务器提供支持预先安装和预先配置企业可以帮助客户快速获得成功, 并获得很高的投资回报功能完备功能完备, 具有数据库中 ETL 分析 (OLAP 数据挖掘 ) 等功能

16 Oracle 的数据集成战略深度数据集成在 Oracle 数据库中嵌入数据集成集成优化最适合 Oracle 数据库将外部信息加载到 Oracle 数据库的最简便方式提供全面的数据集成广泛的异构技术基础集成的运行时数据管理工具和管理同类最佳 : 与竞争对手相比有着显著的体系结构优势可热插拔 : 支持各种数据源和打包的应用程序预先集成了 Oracle 产品组合解决方案进行深度数据集成的同时降低成本和复杂性

17 ODI 企业版捆绑 E-LT 功能原有源应用程序源 OLTP 源 Oracle Data Integrator 与 Oracle Warehouse Builder E-LT 转换与 E-T-L 实时更改数据捕获高速批量数据移动基于数据集的数据转换数据仓库规划系统

18 数据集成平台同类最佳的性能通过利用 EL-T 方法进行数据集成,Oracle 战胜了其他同类工具业界领先的产能声明式和元数据驱动的设计带来一个高度可维护的 ETL 基础架构完全集成 Oracle 数据库 Oracle 业务智能与绩效管理解决方案中都集成了 ETL 和 Data Quality

19 Oracle 管理着最大的数据库网站个性化 500,000,000 个用户 200 TB 数据仓库气象研究超过 220 TB 的 Oracle 数据库运行在 Linux 上的世界最大数据库

20 Oracle 分区优化的性能全面的分区策略, 解决业务问题一个管理所有数据的统一方法不仅仅用于数据仓库和高端 OLTP 新的分区特性将分区引入每个应用程序中降低总拥有成本将不常用的数据放在较低成本的存储中第 8 代久经考验的功能随时间推移和客户使用而累积的经验

21 通过分区提高性能分区修剪问 :2009 年 5 月 20 日和 5 月 21 日的销售总额是多少? Sales 表 5/17 Select sum(sales_amount) From SALES Where sales_date between to_date( 05/20/2009, MM/DD/YYYY ) And to_date( 05/22/2009, MM/DD/YYYY ); 仅读取 2 个相关的分区 5/18 5/19 5/20 5/21 5/22

22 使用分区功能管理数据增长 SALES 表 (7 年 ) % 不常用 5% 常用低端存储层每 TB 减至原来的 1/3 到 1/2 高端存储层

23 内存中并行执行新增挑战通常, 并行执行利用系统的 IO 能力磁盘速度的提高跟不上 CPU 和内存提高的速度解决方案内存中并行执行利用整个系统的内存容量相似性算法把一个对象各部分存放在不同 RAC 节点的内存中

24 内存中并行执行 SQL 语句确定所查询表的大小表非常适用于内存中并行执行将表的各部分读到每个节点的缓冲区缓存中表非常小表非常大读到任意节点的缓冲区缓存中总是直接从磁盘读取只有同一 RAC 节点上的并行服务器可以访问每个部分

25 内存中并行执行 QphH:1 TB TPC-H 1,166,976 一个 Database Machine 有超过 400GB 的内存用于缓存 1,018,321 数据库 11.2 版引入了对内存缓存数据的并行查询处理利用整个数据库集群的内存容量进行查询 1TB TPC-H 世界纪录的基础 315,842 Exadata 混合列压缩实现了多 TB 表或分区在内存中缓存 ParAccel Exasol Oracle 比内存中专用启动数据库更快内存带宽比磁盘大 100 倍信息来源 :Transaction Processing Council, 截至 2009/9/14:Oracle on HP Bladesystem C 级 128P RAC,1,166,976 QphH@1000GB,$5.42/QphH@1000GB,09/12/1 上市, Exasol on PRIMERGY RX300 S4,1,018,321 QphH@1000GB,$1.18/QphH@1000GB,08/08/01 上市 ParAccel on SunFire X ,842 QphH@1000GB,

26 自动并行度 Auto DOP 优化器根据所有扫描操作所需的资源, 通过语句获得 DOP 适用于所有类型的语句 : 查询 DML 或 DDL 解释计划已经增强, 可以显示选定的 DOP SQL Tune 现在使用 Auto DOP 推荐并行

27 并行语句队列 SQL 语句解析语句, Oracle 自动确定 DOP 如果没有足够的并行服务器, 则将语句排队 FIFO 队列如果有足够的并行服务器, 则立即执行如果具有所需数量的并行服务器, 则执行队列最前面的语句并将该语句从队列中移除 8 128

28 汇总管理物化视图独立的数据库对象存储预先计算的和聚合的结果数据库支持复杂透明的查询重写查询不变针对基表进行支持联回 (Join-back) 其他聚合等数据库支持快速增量刷新基于查询定义

29 增强的物化视图刷新刷新时间来进行常规插入聚合物化视图新旧刷新时间比 [%] 物化视图刷新 11.2 之前的物化视图刷新插入的行数 11g 第 2 版中刷新性能平均提高 30 40%

30 数据仓库平台公认的性能和可扩展性 Oracle 运行着世界最大的数据仓库, 为数千家客户创造价值同类最佳的灵活性可适应不断变化环境中的任何负载任何查询要求以及任何数量的用户企业级完善的数据仓库平台, 包括高级安全性高可用性和卓越的功能

31 数据库中分析极限分析 Oracle OLAP 多维查询概要管理嵌入的集成的安全 Oracle 数据挖掘高级预测分析高级算法嵌入的集成的安全分析和汇总发现和预测

32 Oracle OLAP 功能完备的多维 OLAP 服务器为即席 / 不可预测的查询提供出色的查询性能增强业务智能应用程序的分析内容数据集的快速增量更新用于基于 SQL 的业务智能应用程序的汇总管理解决方案基于表的物化视图的替代方法提供更好的查询性能和快速的增量更新嵌在 Oracle 数据库实例和存储中可靠安全易管理完全兼容网格计算 / 真正应用集群

33 多维数据集组成的物化视图 SQL 查询概要地区日期查询重写产品关系星型模式渠道自动刷新 OLAP 多维数据集

34 客户案例研究报表应用程序多维数据集组成的物化视图取代了基于表的物化视图构建聚合数据的时间缩短 89% 运行时间较长的查询从 5 分钟缩短到 12 秒透明访问多维数据集物化视图无需更改报表应用程序 Time to Build MVs (Minutes) g Table MVs 11g Cube MV Long Running Queries (Seconds) g Table MVs 12 11g Cube MV

35 Oracle 数据挖掘零售业客户细分响应建模电信客户流失网络入侵银行信用评级违约概率高等教育校友捐赠招生查找隐藏模式发现新洞察预测未来公共部门偷税漏税犯罪分析制造保修分析可靠性分析医疗保健患者疗效分析欺诈检测化工分子聚合物产出分析

36 数据库中的数据挖掘 Exadata 智能扫描模型计分在 Exadata Storage Server 中执行显著提高性能 SELECT cust_id from customers WHERE region = US AND prediction_probability (churnmod, Y, using *) > 0.8; 其他智能扫描功能

37 数据分析平台更短洞察时间数据库中分析通过消除数据移动并利用 Oracle 的可扩展性来更快地提供结果企业级全嵌入式分析提供企业可扩展性安全性和可维护性较低的总拥有成本与专用解决方案相比, 无重复数据以及开放标准的硬件和软件可降低 TCO

38 RAC OLAP Oracle Retail 数据模型使用行业标准构建 3NF 逻辑数据模型包含预建的 OLAP 模型数据挖掘模型示例报表和信息板特定于零售业的量度和 KPI 简单快速地部署加快价值实现针对 Oracle 进行了优化同类最佳的数据仓库技术包含 Exadata Storage Oracle Retail 数据模型分区数据挖掘 Oracle 数据库 11g 压缩 Oracle Exadata Storage

39 Oracle 数据仓库全面开放集成标准组件认证配置全面的安全措施更高的可用性更易于管理降低拥有成本 BI 应用产品 BI 工具数据模型数据库操作系统智能存储

40 Oracle 在数据仓库领域拔得头筹信息来源 :IDC,2009 年 7 月全球数据仓库管理工具 2008 年度供应商市场份额

41 更多信息数据仓库或 oracle.com/datawarehouse

Extreme Performance Data Warehousing

Extreme Performance Data Warehousing < 在此处插入图片 > 通过 Oracle 数据仓库实现极限性能单明祺资深销售顾问 Oracle Corporation 分布式数据集市和服务器昂贵的数据仓库体系结构数据集市联机分析 ETL 数据挖掘整合到一个数据仓库中低成本服务器和存储上的单一信息源数据集市联机分析 ETL 数据挖掘 Oracle 数据库 11g 数据仓库解决方案的选择自定义解决方案参考配置 Database Machine