Exadata技术建议

Size: px

Start display at page:

Download "Exadata技术建议"

巫申
5 years ago
Views:

1 Oracle Exadata 数据仓库解决方案

2 金融企业需要综合的数据服务平台随着金融市场开放, 面临更加激烈的国际国内竞争, 需要更快更好更加灵活的分析和确定市场, 评估和管理风险, 有效地管理现金流, 优化投资收益, 降低投资风险以客户为中心, 为客户提供个性化的服务, 提高客户满意度, 提高市场占有率和客户忠诚度及时全面准确地掌握企业的运作信息, 科学决策, 降低经营成本, 在降低成本的同时扩展市场业务更多更复杂, 数据集中统一规范化的管理, 整合数据资源, 形成数据资产, 提高企业核心竞争力, 是金融企业一个共同的趋势

3 企业数据服务平台的系统定位和建设目标整合数据资源提供完整的业务视图形成数据资产支持总行和分行的非实时数据应用业务拓展业务运营系统定位管理决策客户服务建设目标机会统一可靠稳定高效的数据服务平台总部统计分析应用及决策支持对外数据报送外部系统双向数据交换分行数据服务平台的数据交互 EDW ODS CRM Data Mart

4 面临的风险和挑战风险业务风险如何与银行的业务需求紧密结合, 从业务运营和公司管理角度对应用需求和建设路线进行规划成本投入面对金融危机的影响, 如何有效的控制成本投入, 最小化总体拥有成本实施风险长期的系统工程, 数据量大复杂度高周期长, 实施难度大挑战海量数据下的性能稳定性可扩展性数据量在 TB 甚至几十 TB 以上, 并且会快速扩展, 需要高性能和可扩展的技术支撑平台系统的复杂度与开放性支持多种不同的数据源, 对分析类和操作类混合负载的支持, 与多个业务系统对接, 双向数据交互的支持数据的安全性数据大集中情况下的访问控制, 如何实现不同组织机构的不同人员对不同业务数据的访问控制

5 Oracle 不仅是最大的数据库厂商, 同时也是最大的数据仓库解决方案供应商,Oracle 最新推出革命性的 Exadata 数据仓库解决方案!

大型数据库 / 数据仓库的数据量飞速增长数据库大小每两年增长三倍 1998 1 TB; 2001 10 TB; 2003 30 TB; 2005 100 TB; 2007

6 大型数据库 / 数据仓库的数据量飞速增长数据库大小每两年增长三倍 TB; TB; TB; TB; TB; TB; PB 信息来源 :Winter TopTen Survey,Winter Corporation, 作者 Waltham MA,2008 年

7 传统的服务器及存储设备技术架构的挑战网络交换机光纤存储交换机传统存储阵列大型数据库希望以 100% 的速度扫描几十甚至几千个磁盘磁盘和服务器之间的通道限制了 10x 或者更多的带宽结果是数据库越大, 运行速度越慢

8 革命性的产品 Oracle Exadata 智能存储 Oracle 与 HP 合作推出的品牌硬件设备针对 Oracle 数据库的智能存储服务器比普通的数据仓库性能快 10 到 100 倍无限的扩展性, 容量带宽和处理能力

9 Exadata 数据处理架构的革命打破数据带宽瓶颈传统架构 Exadata 架构 Exadata 提供更多的并发带宽模块化存储单元 CELL, 高度并行的存储网格带宽与容量成正比 Exadata 采用更高的单路带宽 InfiniBand 提供 20Gbits/S 的带宽, 比高端阵列的光纤通道技术快 3~5 倍 Exadata 传送更少的数据数据查询过程被下移到智能存储层, 传送到服务器中的数据只包括最相关的结果数据, 显著的减少了发送到服务器的数据, 减轻了服务器 CPUs 负荷

10 Exadata 架构概述单节点数据库 RAC 数据库数据库处理层超高速并发网络层 InfiniBand 交换网络智能存储层 Exadata Cell Exadata Cell Exadata Cell

11 Exadata 智能存储服务器存储单元的组成 Exadata Storage Server Cell Exadata Storage Server Grid 可大量并发的存储网格组成单元每单元提供 1GB/sec 数据带宽裸容量为 5.4TB 或 12TB HP ProLiant DL180 G5 RMS 服务器 2 Intel 4 核处理器 8GB RAM 双口 4X DDR InfiniBand 接口卡 12 块 450G SAS 或 1TB SATA 磁盘 550 Watts and 3100 BTU/hr 软件预装 Exadata 智能存储服务器软件 Oracle 企业版 Linux (OEL) HP 存储单元管理软件内建 Rescue 系统恢复技术硬件保修 3 YR Parts/3 YR Labor/3 YR On-site 24X7, 4 Hour response

12 高度并行的存储网格 Exadata 存储服务器构成高度并行的存储网格可伸缩性可以扩展至数百个存储服务器数据通过 ASM 被自动分布到不同的存储服务器上当增加或减少存储服务器时, 数据透明地重新分布到不同的存储单元数据带宽随着容量的增长而线形扩展高可用性数据在不同的存储服务器间进行镜像磁盘或存储服务器支持透明的容错简单无须修改应用程序 4 GB/sec 8 GB/sec 16 GB/sec Exadata 的带宽随着容量的增长而线性增长

13 Exadata 智能存储服务器的性能扩展 10 Hour 5 Hour 表扫描时间传统架构 Exadata 为数据库软件提供坚实的硬件基础性能伴随容量而自动扩展 1 Hour Exadata 存储带宽处理能力同比增加 1TB 10 TB 100TB 表的大小

14 灵活的可伸缩性每个机架可以扩展 18 个存储单元可以通过增加机架来进一步扩展每个存储单元连接 2 个 InfiniBand 交换机以实现冗余可以提供 4 倍的网络带宽 SAS raw capacity per rack: 97.2TB SATA raw capacity per rack: 216TB Peak throughput per rack : >18GB/s 不同的机架之间直接通过 InfiniBand 实现互连

技术创新 Smart Scan 智能扫描处理技术 Exadata 为什么快 10-100x 100x 倍?

15 技术创新 Smart Scan 智能扫描处理技术 Exadata 为什么快 x 100x 倍? 问题 : 昨天的销售业绩如何? Select sum(sales) where Date= 24- Sept Oracle 数据库网格构建并发 Smart Scan 请求 Exadata 智能存储层 Smart Scan 在 TB 级数据中扫描匹配请求的数据 SUM 仅仅返回满足条件的数据 Exadata 还支持存储层的 Join 过滤索引表空间创建增量备份

16 自动识别 Exadata 智能存储对应用透明 TABLE ACCESS STORAGE FULL INDEX ACCESS STORAGE FULL storage(sys_op_bloom_filter( )) Id Operation Name E-Rows SELECT STATEMENT 1 SORT AGGREGATE 1 2 PX COORDINATOR 3 PX SEND QC (RANDOM) :TQ SORT AGGREGATE 1 5 PX BLOCK ITERATOR 46 * 6 TABLE ACCESS STORAGE FULL SALES Predicate Information (identified by operation id): storage(:z>=:z AND :Z<=:Z) filter("price"<25000)

17 比较传统扫描处理技术 SELECT customer_id FROM calls WHERE amount > 200; DB 主机确定表的存储分区发起 I/Os 请求返回数据行 DB 主机筛选 1 TB 数据, 得到 1000 行客户要求的数据, 计算并返回给客户端 I/Os 执行 : 返回 1 TB 数据基于传统存储技术, 全部的数据库智能存在于数据库主机来源于存储的数据大部分被数据库主机所丢弃大量的废弃数据占用宝贵的数据库主机资源 (IO 内存和 CPU), 严重影响其它任务执行, 处理缓慢

18 比较 Exadata 的智能扫描技术 SELECT customer_id FROM calls where amount > 200; 构造 Smart Scan 并发送到存储单元 Smart Scan 在 TB 的表中识别出符合查询需求的行和字段返回数据行汇聚各存储单元的返回结果到结果集返回 2MB 数据到数据库服务器仅查询相关的字段 customer_id 和符合条件的行 where amount>200 被返回给数据库服务器通过把扫描处理从数据库中剥离, 减少了数据库服务器的 CPU 负担, 同时极大降低了无效的信息传输仅仅传输需要的有价值的信息

19 Oracle 先进的网格集群数据库

20 网格技术的出现彻底改变了规则网格提供与昂贵高端系统同等级别的可靠性和性能数据库网格应用网格智能存储网格避免了服务器的单点故障并行处理, 提供高性能和大吞吐量网格集群技术可扩展性良好单台计算机的处理和扩展能力始终是有限的支持垂直扩展同时支持水平扩展网格集群技术具有良好的经济性大大降低采购维护扩展和人员成本可以采用刀片服务器和 Linux 操作系统网格技术具有良好的开放性

21 网格数据库结合智能存储的最佳性能实践 Oracle Database Machine 数据库一体机集成的高性能数据仓库 ( 超大数据库 ) 解决方案, 包括 : 数据库服务器网格智能存储服务器网格预装及预配置的软件超级的处理性能比传统数据仓库 VLDB 快 X Exadata 智能存储网格使这成为现实无限的线性扩展性通过增加机架方式线性扩展数据量和性能

小时数据加载能力 14 12 450GB = 75.6TB 原始存储空间配置 SATA 1000G 硬盘 10.

22 Oracle Exadata 数据库一体机的技术指标 8 个 HP DL360 的数据库服务器网格 2x 四核 Intel Xeon, 32GB RAM( 共 64 个核 256G 内存的处理能力 ) 14 台 Exadata 存储服务器单元配置 SAS450G 硬盘 14GB/Sec 原始 I/O 1TB/ 小时数据加载能力 GB = 75.6TB 原始存储空间配置 SATA 1000G 硬盘 10.5GB/Sec 原始 I/O 1TB/ 小时数据加载能力 TB = 168TB 原始存储空间 4 台 InfiniBand 交换机 1 台 Gigabit 以太网交换机通过增加机架方式的灵活扩展

23 Exadata 实战中的极限性能结果 : 每 3.5 秒可扫描 1 TB 用户数据 6 架 :16 台 DB 服务器 ( 不需要全部 48 个 DB 服务器 ), 84 个存储单元总行数 ~ 162,3 亿行

24 Exadata 存储服务器开发情况 3 年开发计划数十年的大规模并行架构的研究经验客户测试计划 2007 年十月开始

25 Simeon Dimitrov M-Tel 的企业资源经理欧洲电信提供商与我们当前的系统相比,Exadata 上的每个查询速度都更快性能最少提高了 10 倍, 而性能提高最多的为令人难以置信的 72 倍

26 M-Tel TB CDR 呼叫详细记录数据库 4.5TB 原有系统 1/2 Exadata DB 主机 2x IBM P570s EMC CX3-40 存储平均 28 倍的性能提升

27 M-Tel Exadata 的速度提升 10 倍到 72 倍建立表空间建立索引手机到客户的映射报告 28x 平均提速 CRM 客户折扣报告 CRM 业务订单报告库存报告 CDR 全表扫描

28 Grant Salmon LGR Telecommunications 的 CEO 电信业务智能解决方案呼叫数据记录查询过去往往要运行 30 分钟以上现在不到 1 分钟即可完成这是极限性能

29 LGR 电信系统的测试结果 220TB CDR 呼叫详细记录数据库现存系统 1/2 Exadata DB 主机 Large SMP Hitachi XP24000 存储阵列更少的硬件 30 倍更高的性能平均 20 倍的性能提升

30 Giant Eagle 5TB 零售数据仓库现存系统 1/2 Exadata DB 主机 IBM P570 EMC CLARiiON 和 DMX 存储阵列平均 16 倍的性能提升

31 Giant Eagle Exadata 的速度提升 3 倍到 50 倍的性能提升 Merchandising Level 1 Detail: Period Ago Merchandising Level 1 Detail: Current - 52 weeks Supply Chain Vendor - Year - Item Movement Merchandising Level 1 Detail by Week Materialized Views Rebuild Date to Date Movement Comparison - 53 weeks Prompt04 Clone for ACL audit Sales and Customer Counts Gift Card Activations Recall Query 16x Average Speedup

32 Oracle 在数据仓库的领先地位 USD $1.8B Source: IDC, 2007 Data Warehouse Platform Tools 2006 Vendor Shares

33 Winter Corp: 世界上最大的数据仓库 Company/ Organization DB Size (GB) Platform DBMS Architecture DBMS Vendor System Vendor Yahoo! 100,386 Unix Oracle Centralized/SMP Oracle Fujitsu Siemens AT&T 93,876 Unix Daytona Federated/SMP AT&T HP KT IT-Group 49,397 Unix DB2 Centralized/Cluster IBM IBM AT&T 26,713 Unix Daytona Federated/SMP AT&T Sun LGR Cingular Wireless 25,203 Unix Oracle Centralized/SMP Oracle HP Amazon.com 24,773 Linux Oracle RAC Centralized/ Cluster Oracle HP Anonymous 19,654 Unix DB2 Centralized/MPP IBM IBM UPSS 19,467 Windows SQL Server Centralized/SMP Microsoft Unisys Amazon.com 18,558 Linux Oracle RAC Centralized/ Cluster Oracle HP Nielsen Media Research 17,685 Unix Sybase IQ Centralized/SMP Sybase Sun Source: 2005 TopTen Program, November 2005 Winter Corporation, Waltham, MA, USA

34 Oracle 提供完整的数据仓库 / 商业智能方案数据集成数据管理数据使用源数据数据源 1 数据源 2 数据源 n 转换转换转换数据转换中央数据仓库信息展现业务用户抽取加载 Oracle Data Integrator Oracle 11g/Exadata 转换数据仓库 Hyperion/OLAP/ Data Mining 统一企业信息模型 Oracle BI EE+ 服务交互式信息板即席分析报告并发布预先检测和警报 MS Office 插件新一代 E-LT 架构的 ODI 统一数据管理统一信息使用 BI/DW 发展战略 : 通过技术创新和并购一流公司的产品来实现跨越式发展

35 Exadata 相对于专用平台的优势 Oracle 在性能上已经达到甚至超过大机专用系统, 通过新的技术架构, 突破传统硬件的性能瓶颈利用低成本标准化的硬件, 降低 TCO 帮助企业应对金融危机和数据量的爆炸性增长开放的体系结构, 方便与不同应用的数据集成扩容更加灵活, 可以扩一体机的机柜, 也可以仅仅扩充存储单元, 而不是必须扩展整套专用系统容量和性能线性增长, 增加新的存储单元后, 数据自动均匀分布, 扩容简单方便集成了 Data Guard 异地灾难备份等技术, 可以采用非对称的智能存储, 也可采用低成本的普通存储

36 Exadata 的特点总结 x 100x 的速度提升完全开放的系统结构无论是软件还是硬件, 全部采用大众化通用硬件 (RMS 工业标准服务器, 非 SMP 小型机架构 ) 革命性的分布式计算结构智能存储 SmartScan, 从逻辑结构上保证了无与伦比的性能提升全新的 IO 组合设计 - 无与伦比的并发 IO 带宽, 单架累计并发带宽可达 14GByte/Sec 恒定的查询性能 - 系统查询性能与容量的无关性设计, 保证系统不会随着容量的扩大而变慢, 扩展更加灵活方便先进的 RAC 网格结构高性能高可靠模块化可扩展, 管理方便配置简单最佳性能实践以前需要几个月的测试优化才能确定最佳配置, 现在缩短到几周甚至几天

37 如需了解更多的信息 Oracle.com: Oracle Exadata 技术门户 (OTN): Oracle Exadata 白皮书 : -to-exadadata.pdf

Exadata技术建议

Exadata技术建议 Oracle Exadata 为数据仓库提供极限性能大型数据库 / 数据仓库的数据量飞速增长数据库大小每两年增长三倍 1998 1 TB; 2001 10 TB; 2003 30 TB; 2005 100 TB; 2007 300TB; 2009 900 TB; 2011 2.7 PB 信息来源 :Winter TopTen Survey,Winter Corporation, 作者 Waltham