Exadata技术建议

Size: px

Start display at page:

Download "Exadata技术建议"

一李
7 years ago
Views:

1 Oracle Exadata 为数据仓库提供极限性能

大型数据库 / 数据仓库的数据量飞速增长数据库大小每两年增长三倍 1998 1 TB; 2001 10 TB; 2003 30 TB; 2005 100 TB; 2007

2 大型数据库 / 数据仓库的数据量飞速增长数据库大小每两年增长三倍 TB; TB; TB; TB; TB; TB; PB 信息来源 :Winter TopTen Survey,Winter Corporation, 作者 Waltham MA,2008 年

3 传统的服务器及存储设备技术架构的挑战网络交换机光纤存储交换机传统存储阵列大型数据库希望以 100% 的速度扫描几十甚至几千个磁盘磁盘和服务器之间的通道限制了 10x 或者更多的带宽结果是数据库越大, 运行速度越慢

4 Oracle 在数据仓库的领先地位 Source: IDC, 2007 Data Warehouse Platform Tools 2006 Vendor Shares Oracle 不仅是最大的数据库厂商, 同时也是最大的数据仓库解决方案供应商,Oracle 最新推出革命性的 Exadata 数据仓库解决方案!

5 革命性的产品 Oracle Exadata 智能存储 Oracle 与 HP 合作推出的两款硬件设备 Exadata 存储服务器和 Database Machine 数据库一体机针对 Oracle 数据库的智能存储服务器比普通的数据仓库性能快 10 到 100 倍无限的扩展性, 容量带宽和处理能力

提供 20Gbits/S 的带宽, 比高端阵列的光纤通道技术快 3~5 倍 Exadata 传送更少的数据

6 Exadata 数据处理架构的革命打破数据带宽瓶颈传统架构 Exadata 架构 Exadata 提供更多的并发带宽模块化存储单元 CELL, 高度并行的存储网格带宽与容量成正比 Exadata 采用更高的单路带宽 InfiniBand 提供 20Gbits/S 的带宽, 比高端阵列的光纤通道技术快 3~5 倍 Exadata 传送更少的数据数据查询过程被下移到智能存储层, 传送到服务器中的数据只包括最相关的结果数据, 显著的减少了发送到服务器的数据, 减轻了服务器 CPUs 负荷

7 Exadata 架构概述单节点数据库 RAC 数据库数据库处理层超高速并发网络层 InfiniBand 交换网络智能存储层 Exadata Cell Exadata Cell Exadata Cell

8 Exadata 智能存储服务器存储单元的组成 Exadata Storage Server Cell Exadata Storage Server Grid 可大量并发的存储网格组成单元每单元提供 1GB/sec 数据带宽裸容量为 5.4TB 或 12TB HP ProLiant DL180 G5 RMS 服务器 2 Intel 4 核处理器 8GB RAM 双口 4X DDR InfiniBand 接口卡 12 块 450G SAS 或 1TB SATA 磁盘 550 Watts and 3100 BTU/hr 软件预装 Exadata 智能存储服务器软件 Oracle 企业版 Linux (OEL) HP 存储单元管理软件内建 Rescue 系统恢复技术硬件保修 3 YR Parts/3 YR Labor/3 YR On-site 24X7, 4 Hour response

9 Exadata 可以灵活选择 SAS 或 SATA 硬盘可以任选其中一种硬盘 450 GB 15,000 RPM SAS 硬盘 1 TB 7,200 RPM SATA 硬盘性能要求很高的系统可以选择 SAS 硬盘 SAS 的优势 SAS SATA 优势吞吐量 (MB/s) 1, 倍平均寻道时间 (ms) 倍 Disk level read errors (per year) 倍 Years to disk failure 倍选择 SATA 硬盘可以获得更高的存储容量 SATA 的优势 SAS SATA 优势容量 (TB) 倍

10 高度并行的存储网格 Exadata 存储服务器构成高度并行的存储网格可伸缩性可以扩展至数百个存储服务器数据通过 ASM 被自动分布到不同的存储服务器上当增加或减少存储服务器时, 数据透明地重新分布到不同的存储单元数据带宽随着容量的增长而线形扩展高可用性数据在不同的存储服务器间进行镜像磁盘或存储服务器支持透明的容错简单无须修改应用程序 4 GB/sec 8 GB/sec 16 GB/sec Exadata 的带宽随着容量的增长而线性增长

11 Exadata 智能存储服务器的性能扩展 10 Hour 5 Hour 表扫描时间传统架构 Exadata 为数据库软件提供坚实的硬件基础性能伴随容量而自动扩展 1 Hour Exadata 存储带宽处理能力同比增加 1TB 10 TB 100TB 表的大小

12 灵活的可伸缩性每个机架可以扩展 18 个存储单元可以通过增加机架来进一步扩展每个存储单元连接 2 个 InfiniBand 交换机以实现冗余可以提供 4 倍的网络带宽 SAS raw capacity per rack: 97.2TB SATA raw capacity per rack: 216TB Peak throughput per rack : >18GB/s 不同的机架之间直接通过 InfiniBand 实现互连

技术创新 Smart Scan 智能扫描处理技术 Exadata 为什么快 10-100x 100x 倍?

13 技术创新 Smart Scan 智能扫描处理技术 Exadata 为什么快 x 100x 倍? 问题 : 昨天的销售业绩如何? Select sum(sales) where Date= 24- Sept Oracle 数据库网格构建并发 Smart Scan 请求 Exadata 智能存储层 Smart Scan 在 TB 级数据中扫描匹配请求的数据 SUM 仅仅返回满足条件的数据 Exadata 还支持存储层的 Join 过滤索引表空间创建增量备份

14 自动识别 Exadata 智能存储对应用透明 TABLE ACCESS STORAGE FULL INDEX ACCESS STORAGE FULL storage(sys_op_bloom_filter( )) Id Operation Name E-Rows SELECT STATEMENT 1 SORT AGGREGATE 1 2 PX COORDINATOR 3 PX SEND QC (RANDOM) :TQ SORT AGGREGATE 1 5 PX BLOCK ITERATOR 46 * 6 TABLE ACCESS STORAGE FULL SALES Predicate Information (identified by operation id): storage(:z>=:z AND :Z<=:Z) filter("price"<25000)

15 比较传统扫描处理技术 SELECT customer_id FROM calls WHERE amount > 200; DB 主机确定表的存储分区发起 I/Os 请求返回数据行 DB 主机筛选 1 TB 数据, 得到 1000 行客户要求的数据, 计算并返回给客户端 I/Os 执行 : 返回 1 TB 数据基于传统存储技术, 全部的数据库智能存在于数据库主机来源于存储的数据大部分被数据库主机所丢弃大量的废弃数据占用宝贵的数据库主机资源 (IO 内存和 CPU), 严重影响其它任务执行, 处理缓慢

16 比较 Exadata 的智能扫描技术 SELECT customer_id FROM calls where amount > 200; 构造 Smart Scan 并发送到存储单元 Smart Scan 在 TB 的表中识别出符合查询需求的行和字段返回数据行汇聚各存储单元的返回结果到结果集返回 2MB 数据到数据库服务器仅查询相关的字段 customer_id 和符合条件的行 where amount>200 被返回给数据库服务器通过把扫描处理从数据库中剥离, 减少了数据库服务器的 CPU 负担, 同时极大降低了无效的信息传输仅仅传输需要的有价值的信息

17 Exadata Storage 避免磁盘或 Cell 的单点故障 ASM 镜像和故障切换组 ASM Failure Group Exadata Cell Exadata Cell ASM Failure Group Hot Hot Hot Hot Hot Hot Cold Cold Cold Cold Cold Cold ASM 镜像用于防止磁盘的单点故障 ASM Disk Group ASM failure groups 故障切换组用于防止存储单元级别的单点故障

18 Oracle 先进的网格集群数据库

19 网格技术的出现彻底改变了规则网格提供与昂贵高端系统同等级别的可靠性和性能数据库网格应用网格智能存储网格避免了服务器的单点故障并行处理, 提供高性能和大吞吐量网格集群技术可扩展性良好单台计算机的处理和扩展能力始终是有限的支持垂直扩展同时支持水平扩展网格集群技术具有良好的经济性大大降低采购维护扩展和人员成本可以采用刀片服务器和 Linux 操作系统网格技术具有良好的开放性

20 网格数据库结合智能存储的最佳性能实践 Oracle Database Machine 数据库一体机集成的高性能数据仓库 ( 超大数据库 ) 解决方案, 包括 : 数据库服务器网格智能存储服务器网格预装及预配置的软件超级的处理性能比传统数据仓库 VLDB 快 X Exadata 智能存储网格使这成为现实无限的线性扩展性通过增加机架方式线性扩展数据量和性能

I/O 1TB/ 小时数据加载能力 14 12 450GB = 75.6TB 原始存储空间配置 SATA 1000G 硬盘 10.

21 Oracle Exadata 数据库一体机的技术指标 8 个 HP DL360 的数据库服务器网格 2x 四核 Intel Xeon, 32GB RAM( 共 64 个核 256G 内存的处理能力 ) 14 台 Exadata 存储服务器单元配置 SAS450G 硬盘 14GB/Sec 原始 I/O 1TB/ 小时数据加载能力 GB = 75.6TB 原始存储空间配置 SATA 1000G 硬盘 10.5GB/Sec 原始 I/O 1TB/ 小时数据加载能力 TB = 168TB 原始存储空间 4 台 InfiniBand 交换机 1 台 Gigabit 以太网交换机

22 通过添加多台数据库机来提高性能和容量

23 Exadata 实战中的极限性能结果 : 每 3.5 秒可扫描 1 TB 用户数据 6 架 :16 台 DB 服务器 ( 不需要全部 48 个 DB 服务器 ), 84 个存储单元总行数 ~ 162,3 亿行

24 Exadata 存储服务器开发情况 3 年开发计划数十年的大规模并行架构的研究经验客户测试计划 2007 年十月开始

25 Simeon Dimitrov M-Tel 的企业资源经理欧洲电信提供商与我们当前的系统相比,Exadata 上的每个查询速度都更快性能最少提高了 10 倍, 而性能提高最多的为令人难以置信的 72 倍

26 M-Tel CDR 呼叫详细记录数据仓库原有系统 1/2 Exadata DB 主机 2x IBM P570s EMC CX3-40 存储平均 28 倍的性能提升

27 M-Tel Exadata 的速度提升 10 倍到 72 倍建立表空间建立索引手机到客户的映射报告 28x 平均提速 CRM 客户折扣报告 CRM 业务订单报告库存报告 CDR 全表扫描

28 Grant Salmon LGR Telecommunications 的 CEO 电信业务智能解决方案呼叫数据记录查询过去往往要运行 30 分钟以上现在不到 1 分钟即可完成这是极限性能

29 LGR 电信系统的测试结果 CDR 呼叫详细记录数据仓库现存系统 1/2 Exadata DB 主机 Large SMP Hitachi XP24000 存储阵列更少的硬件 30 倍更高的性能平均 20 倍的性能提升

30 Giant Eagle 零售数据仓库现存系统 1/2 Exadata DB 主机 IBM P570 EMC CLARiiON 和 DMX 存储阵列平均 16 倍的性能提升

31 Giant Eagle Exadata 的速度提升 3 倍到 50 倍的性能提升 16x Average Speedup

32 Exadata 相对于专用平台的优势 Oracle 在性能上已经达到并且了专用系统, 通过创新的技术架构, 突破传统硬件的性能瓶颈利用低成本标准化的硬件, 降低 TCO 帮助企业应对金融危机和数据量的爆炸性增长开放的体系结构, 方便与不同应用的数据集成扩容更加灵活, 可以扩一体机的机柜, 也可以仅仅扩充存储单元, 而不是必须扩展整套的专用系统容量和性能线性增长, 增加新的存储单元后, 数据自动均匀分布, 扩容简单方便集成的高可用性设计低成本灾难备份解决方案

33 用户可以灵活地选择起步方式 1 仅配存储单元 2 半配的一体机 3 满配的一体机 4 GB/sec 数据带宽 7 GB/sec 数据带宽 14 GB/sec 数据带宽例如 :4 Exadata 存储单元 4 N 个一体机级联 4 个数据库 7 个 Exadata 存储单元 8 个数据库 14 个 Exadata 存储单元此外, 还可以根据需要, 选配 450GB SAS 盘和 1TB SATA 磁盘!

34 Exadata 的特点总结 x 100x 的速度提升完全开放的系统结构无论是软件还是硬件, 全部采用大众化通用硬件 (RMS 工业标准服务器, 非 SMP 小型机架构 ) 革命性的分布式计算结构智能存储 SmartScan, 从逻辑结构上保证了无与伦比的性能提升全新的 IO 组合设计 - 无与伦比的并发 IO 带宽, 单架累计并发带宽可达 14GByte/Sec 恒定的查询性能 - 系统查询性能与容量的无关性设计, 保证系统不会随着容量的扩大而变慢, 扩展更加灵活方便先进的 RAC 网格结构高性能高可靠模块化可扩展, 管理方便配置简单最佳性能实践以前需要几个月的测试优化才能确定最佳配置, 现在缩短到几周甚至几天

35 如需了解更多的信息 Oracle.com: Oracle Exadata 技术门户 (OTN): Oracle Exadata 白皮书 : -to-exadadata.pdf

Exadata技术建议

Exadata技术建议 Oracle Exadata 数据仓库解决方案金融企业需要综合的数据服务平台随着金融市场开放, 面临更加激烈的国际国内竞争, 需要更快更好更加灵活的分析和确定市场, 评估和管理风险, 有效地管理现金流, 优化投资收益, 降低投资风险以客户为中心, 为客户提供个性化的服务, 提高客户满意度, 提高市场占有率和客户忠诚度及时全面准确地掌握企业的运作信息, 科学决策, 降低经营成本, 在降低成本的同时扩展市场