Oracle Exadata 为数据仓库提供极限性能
大型数据库 / 数据仓库的数据量飞速增长 数据库大小每两年增长三倍 1998 1 TB; 2001 10 TB; 2003 30 TB; 2005 100 TB; 2007 300TB; 2009 900 TB; 2011 2.7 PB 信息来源 :Winter TopTen Survey,Winter Corporation, 作者 Waltham MA,2008 年
传统的服务器及存储设备技术架构的挑战 网络交换机 光纤存储交换机 传统存储阵列 大型数据库希望以 100% 的速度扫描几十 甚至几千个磁盘 磁盘和服务器之间的通道限制了 10x 或者更多的带宽 结果是数据库越大, 运行速度越慢
Oracle 在数据仓库的领先地位 Source: IDC, 2007 Data Warehouse Platform Tools 2006 Vendor Shares Oracle 不仅是最大的数据库厂商, 同时也是最大的数据仓库解决方案供应商,Oracle 最新推出革命性的 Exadata 数据仓库解决方案!
革命性的产品 Oracle Exadata 智能存储 Oracle 与 HP 合作推出的两款硬件设备 Exadata 存储服务器和 Database Machine 数据库一体机 针对 Oracle 数据库的智能存储服务器比普通的数据仓库性能快 10 到 100 倍 无限的扩展性, 容量 带宽和处理能力
Exadata 数据处理架构的革命 打破数据带宽瓶颈 传统架构 Exadata 架构 Exadata 提供更多的并发带宽 模块化存储单元 CELL, 高度并行的存储网格 带宽与容量成正比 Exadata 采用更高的单路带宽 InfiniBand 提供 20Gbits/S 的带宽, 比高端阵列的光纤通道技术快 3~5 倍 Exadata 传送更少的数据 数据查询过程被下移到智能存储层, 传送到服务器中的数据只包括最相关的结果数据, 显著的减少了发送到服务器的数据, 减轻了服务器 CPUs 负荷
Exadata 架构概述 单节点数据库 RAC 数据库 数据库处理层 超高速并发网络层 InfiniBand 交换网络 智能存储层 Exadata Cell Exadata Cell Exadata Cell
Exadata 智能存储服务器存储单元的组成 Exadata Storage Server Cell Exadata Storage Server Grid 可大量并发的存储网格组成单元 每单元提供 1GB/sec 数据带宽 裸容量为 5.4TB 或 12TB HP ProLiant DL180 G5 RMS 服务器 2 Intel 4 核处理器 8GB RAM 双口 4X DDR InfiniBand 接口卡 12 块 450G SAS 或 1TB SATA 磁盘 550 Watts and 3100 BTU/hr 软件预装 Exadata 智能存储服务器软件 Oracle 企业版 Linux (OEL) HP 存储单元管理软件 内建 Rescue 系统恢复技术 硬件保修 3 YR Parts/3 YR Labor/3 YR On-site 24X7, 4 Hour response
Exadata 可以灵活选择 SAS 或 SATA 硬盘 可以任选其中一种硬盘 450 GB 15,000 RPM SAS 硬盘 1 TB 7,200 RPM SATA 硬盘 性能要求很高的系统可以选择 SAS 硬盘 SAS 的优势 SAS SATA 优势 吞吐量 (MB/s) 1,000 750 1.33 倍 平均寻道时间 (ms) 3.5 7.4 2.11 倍 Disk level read errors (per year) 6.3 63 10.00 倍 Years to disk failure 15.2 11.4 1.33 倍 选择 SATA 硬盘可以获得更高的存储容量 SATA 的优势 SAS SATA 优势 容量 (TB) 5.4 12 2.22 倍
高度并行的存储网格 Exadata 存储服务器构成高度并行的存储网格 可伸缩性 可以扩展至数百个存储服务器 数据通过 ASM 被自动分布到不同的存储服务器上 当增加或减少存储服务器时, 数据透明地重新分布到不同的存储单元 数据带宽随着容量的增长而线形扩展 高可用性 数据在不同的存储服务器间进行镜像 磁盘或存储服务器支持透明的容错 简单 无须修改应用程序 4 GB/sec 8 GB/sec 16 GB/sec Exadata 的带宽随着容量的增长而线性增长
Exadata 智能存储服务器的性能扩展 10 Hour 5 Hour 表扫描时间 传统架构 Exadata 为数据库软件提供坚实的硬件基础 性能伴随容量而自动扩展 1 Hour Exadata 存储 带宽 处理能力同比增加 1TB 10 TB 100TB 表的大小
灵活的可伸缩性 每个机架可以扩展 18 个存储单元 可以通过增加机架来进一步扩展 每个存储单元连接 2 个 InfiniBand 交换机以实现冗余 可以提供 4 倍的网络带宽 SAS raw capacity per rack: 97.2TB SATA raw capacity per rack: 216TB Peak throughput per rack : >18GB/s 不同的机架之间直接通过 InfiniBand 实现互连
技术创新 Smart Scan 智能扫描处理技术 Exadata 为什么快 10-100x 100x 倍? 问题 : 昨天的销售业绩如何? Select sum(sales) where Date= 24- Sept Oracle 数据库网格 构建并发 Smart Scan 请求 Exadata 智能存储层 Smart Scan 在 TB 级数据中扫描匹配请求的数据 SUM 仅仅返回满足条件的数据 Exadata 还支持存储层的 Join 过滤 索引 表空间创建 增量备份
自动识别 Exadata 智能存储 对应用透明 TABLE ACCESS STORAGE FULL INDEX ACCESS STORAGE FULL storage(sys_op_bloom_filter( )) ------------------------------------------------------------ Id Operation Name E-Rows ------------------------------------------------------------ 0 SELECT STATEMENT 1 SORT AGGREGATE 1 2 PX COORDINATOR 3 PX SEND QC (RANDOM) :TQ10000 1 4 SORT AGGREGATE 1 5 PX BLOCK ITERATOR 46 * 6 TABLE ACCESS STORAGE FULL SALES 46 ------------------------------------------------------------ Predicate Information (identified by operation id): --------------------------------------------------- 6 - storage(:z>=:z AND :Z<=:Z) filter("price"<25000)
比较 传统扫描处理技术 SELECT customer_id FROM calls WHERE amount > 200; DB 主机确定表的存储分区 发起 I/Os 请求 返回数据行 DB 主机筛选 1 TB 数据, 得到 1000 行客户要求的数据, 计算并返回给客户端 I/Os 执行 : 返回 1 TB 数据 基于传统存储技术, 全部的数据库智能存在于数据库主机 来源于存储的数据大部分被数据库主机所丢弃 大量的废弃数据占用宝贵的数据库主机资源 (IO 内存和 CPU), 严重影响其它任务执行, 处理缓慢
比较 Exadata 的智能扫描技术 SELECT customer_id FROM calls where amount > 200; 构造 Smart Scan 并发送到存储单元 Smart Scan 在 TB 的表中识别出符合查询需求的行和字段 返回数据行 汇聚各存储单元的返回结果到结果集 返回 2MB 数据到数据库服务器 仅查询相关的字段 customer_id 和符合条件的行 where amount>200 被返回给数据库服务器 通过把扫描处理从数据库中剥离, 减少了数据库服务器的 CPU 负担, 同时极大降低了无效的信息传输 仅仅传输需要的有价值的信息
Exadata Storage 避免磁盘或 Cell 的单点故障 ASM 镜像和故障切换组 ASM Failure Group Exadata Cell Exadata Cell ASM Failure Group Hot Hot Hot Hot Hot Hot Cold Cold Cold Cold Cold Cold ASM 镜像用于防止磁盘的单点故障 ASM Disk Group ASM failure groups 故障切换组用于防止存储单元级别的单点故障
Oracle 先进的网格集群数据库
网格技术的出现彻底改变了规则 网格提供与昂贵高端系统同等级别的可靠性和性能 数据库网格 应用网格 智能存储网格 避免了服务器的单点故障 并行处理, 提供高性能和大吞吐量 网格集群技术可扩展性良好 单台计算机的处理和扩展能力始终是有限的 支持垂直扩展 同时支持水平扩展 网格集群技术具有良好的经济性 大大降低采购 维护 扩展和人员成本 可以采用刀片服务器和 Linux 操作系统 网格技术具有良好的开放性
网格数据库结合智能存储的最佳性能实践 Oracle Database Machine 数据库一体机 集成的高性能数据仓库 ( 超大数据库 ) 解决方案, 包括 : 数据库服务器网格 智能存储服务器网格 预装及预配置的软件 超级的处理性能 比传统数据仓库 VLDB 快 10-100X Exadata 智能存储网格使这成为现实 无限的线性扩展性 通过增加机架方式线性扩展数据量和性能
Oracle Exadata 数据库一体机的技术指标 8 个 HP DL360 的数据库服务器网格 2x 四核 Intel Xeon, 32GB RAM( 共 64 个核 256G 内存的处理能力 ) 14 台 Exadata 存储服务器单元 配置 SAS450G 硬盘 14GB/Sec 原始 I/O 1TB/ 小时数据加载能力 14 12 450GB = 75.6TB 原始存储空间 配置 SATA 1000G 硬盘 10.5GB/Sec 原始 I/O 1TB/ 小时数据加载能力 14 12 TB = 168TB 原始存储空间 4 台 InfiniBand 交换机 1 台 Gigabit 以太网交换机
通过添加多台数据库机来提高性能和容量
Exadata 实战中的极限性能 结果 : 每 3.5 秒可扫描 1 TB 用户数据 6 架 :16 台 DB 服务器 ( 不需要全部 48 个 DB 服务器 ), 84 个存储单元 总行数 ~ 162,3 亿行
Exadata 存储服务器开发情况 3 年开发计划 数十年的大规模并行架构的研究经验 客户测试计划 2007 年十月开始
Simeon Dimitrov M-Tel 的企业资源经理欧洲电信提供商 与我们当前的系统相比,Exadata 上的每个查询速度都更快 性能最少提高了 10 倍, 而性能提高最多的为令人难以置信的 72 倍
M-Tel CDR 呼叫详细记录数据仓库 原有系统 1/2 Exadata DB 主机 2x IBM P570s EMC CX3-40 存储 平均 28 倍的性能提升
M-Tel Exadata 的速度提升 10 倍到 72 倍 建立表空间 建立索引 手机到客户的映射报告 28x 平均提速 CRM 客户折扣报告 CRM 业务订单报告库存报告 CDR 全表扫描 0 10 20 30 40 50 60 70 80
Grant Salmon LGR Telecommunications 的 CEO 电信业务智能解决方案 呼叫数据记录查询过去往往要运行 30 分钟以上现在不到 1 分钟即可完成 这是极限性能
LGR 电信系统的测试结果 CDR 呼叫详细记录数据仓库 现存系统 1/2 Exadata DB 主机 Large SMP Hitachi XP24000 存储阵列 更少的硬件 30 倍更高的性能 平均 20 倍的性能提升
Giant Eagle 零售数据仓库 现存系统 1/2 Exadata DB 主机 IBM P570 EMC CLARiiON 和 DMX 存储阵列 平均 16 倍的性能提升
Giant Eagle Exadata 的速度提升 3 倍到 50 倍的性能提升 16x Average Speedup
Exadata 相对于专用平台的优势 Oracle 在性能上已经达到并且了专用系统, 通过创新的技术架构, 突破传统硬件的性能瓶颈 利用低成本 标准化的硬件, 降低 TCO 帮助企业应对金融危机和数据量的爆炸性增长 开放的体系结构, 方便与不同应用的数据集成 扩容更加灵活, 可以扩一体机的机柜, 也可以仅仅扩充存储单元, 而不是必须扩展整套的专用系统 容量和性能线性增长, 增加新的存储单元后, 数据自动均匀分布, 扩容简单方便 集成的高可用性设计 低成本灾难备份解决方案
用户可以灵活地选择起步方式 1 仅配存储单元 2 半配的一体机 3 满配的一体机 4 GB/sec 数据带宽 7 GB/sec 数据带宽 14 GB/sec 数据带宽 例如 :4 Exadata 存储单元 4 N 个一体机级联 4 个数据库 7 个 Exadata 存储单元 8 个数据库 14 个 Exadata 存储单元 此外, 还可以根据需要, 选配 450GB SAS 盘和 1TB SATA 磁盘!
Exadata 的特点总结 10-100x 100x 的速度提升 完全开放的系统结构 无论是软件还是硬件, 全部采用大众化通用硬件 (RMS 工业标准服务器, 非 SMP 小型机架构 ) 革命性的分布式计算结构 智能存储 SmartScan, 从逻辑结构上保 证了无与伦比的性能提升 全新的 IO 组合设计 - 无与伦比的并发 IO 带宽, 单架累计并发带宽可达 14GByte/Sec 恒定的查询性能 - 系统查询性能与容量的无关性设计, 保证系统不会随 着容量的扩大而变慢, 扩展更加灵活 方便 先进的 RAC 网格结构 高性能 高可靠 模块化 可扩展, 管理方便 配置简单 最佳性能实践 以前需要几个月的测试 优化才能确定最佳配置, 现在 缩短到几周甚至几天
如需了解更多的信息 Oracle.com: http://www.oracle.com/exadata Oracle Exadata 技术门户 (OTN): http://www.oracle.com/technology/products/bi/db/exadata Oracle Exadata 白皮书 : http://www.oracle.com/technology/products/bi/db/exadata/pdf/exadatatechnical-whitepaper.pdf http://www.oracle.com/technology/products/bi/db/exadata/pdf/migration -to-exadadata.pdf