<Insert Picture Here> Oracle 极限性能 Oracle Exadata 架构介绍
议程 Exadata 极限性能数据库一体机 Exadata 五项关键技术 Oracle 数据库云服务器 案例介绍
Exadata - 极限性能数据库一体机 Oracle Exadata V2 是一个完全优化的 高性能数据库平台 : 解决传统的系统配置中的 I/O 瓶颈 利用标准的 廉价的 工业化组件提供一个低 TCO 的系统 严格测试的 预配置的系统提供极限的性能 存储的自动化管理和操作提供线性扩展的高性能和低运营成本 最佳的数据库平台 最佳数据仓库机器 最佳 OLTP 机器 最佳数据库混合集成机器
Exadata 数据处理架构的革命打破数据带宽瓶颈 传统架构 Exadata 架构 Exadata 提供更多的并发带宽 模块化存储单元 CELL, 高度并行的存储网格 带宽与容量成正比 Exadata 采用更高的单路带宽 InfiniBand 提供 40Gbits/s 的带宽, 比高端阵列的光纤通道技术快 10 倍 Exadata 传送更少的数据 数据查询过程被下移到智能存储层, 传送到服务器中的数据只包括最相关的结果数据, 显著的减少了发送到服务器的数据, 减轻了服务器 CPUs 负荷
Exadata 架构概述 单节点数据库 RAC 数据库 数据库处理层 超高速并发网络层 InfiniBand 交换网络 Exadata Cell Exadata Cell Exadata Cell 智能存储层
从小的开始, 轻易扩展 Field Upgradeable Quarter Rack Half Rack Full Rack 为 OLTP 和数据仓库应用平衡增量扩展 6
只需要添加缆线就能扩展到 8 Racks Full Bandwidth and Redundancy 2368 计算机内核 2.6 PB 压缩前存储 支持多代硬件 7
Exadata 五项关键技术提升速度和节约成本的关键 Exadata Smart Scans 成 10x 倍地降低传输到数据库服务器的数据量 Exadata Storage Indexes 消除不必要磁盘 I/O Hybrid Columnar Compression 高效的压缩技术增大用户数据扫描速度 Flash doubles scan rates 与 Hybrid Columnar Compression 组合, 扫描速度提升 20X Infiniband 高速网络
查询处理 : 使用传统存储设备 SELECT sum(revenue) FROM sales WHERE discount = 6%; Table Extents Identified Rows Returned DB Host reduces terabyte of data to 2MB of sales rows that met the criteria and returns it to the client I/Os Issued I/Os Executed: 1 terabyte of data returned to hosts
查询处理 : 使用 Oracle Exadata Storage Server SELECT sum(revenue) FROM sales WHERE discount = 6%; Rows Returned Smart Scan Constructed And Sent To Cells Consolidated Result Set Built From All Cells Smart Scan identifies rows and columns within terabyte table that match request 2MB of data returned to server
Oracle 数据库 11g 第 2 版使用 Exadata 存储索引消除 I/O Exadata 内存中的存储索引包含表中数据的汇总信息 通常为每 MB 磁盘空间建立一个索引项 各项中包含了 where 子句中使用的列的最小和最大值 透明 自动地创建和维护存储索引 如果数据从未匹配 where 子句, 则使用最小和最大值消除磁盘 I/O 表 A B C D 1 2 3 5 8 2 索引 Min B = 1 Max B = 3 Min B = 2 Max B = 8 Select from Table where B < 2
存储索引消除 I/O 示例 Select from Table where ORDER_DATE = 2007-5-8 ORDER_DATE 2007 2008 2009 1 月 2 月 3 月 4 月 5 月 6 月 7 月 8 月 9 月 10 月 11 月 12 月 Min(SHIP_DATE) 1 月 3 月 3 月 4 月 5 月 6 月 7 月 8 月 9 月 10 月 11 月 12 月 Max(SHIP_DATE) 2 月 4 月 5 月 5 月 6 月 7 月 8 月 10 月 10 月 11 月 12 月 08 年 1 月 Select from Table where SHIP_DATE = 2007-5-8
Exadata 混合列压缩 Hybrid Columnar Compression 数据以字段形式存储并压缩 查询模式 针对 data warehousing 最优的速度 典型的可达到 10X 的压缩率 按压缩比率改进扫描 Archival Mode 针对不频繁的数据访问 减少空间 典型的可达到 15X 的压缩率 有些可达到 50X Up To 50X
Exadata 混合列压缩 Hybrid Columnar Compression 按行和按列存储的混合数据存储方法 逻辑压缩单元 (CU) 内多个块按列存储 高压缩率 列过滤 CU 间则是按行存储 通常一行的数据查询只需一次 I/O
结合分区使用混合压缩方法 Day 1 Day 2 Day 8 Day 9 Day 10 Month 7 Month 8 OLTP 压缩 EHCC 查询模式 EHCC 归档模式
Exadata Flash 解决随机 I/O 瓶颈 New 使用 PCI-E 闪存卡避免磁盘控制器的限制 Exadata 有 5+ TB 的闪存存储 Exadata Smart Cache 技术缓存热点访问的数据 懂得数据库的存储缓存 智能闪存日志 比 1000 块磁盘的企业存储阵列多 5X I/Os 极大地降低成本 同样的 I/O 能力, 超过 10x 倍的磁盘节省 低能耗 Oracle 是第一个闪存优化的数据库系统 16
收益以级数上升 10 TB of user data Requires 10 TB of IO 1 TB with compression 100 GB with partition pruning 20 GB with Storage Indexes 5 GB with Smart Scans Subsecond On Database Machine Data is 10x Smaller, Scans are 2000x faster
Oracle 数据库云服务器数据库操作的集成系统 Scaleable Grid of industry standard servers for Compute and Storage Pre-Installed and Optimized for Oracle 11gR2 Eliminates long-standing tradeoff between Scalability, Availability, Cost Database Grid 8 Dual-Socket x64 database servers (96 cores) OR 2 Eight-Socket x64 database servers - (128 cores) InfiniBand Network Redundant 40Gb/s switches Unified server & storage network Supports 10gE Storage Grid 14 High-performance low-cost storage servers (2U) 100 TB High Speed disk, or 336 TB High Capacity disk 168 Intel cores in storage 5.3 TB PCI Flash Data mirrored across storage servers
Exadata Database Machine X2-2 Extreme Performance for DW, OLTP and Consolidation 8 x64 Dual-procesor Database Servers (Sun Fire X4170 M2) 96 cores (12 per server) 768 GB memory (96GB per server) 10 GigE connectivity to Data Center 16 x 10GbE ports (2 per server) 14 Exadata Storage Servers X2-2 All with High Performance 600GB SAS disks OR All with High Capacity 2 TB SAS disks 3 Sun Datacenter InfiniBand Switch 36 36-port Managed QDR (40Gb/s) switch 1 Admin Cisco Ethernet switch Keyboard, Video, Mouse (KVM) hardware Redundant Power Distributions Units (PDUs) Add more racks for additional scalability
Exadata Database Machine X2-8 Extreme Performance for Consolidation and Large OLTP 2 x64 Eight-processor Database servers (Sun Fire 4800) High Core, High Memory Database Servers 128 CPU cores (64 per server) 2 TB (1 TB per server) 10 GigE connectivity to Data Center 16 x 10GbE ports (8 per server) 14 Exadata Storage Servers X2-2 All with High Performance 600GB SAS disks OR All with High Capacity 2 TB SAS disks 3 Sun Datacenter InfiniBand Switch 36 36-port Managed QDR (40Gb/s) switch 1 Admin Cisco Ethernet switch Redundant Power Distributions Units (PDUs) Add more racks for additional scalability
Family of Exadata Database Machines For OLTP, Data Warehousing & Consolidated Workloads Oracle Exadata X2-2 Oracle Exadata X2-8 Quarter, Half, Full and Multi-Racks Full and Multi-Racks
数据库集成的最佳选择 Ideal platform for Private Cloud consolidation ERP CRM Warehouse Data Mart HR 集成是减少成本的关键 管理, 硬件, 软件, 数据中心 许多数据库可被 Exadata 集成 在一个节点上的多个小数据库 采用 RAC 的跨多节点大数据库 Exadata 提供复杂混合 OLTP 和 DW 负载的极限性能 复杂 OLTP 事物, 批处理, 报表, 文档 复杂 Warehousing 实时 BI, OLAP, 数据挖掘, 空间数据, Ad-hoc 不同应用的多个数据库
Exadata 的成功 Rapid adoption in all geographies and industries
成功案例 AXIATA BANGLADESH (APAC) 孟加拉国亚通, 孟加拉国第三大电信营运商, 数据装载快了 30 倍 SOFTBANK (JAPAN) 日本电信运营商, 替代原有 36 台 Teredata, 占地面积从 36Racks 减到 3Racks 并提升了查询速度 TURKCELL (EMEA) 土耳其电信运营商, 数据压缩 10 倍, 查询速度提升 10 倍 ~400 倍, 减少占地面积 11 倍 LINKSHARE (NORTH AMERICA) 北美最大的联属营销平台提升查询速度 8 倍, 服务器和存储为原来的 1/8 减少运维 COMMONWEALTH BANK OF AUSTRALIA (APAC) 澳大利亚联邦银行超过 100+ 独立运行的数据库整合到 Exadata 3 个数据库中部署实施时间提升 30 倍, 提供 - 数据库即服务云
System Configuration - Exadata OLAP Server BI EE/ EM Application Server (Gathering raw data) AP Server1 AP Server2 AP Server3 Public LAN Infiniband Network (Disk I/O, InterConnect) Management LAN SKT Back-bone DB Node1 DB Node2 DB Node3 DB Node4 DB Node5 DB Node6 DB Node7 DB Node8 DB Server DB Server DB Node1 DB Node2 DB Node3 DB Node4 IB-SW IB-SW Exadata Storage Server x 14 (SATA Disk) Storage Server Storage Server Exadata Storage Server x 7 (SATA Disk) Production - SUN Oracle Database Machine Full Rack GigaE-SW GigaE-SW Backup - HP Oracle Database Machine Half Rack
Exadata 测试案例某省移动经分应用测试 现有系统硬件 : 2 台 Sun E25K 每节点 28 CPU / 224 GB 内存网络 : Public 网络为 2 块 1GB 的网卡绑定 Private(Interconnect) 网络为 4 块 1GB 的网卡绑定存储 : EMC DMX-4/DMX-3/CX4-960,IBM 4800 总容量大概 120TB 每节点 16 块 4GB 的 HBA 卡软件 : Oracle DBEE 10.2.0.4 RAC 经分应用期望 : 当前应用性能 : 主要的关键报表大概需要 6-7 小时生成 用户期望 :2 小时以内生成报表 测试系统测试基于 Oracle Exadata 四分之一配置 : 2 个数据库服务器 2 个四核 Intel Xeon E5540 处理器 (2.53 GHz) 每节点 72 GB 内存 每节点带有 512MB 电池支援写缓存的磁盘控制器 HBA 4 个 146 GB SAS 10,000RPM 硬盘 双端口 QDR InfiniBand Host Channel Adapter 4 个内置千兆位以太网接口 2 个 36 端口 QDR (40 Gb/ 秒 )InfiniBand 交换机 3 个 Sun Oracle Exadata Storage Server, 带有 36 个 600 GB SAS 15,000RPM 硬盘, 包含 1.1 TB Exadata Smart Flash Cache 软件 : Oracle 数据库 11gR2 经分 SQL 语句与数据, 大概 180GB 左右,29 亿条记录
Exadata 测试案例某省移动经分应用测试 最高压缩比近 8 倍左右 全表扫描的执行时间随压缩比增大而减少
Exadata 测试案例某省移动经分应用测试 测试结果 : Exadata 混合列压缩 (EHCC) 最高压缩比可达将近 8 倍, 平均压缩比也在 5 倍以上 ¼ 配置 IO 吞吐可达 4.5GB/s, 而 flash cache 的 IO 吞吐可达 10.8GB/s 真实的应用程序在 1/4 配置中的运行时间为 6 分钟, 而在生产环境中需要 17 小时, 性能提高 168 倍 而优化后性能还可提高 20% 基于复杂查询 ( 星形 ) 的执行时间基本在 2 分 40 秒左右完成, 而在生产环境中相似 且数据量较小的查询需要 30 分钟以上, 性能提高 12 倍以上
电信行业测试结果 Customer Project Config Poc Results Competitor AsiaInfo BASS system V1 10 times P595(2x32CPU)+DB2 陕西电信 账务 V2,¼ Rack 20 Times N/A SUN 25K*2, 辽宁移动 BASS V2, ¼ Rack 168 Times EMC Storage 黑龙江联通 BASS V2, ½ Rack 62times N/A 浙江移动 BASS V2, ¼ Rack 235 Times 2 个 IBM595(96 Core), EMC DMX-4 300 北京移动综合告警 (DW)V1, ¼ Rack 105 /352 times SUN M5000 山西移动 结算系统改造 (DW) V2,¼ Rack 5times P570, IBM DS 8300-1/12T HTHK DW V2,¼ Rack 5-20 times Sybase/Greenplum