<Insert Picture Here> 高性能数据库云服务器 -- Oracle Exadata X2 陈东辉甲骨文 ( 中国 ) 软件系统有限公司
Agenda 企业信息化面临的问题 传统的解决方案 高性能 & 高智能的理想架构 Oracle 为企业信息化提供的解决之道 Q&A
企业信息化面临的问题
企业信息化面临的问题昂贵的 低效的 信息孤岛导致资源浪费 每个系统都是最高性能配置 性能仍然不能满足要求 很难进行扩展 数据平台不能统一
传统的解决方案
FREE IBM Server & OS Infrastructure 传统 SMP 架构组成 EMC Storage RAC DB1 硬件架构 CPU Memory Disk Array RAC DB2 SAP 软件架构 OS Database (DW OLTP) Application
传统竖井式数据中心硬件架构 如何优化配置资源? --- 安装配置 --- 维护管理 --- 性能优化 --- 监控管理 --- 服务器扩展
混合系统如何优化 分配资源? 软件架构 - Application 系统 ERP CRM HR Warehouse Data Mart 系统之间资源不能充分利用 单一硬件成本在不断增长 系统的响应时间 性能在下降 异构系统之间的数据访问压力在增加
高智能 & 高性能的理想架构
构建高性能 IT 基础平台的理想架构 低成本高性能 保障系统中没有单点故障 (SPOF-Single Point of Failure), 支持业务连续性 在系统中消除性能瓶颈 (Performance Bottle-Neck), 构建一个平衡的系统 能有效地进行系统的扩展, 满足不断增长的数据和用户需求 智能管理, 提高整体的业务性能和业务管理 统一数据, 更实时 有效地整合数据资源
Oracle 为企业信息化提供的解决之道
Exadata 硬件架构 数据库网格 2~8 台两处理器的高性能企业服务器, 最大 96 cores,768gb 内存 或 2 台八处理器的高性能企业服务器,128 cores,2tb 内存 InfiniBand 网络交换机 40Gb/s 容错交换网络 智能存储网格 3~14 台高性能智能存储服务器, 每台存储服务器拥有 12 核 CPU,72G 内存 21~100TB 高性能磁盘或 72~336TB 高容量磁盘 1~5 TB 智能闪存卡 存储端执行查询过滤 预装软件 Oracle Database Enterprise 11gR2 Oracle RAC Option Oracle Partitioning Option Oracle Exadata Storage Server Software
Exadata 数据处理架构的革命 传统架构 Exadata 架构 更多的通道 更宽的通道传统 4-8 Gb/S Exadata: 40Gb/S 更少的数据传输
- 15 - Oracle Exadata 数据库云服务器 : 数据库云 的最佳平台 信贷 ODS 核心 ERP 报表 风险 软硬件互为优化, 提供极限性能 提供更宽 更多的 IO 通道, 成千倍减少 IO 传输量 1,500,000 次的 IOPS, 每秒 75GB 的 IO 吞吐量 数据加载 12TB/ 小时 OLTP OLAP 混合负载 基于任务的系统资源管理 统一智能管理, 运维简单 QOS SLA 绿色数据中心 电耗 散热 承重低
Exadata 与传统数据库方案重量 耗电量对比 2000 1500 1000 500 重量对比 (kg) 1667.2 降低 75% 409.1 0 同配置传统数据中心方案 1/4 机架 Exadata Exadata 重量约占传统两节点 (P570) 数据库方案的 25% Exadata 耗电量比传统数据库方案降低了 76%-78% 注 : 以两台 IBM p570,ds8100 存储为例
为什么快? -- Exadata 革命性的设计 Exadata DB Servers 请求 InfiniBand Exadata Storage 高性能理由 1 Smart Scan : 计算负载部分卸载至并行智能存储层, 并只传输经筛选的有用数据 高性能理由 2 综合列压缩 (EHCC) : 技术获得 10x-50x 超高压缩比, 并提高磁盘 I/O 效率高性能理由 3 Smart Flash Cache : 高达 5.3TB 的 Flash Cache, 随机 I/O 性能高达 1M IOPS 高性能理由 4 Infiniband : 提供 40Gb/s 端口带宽, 聚合带宽高达 880Gb/s, 端口延时 (0.1um ) 小于以太网的 1/1000 Smart Scan EHCC Smart Flash Cache 等是 Oracle Exadata 独有的关键性能突破技术
智能存储层 (Disk Array) Exadata Smart Scan 处理技术 Compute Intensive Processing Database Server 计算和内存密集型的数据处理在数据库服务器执行 完全并行和聚集 Bandwidth Intensive Searches Exadata Storage Server IO-bandwidth 密集型搜索在存储服务器上执行 Exadata Smart Scans and Exadata Storage Indexes 可以直接在存储层过滤数据 数据库服务器和 Exadata 存储互相协调执行 SQL Exadata cell 是智能存储, 不是一个完整的数据库节点
比较 传统扫描处理技术 SELECT customer_id FROM calls WHERE amount > 200; DB 主机确定表的存储分区 发起 I/Os 请求 返回数据行 DB 主机筛选 1 TB 数据, 得到 1000 行客户要求的数据, 计算并返回给客户端 I/Os 执行 : 返回 1 TB 数据 基于传统存储技术, 全部 的数据库智能存在于数据 库主机 来源于存储的数据大部分 被数据库主机所丢弃 大量的废弃数据占用宝贵 的数据库主机 ( 内存 CPU) 和 IO 资源, 严重影响其它 任务执行, 导致处理缓慢
比较 Exadata 的智能扫描技术 SELECT customer_id FROM calls where amount > 200; 构造 Smart Scan 并发送到存储单元 Smart Scan 在 TB 的表中识别出符合查询需求的行和字段 返回数据行 汇聚各存储单元的返回结果到结果集 返回 2MB 数据到数据库服务器 仅查询相关的字段 customer_id 和符合条件的行 where amount>200 被返回给数据库服务器 通过把扫描处理从数据库中剥离, 减少了数据库服务器的 CPU 负担, 同时极大降低了无效的信息传输 仅仅传输需要的 有价值的信息
Exadata 组件内部互联技术 Infiniband MB/sec 1400 1200 1000 800 600 400 200 0 Gigabit Ethernet 单路连接的数据吞吐量 4Gb Fibre 40Gb Infiniband 并通过交换网格的并行化连接, 提供与存储容量等比增加的带宽 ( 通用技术的高明应用 )
智能存储层 (Disk Array) Exadata Hybrid Columnar 压缩技术 数据以字段形式存储并压缩 查询模式 针对 data warehousing 最优的速度 典型的可达到 10X 的压缩率 按压缩比率改进扫描 Archival Mode 针对频繁的数据访问 减少空间 典型的可达到 15X 的压缩率 有些可达到 50X Up To 50X
行压缩 vs 列数据库 vs 混合列 压缩的行 列数据库 混合列 Database Block Symbol Table Row 1 Column 2 Column 1 Column 3 Compression Unit 1 Column 3 Column 2 Column 1 Row 2 Row 3 Compression Unit 2 C3 C2 C1 很好的随机行访问特性 OK 表访问 2x - 5x 压缩 很差的随机行访问特性 非常好的 Table Scan 5x - 40x 压缩 很好的随机行访问特性 非常好的 Table Scan 5x - 40x 压缩
智能闪存卡 突破传统磁盘随机 I/O 的瓶颈 Exadata Flash Cache 处理技术 每秒 300 次 I/O 磁盘驱动器拥有大量数据 但是只有 300 IO/s Flash 技术存放较少的数据 但是可以运行上万 IO/s 每秒上万次 I/O 理想方案 在磁盘上存储最大量的数据, 减少成本 透明地将热数据迁移到 flash 采用 flash cards 而不是 flash disk, 避免磁盘控制器的限制 Exadata storage 中的 flash card 高宽带, 低延迟 Oracle 是第一个闪存优化的数据库
Exadata X2 智能存储带来性能增倍 10 TB 的用户数据需要 10 TB 的 IO 1 TB ( 压缩 ) 100 GB ( 分区修剪 ) 20 GB ( 存储索引 ) 内存或闪存上的 5 GB 智能扫描 在 Database Machine 上实现亚秒级 数据减少 10 倍, 扫描加快 2000 倍
Exadata X2 安装部署 完整的, 预配置的, 严格测试的超级性能系统 数据库服务器 Exadata 存储服务器 InfiniBand 交换机 Ethernet 交换机 出厂完成线缆连接 Keyboard, Video, Mouse (KVM) hardware Power Distribution Units (PDUs) 随付即用 插电 联网 启动数据库
从小配置开始, 逐步扩展 现场不停机在线升级, 满足企业长远发展需求 扩展性 单个机器可以扩展至 8 RACK 更多的扩展通过 InfiniBand switches 实现 可以扩展成千上万个存储服务器 Multi-petabyte databases 1 /4 机架配置 1 /2 机架配置满配多机水平扩展, 只需增加电缆
Exadata X2 性能 60 Query Throughput Query Throughput with Flash 50 50 为什么 Oracle 更快? 数据在存储层处理 更高的压缩率 (10x) Smart Flash Cache Faster Interconnect (40Gb/sec) 40 30 20 10 11.4 7.5 10 21 更多的磁盘 更快的磁盘 (15K RPM) 0 HITACHI USP V TERADATA 2550 NETEZZA TwinFin 12 SUN ORACLE Database Machine 28
Exadata 中国区用户 POC 测试结果 序号行业及项目配置测试结果测试日期 1 Telco: 经营分析 V2, ¼ Rack 168 倍 2010.11.26 28 2 Telco: 财务系统 V2, ¼ Rack 20 倍 7 天, 2010 3 Telco: 经营分析 V2, ½ Rack 235 倍 2010.9.8-15 4 保险 : 数据仓库 V2, ¼ Rack 25 倍 21 天, 2010.5 5 MRD: ETC (DW) V2, ¼ Rack 300 倍 14 天, 2010.5 6 MRD: ODS/DW V2, ¼ Rack 62 倍 14 天, 2010.5 7 DATES & DW V2, ¼ Rack 10-450 倍 2010.7.5-16 8 MRD: 集运运输 (OLTP) V2, ¼ Rack 10 倍 2010.8.9-18 9 电力 : 低压集超 (DW) V1 10 倍 7 天, 2010.1 * 测试结果为 Exadata 相当于用户原有环境或第三方对比测试方案的性能提升倍数
Exadata X2 更节省成本与传统 SMP 对比 项目 Exadata V2 传统 SMP 系统 体系结构云架构 ( 基于廉价 PC) 传统 SMP 结构 初始投资可以少量节点, 投资少大架子, 少内涵, 投资高 扩容投资按需扩容, 以 PC 节点为单位, 廉价 按专用的 CPU 板 IO 板扩容, 困难, 昂贵 管理 PC 级的管理, 高度一致众多的 SMP 型号, 不一致 资源共享方式 智能存储 云化服务器池的方式, 资源动态调度 大量的 CPU 在存储层, 提供计算能力如 EHCC, 存储索引可提高效率 10 倍 机房空间 2 架 4+8 架 总体成本 <50% 1 有限程度共享, 不同系统难以共存 非智能存储, 智能垂直切割共享
Exadata X2 总结提供全面解决方案的高性能一体机 适用于数据仓库应用的最好的数据库服务器 (Best for Data Warehousing) 基于 10x 压缩表的 Smart scan 基于内存数据的并行查询 整体上比 11.1 版本快 5 倍 适用于 OLTP 系统的最好的数据库服务器 (Best for OLTP) 唯一基于网格技术扩展的数据库 Smart flash cache 可达到 20x 快的 IOPS, 或者节省 20x 的磁盘 对于归档数据可达到 50x 的压缩率 安全, 容错 适用于混合负载的最好的数据库服务器 (Best for Consolidation) 唯一的支持所有负载类型的 database machine 多个数据库, 多个应用, 多个用户环境都能提供可预测的响应时间 31
Exadata X2 成功案例
我们的客户说 AXIATA BANGLADESH (APAC) 孟加拉国亚通, 孟加拉国第三大电信营运商, 数据装载快了 30 倍 ( 从 1 小时减少到 6 分钟 ), 查询快了 10 倍 针对于活跃和归档数据有 2 到 10 倍的压缩比, 同时无任何性能损失 ; 从而有能力扩展了在线数据时间窗口 SOFTBANK (JAPAN) 日本电信运营商, 替代原有 36 台 Teradata, 占地面积从 36Racks 减到 3Racks, 查询速度提升 2~8 倍 TURKCELL (EMEA) 土耳其电信运营商 数据压缩 10 倍 (250TB->25TB), 查询速度提升 10 倍 ~400 倍 (50K 报表 / 月 ), 数据翻倍每年,1.5Billion CDR per day 减少 DC 占地面积 \ 电力 制冷 11 倍 (11 racks => 1 rack) LINKSHARE (NORTH AMERICA) 北美最大的联属营销平台 提升查询速度 8 倍, 服务器和存储为原来的 1/8, 减少运维 OPEX3.5x 减少 DC 占地面积 \ 电力 4 倍 COMMONWEALTH BANK OF AUSTRALIA (APAC) 澳大利亚联邦银行 超过 250+ 独立运行的数据库整合到 Exadata 3 个数据库中部署实施时间提升 30 倍 (4 月 ->4 天 ); 提供 - 数据库即服务云
问答
35
36