<Insert Picture Here> Oracle Exadata 数据平台
传统数据平台面临的问题 : 技术架构复杂 维护和管理困难 DB & HA/RAC Volume Mgr File System OS/Cluster 安装调试 Patch Patch 安装 Volume Mgr File System OS/Cluster 安装调试 Patch 服务器选型 Sizing 高可用设计 集群实现 SAN 设计 SAN 兼容性 布线 安装 性能调优 集成 / 测试 至少几个月 存储系统选型 Patch Patch Sizing 兼容性 存储软件 存储软件 Layout /RAID 实现
问题 1 数据库平台系统的瓶颈 IO 不能充分快速地把数据传递给数据库服务器
答案 1 解决数据库系统瓶颈问题 2 种方法 : 更宽的通道, 更多通道 减少通过通道的数据, 加速 IO
问题 2 复杂的 IT IBM/HP 服务器 + 4 存储阵列 ( 包含 Flash) DBAs HACMP B&R Scripts SRDF System Admins Storage Admins
答案 2 简化 IT! DBAs Exadata Storage Software Automatic Storage Management Data Guard Recovery Manager Linux/Solaris Clusterware Database RAC Enterprise Manager 更多 CPU 核数 更多 I/O 更少 Software 更少人力 更少机房占用 更少复杂性 IBM/HP 服务器 + 4 存储阵列 ( 包含 Flash)
Exadata 发展多代经验累积, 最新推出 X3 2008 2009 2010 2011 2012 HP Oracle Database Machine (V1) 智能存储 Infiniband 数据仓库 Sun Oracle Database Machine (V2) Oracle Exadata Database Machine (X2-2 96Cores) (X2-8 128Cores) + OLTP (Flash) + 12-core DB Nodes (X2-2) + 64-core SMP Nodes Oracle Exadata Database Machine (X2-2 96Cores) (X2-8 160Cores) (Storage Expansion Rack 3TB/Disk) + 80-core SMP Nodes (X2-8) Oracle Exadata Database Machine (X3-2 128Cores) (X3-8 160Cores) + 16-core DB Nodes (X3-2) (X2-8) + 混合列压缩 + 2 TB DRAM (X2-8) + 4 TB DRAM (X2-8) + 2 TB DRAM + 22.4TB Flash + 整合 + 硬件 DB 加密 + Solaris x86 + ASR + Reverse Offload + Data Mining Offload + Smart Flash Logging 12c + Writeback flash cache + Enterprise Manager
Exadata X3 体系架构 数据库网格 8 x 双处理器 (16 核 ) x64 数据库服务器 或 2 x 八处理器 (80 核 ) x64 数据库服务器 InfiniBand 网络 3 x 36- 接口 40Gb/s 交换机 统一服务器 & 存储网络 智能存储网格 14 高性能存储服务器 100 TB 高性能磁盘, 或者 504 TB 高容量磁盘 22.4 TB PCI Flash 智能存储服务器软件 Exadata 数据库云服务器是优化的高性能数据库平台 利用成熟先进的软硬件技术, 并将这些技术按 DB 所需组合, 大师级优化 解决传统的系统配置中的性能瓶颈 为企业的各类应用提供端到端的高性能数据管理解决方案
Exadata 创新 #1: 智能存储 现有的存储系统仅仅简单地存储和管理数据块 当查询执行的时候, 需要移动大量的无用的数据块到内存, 并且使用数据库节点的 CPU 进行处理并丢弃它们 Exadata 通过把数据处理下压到存储层, 从而打破了数据库服务器和存储之间的瓶颈 部分数据处理被下放到存储上进行 由于降低了服务器端数据接收和处理的 CPU 消耗, 从而大大提升性能
Exadata 智能存储 Exadata 智能存储网格 Exadata 存储服务器在存储层分担 SQL 复杂操作 字段投影 谓词过滤 存储索引 简单连接 ( 布隆过滤 ) 增量备份过滤 I/O 优先级别管理 数据解压缩 数据安全 : 加密数据扫描下压 数据挖掘模型加速 : 函数下压 一般减少回传 DB 服务器数据量的 10-1000 倍
Table Exadata 存储索引 极大降低 I/O 时间, 对用户透明, 无额外开销 A B C D 1 3 5 5 8 3 Index Min B = 1 Max B =5 Min B = 3 Max B =8 Exadata 存储索引在内存中维护表数据的汇总信息 存储多个列的 MIN 和 MAX 信息 通常按 1 MB 磁盘数据取值 如果 MIN 和 MAX 值不能匹配 where 条件, 则不做物理 IO, 极大提高有效 IO 效率 完全自动和透明 Select * from Table where B<2 - 只匹配第一块数据集
查询加速简单示例 Oracle 数据库网格 Exadata 存储网格 我昨天的销售业绩是多少? Select sum (sales) where Date= 14-10 月 优化器选择 Partitions & Indexes 访问路径 在 partitions / indexes 中扫描压缩数据块 提取十月 14 的销售量 10 TB 扫描 1 GB 返回到服务器
Exadata 创新 #2: 更强大的压缩 200 CPU 1 TB 10 TB memory 10 TB 100 TB 行压缩和列压缩都存在弱点 Exadata 使用混合列压缩 EHCC 占用磁盘空间更小 压缩下获得更好的性能 基于压缩数据进行扫描 可以在内存 (Flash) 中保留更多的数据 (200TB) 从磁盘到内存数据传递时使用更少的 IO 在查询更快的前提下节省十倍的空间
行压缩 vs. 列数据库 vs. 混合列 压缩的行 Database Block 列数据库 混合列 Compression Unit 1 Symbol Table Row 1 Row 2 Row 3 Column 2 Column 1 Column 3 Column 3 Column 2 Column 1 Compression Unit 2 C3 C2 C1 很好的随机行访问特性 好的 Table Scan 2x - 5x 压缩 很差的随机行访问特性 非常好的 Table Scan 5x - 40x 压缩 很好的随机行访问特性 非常好的 Table Scan 5x - 40x 压缩
Exadata 混合列压缩技术 数据以字段形式存储并压缩 Only on Exadata 查询模式 最优的速度 典型的可达到 10X 的压缩率 按压缩比率改进扫描 归档模式 针对非频繁的数据访问 减少空间 典型的可达到 15X 的压缩率 有些可达到 50X Up To 50X
Exadata HCC 混合列压缩 1000 不压缩 1000 不压缩 100 纯列模式瓶颈 500 表级压缩 混合 & 纯列式 500 表级 混合纯列式 50 0 混合列压缩结合了行模式和列模式的优点 最优压缩比 可匹敌纯列模式压缩比 扫描时间卓越 与数据检索量和内容有关 良好的单行查询时间 没有纯列式的 瓶颈 0 表大小扫描时间行记录查询时间 0
Exadata 创新 #3: 智能地使用 Flash Memory Exadata 有 22.4 TB 的闪存 56 块闪存 PCI 卡防止控制器瓶颈 5X More I/Os than 1000 Disk Enterprise Storage Array 智能存储软件 Smart Storage Server 智能闪存 -- 缓存热点数据, 提高读的能力 智能闪存日志 --- 解决数据库日志写入 智能闪存回写 提高数据写入能力 智能闪存盘 --- 可用于数据文件表空间 Exadata 闪存缓存 : 超过 1.5 million IO/sec from SQL (8K) Sub-millisecond 的响应时间
Exadata X3 突破传统意义的内存数据库 2 or 4 TB DRAM Hottest Data X3 超大内存交付极限性能 自动将活动数据从磁盘移入内存 DRAM 内存扩展从 2TB 到 4 TB 不等, 承载热数据 容纳 4 到 40 TB 压缩用户数据 22 TB PCI FLASH 500 TB DISK Active Data Flash 存储增大 4 倍达到满柜 22 TB 40 到 200 TB 压缩用户数据 1.5 Million SQL 随机读 I/OPS 用于 OLTP 等效于 15,000 块磁盘 150 阵列的传统存储架构 100 GB/sec SQL 数据扫描速率服务于报表和 DW 等效于 1,000 块磁盘 10 阵列的传统存储架构 Cold Data
Exadata 智能写闪存 Smart Flash Cache Write-Back 新特征 Writes I/Os 1 Million 8K Write IOPs from SQL 在 PCI flash 中不仅缓存读 I/Os 而且缓存写 I/Os 透明加速写密集型工作负载 比 X3 磁盘提升 20 倍的写 IOPS 在 V2 和 X2 上开启比磁盘 IO 提升 10 倍的写 IOPS 持久化写缓存加速数据库恢复 Exadata Flash Cache 效率远高于其它闪盘架构 缓存当前热数据, 而不是过往热数据 缓存压缩数据, 容量高于混合分层存储 8-16 倍 极大改善 flash 有效利用率
创新 #4: 超高速网络技术 InfiniBand 以前的数据库都是用较慢或者专用的服务器网络 Teradata Bynet 只能达到 3 Gb/sec 其他使用千兆网络 10g Ethernet InfiniBand Exadata 使用 40Gb InfiniBand 超级计算机级别的网络技术 数据在服务器之间以及存储到服务器的传输速度都非常快 RDSv3 协议提升数据传输效率 Bynet
Exadata 集群架构的智慧组合 计算与内存密集型处理 Exadata 数据库服务器集群 执行复杂的数据库处理, 例如 : 连接 joins, 聚合 aggregation 等 Infiniband 超高速交换网络 基于 Oracle 专利 idb, 承载存储与数据库间的数据传输, RAC 数据库实例间通信 高带宽 低延时 数据密集型处理 Exadata 存储服务器集群 存储层 share nothing 的大规模并行处理架构 每个存储服务器 Cells 为多个数据库提供数据, 支持不同特征工作负载和混合负载 : OLTP 数据库整合 数据仓库 简单 可靠 自动负载平衡 在线扩展
Exadata 专门针对 Oracle 数据库的设计和创新 168 CPU cores in storage Exadata 数据库云 存储扫描, 过滤数据 存储分担 SQL 工作 * Flash caches 相关读写数据 40 Gb/ 秒高速低延时网络 针对 DB 负载预装调优的 内置冗余保护设计 内置压缩 内置混合工作负载管理 传统配置方式 存储只负责传递数据块 DB 不敏感的普通存储没有 SQL 敏感的 flash 管理机制 8 10 Gb/ 秒以太网络客户组装的搭建自己管理的 HA 方案压缩可选混合负载管理可选 * Backups, compression, decryption, data mining Exadata 不是一个通用硬件平台, 是专门针对数据库的一体化云平台
Exadata 高可用性 所有的组件, 都实现了高可用性的冗余设计 数据库服务器采用 RAC 技术 Infiniband 交换机采用了冗余设置 双网卡绑定避免单路故障 包括供电 电源模块等采用了双冗余 利用 ASM, 避免丢失数据
标准化 自动化, 易于部署 所有的数据库一体机都是相同的 开箱既用的 经过测试的 原厂支持的 没有独特的配置问题 与 Oracle 工程部内部使用的配置相同 可以运行现有的 OLTP 和数据仓库应用 继承了 30 多年的 Oracle 数据库能力 无需对应用进行针对性的修改, 无需专门的 Exadata 认证 部署只需几天, 而无需数月 利用 Oracle 的环境 技能 知识库 人员 合作伙伴
Exadata 按需使用, 扩容升级简便 可现场升级 Eighth Rack Quarter Rack 扩展到 18 机柜只需要连接光纤 Half Rack Full Rack
Exadata 云管理工具 :Enterprise Manager 12c 集中化管理 Exadata 的软件硬件和系统 硬件视图 存储 cells, 计算节点和交换机的直观装态 硬件组件故障报警 软件 / 系统试图 性能, 可用性, 数据库使用情况, 服务, 集群 软件告警 数据库 群集软件 ASM 数据库系统 / 集群的拓扑 配置视图 版本总结, 所有组件的 patch 建议
Exadata 数据库云特点 1: 架构兼容性和普适性兼备 Shared Nothing Shared Disk 分片式数据库 读写分离数据库架构 具备良好的普适性架构 :Shared Nothing and Shared Disk 数据库服务池 A 数据库服务池 B 数据库处理层 (Shared Disk) 数据库资源池. 超高速并发网络层 880Gb/s/ 机架智能存储层 (Shared Nothing) 存储资源池 InfiniBand 交换网络 Exadata Cell Exadata Cell Exadata Cell SunFire SunFire SunFire Exadata 提供一种混合式的数据库架构, 能够有效解决两者的冲突, 吸取两种架构长处 ; 既可以满足 OLTP 的高并发 高可用特点 ; 又可以满足 OLAP 的大数据量处理要求 ; 27
EXADATA - 为所有的数据管理系统提供超级的性能 适用于数据仓库应用的最好的数据库服务器 (Best for Data Warehousing) 基于 10x 压缩表的 Smart scan 基于内存数据的并行查询 整体上比 11.1 版本快 5 倍 适用于 OLTP 系统的最好的数据库服务器 (Best for OLTP) 唯一基于网格技术扩展的数据库 Smart flash cache 可达到 20x(1M IOPS) 快的 IOPS, 或者节省 20x 的磁盘 对于归档数据可达到 50x 的压缩率 安全, 容错 适用于混合负载的最好的数据库服务器 (Best for Consolidation) 唯一的支持所有负载类型的 database machine 多个数据库, 多个应用, 多个用户环境都能提供可预测的响应时间
Exadata 数据库云特点 2: 服务器资源池通过动态资源池 + 动态服务, 使云平台在多租户的动态管理变成可能
Exadata 数据库云特点 3: 存储资源池支持集中化平台存储的线性扩展和高可用性保护
Exadata 数据库云特点 3: 存储资源池 Exadata 内部数据的分布, 实现存储 SAME 特性 数据的分布只有在系统变更时才发生改变 当新 Storage Cell 添加时均衡仍然得以保持 当硬件出故障时均衡仍然得以保持 单块磁盘损坏 / 单个 storage cell 损坏都能忍受 缺省分配单元 AU_SIZE=4M,Strip_size=512K Storage cell1 Storage cell 2 Node 1 Node 2 Storage cell 3 Node 3 31
Exadata 数据库云特点 3: 存储资源池数据动态重分布, 消除 I/O 分布热点块, 使得集中化平台可不断线性扩展 数据自动分布, 提供最高性能 当新硬件添加时均衡仍然得以保持 当旧硬件移除时均衡仍然得以保持 当硬件出故障时均衡仍然得以保持 Storage cell1 Storage cell2 Storage cell 3 Storage cell 4 Add new storage cell 32
I/O Resource Management 计划示例 IORM allocation Database A Database B Database A Database B Intradatabase 45% 15% 40% 35% 18% 22% 10% 15% Interdatabase 30% 70% 30% 70% Categories 40% BATCH All User I/Os (100%) 60% INTERACTIVE
Exadata MAA 最大化可用性架构 RAC Primary Active Data Guard / GoldenGate ASM WAN RMAN / Fast Recovery Area Oracle Secure Backup Standby Dev/Test 完整的失败保障机制 Server Storage Network Site Corruptions 及时地灾难恢复 : 实时 standby 随时接受查询下沉改正人工错误 : database, table, row, transaction 在线索引和表定义在线打补丁和升级
Exadata 价值总结 在线热插拔部件 虚拟化资源池 资源优先级管理 零配置 开箱即用 构件式扩展 线性系统扩展 动态资源调配 全双工设计 完全避免单点故障 10-40 倍数据压缩算法 一体化云计算 规划视角 内置 22.5TB 闪存 Infiniband 网络 适用于各种场景 超级性能 Exadata 新一代绿色数据库云平台 节能减排 智能存储技术 最佳 OLTP 性能设计 最佳数据仓库性能设计 低能耗 绿色计算 : 一台满配 Exadata ( 包含服务器 网络 存储 ) 总能耗平均仅为 8.4KW, 相当于传统服务器 + 存储 + 网络能耗的 1/3, 但计算能力和占地空间却相当于传统服务器 + 存储 + 网络的 2-10 倍
数千家行业领先企业部署了 Exadata PB 级 DW SAP, E-business Suite, PeopleSoft, Siebel, JDE 监管报表 在线金融交易 电商网站 整合上百的数据库
总结 : Exadata 数据平台的优势 全面 开放 集成 最优 #1 最全面的数据库能力 基于标准架构 开放的软硬件 有专业的人做专业的事 设计 数据库与数据平台行业领导者 无与伦比的性能 广泛深入的技术累积与创新 最低风险 更多资源 无缝集成 DB 投资利用率最大化 更少投入 更多价值 健壮 安全 经过事实检验 行业领先的一体化云方案