Extreme Performance Data Warehousing

Size: px

Start display at page:

Download "Extreme Performance Data Warehousing"

佑秀愈
5 years ago
Views:

1 <Insert Picture Here> Oracle Exadata 数据平台

2 传统数据平台面临的问题 : 技术架构复杂维护和管理困难 DB & HA/RAC Volume Mgr File System OS/Cluster 安装调试 Patch Patch 安装 Volume Mgr File System OS/Cluster 安装调试 Patch 服务器选型 Sizing 高可用设计集群实现 SAN 设计 SAN 兼容性布线安装性能调优集成 / 测试至少几个月存储系统选型 Patch Patch Sizing 兼容性存储软件存储软件 Layout /RAID 实现

3 问题 1 数据库平台系统的瓶颈 IO 不能充分快速地把数据传递给数据库服务器

4 答案 1 解决数据库系统瓶颈问题 2 种方法 : 更宽的通道, 更多通道减少通过通道的数据, 加速 IO

5 问题 2 复杂的 IT IBM/HP 服务器 + 4 存储阵列 ( 包含 Flash) DBAs HACMP B&R Scripts SRDF System Admins Storage Admins

6 答案 2 简化 IT! DBAs Exadata Storage Software Automatic Storage Management Data Guard Recovery Manager Linux/Solaris Clusterware Database RAC Enterprise Manager 更多 CPU 核数更多 I/O 更少 Software 更少人力更少机房占用更少复杂性 IBM/HP 服务器 + 4 存储阵列 ( 包含 Flash)

Exadata 发展多代经验累积, 最新推出 X3 2008 2009 2010 2011 2012 HP Oracle Database Machine (V1) 智能存储 Infiniband 数据仓库 Sun Oracle

Nodes (X2-2) + 64-core SMP Nodes Oracle Exadata Database Machine (X2-2 96Cores) (X2-8 160Cores) (Storage Expansion

DB Nodes (X3-2) (X2-8) + 混合列压缩 + 2 TB DRAM (X2-8) + 4 TB DRAM (X2-8) + 2 TB DRAM + 22.

7 Exadata 发展多代经验累积, 最新推出 X HP Oracle Database Machine (V1) 智能存储 Infiniband 数据仓库 Sun Oracle Database Machine (V2) Oracle Exadata Database Machine (X2-2 96Cores) (X Cores) + OLTP (Flash) + 12-core DB Nodes (X2-2) + 64-core SMP Nodes Oracle Exadata Database Machine (X2-2 96Cores) (X Cores) (Storage Expansion Rack 3TB/Disk) + 80-core SMP Nodes (X2-8) Oracle Exadata Database Machine (X Cores) (X Cores) + 16-core DB Nodes (X3-2) (X2-8) + 混合列压缩 + 2 TB DRAM (X2-8) + 4 TB DRAM (X2-8) + 2 TB DRAM TB Flash + 整合 + 硬件 DB 加密 + Solaris x86 + ASR + Reverse Offload + Data Mining Offload + Smart Flash Logging 12c + Writeback flash cache + Enterprise Manager

8 Exadata X3 体系架构数据库网格 8 x 双处理器 (16 核 ) x64 数据库服务器或 2 x 八处理器 (80 核 ) x64 数据库服务器 InfiniBand 网络 3 x 36- 接口 40Gb/s 交换机统一服务器 & 存储网络智能存储网格 14 高性能存储服务器 100 TB 高性能磁盘, 或者 504 TB 高容量磁盘 22.4 TB PCI Flash 智能存储服务器软件 Exadata 数据库云服务器是优化的高性能数据库平台利用成熟先进的软硬件技术, 并将这些技术按 DB 所需组合, 大师级优化解决传统的系统配置中的性能瓶颈为企业的各类应用提供端到端的高性能数据管理解决方案

9 Exadata 创新 #1: 智能存储现有的存储系统仅仅简单地存储和管理数据块当查询执行的时候, 需要移动大量的无用的数据块到内存, 并且使用数据库节点的 CPU 进行处理并丢弃它们 Exadata 通过把数据处理下压到存储层, 从而打破了数据库服务器和存储之间的瓶颈部分数据处理被下放到存储上进行由于降低了服务器端数据接收和处理的 CPU 消耗, 从而大大提升性能

10 Exadata 智能存储 Exadata 智能存储网格 Exadata 存储服务器在存储层分担 SQL 复杂操作字段投影谓词过滤存储索引简单连接 ( 布隆过滤 ) 增量备份过滤 I/O 优先级别管理数据解压缩数据安全 : 加密数据扫描下压数据挖掘模型加速 : 函数下压一般减少回传 DB 服务器数据量的倍

11 Table Exadata 存储索引极大降低 I/O 时间, 对用户透明, 无额外开销 A B C D Index Min B = 1 Max B =5 Min B = 3 Max B =8 Exadata 存储索引在内存中维护表数据的汇总信息存储多个列的 MIN 和 MAX 信息通常按 1 MB 磁盘数据取值如果 MIN 和 MAX 值不能匹配 where 条件, 则不做物理 IO, 极大提高有效 IO 效率完全自动和透明 Select * from Table where B<2 - 只匹配第一块数据集

Select sum (sales) where Date= 14-10 月优化器选择

12 查询加速简单示例 Oracle 数据库网格 Exadata 存储网格我昨天的销售业绩是多少? Select sum (sales) where Date= 月优化器选择 Partitions & Indexes 访问路径在 partitions / indexes 中扫描压缩数据块提取十月 14 的销售量 10 TB 扫描 1 GB 返回到服务器

13 Exadata 创新 #2: 更强大的压缩 200 CPU 1 TB 10 TB memory 10 TB 100 TB 行压缩和列压缩都存在弱点 Exadata 使用混合列压缩 EHCC 占用磁盘空间更小压缩下获得更好的性能基于压缩数据进行扫描可以在内存 (Flash) 中保留更多的数据 (200TB) 从磁盘到内存数据传递时使用更少的 IO 在查询更快的前提下节省十倍的空间

14 行压缩 vs. 列数据库 vs. 混合列压缩的行 Database Block 列数据库混合列 Compression Unit 1 Symbol Table Row 1 Row 2 Row 3 Column 2 Column 1 Column 3 Column 3 Column 2 Column 1 Compression Unit 2 C3 C2 C1 很好的随机行访问特性好的 Table Scan 2x - 5x 压缩很差的随机行访问特性非常好的 Table Scan 5x - 40x 压缩很好的随机行访问特性非常好的 Table Scan 5x - 40x 压缩

15 Exadata 混合列压缩技术数据以字段形式存储并压缩 Only on Exadata 查询模式最优的速度典型的可达到 10X 的压缩率按压缩比率改进扫描归档模式针对非频繁的数据访问减少空间典型的可达到 15X 的压缩率有些可达到 50X Up To 50X

16 Exadata HCC 混合列压缩 1000 不压缩 1000 不压缩 100 纯列模式瓶颈 500 表级压缩混合 & 纯列式 500 表级混合纯列式 50 0 混合列压缩结合了行模式和列模式的优点最优压缩比可匹敌纯列模式压缩比扫描时间卓越与数据检索量和内容有关良好的单行查询时间没有纯列式的瓶颈 0 表大小扫描时间行记录查询时间 0

Exadata 创新 #3: 智能地使用 Flash Memory Exadata 有 22.

Disk Enterprise Storage Array 智能存储软件 Smart Storage

智能闪存回写提高数据写入能力智能闪存盘 --- 可用于数据文件表空间 Exadata 闪存缓存 :

17 Exadata 创新 #3: 智能地使用 Flash Memory Exadata 有 22.4 TB 的闪存 56 块闪存 PCI 卡防止控制器瓶颈 5X More I/Os than 1000 Disk Enterprise Storage Array 智能存储软件 Smart Storage Server 智能闪存 -- 缓存热点数据, 提高读的能力智能闪存日志 --- 解决数据库日志写入智能闪存回写提高数据写入能力智能闪存盘 --- 可用于数据文件表空间 Exadata 闪存缓存 : 超过 1.5 million IO/sec from SQL (8K) Sub-millisecond 的响应时间

Exadata X3 突破传统意义的内存数据库 2 or 4 TB DRAM Hottest Data X3

容纳 4 到 40 TB 压缩用户数据 22 TB PCI FLASH 500 TB DISK Active

5 Million SQL 随机读 I/OPS 用于 OLTP 等效于 15,000 块磁盘 150

18 Exadata X3 突破传统意义的内存数据库 2 or 4 TB DRAM Hottest Data X3 超大内存交付极限性能自动将活动数据从磁盘移入内存 DRAM 内存扩展从 2TB 到 4 TB 不等, 承载热数据容纳 4 到 40 TB 压缩用户数据 22 TB PCI FLASH 500 TB DISK Active Data Flash 存储增大 4 倍达到满柜 22 TB 40 到 200 TB 压缩用户数据 1.5 Million SQL 随机读 I/OPS 用于 OLTP 等效于 15,000 块磁盘 150 阵列的传统存储架构 100 GB/sec SQL 数据扫描速率服务于报表和 DW 等效于 1,000 块磁盘 10 阵列的传统存储架构 Cold Data

19 Exadata 智能写闪存 Smart Flash Cache Write-Back 新特征 Writes I/Os 1 Million 8K Write IOPs from SQL 在 PCI flash 中不仅缓存读 I/Os 而且缓存写 I/Os 透明加速写密集型工作负载比 X3 磁盘提升 20 倍的写 IOPS 在 V2 和 X2 上开启比磁盘 IO 提升 10 倍的写 IOPS 持久化写缓存加速数据库恢复 Exadata Flash Cache 效率远高于其它闪盘架构缓存当前热数据, 而不是过往热数据缓存压缩数据, 容量高于混合分层存储 8-16 倍极大改善 flash 有效利用率

20 创新 #4: 超高速网络技术 InfiniBand 以前的数据库都是用较慢或者专用的服务器网络 Teradata Bynet 只能达到 3 Gb/sec 其他使用千兆网络 10g Ethernet InfiniBand Exadata 使用 40Gb InfiniBand 超级计算机级别的网络技术数据在服务器之间以及存储到服务器的传输速度都非常快 RDSv3 协议提升数据传输效率 Bynet

21 Exadata 集群架构的智慧组合计算与内存密集型处理 Exadata 数据库服务器集群执行复杂的数据库处理, 例如 : 连接 joins, 聚合 aggregation 等 Infiniband 超高速交换网络基于 Oracle 专利 idb, 承载存储与数据库间的数据传输, RAC 数据库实例间通信高带宽低延时数据密集型处理 Exadata 存储服务器集群存储层 share nothing 的大规模并行处理架构每个存储服务器 Cells 为多个数据库提供数据, 支持不同特征工作负载和混合负载 : OLTP 数据库整合数据仓库简单可靠自动负载平衡在线扩展

22 Exadata 专门针对 Oracle 数据库的设计和创新 168 CPU cores in storage Exadata 数据库云存储扫描, 过滤数据存储分担 SQL 工作 * Flash caches 相关读写数据 40 Gb/ 秒高速低延时网络针对 DB 负载预装调优的内置冗余保护设计内置压缩内置混合工作负载管理传统配置方式存储只负责传递数据块 DB 不敏感的普通存储没有 SQL 敏感的 flash 管理机制 8 10 Gb/ 秒以太网络客户组装的搭建自己管理的 HA 方案压缩可选混合负载管理可选 * Backups, compression, decryption, data mining Exadata 不是一个通用硬件平台, 是专门针对数据库的一体化云平台

23 Exadata 高可用性所有的组件, 都实现了高可用性的冗余设计数据库服务器采用 RAC 技术 Infiniband 交换机采用了冗余设置双网卡绑定避免单路故障包括供电电源模块等采用了双冗余利用 ASM, 避免丢失数据

24 标准化自动化, 易于部署所有的数据库一体机都是相同的开箱既用的经过测试的原厂支持的没有独特的配置问题与 Oracle 工程部内部使用的配置相同可以运行现有的 OLTP 和数据仓库应用继承了 30 多年的 Oracle 数据库能力无需对应用进行针对性的修改, 无需专门的 Exadata 认证部署只需几天, 而无需数月利用 Oracle 的环境技能知识库人员合作伙伴

25 Exadata 按需使用, 扩容升级简便可现场升级 Eighth Rack Quarter Rack 扩展到 18 机柜只需要连接光纤 Half Rack Full Rack

26 Exadata 云管理工具 :Enterprise Manager 12c 集中化管理 Exadata 的软件硬件和系统硬件视图存储 cells, 计算节点和交换机的直观装态硬件组件故障报警软件 / 系统试图性能, 可用性, 数据库使用情况, 服务, 集群软件告警数据库群集软件 ASM 数据库系统 / 集群的拓扑配置视图版本总结, 所有组件的 patch 建议

超高速并发网络层 880Gb/s/ 机架智能存储层 (Shared Nothing) 存储资源池 InfiniBand 交换网络 Exadata Cell Exadata Cell

27 Exadata 数据库云特点 1: 架构兼容性和普适性兼备 Shared Nothing Shared Disk 分片式数据库读写分离数据库架构具备良好的普适性架构 :Shared Nothing and Shared Disk 数据库服务池 A 数据库服务池 B 数据库处理层 (Shared Disk) 数据库资源池. 超高速并发网络层 880Gb/s/ 机架智能存储层 (Shared Nothing) 存储资源池 InfiniBand 交换网络 Exadata Cell Exadata Cell Exadata Cell SunFire SunFire SunFire Exadata 提供一种混合式的数据库架构, 能够有效解决两者的冲突, 吸取两种架构长处 ; 既可以满足 OLTP 的高并发高可用特点 ; 又可以满足 OLAP 的大数据量处理要求 ; 27

1 版本快 5 倍适用于 OLTP 系统的最好的数据库服务器 (Best for OLTP) 唯一基于网格技术扩展的数据库 Smart flash cache 可达到 20x(1M

28 EXADATA - 为所有的数据管理系统提供超级的性能适用于数据仓库应用的最好的数据库服务器 (Best for Data Warehousing) 基于 10x 压缩表的 Smart scan 基于内存数据的并行查询整体上比 11.1 版本快 5 倍适用于 OLTP 系统的最好的数据库服务器 (Best for OLTP) 唯一基于网格技术扩展的数据库 Smart flash cache 可达到 20x(1M IOPS) 快的 IOPS, 或者节省 20x 的磁盘对于归档数据可达到 50x 的压缩率安全, 容错适用于混合负载的最好的数据库服务器 (Best for Consolidation) 唯一的支持所有负载类型的 database machine 多个数据库, 多个应用, 多个用户环境都能提供可预测的响应时间

29 Exadata 数据库云特点 2: 服务器资源池通过动态资源池 + 动态服务, 使云平台在多租户的动态管理变成可能

30 Exadata 数据库云特点 3: 存储资源池支持集中化平台存储的线性扩展和高可用性保护

31 Exadata 数据库云特点 3: 存储资源池 Exadata 内部数据的分布, 实现存储 SAME 特性数据的分布只有在系统变更时才发生改变当新 Storage Cell 添加时均衡仍然得以保持当硬件出故障时均衡仍然得以保持单块磁盘损坏 / 单个 storage cell 损坏都能忍受缺省分配单元 AU_SIZE=4M,Strip_size=512K Storage cell1 Storage cell 2 Node 1 Node 2 Storage cell 3 Node 3 31

32 Exadata 数据库云特点 3: 存储资源池数据动态重分布, 消除 I/O 分布热点块, 使得集中化平台可不断线性扩展数据自动分布, 提供最高性能当新硬件添加时均衡仍然得以保持当旧硬件移除时均衡仍然得以保持当硬件出故障时均衡仍然得以保持 Storage cell1 Storage cell2 Storage cell 3 Storage cell 4 Add new storage cell 32

33 I/O Resource Management 计划示例 IORM allocation Database A Database B Database A Database B Intradatabase 45% 15% 40% 35% 18% 22% 10% 15% Interdatabase 30% 70% 30% 70% Categories 40% BATCH All User I/Os (100%) 60% INTERACTIVE

34 Exadata MAA 最大化可用性架构 RAC Primary Active Data Guard / GoldenGate ASM WAN RMAN / Fast Recovery Area Oracle Secure Backup Standby Dev/Test 完整的失败保障机制 Server Storage Network Site Corruptions 及时地灾难恢复 : 实时 standby 随时接受查询下沉改正人工错误 : database, table, row, transaction 在线索引和表定义在线打补丁和升级

35 Exadata 价值总结在线热插拔部件虚拟化资源池资源优先级管理零配置开箱即用构件式扩展线性系统扩展动态资源调配全双工设计完全避免单点故障倍数据压缩算法一体化云计算规划视角内置 22.5TB 闪存 Infiniband 网络适用于各种场景超级性能 Exadata 新一代绿色数据库云平台节能减排智能存储技术最佳 OLTP 性能设计最佳数据仓库性能设计低能耗绿色计算 : 一台满配 Exadata ( 包含服务器网络存储 ) 总能耗平均仅为 8.4KW, 相当于传统服务器 + 存储 + 网络能耗的 1/3, 但计算能力和占地空间却相当于传统服务器 + 存储 + 网络的 2-10 倍

36 数千家行业领先企业部署了 Exadata PB 级 DW SAP, E-business Suite, PeopleSoft, Siebel, JDE 监管报表在线金融交易电商网站整合上百的数据库

37 总结 : Exadata 数据平台的优势全面开放集成最优 #1 最全面的数据库能力基于标准架构开放的软硬件有专业的人做专业的事设计数据库与数据平台行业领导者无与伦比的性能广泛深入的技术累积与创新最低风险更多资源无缝集成 DB 投资利用率最大化更少投入更多价值健壮安全经过事实检验行业领先的一体化云方案

Extreme Performance Data Warehousing

Extreme Performance Data Warehousing 高性能数据库一体机 -- Oracle Exadata X2-2 戴飞飞甲骨文 ( 中国 ) 软件系统有限公司 Agenda 企业信息化面临的问题传统的解决方案高性能 & 高智能的理想架构 Oracle 为企业信息化提供的解决之道 Q&A 企业信息化面临的问题和关注点企业信息化面临的问题昂贵的低效的信息孤岛导致资源浪费每个系统都是最高性能配置