Extreme Performance Data Warehousing

Size: px

Start display at page:

Download "Extreme Performance Data Warehousing"

汾赵
5 years ago
Views:

1 <Insert Picture Here> 高性能数据库云服务器 -- Oracle Exadata X2 陈东辉甲骨文 ( 中国 ) 软件系统有限公司

2 Agenda 企业信息化面临的问题传统的解决方案高性能 & 高智能的理想架构 Oracle 为企业信息化提供的解决之道 Q&A

3 企业信息化面临的问题

4 企业信息化面临的问题昂贵的低效的信息孤岛导致资源浪费每个系统都是最高性能配置性能仍然不能满足要求很难进行扩展数据平台不能统一

5 传统的解决方案

6 FREE IBM Server & OS Infrastructure 传统 SMP 架构组成 EMC Storage RAC DB1 硬件架构 CPU Memory Disk Array RAC DB2 SAP 软件架构 OS Database (DW OLTP) Application

7 传统竖井式数据中心硬件架构如何优化配置资源? --- 安装配置 --- 维护管理 --- 性能优化 --- 监控管理 --- 服务器扩展

8 混合系统如何优化分配资源? 软件架构 - Application 系统 ERP CRM HR Warehouse Data Mart 系统之间资源不能充分利用单一硬件成本在不断增长系统的响应时间性能在下降异构系统之间的数据访问压力在增加

9 高智能 & 高性能的理想架构

10 构建高性能 IT 基础平台的理想架构低成本高性能保障系统中没有单点故障 (SPOF-Single Point of Failure), 支持业务连续性在系统中消除性能瓶颈 (Performance Bottle-Neck), 构建一个平衡的系统能有效地进行系统的扩展, 满足不断增长的数据和用户需求智能管理, 提高整体的业务性能和业务管理统一数据, 更实时有效地整合数据资源

11 Oracle 为企业信息化提供的解决之道

Exadata 硬件架构数据库网格 2~8 台两处理器的高性能企业服务器, 最大 96 cores,768gb 内存或 2 台八处理器的高性能企业服务器,128 cores,2tb 内存 InfiniBand 网络交换机 40Gb/s 容错交换网络智能存储网格 3~14 台高性能智能存储服务器, 每台存储服务器拥有 12 核 CPU,72G

13 Exadata 硬件架构数据库网格 2~8 台两处理器的高性能企业服务器, 最大 96 cores,768gb 内存或 2 台八处理器的高性能企业服务器,128 cores,2tb 内存 InfiniBand 网络交换机 40Gb/s 容错交换网络智能存储网格 3~14 台高性能智能存储服务器, 每台存储服务器拥有 12 核 CPU,72G 内存 21~100TB 高性能磁盘或 72~336TB 高容量磁盘 1~5 TB 智能闪存卡存储端执行查询过滤预装软件 Oracle Database Enterprise 11gR2 Oracle RAC Option Oracle Partitioning Option Oracle Exadata Storage Server Software

14 Exadata 数据处理架构的革命传统架构 Exadata 架构更多的通道更宽的通道传统 4-8 Gb/S Exadata: 40Gb/S 更少的数据传输

15 Oracle Exadata 数据库云服务器 : 数据库云的最佳平台信贷 ODS 核心 ERP 报表风险软硬件互为优化, 提供极限性能提供更宽更多的 IO 通道, 成千倍减少 IO 传输量 1,500,000 次的 IOPS, 每秒 75GB 的 IO 吞吐量数据加载 12TB/ 小时 OLTP OLAP 混合负载基于任务的系统资源管理统一智能管理, 运维简单 QOS SLA 绿色数据中心电耗散热承重低

Exadata 与传统数据库方案重量耗电量对比 2000 1500 1000 500 重量对比 (kg) 1667.2 降低 75% 409.

16 Exadata 与传统数据库方案重量耗电量对比重量对比 (kg) 降低 75% 同配置传统数据中心方案 1/4 机架 Exadata Exadata 重量约占传统两节点 (P570) 数据库方案的 25% Exadata 耗电量比传统数据库方案降低了 76%-78% 注 : 以两台 IBM p570,ds8100 存储为例

17 为什么快? -- Exadata 革命性的设计 Exadata DB Servers 请求 InfiniBand Exadata Storage 高性能理由 1 Smart Scan : 计算负载部分卸载至并行智能存储层, 并只传输经筛选的有用数据高性能理由 2 综合列压缩 (EHCC) : 技术获得 10x-50x 超高压缩比, 并提高磁盘 I/O 效率高性能理由 3 Smart Flash Cache : 高达 5.3TB 的 Flash Cache, 随机 I/O 性能高达 1M IOPS 高性能理由 4 Infiniband : 提供 40Gb/s 端口带宽, 聚合带宽高达 880Gb/s, 端口延时 (0.1um ) 小于以太网的 1/1000 Smart Scan EHCC Smart Flash Cache 等是 Oracle Exadata 独有的关键性能突破技术

Storage Server IO-bandwidth 密集型搜索在存储服务器上执行 Exadata Smart Scans and Exadata

18 智能存储层 (Disk Array) Exadata Smart Scan 处理技术 Compute Intensive Processing Database Server 计算和内存密集型的数据处理在数据库服务器执行完全并行和聚集 Bandwidth Intensive Searches Exadata Storage Server IO-bandwidth 密集型搜索在存储服务器上执行 Exadata Smart Scans and Exadata Storage Indexes 可以直接在存储层过滤数据数据库服务器和 Exadata 存储互相协调执行 SQL Exadata cell 是智能存储, 不是一个完整的数据库节点

19 比较传统扫描处理技术 SELECT customer_id FROM calls WHERE amount > 200; DB 主机确定表的存储分区发起 I/Os 请求返回数据行 DB 主机筛选 1 TB 数据, 得到 1000 行客户要求的数据, 计算并返回给客户端 I/Os 执行 : 返回 1 TB 数据基于传统存储技术, 全部的数据库智能存在于数据库主机来源于存储的数据大部分被数据库主机所丢弃大量的废弃数据占用宝贵的数据库主机 ( 内存 CPU) 和 IO 资源, 严重影响其它任务执行, 导致处理缓慢

20 比较 Exadata 的智能扫描技术 SELECT customer_id FROM calls where amount > 200; 构造 Smart Scan 并发送到存储单元 Smart Scan 在 TB 的表中识别出符合查询需求的行和字段返回数据行汇聚各存储单元的返回结果到结果集返回 2MB 数据到数据库服务器仅查询相关的字段 customer_id 和符合条件的行 where amount>200 被返回给数据库服务器通过把扫描处理从数据库中剥离, 减少了数据库服务器的 CPU 负担, 同时极大降低了无效的信息传输仅仅传输需要的有价值的信息

21 Exadata 组件内部互联技术 Infiniband MB/sec Gigabit Ethernet 单路连接的数据吞吐量 4Gb Fibre 40Gb Infiniband 并通过交换网格的并行化连接, 提供与存储容量等比增加的带宽 ( 通用技术的高明应用 )

22 智能存储层 (Disk Array) Exadata Hybrid Columnar 压缩技术数据以字段形式存储并压缩查询模式针对 data warehousing 最优的速度典型的可达到 10X 的压缩率按压缩比率改进扫描 Archival Mode 针对频繁的数据访问减少空间典型的可达到 15X 的压缩率有些可达到 50X Up To 50X

23 行压缩 vs 列数据库 vs 混合列压缩的行列数据库混合列 Database Block Symbol Table Row 1 Column 2 Column 1 Column 3 Compression Unit 1 Column 3 Column 2 Column 1 Row 2 Row 3 Compression Unit 2 C3 C2 C1 很好的随机行访问特性 OK 表访问 2x - 5x 压缩很差的随机行访问特性非常好的 Table Scan 5x - 40x 压缩很好的随机行访问特性非常好的 Table Scan 5x - 40x 压缩

智能闪存卡突破传统磁盘随机 I/O 的瓶颈 Exadata Flash Cache

cards 而不是 flash disk, 避免磁盘控制器的限制 Exadata

24 智能闪存卡突破传统磁盘随机 I/O 的瓶颈 Exadata Flash Cache 处理技术每秒 300 次 I/O 磁盘驱动器拥有大量数据但是只有 300 IO/s Flash 技术存放较少的数据但是可以运行上万 IO/s 每秒上万次 I/O 理想方案在磁盘上存储最大量的数据, 减少成本透明地将热数据迁移到 flash 采用 flash cards 而不是 flash disk, 避免磁盘控制器的限制 Exadata storage 中的 flash card 高宽带, 低延迟 Oracle 是第一个闪存优化的数据库

25 Exadata X2 智能存储带来性能增倍 10 TB 的用户数据需要 10 TB 的 IO 1 TB ( 压缩 ) 100 GB ( 分区修剪 ) 20 GB ( 存储索引 ) 内存或闪存上的 5 GB 智能扫描在 Database Machine 上实现亚秒级数据减少 10 倍, 扫描加快 2000 倍

26 Exadata X2 安装部署完整的, 预配置的, 严格测试的超级性能系统数据库服务器 Exadata 存储服务器 InfiniBand 交换机 Ethernet 交换机出厂完成线缆连接 Keyboard, Video, Mouse (KVM) hardware Power Distribution Units (PDUs) 随付即用插电联网启动数据库

27 从小配置开始, 逐步扩展现场不停机在线升级, 满足企业长远发展需求扩展性单个机器可以扩展至 8 RACK 更多的扩展通过 InfiniBand switches 实现可以扩展成千上万个存储服务器 Multi-petabyte databases 1 /4 机架配置 1 /2 机架配置满配多机水平扩展, 只需增加电缆

Exadata X2 性能 60 Query Throughput Query Throughput with Flash 50 50

数据在存储层处理更高的压缩率 (10x) Smart Flash Cache Faster Interconnect (40Gb/sec)

28 Exadata X2 性能 60 Query Throughput Query Throughput with Flash 为什么 Oracle 更快? 数据在存储层处理更高的压缩率 (10x) Smart Flash Cache Faster Interconnect (40Gb/sec) 更多的磁盘更快的磁盘 (15K RPM) 0 HITACHI USP V TERADATA 2550 NETEZZA TwinFin 12 SUN ORACLE Database Machine 28

Exadata 中国区用户 POC 测试结果序号行业及项目配置测试结果测试日期 1 Telco: 经营分析 V2, ¼ Rack 168 倍 2010.11.26 28 2 Telco: 财务系统 V2, ¼ Rack 20 倍 7 天, 2010 3 Telco: 经营分析 V2, ½ Rack 235 倍 2010.9.

29 Exadata 中国区用户 POC 测试结果序号行业及项目配置测试结果测试日期 1 Telco: 经营分析 V2, ¼ Rack 168 倍 Telco: 财务系统 V2, ¼ Rack 20 倍 7 天, Telco: 经营分析 V2, ½ Rack 235 倍保险 : 数据仓库 V2, ¼ Rack 25 倍 21 天, MRD: ETC (DW) V2, ¼ Rack 300 倍 14 天, MRD: ODS/DW V2, ¼ Rack 62 倍 14 天, DATES & DW V2, ¼ Rack 倍 MRD: 集运运输 (OLTP) V2, ¼ Rack 10 倍电力 : 低压集超 (DW) V1 10 倍 7 天, * 测试结果为 Exadata 相当于用户原有环境或第三方对比测试方案的性能提升倍数

30 Exadata X2 更节省成本与传统 SMP 对比项目 Exadata V2 传统 SMP 系统体系结构云架构 ( 基于廉价 PC) 传统 SMP 结构初始投资可以少量节点, 投资少大架子, 少内涵, 投资高扩容投资按需扩容, 以 PC 节点为单位, 廉价按专用的 CPU 板 IO 板扩容, 困难, 昂贵管理 PC 级的管理, 高度一致众多的 SMP 型号, 不一致资源共享方式智能存储云化服务器池的方式, 资源动态调度大量的 CPU 在存储层, 提供计算能力如 EHCC, 存储索引可提高效率 10 倍机房空间 2 架 4+8 架总体成本 <50% 1 有限程度共享, 不同系统难以共存非智能存储, 智能垂直切割共享

31 Exadata X2 总结提供全面解决方案的高性能一体机适用于数据仓库应用的最好的数据库服务器 (Best for Data Warehousing) 基于 10x 压缩表的 Smart scan 基于内存数据的并行查询整体上比 11.1 版本快 5 倍适用于 OLTP 系统的最好的数据库服务器 (Best for OLTP) 唯一基于网格技术扩展的数据库 Smart flash cache 可达到 20x 快的 IOPS, 或者节省 20x 的磁盘对于归档数据可达到 50x 的压缩率安全, 容错适用于混合负载的最好的数据库服务器 (Best for Consolidation) 唯一的支持所有负载类型的 database machine 多个数据库, 多个应用, 多个用户环境都能提供可预测的响应时间 31

32 Exadata X2 成功案例

33 我们的客户说 AXIATA BANGLADESH (APAC) 孟加拉国亚通, 孟加拉国第三大电信营运商, 数据装载快了 30 倍 ( 从 1 小时减少到 6 分钟 ), 查询快了 10 倍针对于活跃和归档数据有 2 到 10 倍的压缩比, 同时无任何性能损失 ; 从而有能力扩展了在线数据时间窗口 SOFTBANK (JAPAN) 日本电信运营商, 替代原有 36 台 Teradata, 占地面积从 36Racks 减到 3Racks, 查询速度提升 2~8 倍 TURKCELL (EMEA) 土耳其电信运营商数据压缩 10 倍 (250TB->25TB), 查询速度提升 10 倍 ~400 倍 (50K 报表 / 月 ), 数据翻倍每年,1.5Billion CDR per day 减少 DC 占地面积 \ 电力制冷 11 倍 (11 racks => 1 rack) LINKSHARE (NORTH AMERICA) 北美最大的联属营销平台提升查询速度 8 倍, 服务器和存储为原来的 1/8, 减少运维 OPEX3.5x 减少 DC 占地面积 \ 电力 4 倍 COMMONWEALTH BANK OF AUSTRALIA (APAC) 澳大利亚联邦银行超过 250+ 独立运行的数据库整合到 Exadata 3 个数据库中部署实施时间提升 30 倍 (4 月 ->4 天 ); 提供 - 数据库即服务云

34 问答

35 35

36 36

Extreme Performance Data Warehousing

Extreme Performance Data Warehousing 高性能数据库一体机 -- Oracle Exadata X2-2 戴飞飞甲骨文 ( 中国 ) 软件系统有限公司 Agenda 企业信息化面临的问题传统的解决方案高性能 & 高智能的理想架构 Oracle 为企业信息化提供的解决之道 Q&A 企业信息化面临的问题和关注点企业信息化面临的问题昂贵的低效的信息孤岛导致资源浪费每个系统都是最高性能配置