Exadata Technical Overview

Size: px

Start display at page:

Download "Exadata Technical Overview"

耶也丁
5 years ago
Views:

1 GoldenGate 助力企业云计算实现高可用 1

2 公有云的采用日益增多不知道 / 不确定,20.4% 2010 已经采用, 13.8% 不知道 / 不确定,12.6% 2011 已经采用, 20.9% 正在考虑采用, 11.2% 未采用, 54.6% 未采用, 52.9% 正在考虑采用, 13.6% 2011 年, 使用公有云的客户占 21%(2010 年以来增长了 50%) 信息来源 :IOUG ResearchWire 成员于 2010 年 8-9 月份和 2011 年 8-9 月份的云计算调查 2

3 私有云的采用日益增多不知道 / 不确定,8.7% 2010 已经采用, 并大规模应用于生产环境,11.3% 不知道 / 不确定,9.5% 2011 已经采用, 并大规模应用于生产环境,17.7% 已经采用, 但使用范围有限,12.8% 不会采用, 47.4% 已经采用, 目前处于试点阶段,4.5% 不会采用, 35.4% 已经采用, 但使用范围有限,12.2% 正在开展初步规划, 4.9% 已经采用, 目前处于试点阶段,7.1% 正在考虑采用,10.5% 正在考虑采用,10.6% 正在开展初步规划, 7.5% 2011 年, 拥有私有云的客户占 37%(2010 年以来增长了超过 28%) 信息来源 :IOUG ResearchWire 成员于 2010 年 8-9 月份和 2011 年 8-9 月份的云计算调查 3

4 数据集成的终极目标普遍地, 不间断地访问可靠的数据高性能低拥有成本 4

5 快速行动缔造价值掌握信息的速度越快, 成效就越令人满意业务决策逐步转变为实时决策业务事件留给捕获数据的时间越来越少需要分析的数据量越来越多 = 延迟业务价值捕获数据完成分析为实现卓越的运营, 必须立即采取行动已具备实时捕获和实时行动能力采取行动行动时间 5

6 Oracle 数据集成为企业数据集成提供全面的解决方案传统应用程序 OLTP Oracle Data Integrator Oracle GoldenGate Oracle Enterprise Data Quality 全面同类最佳的企业数据集成方法最高性能更低的总拥有成本易用可靠经认证用于领先技术, 能够快速实现价值非结构化 Oracle Data Service Integrator Oracle 客户报告 : 总拥有成本降低 80% 性能提升五倍开发成本降低 70% 现代化自定义 MDM BI 大数据同步 SOA 6

7 Oracle GoldenGate 实时数据集成 Oracle GoldenGate 提供了一个在异构环境中实时的对数据库事务低影响地捕获, 路由, 转换和发布的工具传统应用程序 OLTP Oracle GoldenGate 基于日志的更改数据捕获和交付双向复制异构源和异构目标高性能低影响的实时数据集成利用即时数据改进业务洞察持续可用性确保全天候运营非结构化可靠性和事务完整性 CEP 集成实时事件 7

8 Oracle 数据集成战略的关注重点五项数据集成新要求任何数据任何源内部部署使用云平台零停机最高性能实时数据质量 8

9 任何源任何目标源系统和目标系统示例列表 IBM DB2 UDB IBM DB2 z 系列 IBM DB2 i 系列 Enscribe SQL/MP SQL/MX MySQL Sybase ASE Informix JMS Teradata Netezza Hadoop Sybase IQ Oracle 数据库 Oracle Exadata Microsoft Access Oracle BI EE TimesTen Oracle 大数据机 Oracle BI 管理软件 Oracle GoldenGate 11g 第 2 版新增对以下 PostgreSQL Enterprise Data Quality Linux 系统的支持 Greenplum Oracle E-Business Suite Sun Solaris IBM i 系列 HP Neoview JD Edwards Enterprise One Windows 2000 Postgres 2003 XP SAS Oracle Enterprise Service Bus MySQL v 5.5 HP NonStop SalesForce Oracle Hyperion IBM AIX v7.1 HP-UX SAP ERP 与 BW Oracle OLAP Sun Solaris v11 IBM AIX Generic SQL Oracle PeopleSoft zlinux Hypersonic SQL Microsoft SQL Oracle Siebel CRM Oracle Communications BRM 9

10 适用于私有云的 Oracle 数据集成云支持零停机的无缝迁移持续的可用性通过 Oracle Exadata 认证数据层集成适用于 SOA/BPM 的数据服务实时应用程序数据同步 10

11 Oracle 持续可用性战略零停机最高性能同时减少计划停机时间与意外停机时间 Oracle GoldenGate 实时复制支持主动 - 主动实施进行无距离限制的双向复制支持异构数据库和操作系统 OLTP OLAP 传统 11

逻辑损坏的细粒度修复事务表数据库数据库故障系统故障站点故障零数据损失自动的数据库故障切换写入丢失保护数据库滚动升级

12 当前无法显示此图像最大限度提高可用性的五个步骤 Oracle GoldenGate Active Data Guard 零停机升级和迁移 ASM RMAN OSB 存储故障 Oracle RAC 实例故障服务器故障 RAC 滚动维护性能横向扩展整合闪回持续时间点恢复逻辑损坏的细粒度修复事务表数据库数据库故障系统故障站点故障零数据损失自动的数据库故障切换写入丢失保护数据库滚动升级分流只读负载和备份部分迁移联机平台和应用程序升级双向和多主复制分发只读和读写负载取代物理复制的站点保护替代方法灵活的计划维护和异构迁移数据恢复备份 12

13 平衡配置最薄弱的地方可能决定了整个系统的性能! 13

14 Exadata 数据库云服务器运行 Oracle 数据库的最佳平台最佳的数据仓库一体机最佳的 OLTP 一体机最佳的数据库整合一体机通过数据仓储的分析和并行度实现 OLTP 通过 OLTP 的交互性可用性和安全性实现数据仓储 14

Exadata 的发展历程 X3-2 8-core Servers X3-8 80-core Servers Exadata V1 Introduced

Cards Storage Expansion Rack X2-8 CPU Refresh 2TB DRAM per node X2-2 Servers

SuperCluster 3TB Disks Enterprise Manager 12c Database to Disk Management

Hardware DB Encryption Automatic Service Request Smart Flash Cache Data Mining

15 Exadata 的发展历程 X3-2 8-core Servers X core Servers Exadata V1 Introduced State-of-the-Art, Scale-out Hardware V2 Servers 40 Gb InfiniBand PCI Flash Cards Storage Expansion Rack X2-8 CPU Refresh 2TB DRAM per node X2-2 Servers X core Servers Solaris x86 Reverse Offload Smart Flash Logging Sparc SuperCluster 3TB Disks Enterprise Manager 12c Database to Disk Management Write-back Flash cache Database In-Memory Smart Scan InfiniBand Scaleout Hardware DB Encryption Automatic Service Request Smart Flash Cache Data Mining Offload Storage Index Columnar Compression Database On Disk 独特的软件集成 15

16 在各行业领先的企业中已经部署了近万台半数是数据仓库类应用, 半数是 OLTP 或混合负载应 PB 级容量的数据仓库套装软件 :SAP, E-business Suite, PeopleSoft, Siebel, JDE 兼管报告类应用在线金融交易应用电子商务网站从其他平台整合上百个数据库 16

17 标准化, 易于部署, 易于使用, 统一维护全面开放的技术单一厂家解决所有问题所有的数据库一体机都是相同的开箱既用的没有独特的配置问题经过测试的与 Oracle 工程部使用的配置相同支持优异的从应用到磁盘的管理和监控可以运行现有的 OLTP 和数据仓库应用继承了 30 多年的 Oracle 数据库能力无需对应用进行针对性的修改, 无需专门的 Exadata 认证部署只需几天, 而无需数月利用 Oracle 的环境技能知识库人员合作伙伴 17

18 Exadata 硬件高冗余设计无单点故障在机架层面有两个冗余的电源分配单元每一个数据库服务器, 存储服务器,infiniband 交换机都有热插拔的电源热插拔的磁盘, 风扇 RAC 提供数据库节点失效保护 ASM 提供存储服务器失效保护 Infiniband 网络高度冗余单个交换机或某个连接中断, 不影响吸能 18

19 灵活地选择起步模式, 易于扩展 Eighth Rack Quarter Rack Multi-Full Rack Full Rack Half Rack 扩展到 8 个机架以上, 只需要增加额外的 Infiniband 交换机 19

20 Exadata 提供数据库整合解决方案整合是减少成本的关键管理, 硬件, 软件, 数据中心大内存高容量可以整合更多数据库多个小数据库可以运行在一个节点大数据库可以通过 RAC 扩展节点 Exadata 提供数据库云服务减少数据中心成本, 增加系统利用率并促进应用整合 Exadata 提供极限性能给复杂的混合负载 OLTP 和 DW 复杂的 OLTP: SAP ERP, SAP CRM etc. Transactions, batch, reporting, documents 复杂的数据仓库 : SAP BW 多个数据库运行不同的应用 Instance caging 提供可预测的 CPU 资源使用当多个数据库运行在同一个节点 20

21 Exadata 的特性是如何提升性能的 Smart Flash Cache 通过闪存提供物理 IO Smart Flash Log 通过闪存降低 IO 延迟 Smart Scan 将部分查询卸载到存储去执行混合列压缩 (HCC) 使压缩数据减少数据块数量 IO 资源管理器 (IORM) 基于数据库或者数据库内的工作负载提供不同优先级的 IO 处理 + 21

random I/O up to 30x Triples data scan rate Data remains compressed for scans and in

22 创新 Exadata 智能存储服务器软件智能存储 Scale-out InfiniBand storage Smart Scan query offload 混合列压缩 10x compression for warehouses 15x compression for archives 智能闪存 Accelerates random I/O up to 30x Triples data scan rate Data remains compressed for scans and in Flash uncompressed compress primary DB Benefits Cascade to Copies standby test dev backup 22

23 Exadata 智能存储网格数据密集型操作运行在 Exadata 存储网格上条件过滤列选择 (168 核 ) 示例 : 上季度产品 X 的销售量 Exadata 存储从磁盘读取 10TB 的数据 Exadata 存储按照时间和产品过滤记录返回数据库服务器的是 1GB 匹配的数据可伸缩的存储并行处理能力, 消除了瓶颈 23

24 简单查询示例 Exadata 存储网格昨天的销售额是多少? Oracle 数据库网格优化器根据分区和索引访问适当的数据 Exadata Storage Grid Select sum (sales) where Date= 24-Sept 在分区和索引中扫描压缩的数据块扫描了 10TB 数据, 返回给数据库服务器 1GB 获取 9 月 24 日的销售额的所有记录 24

25 Exadata 智能存储 Exadata Intelligent Storage Grid Exadata 存储服务器还运行下述操作表连接过滤增量备份过滤 I/O 优先排序存储索引数据库级别安全扫描加密数据数据挖掘模型打分从存储传送到数据库服务器的数据通常能减少 10 倍 25

26 Exadata 是智能存储计算和内存密集型处理 Exadata 数据库服务器处理复杂的数据库进程如连接汇总等数据密集型处理 Exadata 智能存储服务器搜索表和索引过滤出数据与查询无关存储单元可以为多个数据库提供数据, 满足了 OLTP 和大集中的需要简单强壮的存储设备 26

27 Exadata 存储索引透明的 I/O 操作, 没有额外开销 Table A B C D Index Min B = 1 Max B =5 Min B = 3 Max B =8 Exadata 存储索引在内存中维护表数据的汇总信息存储列的最小值和最大值典型的是每 MB 磁盘一个索引如果 where 语句中的条件无法与最大值最小值匹配, 就不会有磁盘 I/O 操作完全的自动化和透明化 Select * from Table where B<2 - Only first set of rows can match 27

28 Exadata 混合列压缩更高的容量, 更低的费用数据按列组织和压缩动态的更好的压缩 Query 更快更简单 Backup, DR, Caching, Reorg, Clone 为数据仓库加速优化的查询方式 (Query Mode) 通常是 10 倍的压缩由于 Exadata 的处理卸载到存储, 操作更快为非经常访问数据优化空间的归档方式 (Archival Mode) 通常是 15 倍到 50 倍的压缩多方面的好处 28

29 Exadata 智能闪存 Exadata 有 22.4 TB 的闪存 56 块闪存 PCI 卡防止控制器瓶颈智能地管理闪存智能闪存缓存热点数据提供闪存的速度, 磁盘的花费 5X More I/Os than 1000 Disk Enterprise Storage Array Exadata 闪存缓存 : 超过 1.5 million IO/sec from SQL (8K) Sub-millisecond 的响应时间 29

30 Exadata 智能闪存回写 New Writes I/Os 1 Million 8K Write IOPs from SQL 不仅缓存读 I/O, 同时缓存写 I/O 透明加速写密集型负载 20X more write IOPS than disk on V1 10X more write IOPs than disk on V2 and X2 持久的写缓存加速数据库恢复 Exadata 智能闪存比其它厂商使用的闪存层架构更有效缓存当前热数据, 而不是昨天的缓存数据的粒度比闪存层小 8 到 16 倍显著地提高了闪存的有效性 30

31 Exadata In-Memory Database 磁盘闪存内存的完美结合 Technology Units Size Throughput Disks TB 25 GB/sec Flash 56 PCI Cards 22.4 TB 75 GB/sec DRAM 256 DIMM 4 TB 200 GB/sec Cost of Disk IOs of Flash Speed of DRAM 完美的配比所有数据存储于磁盘温数据缓存于闪存热数据缓存于内存对所有层的资源使用, 对应用透明最佳的性能和成本 31

32 Exadata I/O 资源管理多个共享存储环境数据库之间和同一数据库内部 Database A Database B 确保共享 Exadata 存储池的多个不同的数据库, 能够分配相对合理的 I/O 带宽数据库 A: 33% I/O 资源数据库 B: 67% I/O 资源 Exadata Cell InfiniBand Switch/Network Exadata Cell Exadata Cell 确保在同一个数据库内部, 不同的用户和任务能够分配相对合理的 I/O 带宽数据库 A: 报表 : 60% 的 I/O 资源 ETL: 40% 的 I/O 资源数据库 B: 交互应用 : 30% 的 I/O 资源批处理 : 70% 的 I/O 资源 32

Exadata 最大可用性架构 Real Applicatio n Clusters ASM Primary WAN Active Data

Standby Dev/Test Comprehensive protection from failures Server Storage

open for query offload Correction from human errors: database, table,

33 Exadata 最大可用性架构 Real Applicatio n Clusters ASM Primary WAN Active Data Guard / GoldenGate RMAN / Fast Recovery Area Oracle Secure Backup Standby Dev/Test Comprehensive protection from failures Server Storage Network Site Corruptions Active Disaster Recovery: Real-time standby open for query offload Correction from human errors: database, table, row, transaction Online indexing and table redefinition Online patching and upgrades 33

34 适用于 Exadata 的数据集成解决方案用例数据仓库批量加载实时数据仓库更新数据集成数据仓库应用迁移最大可用性针对 Exadata 优化的最快的 E-LT 处理平台整合的监控和管理高速的数据捕获和流传输从批处理操作到实时更新零宕机升级双活数据中心支持非 Oracle 数据库的原生连接基于工具的高效解决方案保护您的 Exadata 投资系统减负和灾备平台 34

35 实时数据更新让数据以任意延迟进入 Exadata 快速 GoldenGate 解决方案任何数据任何时间在合适的时间! OGG 和 ODI 用于将数据交付给 Exadata OGG OGG 适用于真正的实时,ODI 用于所有当日或日常延迟支持大多数流行的 DBMS DB 触发器 ODI 优势 OGG 是非侵入性的源端没有负载! ODI 工具能够建立采用任意延迟的数据交付模型使用 GoldenGate 触发器或增量 ETL 作业 ETL 增量降低成本, 在合适的时间按既定的速度交付数据 35

之间执行双向事务复制业务报表的数据整合 GoldenGate (DB v8, DBv9, DBv10) 优势

36 零停机数据库整合将原有数据库整合进 Exadata 时无需停机解决方案在不停机的情况下将内部数据无缝迁移到私有云数据库 GoldenGate 利用 GoldenGate 在旧数据库与 Exadata( 或 Oracle 数据库机 ) 之间执行双向事务复制业务报表的数据整合 GoldenGate (DB v8, DBv9, DBv10) 优势关键数据库和应用程序实现零停机通过分阶段的滚动升级实现风险最小化 GoldenGate 更快地完成整合, 从而更快地实现投资回报其他数据库 (Sybase, MSSQL) 36

云支持 : 迁移到 Oracle Exadata 使用原生工具从非 Oracle

37 云支持 : 迁移到 Oracle Exadata 使用原生工具从非 Oracle 数据库迁移至 Exadata 解决方案使用 ODI 对非 Exadata 的源进行建模并将其映射到 Exadata 数据模型中原生支持 Netezza Teradata DB2/Z SQL 和 DB 实用程序使用 GoldenGate 实时从 Teradata 或 DB2 zseries 中抽取数据优势基于工具的迁移具有更高的可重复性和自动化能力双活升级迁移方案更易维护的解决方案 37

ion ASM 内存中分析软件非结构化数据 Big Data Appliance OBDA 弹性云硬件基础 ExaData 存储管理软件 ExaData 弹性云硬件基础

38 Oracle 大数据整体解决方案 OEM 云管理 (GC & OPS ) Hadoop Distribution, NoSQL DB ODI, Oracle Loader for Hadoop 数据库云服务优化的 Oracle 商业智能基础套件 JRockit Oracle Linux ExaData 存储管理软件 DB,RAC,Partit ion ASM 内存中分析软件非结构化数据 Big Data Appliance OBDA 弹性云硬件基础 ExaData 存储管理软件 ExaData 弹性云硬件基础 In-Memory Analytics 硬件基础 Golden Gate, 结构化数据 ODI Oracle Exadata Exalytics 数据获取数据组织与管理分析加速 38

39 客户案例 :Fedex 使用 GoldenGate 将数据库整合到 Oracle RAC 零停机运营使用 Oracle GoldenGate, 在不中断业务运营的前提下将 OLTP 数据库负载迁移到在 Red Hat Linux V5.4 上运行的 Oracle RAC 将位于 5 个数据中心的 480 个数据库迁移到此架构中维护和升级操作几乎没有停机 39

40 客户案例 :E-Dialog 在 Exadata 迁移过程中保持业务连续性零停机迁移利用 GoldenGate 执行阶段式迁移, 从原有异构系统迁移超过 12 TB 的数据, 从而支持 SaaS 集成化营销服务获得分阶段完成迁移的能力, 使 e-dialog 随着时间的推移测试新的环境在大规模迁移过程中缩短停机时间 40

41 Oracle GoldenGate Valetta 银行持续的可用性保证每日成千上万的客户交易处理过程的持续可用性保证电子商务风险管理投资支付中心操作和商业智能平台的 24/7 全天候可用性实现 99% 以上的服务可用性 41

42 客户案例 : 深圳航空在 Exadata 迁移过程中保持业务连续性深圳航空介绍深圳航空有限责任公司于 1992 年 11 月成立股东为中国国航全程物流等, 主要经营航空客货邮运输业务截止 2010 年 7 月, 深航及其控股的河南航空昆明航空翡翠货运等 4 家航空公司共拥有各类型干线客货机逾百架, 经营国内国际航线 160 多条 42

深圳航空信息架构挑战编号系统名称整合前数据库服务器型号架构存储 1 飞行管理 HP DL380 G7 单机本地硬盘 2 指纹签到 DELL R710 单机本地硬盘 3 规划集市 DELL R910 单机本地硬盘 4 飞行计划单机本地硬盘 5 常旅客 DELL R900 主备存储阵列 6

43 深圳航空信息架构挑战编号系统名称整合前数据库服务器型号架构存储 1 飞行管理 HP DL380 G7 单机本地硬盘 2 指纹签到 DELL R710 单机本地硬盘 3 规划集市 DELL R910 单机本地硬盘 4 飞行计划单机本地硬盘 5 常旅客 DELL R900 主备存储阵列 6 服务质量虚拟机单机本地硬盘 7 风险评估 DELL R910 单机本地硬盘 8 航空公司管理 FOC 4 台 IBM P570 集群存储阵列烟囱式架构, 针对峰值设计, 资源利用率较低业务增长很快, 系统调整扩展麻烦不能满足业务系统 7X24 高可用性要求系统越来越多, 管理效率较低运营成本高 43

44 构建建私有云, 使用 Exadata 构建数据库云平台 (DBaaS) 自服务 APIs APIs 与外部计费系统集成计费 & 服务整合自服务 & 服务供应软件库应用组装策略管理 (SLA 管理 ) 监视供应配置管理 Cloud 管理层 Cloud 实现层数据库资源池 DBaaS 中间件资源池服务器资源池 PaaS IaaS 44

45 深航 FOC 数据库迁移实施 1. 调整数据库部署把原分布在两台 Exadata 上的业务数据库全部重新整合到一台 Exadata 上 ; FOC 作为核心业务, 独占一台 Exadata 资源 2. 部署 Active Dataguard 在两台 Exadata 上配置 Active Dataguard, 一台 Exadatakw 只运行 FOC 数据库, 另一台 Exadata 既运行业务, 同时也作为 FOC 系统的容灾端 3. 部署 Goldengate 在原 FOC 数据库和新 FOC 数据库间配置 Goldengate 抽取进程 FOC 数据库初始化到 Exadata 后, Goldengate 实时复制增量数据 4. 正式迁移切割数据迁移切割过程 : 停止业务停止原生产库 Goldengate 同步增量数据启用新生产库启动 Goldengate 反向数据复制链路恢复业务正式迁移切割过程在 2 小时内完成 45 foc 数据库容灾

46 深航 Exadata 数据库云平台实现数据库整合, 提高了资源利用率负载应用程序 A 应用程序 B 应用程序 C 应用程序 D 应用程序 E 整合前, 硬件系统基于峰值设计, 各业务系统数据库服务器资源利用率不高服务器 A 服务器 B 服务器 C 服务器 D 服务器 E 平均利用率低, 基于峰值设计整合后,Exadata 数据库云平台运行平稳,CPU 使用率在 10% 以内, 还可以承受更多的业务负载利用 Exadata 实现数据库整合 Oracle 共享集群 Oracle 共享集群提高了资源利用率应用程序 A B C 应用程序 D E 净负载平均 CPU 利用率 <10% 服务器 A 服务器 E 释放的服务器可被部署到其他地方 46

3 235 5um9uh8nxb12w 535.67 1.96 272 dh8vfqbu5360b 1010.33 2.67 377 9zv24rzptg173 963.43 2.

47 深航 Exadata 数据库云平台提升 SQL 执行效率 Oracle Exadata Oracle Database 数据传送量小 3 计算数据的筛选和排序是在存储端完成的, 因此从存储到服务器的数据传送量小, 数据库服务器负载低 SQL Id 风险评估系统 TOP SQL 原系统 (s) Exadata (s) 提升 ( 倍数 ) 2k5bt3q2n087t cd9cgs136t ddv85gffp9s um9uh8nxb12w dh8vfqbu5360b zv24rzptg 倍 2 数据筛选, 排序 1 数据抽取 1000 IO 吞吐量 (GB) 只从存储服务器中读取需要的和有价值的数据传送到数据库服务器 Smart Scan 智能扫描处理是自动和透明的, 无需更改应用程序 Smart Scan TOTAL 95% 以上 IO 负载下放到存储执行 47

48 48 深航 Exadata 数据库云平台收益业务数据库敏捷部署提升业务系统可靠性提升业务系统性能提升资源利用率降低运营成本应用程序应用程序应用程序应用程序应用程序应用程序应用程序应用程序应用程序应用程序

49 49

50 50

Future Strategy, Direction, and Roadmap of Oracle’s Data Integration Platform

Future Strategy, Direction, and Roadmap of Oracle’s Data Integration Platform 1 Oracle 数据集成平台的未来战略方向和路线图 2 以下内容旨在概述产品的总体发展方向该内容仅供参考, 不可纳入任何合同本演示不承诺提供任何材料代码或功能, 也不应将其作为购买决策的依据 Oracle 有权自行决定任何产品的特性或功能的开发发布和时间安排 3 快速行动缔造价值掌握信息的速度越快, 成效就越令人满意业务决策逐步转变为实时决策业务事件留给捕获数据的时间越来越少业务价值