< 在此处插入图片 > 使用 Oracle 11g 数据库和数据仓库技术构建企业新一代数据服务平台
当前世界的数据增长量 390 30 47 80 40 GB/ 秒新建数据 EB 当前已经存储 %/ 年平均新增数据 % 需要永久归档保存 EB 一年需要管理
当前数据仓库应用所面临的挑战 每 18 个月 CPU 的速度将翻倍 1000 最大数据仓库的大小 TB 级的数据 800 600 400 实际 计划 200 1998 2000 2002 2004 2006 2008 2010 2012 然而, 磁盘速度滞后 2006,2007 Winter Corporation Waltham MA 保留所有权利
Oracle 帮助用户达成目标 易管理 低成本 高性能 数据管理目标
Oracle Database 30 年持续的创新 Oracle 2 Oracle 5 Oracle 6 Oracle 7 Oracle 8 Oracle 8i Data Warehousing Optimizations Parallel Operations Distributed SQL & Transaction Support Cluster and MPP Support Multi-version Read Consistency Client/Server Support Platform Portability Commercial SQL Implementation XML Database Oracle Data Guard Real Application Clusters Flashback Query Virtual Private Database Built in Java VM Partitioning Support Built in Messaging Object Relational Support Multimedia Support Database Vault Grid Computing In-Memory Database Cache Automatic Storage Mgmt Self Managing Database Oracle 9i Oracle 10g
Oracle Database 11g 全新一代数据服务的平台 可扩展的数据管理 自动存储管理 OLAP 数据分区 并行操作 数据生命周期管理 集成的分析 时间序列 预测 统计 RAC 数据挖掘 ELT & 数据质量管理 数据集成数据建模元数据管理数据特征 SOA
Oracle Database 11g 提供高性能 均衡地大数据管理能力 易管理 低成本 高性能 数据管理目标
高性能需要均衡的配置系统 HBA1 HBA2 HBA1 HBA2 HBA1 HBA2 HBA1 HBA2 FC 交换机 1 FC 交换机 2 最薄弱环节 限定吞吐量 每个构建块均为一个平衡单位 要考虑的组件 : CPU: 数量和速度 HBA( 主机总线适配器 ): 数量和速度 切换速度 控制器 : 数量和速度 磁盘 : 数量和速度 磁盘阵列 1 磁盘阵列 2 磁盘阵列 3 磁盘阵列 4 磁盘阵列 5 磁盘阵列 6 磁盘阵列 7 磁盘阵列 8
典型的 非均衡的客户配置示例 4x P690 32 CPU 最大 IO 吞吐量 :25GB/ 秒 4x 24x 2Gb HBA 最大 IO 吞吐量 :18GB/ 秒 72% 容量,25% 性能降低 FC 交换机 1 FC 交换机 2 6x EMC DMX 2000 最大 IO 吞吐量 :5 6GB/ 秒容量的 20-24%,76 80% 性能降低
The HP-Oracle Database Machine 超级的性能 Oracle WHITE
Oracle 包含软硬件的全新产品打造超级性能专门针对 Oracle 优化的存储产品和服务器网格 Oracle 与 HP 合作推出的品牌硬件设备 针对 Oracle 数据库的智能存储服务器 HP Oracle Exadata Storage Server HP Oracle Exadata Machine 数据库一体机, 提供大数据量的超级 I/O 和 SQL 处理性能 比普通的数据仓库性能快 10 到 100 倍 无限的扩展性, 容量 带宽和处理能力
Oracle Exadata 一种新的架构打破数据带宽瓶颈 Exadata 减少信道运送数据量 查询处理被移到存储端, 显著的减少了发送到服务器的数据, 从而减轻了服务器 CPUs 负荷 Exadata 拥有更多信道 由组件存储 单元 (Cell) building blocks( 结构块 ) 可以组成大规模并行网格 带宽随容量可以扩展 Exadata 拥有更宽信道 InfiniBand 互连传输数据比 Fibre Channel 快 5x Exadata Moves a Lot Less Data a Lot Faster
LGR s 220TB CDR 呼叫详细记录数据库 现存系统 1/2 Exadata DB 主机 HP Superdome Hitachi XP24000 存储阵列 平均 20 倍的性能提升
Grant Salmon Chief Executive Officer LGR Telecommunications Call Data Record 查询以前需要运行超过 30 分钟,now 现在只需要 1 分钟 Oracle Exadata 提供超级的性能.
Oracle 分区对应用程序透明 ORDERS ORDERS ORDERS Europe USA Jan Feb Jan Feb 大型表 难以管理 分区 分而治之更易于管理提高性能 组合分区 更高的性能 更灵活地满足业务需求
Oracle 分区 11g 的增强 ORDERS JAN FEB MAR APR ORDERS ORDER_ID ORDER_DATE ---------- ----------- 9834-US-14 12-JAN-2007 8300-EU-97 14-FEB-2007 3886-EU-02 16-JAN-2007 2566-US-94 19-JAN-2007 3699-US-63 02-FEB-2007 Stock Holds Back Orders ORDERS Line Items Pick Lists 间隔分区 系统自动创建间隔 虚拟字段分区 虚拟字段不需要存储开销 参照分区 继承分区策略
高级数据压缩 可以压缩表和索引 可以在每个分区的基础上指定 典型压缩率 3:1 需要更多 CPU 来加载数据 解压缩几乎不消耗资源 压缩所有 DML 操作 磁盘上数据较少 所需读取时间较短 完全透明 达到 4X
真实的数据压缩案例 10 最大的 ERP 数据库表 数据存储 MB 表扫描 3x Saving Time (seconds) Time (seconds) DML 性能 2.5x Faster < 3% Overhead
David Apgar Business Continuity Planning High Availability Engineer Yahoo 我们部署的一个大型的 Oracle RAC 系统有 16-node 数据库服务器和 6 个存储节点. 如果采用非压缩方式数据将接近 PB 数量级. 而采用 Oracle 压缩技术存储是 200TB.
集成业务智能的数据库直接分析数据, 而不是带数据去分析 OLAP Data Mining 客户的业务数据量持续地增长, 并且 依赖信息的决策需要快速地反应 Oracle 多年以前已经认识到这个问题. Solution: 在数据库引擎中嵌入业务分析能力, 保证数据的稳定及一致性 数据的二次搬迁是需要代价的, 包括移动的复杂度 风险, 多个数据引擎的数据管理和安全. Oracle 则利用核心数据库的能力实现 Statistics
Oracle Database Data Mining Option 利用核心数据库的能力实现 Data Mining 嵌入在数据库内先进的数据挖掘算法 单一数据存储 单一安全模式 单一管理工具 支持网格架构 可以通过任一 SQL-base 的工具实现挖掘分析
<Insert Picture Here> Tracy E Thieret PhD, Principal Scentist Xerox Innovation Group Imaging & Solutions 因为数据挖掘算法和数据是和 Oracle 数据库集成在一起的, 我们不需要必须移动大量的数据集到外部的应用服务器去运行数据挖掘应用 事实是比其它的挖掘工具降低大约 75% 的成本.
Oracle Database OLAP Option 立方体组织的物化视图 BI 工具 物化视图 MV Region SQL Date 查询 重写 Product Channel 自动刷新 OLAP Cube
BNP Paribas 先进的实时时间序列分析 大型欧洲财务公司 为交易商提供分析服务, 降低市场的敏感度和波动 替换 FAME Time Series Database Forecasting, Analysis and Modeling Environment 超过 30 亿条记录,RAC 系统 每 2 秒更新一次数据 1500 并发访问用户
<Insert Picture Here> Cyrus Kapadia BNP Paribas Oracle OLAP 具有易于管理和使用 可扩展和可靠性高 处理性能好以及支持行业标准的分析查询应用的优势, 这些很自然地作为我们替换现有系统的依据.
Oracle Database 11g 有效降低 IT 成本 易管理 低成本 高性能 数据管理目标
Oracle 网格数据库技术传统独立的数据库服务器部署 ETL DB End user tool 每个部分按照最大负载配置 ETL 服务器必须处理最大 ETL 负载 数据库服务器必须处理最大数据库负载 最终用户服务器必须处理最大最终用户负载 没有利用系统的空余能力 周期性负载会造成极大的负载变化
Oracle 网格数据库技术 Oracle RAC+ASM 部署 ETL + DB + End user tool 采用最大的总负载进行系统配置 负载最大总值 < Σ 每部分最大负载 所有负载在任何时间均匀地分布所有节点上
Oracle 网格数据库技术 Oracle RAC 提供高性能低成本的解决方案 大型主机 : 一次投入过高的成本 Users 3000 Oracle RAC 网格数据库 : 可随业务增长而灵活扩充 $1,198,595 $240,480 Users 3000 CPUs CPU speed Memory 24 (6x4) 1.9 GHz 96GB (6x16GB) 2000 CPUs 4 to 24 CPU speed 3.06 GHz Memory 16GB to 96GB 2000 $237,888 1000 1000 0 1 2 3 4 5 6 0 节点 6 个月 12 个月 降低采购和维护成本 随用随付 24 个月
数据信息生命周期管理传统的数据部署方式 数据生命周期 Active Less Historical Active Data Lifecycle Archive Archive 高性能存储 离线归档
数据信息生命周期管理多层存储管理 Tier 1 Normal disk storage 高端高性能 e.g. SAN 10 / Gb 250 MB usable space would (possibly) consume 4,000 MB of raw disk Tier 2 中端 e.g. Fibre Channel or iscsi 5-6 / GB Tier 3 低端 e.g. Commodity/ATA 1 / GB 存储层次单一层次多个层次 单一层次 (3,000 GB) 360,000 Tier 1 多层 (600 GB) 72,000 Tier 2 多层 (1,200 GB) 16,500 Tier 3 多层 (1,200 GB) 合计 360,000 1,560 90,060 Source: Costs (approximations) from Leading Storage Vendor, January 2007
数据信息生命周期管理匹配数据生命周期到相应的存储层次 Active 数据生命周期 Less Historical Active Data Lifecycle Archive Archive 高性能 存储层 低成本 存储层 联机归档 存储层 离线归档 $60/GB $14 $2.50 $2
Oracle 存储层分级分配相应的数据分区到存储层 订单数据 一季度订单 二季度订单 三季度订单 Active High Performance Storage Tier Less Active Low Cost Storage Tier 四季度订单 更早的订单 Historical Online Archive Storage Tier
数据信息生命周期管理 Oracle 11g ILM 管理
<Insert Picture Here> NASDAQ 部署 Oracle ILM 40 TB 实时数据仓库 存储所有 NASDAQ 公司数据和市场数据 提供实时 ad hoc 查询和标准报表给高管, 商业和经济研究分析师, 市场管理分析师, 市场经理, 和其它最终用户 Sunfire 4800 Solaris Server Hitachi and NetApp Storage
<Insert Picture Here> NASDAQ 的实施结果 整合 11 存储系统 迁移到多层次存储方案, 压缩 40 TB 为 15 TB 存储成本节省数百万美元, 消除额外的硬件采购需求 实施 Oracle Information Lifecycle Management 保持最新的数据在高性能存储上, 提供高效的访问性能 过期数据往较低成本的存储迁移是非常快捷和容易的 Source: NASDAQ, referenced at http://www.oracle.com/customers/snapshots/nasdaq.pdf
Oracle Database 11g 自管理的数据库系统 易管理 低成本 高性能 数据管理目标
存储 备份 内存 应用 /SQL 模式 RAC 恢复 复制 Oracle Database 11g 自管理的数据库 自动调整 建议 检测
Oracle Database 11g 可管理性关键技术 应用诊断包 Interactive Transaction Tracing 网格控制架构 : 任务, 群组, 指标和告警, 仪表盘, 报告, 配置管理包 Real Application Testing 11G 优化 & 诊断包 AWR, ADDM. Become more proactive. Guided problem resolution with Advisors 自动内存管理 No need to individually size memory pools 自动存储管理 Removes need for continual I/O tuning.
Bayer 管理的挑战 Patch management is costly and labor intensive for 2000 databases across 500 hosts Multiple Oracle database versions across multiple platforms (windows, Solaris 64 bit and Linux) Quarterly CPUs take a lot of DBA time 解决方案 Using deployment procedures for applying CPUs, one-offs and patchsets Use gold image based cloning to roll out pre-patched images on new servers Faster way to deploy patches 好处 Low avoidable failure rate per operation ~1 hour of manual activity reduced to a minute ~4 hours for patchsets across servers reduced to 10 minutes
Oracle Database 11g 业界最优的数据服务平台 降低风险 久经考验的高可用性和高性能 企业级安全性 缩短数据服务时间 易于部署 久经考验的混合负载支持 对 BI 工具 应用程序以及分析的开放平台支持 低成本 通过模块化构建块进行扩展 全方位网格控制