Slide 1

Size: px

Start display at page:

Download "Slide 1"

衩项
5 years ago
Views:

1 < 在此处插入图片 > 使用 Oracle 11g 数据库和数据仓库技术构建企业新一代数据服务平台

2 当前世界的数据增长量 GB/ 秒新建数据 EB 当前已经存储 %/ 年平均新增数据 % 需要永久归档保存 EB 一年需要管理

4 Oracle 帮助用户达成目标易管理低成本高性能数据管理目标

5 Oracle Database 30 年持续的创新 Oracle 2 Oracle 5 Oracle 6 Oracle 7 Oracle 8 Oracle 8i Data Warehousing Optimizations Parallel Operations Distributed SQL & Transaction Support Cluster and MPP Support Multi-version Read Consistency Client/Server Support Platform Portability Commercial SQL Implementation XML Database Oracle Data Guard Real Application Clusters Flashback Query Virtual Private Database Built in Java VM Partitioning Support Built in Messaging Object Relational Support Multimedia Support Database Vault Grid Computing In-Memory Database Cache Automatic Storage Mgmt Self Managing Database Oracle 9i Oracle 10g

6 Oracle Database 11g 全新一代数据服务的平台可扩展的数据管理自动存储管理 OLAP 数据分区并行操作数据生命周期管理集成的分析时间序列预测统计 RAC 数据挖掘 ELT & 数据质量管理数据集成数据建模元数据管理数据特征 SOA

7 Oracle Database 11g 提供高性能均衡地大数据管理能力易管理低成本高性能数据管理目标

8 高性能需要均衡的配置系统 HBA1 HBA2 HBA1 HBA2 HBA1 HBA2 HBA1 HBA2 FC 交换机 1 FC 交换机 2 最薄弱环节限定吞吐量每个构建块均为一个平衡单位要考虑的组件 : CPU: 数量和速度 HBA( 主机总线适配器 ): 数量和速度切换速度控制器 : 数量和速度磁盘 : 数量和速度磁盘阵列 1 磁盘阵列 2 磁盘阵列 3 磁盘阵列 4 磁盘阵列 5 磁盘阵列 6 磁盘阵列 7 磁盘阵列 8

9 典型的非均衡的客户配置示例 4x P CPU 最大 IO 吞吐量 :25GB/ 秒 4x 24x 2Gb HBA 最大 IO 吞吐量 :18GB/ 秒 72% 容量,25% 性能降低 FC 交换机 1 FC 交换机 2 6x EMC DMX 2000 最大 IO 吞吐量 :5 6GB/ 秒容量的 20-24%,76 80% 性能降低

10 The HP-Oracle Database Machine 超级的性能 Oracle WHITE

11 Oracle 包含软硬件的全新产品打造超级性能专门针对 Oracle 优化的存储产品和服务器网格 Oracle 与 HP 合作推出的品牌硬件设备针对 Oracle 数据库的智能存储服务器 HP Oracle Exadata Storage Server HP Oracle Exadata Machine 数据库一体机, 提供大数据量的超级 I/O 和 SQL 处理性能比普通的数据仓库性能快 10 到 100 倍无限的扩展性, 容量带宽和处理能力

12 Oracle Exadata 一种新的架构打破数据带宽瓶颈 Exadata 减少信道运送数据量查询处理被移到存储端, 显著的减少了发送到服务器的数据, 从而减轻了服务器 CPUs 负荷 Exadata 拥有更多信道由组件存储单元 (Cell) building blocks( 结构块 ) 可以组成大规模并行网格带宽随容量可以扩展 Exadata 拥有更宽信道 InfiniBand 互连传输数据比 Fibre Channel 快 5x Exadata Moves a Lot Less Data a Lot Faster

13 LGR s 220TB CDR 呼叫详细记录数据库现存系统 1/2 Exadata DB 主机 HP Superdome Hitachi XP24000 存储阵列平均 20 倍的性能提升

14 Grant Salmon Chief Executive Officer LGR Telecommunications Call Data Record 查询以前需要运行超过 30 分钟,now 现在只需要 1 分钟 Oracle Exadata 提供超级的性能.

15 Oracle 分区对应用程序透明 ORDERS ORDERS ORDERS Europe USA Jan Feb Jan Feb 大型表难以管理分区分而治之更易于管理提高性能组合分区更高的性能更灵活地满足业务需求

3886-EU-02 16-JAN-2007 2566-US-94 19-JAN-2007 3699-US-63 02-FEB-2007 Stock

16 Oracle 分区 11g 的增强 ORDERS JAN FEB MAR APR ORDERS ORDER_ID ORDER_DATE US JAN EU FEB EU JAN US JAN US FEB-2007 Stock Holds Back Orders ORDERS Line Items Pick Lists 间隔分区系统自动创建间隔虚拟字段分区虚拟字段不需要存储开销参照分区继承分区策略

17 高级数据压缩可以压缩表和索引可以在每个分区的基础上指定典型压缩率 3:1 需要更多 CPU 来加载数据解压缩几乎不消耗资源压缩所有 DML 操作磁盘上数据较少所需读取时间较短完全透明达到 4X

18 真实的数据压缩案例 10 最大的 ERP 数据库表数据存储 MB 表扫描 3x Saving Time (seconds) Time (seconds) DML 性能 2.5x Faster < 3% Overhead

19 David Apgar Business Continuity Planning High Availability Engineer Yahoo 我们部署的一个大型的 Oracle RAC 系统有 16-node 数据库服务器和 6 个存储节点. 如果采用非压缩方式数据将接近 PB 数量级. 而采用 Oracle 压缩技术存储是 200TB.

Solution: 在数据库引擎中嵌入业务分析能力, 保证数据的稳定及一致性数据的二次搬迁是需要代价的,

20 集成业务智能的数据库直接分析数据, 而不是带数据去分析 OLAP Data Mining 客户的业务数据量持续地增长, 并且依赖信息的决策需要快速地反应 Oracle 多年以前已经认识到这个问题. Solution: 在数据库引擎中嵌入业务分析能力, 保证数据的稳定及一致性数据的二次搬迁是需要代价的, 包括移动的复杂度风险, 多个数据引擎的数据管理和安全. Oracle 则利用核心数据库的能力实现 Statistics

21 Oracle Database Data Mining Option 利用核心数据库的能力实现 Data Mining 嵌入在数据库内先进的数据挖掘算法单一数据存储单一安全模式单一管理工具支持网格架构可以通过任一 SQL-base 的工具实现挖掘分析

22 <Insert Picture Here> Tracy E Thieret PhD, Principal Scentist Xerox Innovation Group Imaging & Solutions 因为数据挖掘算法和数据是和 Oracle 数据库集成在一起的, 我们不需要必须移动大量的数据集到外部的应用服务器去运行数据挖掘应用事实是比其它的挖掘工具降低大约 75% 的成本.

23 Oracle Database OLAP Option 立方体组织的物化视图 BI 工具物化视图 MV Region SQL Date 查询重写 Product Channel 自动刷新 OLAP Cube

24 BNP Paribas 先进的实时时间序列分析大型欧洲财务公司为交易商提供分析服务, 降低市场的敏感度和波动替换 FAME Time Series Database Forecasting, Analysis and Modeling Environment 超过 30 亿条记录,RAC 系统每 2 秒更新一次数据 1500 并发访问用户

25 <Insert Picture Here> Cyrus Kapadia BNP Paribas Oracle OLAP 具有易于管理和使用可扩展和可靠性高处理性能好以及支持行业标准的分析查询应用的优势, 这些很自然地作为我们替换现有系统的依据.

26 Oracle Database 11g 有效降低 IT 成本易管理低成本高性能数据管理目标

27 Oracle 网格数据库技术传统独立的数据库服务器部署 ETL DB End user tool 每个部分按照最大负载配置 ETL 服务器必须处理最大 ETL 负载数据库服务器必须处理最大数据库负载最终用户服务器必须处理最大最终用户负载没有利用系统的空余能力周期性负载会造成极大的负载变化

28 Oracle 网格数据库技术 Oracle RAC+ASM 部署 ETL + DB + End user tool 采用最大的总负载进行系统配置负载最大总值 < Σ 每部分最大负载所有负载在任何时间均匀地分布所有节点上

29 Oracle 网格数据库技术 Oracle RAC 提供高性能低成本的解决方案大型主机 : 一次投入过高的成本 Users 3000 Oracle RAC 网格数据库 : 可随业务增长而灵活扩充 $1,198,595 $240,480 Users 3000 CPUs CPU speed Memory 24 (6x4) 1.9 GHz 96GB (6x16GB) 2000 CPUs 4 to 24 CPU speed 3.06 GHz Memory 16GB to 96GB 2000 $237, 节点 6 个月 12 个月降低采购和维护成本随用随付 24 个月

30 数据信息生命周期管理传统的数据部署方式数据生命周期 Active Less Historical Active Data Lifecycle Archive Archive 高性能存储离线归档

31 数据信息生命周期管理多层存储管理 Tier 1 Normal disk storage 高端高性能 e.g. SAN 10 / Gb 250 MB usable space would (possibly) consume 4,000 MB of raw disk Tier 2 中端 e.g. Fibre Channel or iscsi 5-6 / GB Tier 3 低端 e.g. Commodity/ATA 1 / GB 存储层次单一层次多个层次单一层次 (3,000 GB) 360,000 Tier 1 多层 (600 GB) 72,000 Tier 2 多层 (1,200 GB) 16,500 Tier 3 多层 (1,200 GB) 合计 360,000 1,560 90,060 Source: Costs (approximations) from Leading Storage Vendor, January 2007

32 数据信息生命周期管理匹配数据生命周期到相应的存储层次 Active 数据生命周期 Less Historical Active Data Lifecycle Archive Archive 高性能存储层低成本存储层联机归档存储层离线归档 $60/GB $14 $2.50 $2

33 Oracle 存储层分级分配相应的数据分区到存储层订单数据一季度订单二季度订单三季度订单 Active High Performance Storage Tier Less Active Low Cost Storage Tier 四季度订单更早的订单 Historical Online Archive Storage Tier

34 数据信息生命周期管理 Oracle 11g ILM 管理

35 <Insert Picture Here> NASDAQ 部署 Oracle ILM 40 TB 实时数据仓库存储所有 NASDAQ 公司数据和市场数据提供实时 ad hoc 查询和标准报表给高管, 商业和经济研究分析师, 市场管理分析师, 市场经理, 和其它最终用户 Sunfire 4800 Solaris Server Hitachi and NetApp Storage

Management 保持最新的数据在高性能存储上, 提供高效的访问性能过期数据往较低成本的存储迁移是非常快捷和容易的 Source:

36 <Insert Picture Here> NASDAQ 的实施结果整合 11 存储系统迁移到多层次存储方案, 压缩 40 TB 为 15 TB 存储成本节省数百万美元, 消除额外的硬件采购需求实施 Oracle Information Lifecycle Management 保持最新的数据在高性能存储上, 提供高效的访问性能过期数据往较低成本的存储迁移是非常快捷和容易的 Source: NASDAQ, referenced at

37 Oracle Database 11g 自管理的数据库系统易管理低成本高性能数据管理目标

38 存储备份内存应用 /SQL 模式 RAC 恢复复制 Oracle Database 11g 自管理的数据库自动调整建议检测

Oracle Database 11g 可管理性关键技术应用诊断包 Interactive Transaction Tracing 网格控制架构 : 任务, 群组, 指标和告警, 仪表盘, 报告, 配置管理包 Real Application Testing 11G 优化 & 诊断包 AWR, ADDM.

39 Oracle Database 11g 可管理性关键技术应用诊断包 Interactive Transaction Tracing 网格控制架构 : 任务, 群组, 指标和告警, 仪表盘, 报告, 配置管理包 Real Application Testing 11G 优化 & 诊断包 AWR, ADDM. Become more proactive. Guided problem resolution with Advisors 自动内存管理 No need to individually size memory pools 自动存储管理 Removes need for continual I/O tuning.

40 Bayer 管理的挑战 Patch management is costly and labor intensive for 2000 databases across 500 hosts Multiple Oracle database versions across multiple platforms (windows, Solaris 64 bit and Linux) Quarterly CPUs take a lot of DBA time 解决方案 Using deployment procedures for applying CPUs, one-offs and patchsets Use gold image based cloning to roll out pre-patched images on new servers Faster way to deploy patches 好处 Low avoidable failure rate per operation ~1 hour of manual activity reduced to a minute ~4 hours for patchsets across servers reduced to 10 minutes

41 Oracle Database 11g 业界最优的数据服务平台降低风险久经考验的高可用性和高性能企业级安全性缩短数据服务时间易于部署久经考验的混合负载支持对 BI 工具应用程序以及分析的开放平台支持低成本通过模块化构建块进行扩展全方位网格控制

水晶分析师

水晶分析师大数据时代的挑战产品定位体系架构功能特点大数据处理平台行业大数据应用 IT 基础设施数据源 Hadoop Yarn 终端统一管理和监控中心(Deploy,Configure,monitor,Manage) Master Servers TRS CRYSTAL MPP Flat Files Applications&DBs ETL&DI Products 技术指标 1 TRS