ExaData Intro

Size: px

Start display at page:

Download "ExaData Intro"

位僻祝
9 years ago
Views:

1 快速数据加载使用数据库内建 ETL 进行数据加载和转换 - 使用 External Table 直接访问文件 - 使用 SQL 和 PL/SQL 在数据库内部实现转换 - 批量或微量加载 Database Machine 可提供高达 5 TB/ 小时的原始数据加载速率访问转换加载 Oracle 27

2 内存并行执行最新 315,842 QphH: 1 TB TPC-H 1,018,321 1,166,976 ParAccel Exasol Oracle 比专用内存数据仓库管理系统更快对缓存在内存中的表进行并行查询处理 - 世界纪录 1TB TPC-H 的基础工作原理 : - Oracle 产品决定用于缓存的合适表格 - 表格分布在所有节点的缓冲区中 - 查询过程中, 每个节点读取表格的本地部分完全并行带宽访问内存中的数据 - 在查询操作中, 使用内存访问时, 不是所有数据库对象都需要在内存中来源 : Transaction Processing Council, as of 9/14/2009: Oracle 运行在 HP Bladesystem c-class 128P RAC, 1,166,976 QphH@1000GB, $5.42/QphH@1000GB, 12/1/09 上市. Exasol 运行在 PRIMERGY RX300 S4, 1,018,321 QphH@1000GB, $1.18/QphH@1000GB, 08/01/08 上市. ParAccel 运行在 SunFire X ,842 QphH@1000GB, $4.57 /QphH@1000GB, 10/29/07 上市 Oracle 28

Council, as of 9/14/2009: Oracle 运行在 HP Bladesystem c-class 128P RAC, 1,166,976 QphH@1000GB, $5.42/QphH@1000GB, 12/1/09 上市.

3 Exadata Flash 极致性能 New Oracle 是第一个针对闪存进行优化的数据库 Sun Oracle Database Machine 拥有 5 TB 的闪存 - 每台 Exadata 存储服务器中都有 4 个高性能闪存卡 Smart Flash Cache 缓存了常用数据 - 不仅仅是简单的 LRU 知道何时避免缓存以避免缓存刷新 - 可以针对应用程序表格级进行优化 Oracle 29

存储服务器中都有 4 个高性能闪存卡 Smart Flash Cache 缓存了常用数据 -

闪存性能 Query Throughput Query Throughput with Flash 闪存将扫描吞吐量提高了两倍多 - 50 GB/ 秒 60 50 40 查询吞吐量未压缩数据 50 当和 Exadata 混合列压缩一同使用时 30 20 21-500 GB/ 秒

4 闪存性能 Query Throughput Query Throughput with Flash 闪存将扫描吞吐量提高了两倍多 - 50 GB/ 秒查询吞吐量未压缩数据 50 当和 Exadata 混合列压缩一同使用时 GB/ 秒 Exadata 存储软件和高带宽 Infiniband 网络提供了闪存的全部益处 HITACHI USP V 7.5 TERADATA NETEZZA TwinFin 12 SUN ORACLE Database Machine Oracle 30

Exadata 存储软件和高带宽 Infiniband 网络提供了闪存的全部益处 10 0 11.4 HITACHI USP V 7.

Smart Flash 缓存 5TB 原始容量高达 50TB 压缩的用户数据 50 GB/ 秒 1M IOPS Exadata

5 Sun Oracle Database Machine: 更快的原始扫描 Sun Oracle Database Machine 提供了半导体缓存层数据库 DRAM 缓存 400GB 原始容量高达 4TB 压缩的用户数据 100 GB/ 秒 Exadata Smart Flash 缓存 5TB 原始容量高达 50TB 压缩的用户数据 50 GB/ 秒 1M IOPS Exadata 磁盘 100TB 原始磁盘容量高达 500TB 压缩的用户数据 21 GB/ 秒 50K IOPS 2009 Oracle 31

6 < 在此处插入图片 > 数据库云服务器带来什么业务价值

7 Exadata:Sun Oracle Database Machine 适用于云计算的数据库和存储平台灵活的容量网格体系结构用于数据库和存储服务器的向外扩展智能扫描可将查询处理卸载到存储层智能闪存缓存存储实现实时随机 I/O 数据压缩针对 OLTP 数据仓储和存档数据进行了优化无限带宽联网支持大量数据传输资源共享 ASM( 自动存储管理 ) 让所有数据库共享 Exadata 存储 RAC( 真正应用集群 ) 让所有节点共享大型数据库 IORM(I/O 资源管理 ) 根据数据库和应用程序的优先级分配 I/O 带宽实例囚笼让一个节点内的多个数据库共享 CPU Oracle 数据库的全部强大功能真正应用集群备份 / 恢复复制安全性分区大型对象 Enterprise Manager 2009 Oracle Oracle Corporation 19

存储 RAC( 真正应用集群 ) 让所有节点共享大型数据库 IORM(I/O 资源管理 ) 根据数据库和应用程序的优先级分配 I/O 带宽实例囚笼让一个节点内的多个数据库共享 CPU

8 数据库云整合的收益 BI/DW 数据仓库类应用倍性能提升, 使 BI/DW 真正发挥作用 (21GB/s(Disk), 50GB/s(Flash), 500GB/s( 等效数据量 )+ 存储智能 ) OLTP 在线事务处理类应用 - <50% 的长期投资 (CAPEX & OPEX) - <20% 的空间占用技术基础 - 来源于 Exadata V2 的强大 IOPS 能力, 单机架 1M = 8 DS8300 Turbo - 云特性, 基于 PC 服务器的节点式高计算及存储密度扩容 - 目前服务器平均利用率不高, 平均 ~20%(Green IT) - 共享模式的变化 :2n=>n+1 - 管理模式的变化, 低管理门槛, 统一的技术体系 ( 云化 ) 2009 Oracle 34

来源于 Exadata V2 的强大 IOPS 能力, 单机架 1M = 8 DS8300 Turbo - 云特性, 基于 PC 服务器的节点式高计算及存储密度扩容 -

全部应用可得益于一体机的高性能全部应用可得益于一体机的低成本全部应用可得益于一体机的共享环境下的可预测响应时间满足全部数据管理需求完备开放

9 集中化共享需求 - 升级到 Exadata ERP CRM ERP CRM HR Warehouse Goldengate Data Mart HR Warehouse Data Mart 最大动力 : 降低多个专业数据库系统的成本开销虚拟化云基于 Exadata 一体机进行集中共享全部应用可得益于一体机的高性能全部应用可得益于一体机的低成本全部应用可得益于一体机的共享环境下的可预测响应时间满足全部数据管理需求完备开放集成, 标准的 11g 2009 Oracle 35 Copyright 2009, Oracle Corporation and/or its affiliates 35

10 Why Fastest Time to Value & Lowest Risk Time to Database Available for Use Build From Scratch with Components OWI Reference Configurations Sun Oracle Database Machine Testing and Validation Installation and configuration Testing and Validation Faster deployment Lower Risk Database pre-configured Acquisition of components Installation and configuration Pre-implementation System sizing Acquisition of components Take delivery of Sun Oracle Database Machine Weeks to Months Weeks to Months < 1 Week after Delivery 2009 Oracle 36

deployment Lower Risk Database pre-configured Acquisition of components Installation and configuration Pre-implementation System

11 Sun Oracle Database Machine 小结为所有的数据管理系统提供超级的性能全球最佳数据仓库一体机 (Best for Data Warehousing) 基于 10x 压缩表的 Smart scan 基于内存数据的并行查询整体上比 11.1 版本快 5 倍最佳 OLTP 服务器 (Best for OLTP) 唯一基于网格技术扩展的数据库 Smart flash cache 可达到 20x(1M IOPS) 快的 IOPS, 或者节省 20x 的磁盘对于归档数据可达到 50x 的压缩率安全, 容错适用于混合负载的最佳数据库服务器 (Best for Consolidation) 唯一的支持所有负载类型的 database machine 多个数据库, 多个应用, 多个用户环境都能提供可预测的响应时间 2009 Oracle 37 37

1 版本快 5 倍最佳 OLTP 服务器 (Best for OLTP) 唯一基于网格技术扩展的数据库 Smart flash cache 可达到 20x(1M IOPS) 快的 IOPS,

12 <Insert Picture Here> Exadata 成功案例 2009 Oracle 38

13 Database Machine 成功案例增长势头仍在继续 Database Machine 在所有地区所有行业都胜过所有竞争对手 Oracle 39

14 A Growing Customer Base Small & Large Customers; Across All Industries; Household Names 2009 Oracle 40

15 我们的客户说 AXIATA BANGLADESH (APAC) 孟加拉国亚通, 孟加拉国第三大电信营运商, 数据装载快了 30 倍 ( 从 1 小时减少到 6 分钟 ), 查询快了 10 倍 - 针对于活跃和归档数据有 2 到 10 倍的压缩比, 同时无任何性能损失 ; 从而有能力扩展了在线数据时间窗口 SOFTBANK (JAPAN) 日本电信运营商, 替代原有 36 台 Teradata, 占地面积从 36Racks 减到 3Racks, 查询速度提升 2~8 倍 TURKCELL (EMEA) 土耳其电信运营商数据压缩 10 倍 (250TB->25TB), 查询速度提升 10 倍 ~400 倍 (50K 报表 / 月 ), 数据翻倍每年,1.5Billion CDR per day 减少 DC 占地面积 \ 电力制冷 11 倍 (11 racks => 1 rack) LINKSHARE (NORTH AMERICA) 北美最大的联属营销平台 - 提升查询速度 8 倍, 服务器和存储为原来的 1/8, 减少运维 OPEX3.5x - 减少 DC 占地面积 \ 电力 4 倍 COMMONWEALTH BANK OF AUSTRALIA (APAC) 澳大利亚联邦银行 - 超过 250+ 独立运行的数据库整合到 Exadata 3 个数据库中部署实施时间提升 30 倍 (4 月 ->4 天 ); 提供 - 数据库即服务云 2009 Oracle 41

$5Billion CDR per day 减少 DC 占地面积 \ 电力制冷 11 倍 (11 racks => 1 rack) LINKSHARE (NORTH AMERICA) 北美最大的联属营销平台 - 提升查询速度 8 倍, 服务器和存储为原来的 1/8, 减少运维 OPEX3.$

16 客户成功案例 - 香港房屋委員會及房屋署 Exadata 加速了报告及分析性能客户简介香港房屋委員會及房屋署 (HA) 是一个成立于 1973 年的法定机构,HA 开发和实施了公共房屋项目以满足政府的政策需要, 提供住房给那些无力承担租用私有住房要求的人们挑战 / 机遇 1. 香港房屋委員會及房屋署依靠信息系统 (Corporate Information System-CIS) 提供分析及报告 CIS 每日和每月的工作运行时间太长, 严重影响了报告及数据集市的可用性 2. 每日的工作执行时间从 2006 年的 6 小时增长到 2010 年的超过 14 小时, 月度工作执行时间从 2006 年的 5 天增长到了 2010 年的 14 天 3.CIS 用户对于不可预测的即席查询感到很沮丧解决方案客户远景香港房屋委員會及房屋署定位了 12 个 SQL 语句, 覆盖了转换计息查询数据装载及月底报告作为评价标准, 对于采用了 Exadata 一体机以后的结果感到非常满意. 结果 1. 综合来讲分析应用有 30 倍性能 2. 更快的报告及分析 3. 更快的响应时间 4. 更短的部署时间, 及更少的管理数据中心资源 1/4 配 Exadata 数据库一体机 X2-2 ( 原 V2 配置 ). REFERENCE 2009 Oracle 42

每日的工作执行时间从 2006 年的 6 小时增长到 2010 年的超过 14 小时, 月度工作执行时间从 2006 年的 5 天增长到了 2010 年的 14 天 3.

17 Exadata 成功案例上海移动 Exadata 提升多媒体服务客户介绍上海移动基地是国内最大的无线视频发布平台, 位于浦东金桥内该创新基地于 2009 年 5 月正式挂牌, 初期投资超过 5 亿元人民币负责为中国移动近 5 亿用户提供所有与手机视频相关的产品该基地目前已经和央视国际 SMG 上海文广新闻传媒集团中央人民广播电台中国国际广播电台国务院互联网新闻中心人民网新华社等主流媒体开展内容合作原有系统挑战 / 机会 1. 系统是移动视频中心 AAA 认证系统, 给移动视频用户提供认证服务. 2. 原有系统是 Sun Fire V890, 对用户的请求服务达不到预期的服务水平, 下载内容 >400 ms, 由于严重的网络负载和 I/O 瓶颈. 3. 另外客户和 SI 只有有限的 RAC 系统经验. 解决方案半配的 Exadata Database Machine X2 配置 oracle RAC, Partition, 配置运行 OLTP 负载. 全球第一个上线 OLTP 案例解决方案优势提供极佳性能集成的和充分优化的解决方案一站式解决方案提供更好的性价比 ( 由 DB Machine 驱动 ) 由 Enterprise Manager 提供端到端的完整系统监控系统上线后收益 1. 视频流业务利润增加 300% 2. 流服务的查询性能得到巨大的提升内容下载时间提升从 >400ms 到 80 to 200ms 之间 3. 视频内容增长从 85 G 到 835G 2009 Oracle 43

原有系统是 Sun Fire V890, 对用户的请求服务达不到预期的服务水平, 下载内容 >400 ms, 由于严重的网络负载和 I/O 瓶颈. 3. 另外客户和 SI 只有有限的 RAC 系统经验.

18 电信业 DW 案例新疆电信重造 ODS 系统运行在 Exadata 客户简介来自客户的评价新疆电信是中国电信分支机构, 拥有 1 千万用户挑战 / 机遇新疆电信选择 Exadata 来实现实时数据更新从运营系统到 ODS 系统. 预计这将提高企业效率, 提高计费, 基于事件的活动, 资产利用率等 1. 新疆电信运行自行开发的 ODS 系统在 HP 主机和 EMC 存储. 2.ODS 抽取数据从不同的系统如 BSS, OSS 和其它. 它能使新疆电信执行额外的操作在数据的汇总, 在将数据传到 DW 之前, 为了不同的报表分析, 由此建立了客户, 网络和运营的可视化分析. 3. 随着数据量地不断增长, 批处理作业在变慢, 因为底层基础架构的容量渐趋饱和 4. 另外业务用户越来越需要实时和接近实时的数据来支持决策. 解决方案 1 unit Half Rack X2-2 (SAS) with RAC, Partitioning, Compression 系统最新状态 1.3 月 29 日预上线, 表现优秀 2. 性能提升 17 倍比之前的系统配置 2 节点 HPrx 7640, EMC DMX Oracle 44

它能使新疆电信执行额外的操作在数据的汇总, 在将数据传到 DW 之前, 为了不同的报表分析, 由此建立了客户, 网络和运营的可视化分析. 3. 随着数据量地不断增长, 批处理作业在变慢, 因为底层基础架构的容量渐趋饱和 4.

19 保险业案例 PICC Insurance 批命令执行速度快了 20 Times 用户介绍来自客户的评价人保寿险是人保集团的滋公司, 也是中国著名的人寿保险集团, 总资产人民币 1000 亿以平均 82% 的年增长率, 人保寿险成为厂长最快的中到大型保险公司. 挑战和机会 POC 采用了 1/4 配置的 Exadata 数据库机, 与原有生产系统相比, 得到了平均 43 倍的性能提升. PICC 计划整合多个数据库在一个 1/4 配置的 Exadata 上, 计划创建一个新的 EDW 系统以满足业务需求 1.PICC 当前的综合报表系统平台具有性能障碍 ETL 历程不能在期望的时间窗口完成并且常常超过一夜. 这意味着业务用户在次日清晨使用该系统时必须等待数据处理的命令完成. 2. 再加上目前系统不能为快速发展的业务提供决策支持所需要的高级分析, 导致 PICC 决定重新定义其 EDW 需求, 在新的平台上重建解决方案. SOLUTIONS 1 Quarter Rack X2-2 (SAS) RESULTS 1.EDW 以 2TB 的数据量成功上线, 运行速度快了 20 倍 2. 由于原生产系统不能在要求的时间窗口内完成 ODS 层向 DW 和 DM 层的数据模型转换, 现这部分工作已经迁移到 Exadata 上进行处理, 再将处理好的数据定期刷到 Cognos 的 cube 中, 同时也有一部分清单报表通过 Exadata 提供 2009 Oracle 45

PICC 当前的综合报表系统平台具有性能障碍 ETL 历程不能在期望的时间窗口完成并且常常超过一夜. 这意味着业务用户在次日清晨使用该系统时必须等待数据处理的命令完成. 2. 再加上目前系统不能为快速发展的业务提供决策支持所需要的高级分析, 导致 PICC 决定重新定义其 EDW 需求, 在新的平台上重建解决方案.

20 大型央企案例 - 中冶 Exadata for EBS R12 客户介绍位于北京的大型央企, 中国冶金科工集团有限公司 (MCC) 是国务院国资委监管的特大型企业集团, 是中国冶金工业的开拓者和建设者, 集科研开发咨询规划勘查测绘监理设计建筑施工房地产综合开发设备安装设备制造与成套资源开发工业生产技术服务与进出口贸易于一体, 多专业跨行业跨国经营, 集科工贸于一体客户观点 MCC 关注于保证在企业应用的投资受到良好的保护, 同时优化资源利用率及平滑的可扩展性与有效的成本控制,Exadata 帮他们实现了这一点. 挑战与机会 1.MCC 最近决定将它的新 ERP 系统 EBS R12 部署在 7 家子公司里, 大约 1500 个用户. 2. 然而 MCC 非常关心较长的部署时间和高额的实施费用等影响 ERP 系统的 ROI 的因素 3. 另外, 由于快速数据增长导致的实施后的成本增长, 让 MCC 非常认真的考虑搭建 ERP 系统的底层技术架构. 解决方案 5 Quarter Racks and 2 Half Racks of Exadata Database Machine X2-2 (Old V2 Config) MCC 将会在它的 7 个子公司中陆续上线 Exadata 数据库机作为其数据的底层架构, 从而实现卓越的联机交易工作负载结果 1. 更短的实施时间 - 预配置好的 Oracle 11g 数据库和存储使得 Exadata 数据库机在第一天的时间就可以提供正常使用. 2. 简单的管理数据和存储的底层架构使得不受干扰的数据库管理成为了可能. 3. Exadata 数据库机保证了电子商务套件的高可用性及高性能 Oracle 46

然而 MCC 非常关心较长的部署时间和高额的实施费用等影响 ERP 系统的 ROI 的因素 3. 另外, 由于快速数据增长导致的实施后的成本增长, 让 MCC 非常认真的考虑搭建 ERP 系统的底层技术架构.

21 大型制造业案例海尔 Exadata 在 BI& Siebel 客户介绍海尔是全球白色家电的领先品牌, 在中国也是很卓越的品牌, 拥有 29 个工厂 8 个研发中心,19 个海外贸易公司全球超过 6 万名员工挑战与机会客户观点海尔的 BI 系统由 EDW 和 SAP BW 组成当前的 Exadata 数据库云服务器的部署加速了 EDW 的分析和报表, 在性能和系统管理上有显著的提升. 海尔计划进一步扩展 Exadata 的价值, 在将来的 SAP BW 系统也使用 Exadata. Haier s BI 系统由自主开发 (MS ASP.net) 的业务报表系统 (IBM P560) 和 SAP BW 系统 (IBM P565) 运行在 Oracle 数据库上近年来快速数据增长导致 I/O 拥塞和 BI 系统比较差的性能 : 1. 在峰值的几小时几乎无法访问 2. 不能执行高级的复杂的分析 ( 如假设分析, 趋势分析, 仪表盘系统, 自助报表查询及分析 ) 解决方案 Quarter rack Exadata V2 替换 IBM P560, 优化了 GBR 的交易性能结果 ETL 处理速度提升 34 倍 ( 从.4GB/hour -> 13.5GB/hour) BOM 主题调度处理速度提升 30% 数据运算能力较前系统提升 9 倍 - 26 倍 2009 Oracle 47

22 Resources Oracle.com: Oracle Exadata Technology Portal on OTN: Oracle Exadata White papers: adata-technical-whitepaper.pdf gration-to-exadata-whitepaper.pdf 2009 Oracle 48

23 2009 Oracle 49

Database Machine V2

Database Machine V2 硬件和软件集成设计卓越性能 Oracle 数据库云服务器 (Exadata) 简介 Exadata 是什么? Exadata X2 数据库一体机云服务器硬件和软件集成设计卓越性能 smart software smart hardware 极限性能预配置的大规模并行数据库网格! Exadata ---- Oracle 数据库运行的最佳平台为所有的数据管理系统提供超级的性能