Oracle Exadata 数据仓库解决方案
金融企业需要综合的数据服务平台 随着金融市场开放, 面临更加激烈的国际 国内竞争, 需要更快 更好 更加灵活的分析和确定市场, 评估和管理风险, 有效地管理现金流, 优化投资收益, 降低投资风险 以客户为中心, 为客户提供个性化的服务, 提高客户满意度, 提高市场占有率和客户忠诚度 及时 全面 准确地掌握企业的运作信息, 科学决策, 降低经营成本, 在降低成本的同时扩展市场 业务更多 更复杂, 数据集中 统一 规范化的管理, 整合数据资源, 形成数据资产, 提高企业核心竞争力, 是金融企业一个共同的趋势
企业数据服务平台的系统定位和建设目标 整合数据资源 提供完整的业务视图 形成数据资产 支持总行和分行的非实时数据应用 业务拓展 业务运营 系统定位 管理决策 客户服务 建设目标机会 统一 可靠 稳定 高效的数据服务平台 总部统计分析应用及决策支持 对外数据报送 外部系统双向数据交换 分行数据服务平台的数据交互 EDW ODS CRM Data Mart
面临的风险和挑战 风险 业务风险 如何与银行的业务需求紧密结合, 从业务运营和公司管理角度对应用需求和建设路线进行规划 成本投入 面对金融危机的影响, 如何有效的控制成本投入, 最小化总体拥有成本 实施风险 长期的系统工程, 数据量大 复杂度高 周期长, 实施难度大 挑战 海量数据下的性能 稳定性 可扩展性 数据量在 TB 甚至几十 TB 以上, 并且会快速扩展, 需要高性能和可扩展的技术支撑平台 系统的复杂度与开放性 支持多种不同的数据源, 对分析类和操作类混合负载的支持, 与多个业务系统对接, 双向数据交互的支持 数据的安全性 数据大集中情况下的访问控制, 如何实现不同组织机构的不同人员对不同业务数据的访问控制
Oracle 不仅是最大的数据库厂商, 同时也是最大的数据仓库解决方案供应商,Oracle 最新推出革命性的 Exadata 数据仓库解决方案!
大型数据库 / 数据仓库的数据量飞速增长 数据库大小每两年增长三倍 1998 1 TB; 2001 10 TB; 2003 30 TB; 2005 100 TB; 2007 300TB; 2009 900 TB; 2011 2.7 PB 信息来源 :Winter TopTen Survey,Winter Corporation, 作者 Waltham MA,2008 年
传统的服务器及存储设备技术架构的挑战 网络交换机 光纤存储交换机 传统存储阵列 大型数据库希望以 100% 的速度扫描几十 甚至几千个磁盘 磁盘和服务器之间的通道限制了 10x 或者更多的带宽 结果是数据库越大, 运行速度越慢
革命性的产品 Oracle Exadata 智能存储 Oracle 与 HP 合作推出的品牌硬件设备 针对 Oracle 数据库的智能存储服务器比普通的数据仓库性能快 10 到 100 倍 无限的扩展性, 容量 带宽和处理能力
Exadata 数据处理架构的革命 打破数据带宽瓶颈 传统架构 Exadata 架构 Exadata 提供更多的并发带宽 模块化存储单元 CELL, 高度并行的存储网格 带宽与容量成正比 Exadata 采用更高的单路带宽 InfiniBand 提供 20Gbits/S 的带宽, 比高端阵列的光纤通道技术快 3~5 倍 Exadata 传送更少的数据 数据查询过程被下移到智能存储层, 传送到服务器中的数据只包括最相关的结果数据, 显著的减少了发送到服务器的数据, 减轻了服务器 CPUs 负荷
Exadata 架构概述 单节点数据库 RAC 数据库 数据库处理层 超高速并发网络层 InfiniBand 交换网络 智能存储层 Exadata Cell Exadata Cell Exadata Cell
Exadata 智能存储服务器存储单元的组成 Exadata Storage Server Cell Exadata Storage Server Grid 可大量并发的存储网格组成单元 每单元提供 1GB/sec 数据带宽 裸容量为 5.4TB 或 12TB HP ProLiant DL180 G5 RMS 服务器 2 Intel 4 核处理器 8GB RAM 双口 4X DDR InfiniBand 接口卡 12 块 450G SAS 或 1TB SATA 磁盘 550 Watts and 3100 BTU/hr 软件预装 Exadata 智能存储服务器软件 Oracle 企业版 Linux (OEL) HP 存储单元管理软件 内建 Rescue 系统恢复技术 硬件保修 3 YR Parts/3 YR Labor/3 YR On-site 24X7, 4 Hour response
高度并行的存储网格 Exadata 存储服务器构成高度并行的存储网格 可伸缩性 可以扩展至数百个存储服务器 数据通过 ASM 被自动分布到不同的存储服务器上 当增加或减少存储服务器时, 数据透明地重新分布到不同的存储单元 数据带宽随着容量的增长而线形扩展 高可用性 数据在不同的存储服务器间进行镜像 磁盘或存储服务器支持透明的容错 简单 无须修改应用程序 4 GB/sec 8 GB/sec 16 GB/sec Exadata 的带宽随着容量的增长而线性增长
Exadata 智能存储服务器的性能扩展 10 Hour 5 Hour 表扫描时间 传统架构 Exadata 为数据库软件提供坚实的硬件基础 性能伴随容量而自动扩展 1 Hour Exadata 存储 带宽 处理能力同比增加 1TB 10 TB 100TB 表的大小
灵活的可伸缩性 每个机架可以扩展 18 个存储单元 可以通过增加机架来进一步扩展 每个存储单元连接 2 个 InfiniBand 交换机以实现冗余 可以提供 4 倍的网络带宽 SAS raw capacity per rack: 97.2TB SATA raw capacity per rack: 216TB Peak throughput per rack : >18GB/s 不同的机架之间直接通过 InfiniBand 实现互连
技术创新 Smart Scan 智能扫描处理技术 Exadata 为什么快 10-100x 100x 倍? 问题 : 昨天的销售业绩如何? Select sum(sales) where Date= 24- Sept Oracle 数据库网格 构建并发 Smart Scan 请求 Exadata 智能存储层 Smart Scan 在 TB 级数据中扫描匹配请求的数据 SUM 仅仅返回满足条件的数据 Exadata 还支持存储层的 Join 过滤 索引 表空间创建 增量备份
自动识别 Exadata 智能存储 对应用透明 TABLE ACCESS STORAGE FULL INDEX ACCESS STORAGE FULL storage(sys_op_bloom_filter( )) ------------------------------------------------------------ Id Operation Name E-Rows ------------------------------------------------------------ 0 SELECT STATEMENT 1 SORT AGGREGATE 1 2 PX COORDINATOR 3 PX SEND QC (RANDOM) :TQ10000 1 4 SORT AGGREGATE 1 5 PX BLOCK ITERATOR 46 * 6 TABLE ACCESS STORAGE FULL SALES 46 ------------------------------------------------------------ Predicate Information (identified by operation id): --------------------------------------------------- 6 - storage(:z>=:z AND :Z<=:Z) filter("price"<25000)
比较 传统扫描处理技术 SELECT customer_id FROM calls WHERE amount > 200; DB 主机确定表的存储分区 发起 I/Os 请求 返回数据行 DB 主机筛选 1 TB 数据, 得到 1000 行客户要求的数据, 计算并返回给客户端 I/Os 执行 : 返回 1 TB 数据 基于传统存储技术, 全部的数据库智能存在于数据库主机 来源于存储的数据大部分被数据库主机所丢弃 大量的废弃数据占用宝贵的数据库主机资源 (IO 内存和 CPU), 严重影响其它任务执行, 处理缓慢
比较 Exadata 的智能扫描技术 SELECT customer_id FROM calls where amount > 200; 构造 Smart Scan 并发送到存储单元 Smart Scan 在 TB 的表中识别出符合查询需求的行和字段 返回数据行 汇聚各存储单元的返回结果到结果集 返回 2MB 数据到数据库服务器 仅查询相关的字段 customer_id 和符合条件的行 where amount>200 被返回给数据库服务器 通过把扫描处理从数据库中剥离, 减少了数据库服务器的 CPU 负担, 同时极大降低了无效的信息传输 仅仅传输需要的有价值的信息
Oracle 先进的网格集群数据库
网格技术的出现彻底改变了规则 网格提供与昂贵高端系统同等级别的可靠性和性能 数据库网格 应用网格 智能存储网格 避免了服务器的单点故障 并行处理, 提供高性能和大吞吐量 网格集群技术可扩展性良好 单台计算机的处理和扩展能力始终是有限的 支持垂直扩展 同时支持水平扩展 网格集群技术具有良好的经济性 大大降低采购 维护 扩展和人员成本 可以采用刀片服务器和 Linux 操作系统 网格技术具有良好的开放性
网格数据库结合智能存储的最佳性能实践 Oracle Database Machine 数据库一体机 集成的高性能数据仓库 ( 超大数据库 ) 解决方案, 包括 : 数据库服务器网格 智能存储服务器网格 预装及预配置的软件 超级的处理性能 比传统数据仓库 VLDB 快 10-100X Exadata 智能存储网格使这成为现实 无限的线性扩展性 通过增加机架方式线性扩展数据量和性能
Oracle Exadata 数据库一体机的技术指标 8 个 HP DL360 的数据库服务器网格 2x 四核 Intel Xeon, 32GB RAM( 共 64 个核 256G 内存的处理能力 ) 14 台 Exadata 存储服务器单元 配置 SAS450G 硬盘 14GB/Sec 原始 I/O 1TB/ 小时数据加载能力 14 12 450GB = 75.6TB 原始存储空间 配置 SATA 1000G 硬盘 10.5GB/Sec 原始 I/O 1TB/ 小时数据加载能力 14 12 TB = 168TB 原始存储空间 4 台 InfiniBand 交换机 1 台 Gigabit 以太网交换机通过增加机架方式的灵活扩展
Exadata 实战中的极限性能 结果 : 每 3.5 秒可扫描 1 TB 用户数据 6 架 :16 台 DB 服务器 ( 不需要全部 48 个 DB 服务器 ), 84 个存储单元 总行数 ~ 162,3 亿行
Exadata 存储服务器开发情况 3 年开发计划 数十年的大规模并行架构的研究经验 客户测试计划 2007 年十月开始
Simeon Dimitrov M-Tel 的企业资源经理欧洲电信提供商 与我们当前的系统相比,Exadata 上的每个查询速度都更快 性能最少提高了 10 倍, 而性能提高最多的为令人难以置信的 72 倍
M-Tel TB CDR 呼叫详细记录数据库 4.5TB 原有系统 1/2 Exadata DB 主机 2x IBM P570s EMC CX3-40 存储 平均 28 倍的性能提升
M-Tel Exadata 的速度提升 10 倍到 72 倍 建立表空间 建立索引 手机到客户的映射报告 28x 平均提速 CRM 客户折扣报告 CRM 业务订单报告库存报告 CDR 全表扫描 0 10 20 30 40 50 60 70 80
Grant Salmon LGR Telecommunications 的 CEO 电信业务智能解决方案 呼叫数据记录查询过去往往要运行 30 分钟以上现在不到 1 分钟即可完成 这是极限性能
LGR 电信系统的测试结果 220TB CDR 呼叫详细记录数据库 现存系统 1/2 Exadata DB 主机 Large SMP Hitachi XP24000 存储阵列 更少的硬件 30 倍更高的性能 平均 20 倍的性能提升
Giant Eagle 5TB 零售数据仓库 现存系统 1/2 Exadata DB 主机 IBM P570 EMC CLARiiON 和 DMX 存储阵列 平均 16 倍的性能提升
Giant Eagle Exadata 的速度提升 3 倍到 50 倍的性能提升 Merchandising Level 1 Detail: Period Ago Merchandising Level 1 Detail: Current - 52 weeks Supply Chain Vendor - Year - Item Movement Merchandising Level 1 Detail by Week Materialized Views Rebuild Date to Date Movement Comparison - 53 weeks Prompt04 Clone for ACL audit Sales and Customer Counts Gift Card Activations Recall Query 16x Average Speedup - 5.0 10.0 15.0 20.0 25.0 30.0 35.0 40.0 45.0 50.0
Oracle 在数据仓库的领先地位 USD $1.8B Source: IDC, 2007 Data Warehouse Platform Tools 2006 Vendor Shares
Winter Corp: 世界上最大的数据仓库 Company/ Organization DB Size (GB) Platform DBMS Architecture DBMS Vendor System Vendor Yahoo! 100,386 Unix Oracle Centralized/SMP Oracle Fujitsu Siemens AT&T 93,876 Unix Daytona Federated/SMP AT&T HP KT IT-Group 49,397 Unix DB2 Centralized/Cluster IBM IBM AT&T 26,713 Unix Daytona Federated/SMP AT&T Sun LGR Cingular Wireless 25,203 Unix Oracle Centralized/SMP Oracle HP Amazon.com 24,773 Linux Oracle RAC Centralized/ Cluster Oracle HP Anonymous 19,654 Unix DB2 Centralized/MPP IBM IBM UPSS 19,467 Windows SQL Server Centralized/SMP Microsoft Unisys Amazon.com 18,558 Linux Oracle RAC Centralized/ Cluster Oracle HP Nielsen Media Research 17,685 Unix Sybase IQ Centralized/SMP Sybase Sun Source: 2005 TopTen Program, November 2005 Winter Corporation, Waltham, MA, USA
Oracle 提供完整的数据仓库 / 商业智能方案 数据集成数据管理数据使用 源数据 数据源 1 数据源 2 数据源 n 转换 转换 转换 数据转换中央数据仓库信息展现业务用户 抽取 加载 Oracle Data Integrator Oracle 11g/Exadata 转换 数据仓库 Hyperion/OLAP/ Data Mining 统一企业信息模型 Oracle BI EE+ 服务 交互式信息板 即席分析 报告并发布 预先检测和警报 MS Office 插件 新一代 E-LT 架构的 ODI 统一数据管理统一信息使用 BI/DW 发展战略 : 通过技术创新和并购一流公司的产品来实现跨越式发展
Exadata 相对于专用平台的优势 Oracle 在性能上已经达到甚至超过大机 专用系统, 通过新的技术架构, 突破传统硬件的性能瓶颈 利用低成本 标准化的硬件, 降低 TCO 帮助企业应对金融危机和数据量的爆炸性增长 开放的体系结构, 方便与不同应用的数据集成 扩容更加灵活, 可以扩一体机的机柜, 也可以仅仅扩充存储单元, 而不是必须扩展整套专用系统 容量和性能线性增长, 增加新的存储单元后, 数据自动均匀分布, 扩容简单方便 集成了 Data Guard 异地灾难备份等技术, 可以采用非对称的智能存储, 也可采用低成本的普通存储
Exadata 的特点总结 10-100x 100x 的速度提升 完全开放的系统结构 无论是软件还是硬件, 全部采用大众化通用硬件 (RMS 工业标准服务器, 非 SMP 小型机架构 ) 革命性的分布式计算结构 智能存储 SmartScan, 从逻辑结构上保 证了无与伦比的性能提升 全新的 IO 组合设计 - 无与伦比的并发 IO 带宽, 单架累计并发带宽可达 14GByte/Sec 恒定的查询性能 - 系统查询性能与容量的无关性设计, 保证系统不会随 着容量的扩大而变慢, 扩展更加灵活 方便 先进的 RAC 网格结构 高性能 高可靠 模块化 可扩展, 管理方便 配置简单 最佳性能实践 以前需要几个月的测试 优化才能确定最佳配置, 现在 缩短到几周甚至几天
如需了解更多的信息 Oracle.com: http://www.oracle.com/exadata Oracle Exadata 技术门户 (OTN): http://www.oracle.com/technology/products/bi/db/exadata Oracle Exadata 白皮书 : http://www.oracle.com/technology/products/bi/db/exadata/pdf/exadatatechnical-whitepaper.pdf http://www.oracle.com/technology/products/bi/db/exadata/pdf/migration -to-exadadata.pdf