<Insert Picture Here> 高性能的数据库云服务器 Exadata 在制造业的应用介绍马志良 甲骨文 ( 中国 ) 软件系统有限公司 010-65151084 jimes.ma@oracle.com
传统 IT 架构如何应对未来挑战影响信息化发展的因素 传统的 IT 架构 - 烟囱式 信息孤岛 系统独立 重复建设 应用系统部署 升级复杂 项目周期长, 难于适应快速变化的业务需求 数据平台不统一 信息集成难 服务器资源不能充分利用 效率低 资源孤岛 设备为每个应用的峰值配置资源 设备资源无法动态调整, 导致无法共享 利用率低 系统架构很难按业务进行扩展 可靠性低 系统结构复杂, 不同的软硬件平台, 不同的应用架构,IT 维护成本高 管理复杂 安全差, 形成管理和安全孤岛
系统经过长期的建设和积累 结果是 更加昂贵 更加复杂 更难管理 不同的应用 不同的 硬件平台 机房空间 电力供应 空调制冷不足 应用不停更新 配置不断升级 软 硬件的维护成本持续增加 长期的性能调优 主机虚拟化能解决所有问题吗?
目前 CIO 们的关注点
通过大型主机实现数据库整合? 非常昂贵的初始化投入成本 应用的开发维护周期长 难度大 成本高 存在单点故障 扩展的成本巨大 运行维护成本昂贵
企业级用户更加青睐私有云所带来的价值基于 PAAS 的企业私有云更加适合金融 电信 政府 大型企业等的需求 因为管理 安全性 合规性等诸多因素, 许多企业信息及服务并不方便在公有云上公开访问, 企业更加青睐容易落地 支持 OLTP 交易和 OLAP 分析应用的私有云的建设 应用部署在云端, 资源池化和弹性可扩展, 业务量的发展 流程的改变等, 可灵活适应而无需重构 IT 基础架构 敏捷 支持快速部署新的应用 提高软 硬件的共享和利用率, 提高 ROI, 绿色环保 利用云的整合和虚拟化等功能, 简化 IT, 自动化管理, 降低管理维护的复杂程度和运行成本 满足 SLA 的性能 可靠性 安全性 等方面的要求
国外一些单位对云的理解和认识 云计算给我们的最大好处就是, 它使我们不需要再去购买额外的数据中心 使用云计算方案, 我们不需要购买任何服务器 存储设备以及网络设备 一切软 硬设备和技术问题都交付给云计算服务提供商完成 我们也不会因为兼容问题而被局限在一个硬件厂商的产品 方案中 另外, 云计算采用按需使用 即付即得的交付模式 这样我们不必关心硬件系统的性能 容量等 IT 基础设施的技术参数, 我们只需要关心自己的业务 云计算的升级方式非常灵活, 完全可以支持业务的动态变化 更重要的是, 我们不需要为将来可能用到的系统付费, 我们只为正在使用的资源付费 澳大利亚联邦银行 CIO( 首席信息官 )Michael Harte
数据库集中 DBaaS 澳大利亚联邦银行在 Exadata 上集中了 300 个数据库 澳大利亚联邦银行配置的企业服务器 澳大利亚联邦银行配置的商业集群 Oracle 配置的商业集群 实施前, 成本高 稳定性差 满意度低 环境和流程不统一 实施 DBaaS 后, 把 300 多套中小数据库整合到 3 个数据库云, 实现了几种管理和标准化 仅仅通过整合, 实现第一年收支平衡, 五年后 150% 的投资回报率 应用程序的 OpEx 是独立环境的 40 50%
甲骨文 IT 之前世今生 (198X 200X)
共享服务简化 标准化 集中化和自动化, 让所有服务都变成自助式
甲骨文采用云计算 通过简化和系统整合, 节省 10 亿美元
在每个层面都提供弹性可扩展能力从应用服务器层到数据库层 Enterprise Manager TimesTen WebLogic Server Applications Coherence JRockit and HotSpot Exalogic 或 Weblogic 集群 Tuxedo Exadata 数据库云服务器 X2-2 Oracle 提供 J2EE 和 SOA 的弹性扩展,Oracle 还提供了 Coherence 等内存数据网格来加强 SOA 的弹性扩展 数据库的扩展性 ( 尤其是 IO 的瓶颈 ) 一直是一个难点, 这在 Oracle Exadata 云数据库服务器上得到彻底实现
数据库云需要解决的一些问题 生产系统 报表及查询等系统的性能低下 硬件升级未能带来性能的大幅提升 HA 高可用性 大数据量的处理能力 打包的应用, 很难通过改写 SQL 提升性能 运维复杂, 运维管理人员缺乏 OLTP 和 OLAP 的混合负载, 导致优化困难
Oracle 数据库技术的发展演进 Exadata 采用了先进的分布式计算和智能存储技术 : 从 SMP 到 RAC 解决和高可靠性 服务器垂直扩展的问题 Exadata 解决了 IO 等的全面扩展和数据库整合问题 Exadata 解决了利用低成本的硬件实现企业级云计算的性能问题
Exadata 先进的云数据库服务器体系架构 专门针对数据库极限性能而优化设计 Oracle11g RAC 集群数据库 数据库网格 OEL CELLSRV IORM DB 服务器 DB Instance DBRM MS RS Exadata 单元 ASM DB 服务器 DB Instance DBRM ASM InfiniBand Switch/Network 超高速并发网络 40Gb/ 秒 OEL CELLSRV IORM MS RS Exadata 单元 OEL CELLSRV IORM MS RS Exadata 单元 智能存储网格 数据完全自动地均匀分布 采用云的分布式计算架构, 更加适合大并发 高并行 混合负载和实时 BI Exadata 提供更多的并发带宽 (I/O 能力 ) 模块化存储单元 CELL, 高度并行的存储网格 带宽与容量成正比 Exadata 采用更高的单路带宽 InfiniBand 提供 40G bits/s 的带宽, 比高端阵列的光纤通道技术快 5~10 倍 带有智能的存储 智能扫描使 Exadata 传送更少的数据 数据查询过程被下移到智能存储层, 传送到服务器中的数据只包括最相关的结果数据, 显著的减少了发送到服务器的数据, 减轻了服务器 CPUs 负荷
Exadata 智能存储的技术特点高性能 高可靠 可扩展 Exadata Smart Scans 智能扫描 成 10x 倍地降低传输到数据库服务器的数据量 Exadata Storage Indexes 存储索引 智能识别是否需要读取文件, 消除不必要磁盘 I/O HCC 混合列压缩 高效的压缩技术增大用户数据扫描速度 节省存储空间, 最高压缩比可达 50 倍 Flash Cache 大幅提高扫描效率 与 Hybrid Columnar Compression 组合, 扫描速度提升 20X, 可以用更少的磁盘 实现高性能 采用 40Gb 的 Infiniband 通道技术
比较 传统扫描处理技术 SELECT customer_id FROM calls WHERE amount > 200; DB 主机确定表的存储分区 发起 I/Os 请求 返回数据行 DB 主机筛选 1 TB 数据, 得到 1000 行客户要求的数据, 计算并返回给客户端 I/Os 执行 : 返回 1 TB 数据 基于传统存储技术, 全部的数据库智能存在于数据库主机 来源于存储的数据大部分被数据库主机所丢弃 大量的废弃数据占用宝贵的数据库主机 ( 内存 CPU) 和 IO 资源, 严重影响其它任务执行, 导致处理缓慢
比较 Exadata 的智能扫描技术 SELECT customer_id FROM calls where amount > 200; 构造 Smart Scan 并发送到存储单元 Smart Scan 在 TB 的表中识别出符合查询需求的行和字段 返回数据行 汇聚各存储单元的返回结果到结果集 返回 2MB 数据到数据库服务器 仅查询相关的字段 customer_id 和符合条件的行 where amount>200 被返回给数据库服务器 通过把扫描处理从数据库中剥离, 减少了数据库服务器的 CPU 负担, 同时极大降低了无效的信息传输 仅仅传输需要的 有价值的信息
行压缩 vs 列压缩 vs 混合列压缩 压缩的行 列数据库 混合列 Database Block Symbol Table Row 1 Column 1 Column2 Column 3 Compression Unit 1 Column 3 Column 2 Column 1 Row 2 Row 3 Compression Unit 2 C3 C2 C1 很好的随机行访问特性 OK 表访问 2x - 5x 压缩 很差的随机行访问特性 非常好的 Table Scan 5x - 40x 压缩 很好的随机行访问特性 非常好的 Table Scan 5x - 40x 压缩
针对数据仓库设计的混合列压缩 数据按列存储 并进行压缩 针对数据仓库的查询模式 为提高速度进行了优化 通常压缩比可达 10 倍 扫描成比例增长 针对不常访问数据的归档模式 为减小空间进行了优化 通常可达 15 倍压缩 对某些数据可达 50 倍压缩 Only on Exadata Up To 50X 节省存储空间, 提高查询 备份的速度, 节约存储成本
用户使用 EHCC 后节约大量的存储设备 Financial (EHCC, Data Warehouse Compression) Top Financial Services 1: 11x Hartford Top Financial Services 2: 24x UBS Top Financial Services 2: 19x Bank of America Telco (EHCC DW Compression) Top Telco 1: 8x Hutchison Top Telco 2: 14x T Mobile Top Telco 3: 6x Vodfone Top Telco 4: 7x AT&T Top Telco 5: 7x Turkcell Retail Top US Retailer 14x Safeway Top Global Retailer 4x Carrefour Top US Retailer 6.3x Ahold Manufacturing Top Computer Media manufacturer (OBIEE financial) 10.6x Scientific Data Customer (EHCC, Archive Compression) Top R&D customer (with PBs of data): 28x CERN OLTP Customer (EHCC, Archive Compression) SAP R/3 Application, Top Global Retailer: 28x Colgate Oracle E-Business Suite, Oracle Corp.: 23x Oracle Custom Call Center Application, Top Telco: 15x Verizon
Flash 突破传统磁盘随机 I/O 的瓶颈 每秒 300 I/O 磁盘驱动器存储大量数据 但是只有 300 IO/s Flash 技术存放较少的数据 但是可以运行上万 IO/s 每秒上万次 I/O 理想方案 在磁盘上存储最大量的数据, 减少成本 透明地将热数据迁移到 flash Cache 采用 flash cards 而不是 flash disk, 避免磁盘控制器的限制 Exadata storage 中的 flash card 高宽带, 低延迟
事务处理的极限性能保障 Flash 技术解决随机 I/O 瓶颈 New 可以达到比配置了 1000 块硬盘的企业级存储快 5 倍的 I/Os 性能 Sun Oracle Database Machine 配置 5+ TB 的闪存存储 20x 随机 I/Os 超过 150 万每秒 2x 连续查询 I/O 75 GB/s 10x I/O 响应时间 Sub-millisecond Exadata Smart Cache 技术缓存热点数据 Allows optimization by application table 极大地降低成本 同样的 I/O 能力, 超过 10x 倍的磁盘节省 低能耗 Oracle 是第一个闪存优化的数据库系统
Exadata 是一套数据库系统而非服务器 vs. + SAN + Enterprise SMP Server Systems Network High end Enterprise Storage Arrays Exadata V2 Enterprise Server and Storage Systems Exadata 是一个高可靠 每个层面冗余的系统, 不是单一机器 Exadata 是完整 集成设计 极限性能的系统 ; 组装的系统远不能达到其性能 Exadata 是预配置好的系统, 极大降低集成的风险, 节省了 60%~ 90% 的实施工作量和时间 生态, 节能, 节省空间, 易于维护, 降低运营成本
Exadata 全球客户实施 /POC 测试结果 Item Customer Project / App Status Result 1 Bank of America Financial DW and HR DW Deployed 10-26x faster 2 BNP PARIBAS DW Deployed 17x faster 3 SK Telecom DLAP & BI,24TB Deployed 10x faster 4 National Healthcare Group 5 Financial Customer OLTP DW Deployed POC 470x faster 330x than corrent 33x than target 6 HISCOM DW Deployed 30x faster 7 Financial Customer Cognos App/ BI POC 91x faster 8 Financial Customer DW POC 95x faster 9 Turkcell Bio(Telco) DW Serving 50k reports/month 250TB Raw Data to 25TB Disk space(hcc) Deployed 10-400x Faster 10 P&G DW Deployed 22-144x Faster
Exadata 中国区用户 POC 测试结果 Project Config Poc Results Competitor Timetable FSI: DW project V2,¼ Rack 25x IBM/Teradata 21 Days,May 2010 电力 : 低压集超 (DW) V1 10x HP 8640 (32CPU)+ 存储 EV 8000 7 Days, Jan 2010 电力 : 电力营销 (--) V1 16x IBMP6570(16core)+DS8300 2 days 交通 :ETC (DW) V2,¼ Rack 300x, 秒级 N/A 14 Days May 2010 物流 : ODS/DW V2,¼ Rack 62x 3-nodes RAC, IBM P570 14 Days May 2010 制造 :MES Report V2, ½ Rack 28/10x HP SD 72Cores, EVA8000 64dsks Mar-Apr 2010 政府 :DATES & DW V2,¼ Rack 10x 450x HP Itanimum Server, EVA SAN Storage Jul5-16,2010 电信 :BASS system V1 10x P595(2x32CPU)+DB2 7 Days Sep 2009 电信 :BASS V2, ¼ Rack 168x SUN 25K*2 EMC Storage Jul26-Jul28,2010 政府 :DW V2, ½ Rack 12x - 460x HP Itaninum,EVA4400 Jul5-Jul15,2010 电信 :BASS V2, ¼ Rack 235x 2 个 IBM595(96 Core),EMC DMX-4 300 Sep8-Sep15,2010 电信 : 综合告警 (DW) V1, ¼ Rack 105 /352 x SUN M5000 Oct11-18,2010 电信 : 网管 (OLTP+DW) X2-2,¼ Rack 44 ~ 127x on OLTP Average 2000x on DW E6900 48Core,F6800 32Core Jan,2011 社保 DW X2-2,¼ Rack 5-2000 ~ times 2 HP RX8640(12 core each) Jan 2011 物流 : OLTP X2-2, ½Rack 9.3x~310x 3-nodes RAC, IBM P570 Jan 2011
Exadata 每个层面的高可靠性和扩展性 无单点故障, 统一管理, 动态调配, 满足业务按需扩展 FIN HR EAM 联机添加和删除节点 BI Apps Oracle 真正应用集群 : 可防范数据库服务器故障 冗余 InfiniBand 交换机 双口网卡 Oracle 自动存储管理 : 所有数据库文件都有镜像 ; 磁盘故障不中断查询过程 Oracle Exadata Storage Server 软件 : 可防范服务器故障 所有服务器的冗余电源 使用 Oracle Recovery Manager 来做备份 使用 Oracle Flashback Technologies 进行即时恢复
可以灵活地进行扩展 X2-2 1/4 配 X2-2 半配 X2-2/X2-8 满配 2~8 个满配级联 扩展性 通过线缆联接可以扩展到多个机架 更多扩展需要外部 InfiniBand 交换机 可以单独购买 Exadata 存储服务器单元 扩展到上百个存储服务器 支持 PB 级数据库
数据库整合及云服务 简化数据中心架构 ERP HR CRM DW System 远程灾备 DataMart 磁盘阵列 Exadata DB Cloud SAN 磁带备份 磁带备份 远程灾备 DBaaS 整合与按需服务 服务器 存储及网络资源池 统一管理与监控 随需扩展
Exadata Enterprise Manager 加强了对 Exadata 的统一监控管理
Exadata 服务仪表板将多个组件看成一个整体 服务信息可以发布给运维人员和业务人员 多个组件体现为一个 Exadata 服务
Exadata 与传统 SMP 架构 TCO 对比 Oracle 1/4 Rack Exadata 2 小型机 /(16Core)+1 套盘阵 机架数 1 2 主节点架 +1~2 存储架 磁盘 Raw: 21TB Raw: 21TB 闪存 1.1TB N/A CPU 能力 2 2*6 + 3 2*6 =60 核 16*2=32 核 内存 2 96+3 24 = 264 GB 64*2=128GB 网络交换 2 个 36 口 Infiniband 交换机每端口 40Gb/s 2 个 24 口 FC SAN 交换机每端口 4-8Gb/s 未压缩磁盘吞吐量闪存 13.5GB/s 37.5 万 IOPS 磁盘 <2GB/s 2 万 IOPS 电力消耗 3.6KW 2x1.6KW+1~2 x8kw=11.2kw ~ 19.2KW 软件特性 性能 价格 ( 初期一次性投入, 不含运维, 电力等 ) SmartScan, 混合型列压缩 (10-50x 压缩比 ), 存储索引 只需 12Cpu 的数据库 DBEE, RAC, Partitioning, Exadata Storage server software 数据库软件 License N/A 2 台高端小型机 1~2 台高端磁盘阵列 2 台 FC 交换机共计 : 不包括 32Cpu 数据库 License 大幅提升性能的同时, 节省大量的总体投资
采用云计算构建企业信息化的优势总结 采用领先的云计算技术, 实现弹性可扩展的资源池, 部署应用更加敏捷 系统扩展更加方便 安全可靠性也得到提升 打破小机加存储的传统烟囱式建设思路, 消除了信息孤岛和资源孤岛, 信息共享更加准确 及时 ; 同时, 提高了设备利用率, 降低 TCO 提高 ROI 性能通常能够提升 10~100 倍, 极高的性能和性价比, 解决了 IO 和大数据量的性能问题, 压缩技术能节省 10 倍的存储空间 绿色计算 节能环保, 通常能降低 4 倍的机房占地 节约 8 倍的能源消耗 开箱即用, 一站式服务 维护管理更加简单
位于北京的甲骨文中国研发中心
完整的云数据中心解决方案演示中心
谢谢!