<Insert Picture Here> Exadata 数据库云一体机介绍 薛晓斌 xiaobin.xue@oracle.com
数据库 中间件 管理软件 服务器及 存储系统 行业 Oracle 数据库 11 g 真正应用集群 数据仓库 数据库安全性 Exadata Enterprise Manager for Database 嵌入式技术 MySQL Java 应用服务器 面向服务的架构 内容管理 Enterprise 2.0 和门户 企业绩效管理和商务智能 身份管理 Enterprise Manager for Middleware 开发工具 Oracle 电子商务套件 PeopleSoft Enterprise Siebel JD Edwards EnterpriseOne JD Edwards World Hyperion Primavera 应用集成架构 Sun 服务器 Sun 存储 Sun Oracle 数据库机 Solaris Linux 虚拟 Enterprise Manager Ops Center 通信 金融服务 医疗保健 保险 公共部门 零售 公用事业
费用 ( 以十亿美元为单位 ) 年度单位 (M) 服务器的百分比 传统 IT 系统架构面临的问题 12.0 8.0 服务器采购量 / 年 100% 80% 当前服务器利用率很低 而且技术进步会使它继续降低 时钟速度不断增加 超线程 双核心系统 / 四核心系统 主时间 4.0 60% 高峰时间 0.0 2004 2005 2006 2007 2008 2009 40% 20% 需要管理的服务器数量不断增长 0% CPU 利用率 为未使用的计算资源买单 系统管理员如何使用他们的时间 备份和监视 :15% 200 管理和管制成本服务器费用 低价值任务 支持 :20% 安全 :10% 杂项 30% 服务器部署 :20% 150 100 50 除了硬件的成本, 服务器对空间的不断侵占还带来了管理成本的增长 硬件采购 :5% 0 在低价值的任务上花费了太多的时间, 例如采购和调配数据中心管理效率低 管理成本占 TCO 的大部分 来源 :IDC
下一代数据中心所要解决的问题 网点数每年增长 50%, 现在高峰在线用户数 50000 多, 但客户抱怨他们等待的时间越来越长! 业务人员 IT 人员 系统越来越复杂, IT 管理人员人手明显丌足 万一哪天系统有个什么三长两短, 我们的业务全得受影响! 数据量越来越大, 生成综合报表的时间越来越慢. 应用的新模块没怎么测试就上线了了, 性能太差, 我们 DBA 又要熬夜调优了! 机房承重已经很难再增加更大规模的硬件 目前 6T 数据, 3-5 年内总数据量在 50T 左右 按照这样的速度发展下去, 我们到底要继续投资多少才能保证业务的发展?
因此,IT 转型是大势所趋 前所未有的发展机遇和挑战 迅速扩张 业务丌断推陈出新 竞争加剧 法规和监管丌断改变 IT 基础架构需要整体规划不建设 烟囱式的孤岛系统丌足以支撑业务的迅速发展 网络 系统 灾备 安全 管理 服务能力 应用等构成一个有机体 应用是一个整体 IT 转型 往哪里转? 如何转型?
Exadata 让数据库云应用落地 软硬件的创新融合设计, 实现真正的数据云平台 通过操作系统优化 数据库混合列技术 XD 存储控制软件 智能扫描 存储索引 计算下移等独有软件技术的应用, 辅以网格存储 Flashcache,Infiniband 等硬件, 实现了性能的革命性提升, 事实证明软件才是性能提升的关键 Exadata 彻底解决了数据库应用的 IO 瓶颈, 解放了主机计算性能, 为数据库整合 云计算提供保证 真实的水平扩展能力, 支持 1/8 1/4 1/2 等水平扩展, 能够满足未来的业务发展需求, 保护投资 保障云服务
Exadata 不是软硬件的堆叠
Oracle 数据库技术的发展演进 更多的通道 更宽的通道传统 4-8 Gb/S Exadata: 40Gb/S 更少的数据传输
RAC: 真正应用集群系统劢态扩展 团结就是力量 增长你的数据 增长你的用户 用户 增长你的处理能力
RAC: 透明的 应用失效转移 用户感觉不到后台失败 透明的 应用失效转移 补全了可用性等级的所有层次 将应用和用户自动而透明地重新连接到另一个系统 登录的上下文可被保持 应用查询不会中断 节点 A 节点 B 当集群内节点 A 失败, 用户被转移 节点 A 节点 B
通过 RAC 技术实现滚动升级 Clients Clients A B A B 1 2 Patch Oracle 补丁升级 Initial RAC Configuration Clients on A, Patch B 操作系统 补丁升级 4 A B Patch 3 A B 硬件升级 Upgrade Complete Clients on B, Patch A
Oracle MAA 架构 非计划停机 计划停机 系统故障数据故障系统改变数据改变 真正的应用集群 自动存储管理 ASM 闪回 Oracle 安全备份数据卫士 在线重配置滚动升级 在线重定义 Oracle 高可靠性 高扩展性解决方案
构建最大高可用云数据库 Low-Cost, Integrated, Fully Active, High ROI 生产系统 活动备用系统 RAC Scalability Server HA Flashback Active Data Guard 全面数据保护 卸载查询至备端 GoldenGate 主备双活 异构支持 Human error protection Online Redefinition, Edition-based Redefinition, Data Guard, GoldenGate Minimal downtime maintenance, upgrades, and migrations ASM Volume Management RMAN & Fast Recovery Area On-disk backups Oracle Secure Backup Backup to tape / cloud
Oracle 保证持续的可用性 以最低成本提供 最高级别的数据保护 Data Guard 真正应用集群 服务器故障保护 站点故障保护 ASM 镜像 存储故障保护 闪回 人为错误保护
一个很简单的问题 哪个更容易处理? 这个?? 还是这个??
Partitioning: 数据分区分而治之 列表分区 范围分区 组合分区 哈希分区
强大的并行处理能力 C P U Query--Index--Load Insert--Update--Delete C P U C P U C P U C P U C P U C P U C P U 随着数据库的增长, 必须采用并行处理方式以保证响应时间 在数据库中进行并行处理可以显著提高批量操作的性能 批量更新 批量删除 批量插入 并行执行 SQL 语句 数据动态分片
Exadata 极限性能的设计 Exadata 高性能的理由 DB Servers 请求 InfiniBand Exadata Storage 高性能理由 1 Smart Scan : 计算负载部分卸载至并行智能存储层, 并只传输经筛选的有用数据 高性能理由 2 混合列压缩 (EHCC) : 技术获得 10x-50x 超高压缩比, 并提高磁盘 I/O 效率 高性能理由 3 Smart Flash Cache : 高达 22.4TB 的 Flash Cache, 读写 I/O 性能分别可高达 1.5M/1M IOPS 高性能理由 4 Infiniband : 提供 40Gb/s 端口带宽, 聚合带宽高达 880Gb/s, 端口延时 (0.1um ) 小于以太网的 1/1000 Smart Scan EHCC Smart Flash Cache 等是 Oracle Exadata 独有的关键性能突破技术 27
比较 传统扫描处理技术 SELECT customer_id FROM calls WHERE amount > 200; DB 主机确定表的存储分区 发起 I/Os 请求 返回数据行 DB 主机筛选 1 TB 数据, 得到 1000 行客户要求的数据, 计算并返回给客户端 I/Os 执行 : 返回 1 TB 数据 基于传统存储技术, 全部的数 据库智能存在于数据库主机 来源于存储的数据大部分被数 据库主机所丢弃 大量的废弃数据占用宝贵的数 据库主机 ( 内存 CPU) 和 IO 资 源, 严重影响其它仸务执行, 导致处理缓慢
比较 Exadata 的智能扫描技术 SELECT customer_id FROM calls where amount > 200; 返回数据行 仅查询相关的字段 customer_id 和符合条件的行 where amount>200 被返回给数据库服务器 构造 Smart Scan 并发送到存储单元 汇聚各存储单元的返回结果到结果集 通过把扫描处理从数据库中剥离, 减少了数据库服务器的 CPU 负担, 同时极大降低了无效的信息传输 Smart Scan 在 TB 的表中识别出符合查询需求的行和字段 返回 2MB 数据到数据库服务器 仅仅传输需要的 有价值的信息
行压缩 vs 列数据库 vs 混合列 压缩的行 Database Block 列数据库 混合列 Compression Unit 1 Symbol Table Row 1 Row 2 Row 3 Column 2 Column 1 Column 3 Column 3 Column 2 Column 1 Compression Unit 2 C3 C2 C1 很好的随机行访问特性 OK 表访问 2x - 5x 压缩 很差的随机行访问特性 非常好的 Table Scan 5x - 40x 压缩 很好的随机行访问特性 非常好的 Table Scan 5x - 40x 压缩
Exadata 混合列压缩 数据按列存储 并进行压缩 Only on Exadata 针对数据仓库的查询模式 为提高速度进行了优化 通常压缩比可达 10 倍 扫描成比例增长 针对丌常访问数据的归档模式 为减小空间进行了优化 通常可达 15 倍压缩 对某些数据可达 50 倍压缩 Up To 50 X
智能闪存卡 (Smart Flash Cache) 每秒 300 次 I/O 突破传统磁盘随机 I/O 的瓶颈 磁盘驱劢器拥有大量数据 但是只有 300 IO/s Flash 技术存放较少的数据 但是可以运行上万 IO/s 每秒上万次 I/O 理想方案 在磁盘上存储最大量的数据, 减少成本 透明地将热数据迁移到 flash 采用 flash cards, 避免磁盘控制器的限制 Exadata storage 中的 flash card 高宽带, 低延迟 Oracle 是第一个闪存优化的数据库
Exadata 智能闪存回写 Writes I/Os 1 Million 8Kb Write IOPs from SQL 丌仅缓存读 I/O, 同时缓存写 I/O 透明加速写密集型负载 持久的写缓存加速数据库恢复 Exadata 智能闪存比其它厂商使用的闪存层架构更有效 缓存当前热数据, 而丌是昨天的 缓存数据的粒度比闪存层细小 8 到 16 倍 显著地提高了闪存的效力
Exadata 组件内部互联技术 Infiniband 4000 3500 3000 单路连接的数据吞吐量 MB/sec 2500 2000 1500 1000 500 0 Gigabit Ethernet 4Gb Fibre 40Gb Infiniband 比高端阵列的光纤通道技术快 5~10 倍 Exadata 的 infiniband 网络采用了 3 个交换机的双链路 全冗余结构 ; 并通过交换网格的并行化连接, 提供不存储容量等比增加的带宽
Exadata 极限性能的设计 Exadata 高性能的理由 请求 DB Servers InfiniBan d Exadata Storage 高性能理由 1 Smart Scan : 计算负载部分卸载至并行智能存储层, 并只传输经筛选的有用数据 高性能理由 2 混合列压缩 (EHCC) : 技术获得 10x-50x 超高压缩比, 并提高磁盘 I/O 效率 高性能理由 3 Smart Flash Cache : 高达 22.4TB 的 Flash Cache, 读写 I/O 性能分别可高达 1.5M/1M IOPS 高性能理由 4 Infiniband : 提供 40Gb/s 端口带宽, 聚合带宽高达 880Gb/s, 端口延时 (0.1um ) 小于以太网的 1/1000 Smart Scan EHCC Smart Flash Cache 等是 Oracle Exadata 独有的关键性能突破技术 35
从 1/8 起步的全机架在线扩展 1/8->1/4->1/2-> 满配都是完全的在线扩展 不停机! 1/8Rack 1/4 Rack 1/2Rack 满配 Rack Unique Architecture Makes it Fastest at the Lowest Cost
多达 8 个机架的扩展 仸何配置可多机架级联扩展 Scale to more than 8 Racks by adding InfiniBand switches
Oracle 企业管理器支持软硬件一体化管理 硬件管理 Schematic of cells, compute nodes and switches Hardware components alerts 软件和系统管理 Performance, availability, usage by databases, services, clusters Software alerts db, cluster, ASM Topology view of DB systems/clusters 配置管理 Version summary of all components along with patch recommendations
数据安全控制的三个阶段 事前防范 Prevent 事中拦截 Blocking 事后実计 Auditing Advanced Security Database Vault Data Masking Lifecycle Management Label Security Database Firewall Database Vault Database Firewall Audit Vault Lifecycle Management
40 节能减排 低碳环保数据中心 :Exadata 能源消耗减少一半 重量 kg 电源 Kva 冷却 BTU/hr Exadata( 满配 ) 986 13.2 44,800 IBM P595 1530 22.7 77,500 IBM DS8100 1189 5.8 19,800 C C C C C
DB DB DB DB DB DB DB 数据库云架构通用构建块是共享服务器和存储池 基础架构云 数据库云 数据库云 DW CRM ERP DW ERP CRM DW ERP CRM OS OS OS Hypervisor Hypervisor OS OS OS OS 服务器 在专用 VM 中部署服务器虚拟化 操作系统 共享服务器池真正应用集群 数据库 共享数据库实例 真正应用集群
通过 云, 降低数据中心运行成本 传统方式 应用程序 A 应用程序 B 应用程序 C 应用程序 D 应用程序 E 负载 平均利用率 <20% 服务器 A 服务器 B 服务器 C 服务器 D 虚拟化和集群化实现整合 Oracle 共享实例 净负载 应用程序 A B C D E 服务器 E 平均利用率 70% 利用补充性负载峰值提高利用率和效率降低资本支出和运营支出加快绿色进程 服务器 A 服务器 B 服务器 C 服务器 D 服务器 E 释放的容量被部署到其他地方
通过 云, 提升数据中心可靠性 Oracle 共享实例 应用程序 A B C D E 净负载 系统性的高服务质量 通过冗余实现可靠性 服务器 A 服务器 B 服务器 C 服务器 D 服务器 E 高性能和可用性 负载平衡 故障切换 灾难恢复 滚劢升级 主劢 - 主劢操作 可预测仸何级别的性能 每个应用程序都获得高可用性
通过 云, 劢态扩容数据中心规模 Oracle 共享实例 应用程序 A B C D E 净负载如果利用率太高, 则增加容量 服务器 A 服务器 B 服务器 C 服务器 D 按需向外扩展 在各级别实现世界级集群化 : 数据库 中间件 存储 按需添加 / 删除节点 随负载增加而向外扩展 按需购买 渐进扩展 降低前期资本支出和持续运营支出 加快绿色进程大小适中的容量规划 以较高利用率运行的较小型标准机器推迟设备采购 利用硬件性价比和能源效率的提升
基于 Exadata 基础架构的 TCO $ Traditional silo approach Cloud computing model Number of applications
Q&A 46