Slide 1

Size: px

Start display at page:

Download "Slide 1"

坛镖飞
4 years ago
Views:

1 <Insert Picture Here> Exadata 数据库云一体机介绍薛晓斌

数据库中间件管理软件服务器及存储系统行业 Oracle 数据库 11 g 真正应用集群数据仓库数据库安全性 Exadata Enterprise Manager for Database 嵌入式技术 MySQL Java 应用服务器面向服务的架构内容管理 Enterprise 2.

2 数据库中间件管理软件服务器及存储系统行业 Oracle 数据库 11 g 真正应用集群数据仓库数据库安全性 Exadata Enterprise Manager for Database 嵌入式技术 MySQL Java 应用服务器面向服务的架构内容管理 Enterprise 2.0 和门户企业绩效管理和商务智能身份管理 Enterprise Manager for Middleware 开发工具 Oracle 电子商务套件 PeopleSoft Enterprise Siebel JD Edwards EnterpriseOne JD Edwards World Hyperion Primavera 应用集成架构 Sun 服务器 Sun 存储 Sun Oracle 数据库机 Solaris Linux 虚拟 Enterprise Manager Ops Center 通信金融服务医疗保健保险公共部门零售公用事业

3 费用 ( 以十亿美元为单位 ) 年度单位 (M) 服务器的百分比传统 IT 系统架构面临的问题服务器采购量 / 年 100% 80% 当前服务器利用率很低而且技术进步会使它继续降低时钟速度不断增加超线程双核心系统 / 四核心系统主时间 % 高峰时间 % 20% 需要管理的服务器数量不断增长 0% CPU 利用率为未使用的计算资源买单系统管理员如何使用他们的时间备份和监视 :15% 200 管理和管制成本服务器费用低价值任务支持 :20% 安全 :10% 杂项 30% 服务器部署 :20% 除了硬件的成本, 服务器对空间的不断侵占还带来了管理成本的增长硬件采购 :5% 0 在低价值的任务上花费了太多的时间, 例如采购和调配数据中心管理效率低管理成本占 TCO 的大部分来源 :IDC

下一代数据中心所要解决的问题网点数每年增长 50%, 现在高峰在线用户数 50000 多, 但客户抱怨他们等待的时间越来越长!

数据量越来越大, 生成综合报表的时间越来越慢. 应用的新模块没怎么测试就上线了了, 性能太差, 我们 DBA 又要熬夜调优了!

4 下一代数据中心所要解决的问题网点数每年增长 50%, 现在高峰在线用户数多, 但客户抱怨他们等待的时间越来越长! 业务人员 IT 人员系统越来越复杂, IT 管理人员人手明显丌足万一哪天系统有个什么三长两短, 我们的业务全得受影响! 数据量越来越大, 生成综合报表的时间越来越慢. 应用的新模块没怎么测试就上线了了, 性能太差, 我们 DBA 又要熬夜调优了! 机房承重已经很难再增加更大规模的硬件目前 6T 数据, 3-5 年内总数据量在 50T 左右按照这样的速度发展下去, 我们到底要继续投资多少才能保证业务的发展?

5 因此,IT 转型是大势所趋前所未有的发展机遇和挑战迅速扩张业务丌断推陈出新竞争加剧法规和监管丌断改变 IT 基础架构需要整体规划不建设烟囱式的孤岛系统丌足以支撑业务的迅速发展网络系统灾备安全管理服务能力应用等构成一个有机体应用是一个整体 IT 转型往哪里转? 如何转型?

6 Exadata 让数据库云应用落地软硬件的创新融合设计, 实现真正的数据云平台通过操作系统优化数据库混合列技术 XD 存储控制软件智能扫描存储索引计算下移等独有软件技术的应用, 辅以网格存储 Flashcache,Infiniband 等硬件, 实现了性能的革命性提升, 事实证明软件才是性能提升的关键 Exadata 彻底解决了数据库应用的 IO 瓶颈, 解放了主机计算性能, 为数据库整合云计算提供保证真实的水平扩展能力, 支持 1/8 1/4 1/2 等水平扩展, 能够满足未来的业务发展需求, 保护投资保障云服务

7 Exadata 不是软硬件的堆叠

8 Oracle 数据库技术的发展演进更多的通道更宽的通道传统 4-8 Gb/S Exadata: 40Gb/S 更少的数据传输

9 RAC: 真正应用集群系统劢态扩展团结就是力量增长你的数据增长你的用户用户增长你的处理能力

10 RAC: 透明的应用失效转移用户感觉不到后台失败透明的应用失效转移补全了可用性等级的所有层次将应用和用户自动而透明地重新连接到另一个系统登录的上下文可被保持应用查询不会中断节点 A 节点 B 当集群内节点 A 失败, 用户被转移节点 A 节点 B

11 通过 RAC 技术实现滚动升级 Clients Clients A B A B 1 2 Patch Oracle 补丁升级 Initial RAC Configuration Clients on A, Patch B 操作系统补丁升级 4 A B Patch 3 A B 硬件升级 Upgrade Complete Clients on B, Patch A

12 Oracle MAA 架构非计划停机计划停机系统故障数据故障系统改变数据改变真正的应用集群自动存储管理 ASM 闪回 Oracle 安全备份数据卫士在线重配置滚动升级在线重定义 Oracle 高可靠性高扩展性解决方案

构建最大高可用云数据库 Low-Cost, Integrated, Fully Active, High ROI 生产系统活动备用系统

GoldenGate 主备双活异构支持 Human error protection Online Redefinition,

maintenance, upgrades, and migrations ASM Volume Management RMAN &

13 构建最大高可用云数据库 Low-Cost, Integrated, Fully Active, High ROI 生产系统活动备用系统 RAC Scalability Server HA Flashback Active Data Guard 全面数据保护卸载查询至备端 GoldenGate 主备双活异构支持 Human error protection Online Redefinition, Edition-based Redefinition, Data Guard, GoldenGate Minimal downtime maintenance, upgrades, and migrations ASM Volume Management RMAN & Fast Recovery Area On-disk backups Oracle Secure Backup Backup to tape / cloud

14 Oracle 保证持续的可用性以最低成本提供最高级别的数据保护 Data Guard 真正应用集群服务器故障保护站点故障保护 ASM 镜像存储故障保护闪回人为错误保护

15 一个很简单的问题哪个更容易处理? 这个?? 还是这个??

16 Partitioning: 数据分区分而治之列表分区范围分区组合分区哈希分区

17 强大的并行处理能力 C P U Query--Index--Load Insert--Update--Delete C P U C P U C P U C P U C P U C P U C P U 随着数据库的增长, 必须采用并行处理方式以保证响应时间在数据库中进行并行处理可以显著提高批量操作的性能批量更新批量删除批量插入并行执行 SQL 语句数据动态分片

18 Exadata 极限性能的设计 Exadata 高性能的理由 DB Servers 请求 InfiniBand Exadata Storage 高性能理由 1 Smart Scan : 计算负载部分卸载至并行智能存储层, 并只传输经筛选的有用数据高性能理由 2 混合列压缩 (EHCC) : 技术获得 10x-50x 超高压缩比, 并提高磁盘 I/O 效率高性能理由 3 Smart Flash Cache : 高达 22.4TB 的 Flash Cache, 读写 I/O 性能分别可高达 1.5M/1M IOPS 高性能理由 4 Infiniband : 提供 40Gb/s 端口带宽, 聚合带宽高达 880Gb/s, 端口延时 (0.1um ) 小于以太网的 1/1000 Smart Scan EHCC Smart Flash Cache 等是 Oracle Exadata 独有的关键性能突破技术 27

19 比较传统扫描处理技术 SELECT customer_id FROM calls WHERE amount > 200; DB 主机确定表的存储分区发起 I/Os 请求返回数据行 DB 主机筛选 1 TB 数据, 得到 1000 行客户要求的数据, 计算并返回给客户端 I/Os 执行 : 返回 1 TB 数据基于传统存储技术, 全部的数据库智能存在于数据库主机来源于存储的数据大部分被数据库主机所丢弃大量的废弃数据占用宝贵的数据库主机 ( 内存 CPU) 和 IO 资源, 严重影响其它仸务执行, 导致处理缓慢

20 比较 Exadata 的智能扫描技术 SELECT customer_id FROM calls where amount > 200; 返回数据行仅查询相关的字段 customer_id 和符合条件的行 where amount>200 被返回给数据库服务器构造 Smart Scan 并发送到存储单元汇聚各存储单元的返回结果到结果集通过把扫描处理从数据库中剥离, 减少了数据库服务器的 CPU 负担, 同时极大降低了无效的信息传输 Smart Scan 在 TB 的表中识别出符合查询需求的行和字段返回 2MB 数据到数据库服务器仅仅传输需要的有价值的信息

21 行压缩 vs 列数据库 vs 混合列压缩的行 Database Block 列数据库混合列 Compression Unit 1 Symbol Table Row 1 Row 2 Row 3 Column 2 Column 1 Column 3 Column 3 Column 2 Column 1 Compression Unit 2 C3 C2 C1 很好的随机行访问特性 OK 表访问 2x - 5x 压缩很差的随机行访问特性非常好的 Table Scan 5x - 40x 压缩很好的随机行访问特性非常好的 Table Scan 5x - 40x 压缩

22 Exadata 混合列压缩数据按列存储并进行压缩 Only on Exadata 针对数据仓库的查询模式为提高速度进行了优化通常压缩比可达 10 倍扫描成比例增长针对丌常访问数据的归档模式为减小空间进行了优化通常可达 15 倍压缩对某些数据可达 50 倍压缩 Up To 50 X

23 智能闪存卡 (Smart Flash Cache) 每秒 300 次 I/O 突破传统磁盘随机 I/O 的瓶颈磁盘驱劢器拥有大量数据但是只有 300 IO/s Flash 技术存放较少的数据但是可以运行上万 IO/s 每秒上万次 I/O 理想方案在磁盘上存储最大量的数据, 减少成本透明地将热数据迁移到 flash 采用 flash cards, 避免磁盘控制器的限制 Exadata storage 中的 flash card 高宽带, 低延迟 Oracle 是第一个闪存优化的数据库

24 Exadata 智能闪存回写 Writes I/Os 1 Million 8Kb Write IOPs from SQL 丌仅缓存读 I/O, 同时缓存写 I/O 透明加速写密集型负载持久的写缓存加速数据库恢复 Exadata 智能闪存比其它厂商使用的闪存层架构更有效缓存当前热数据, 而丌是昨天的缓存数据的粒度比闪存层细小 8 到 16 倍显著地提高了闪存的效力

25 Exadata 组件内部互联技术 Infiniband 单路连接的数据吞吐量 MB/sec Gigabit Ethernet 4Gb Fibre 40Gb Infiniband 比高端阵列的光纤通道技术快 5~10 倍 Exadata 的 infiniband 网络采用了 3 个交换机的双链路全冗余结构 ; 并通过交换网格的并行化连接, 提供不存储容量等比增加的带宽

26 Exadata 极限性能的设计 Exadata 高性能的理由请求 DB Servers InfiniBan d Exadata Storage 高性能理由 1 Smart Scan : 计算负载部分卸载至并行智能存储层, 并只传输经筛选的有用数据高性能理由 2 混合列压缩 (EHCC) : 技术获得 10x-50x 超高压缩比, 并提高磁盘 I/O 效率高性能理由 3 Smart Flash Cache : 高达 22.4TB 的 Flash Cache, 读写 I/O 性能分别可高达 1.5M/1M IOPS 高性能理由 4 Infiniband : 提供 40Gb/s 端口带宽, 聚合带宽高达 880Gb/s, 端口延时 (0.1um ) 小于以太网的 1/1000 Smart Scan EHCC Smart Flash Cache 等是 Oracle Exadata 独有的关键性能突破技术 35

27 从 1/8 起步的全机架在线扩展 1/8->1/4->1/2-> 满配都是完全的在线扩展不停机! 1/8Rack 1/4 Rack 1/2Rack 满配 Rack Unique Architecture Makes it Fastest at the Lowest Cost

28 多达 8 个机架的扩展仸何配置可多机架级联扩展 Scale to more than 8 Racks by adding InfiniBand switches

Oracle 企业管理器支持软硬件一体化管理硬件管理 Schematic of cells, compute nodes and switches Hardware components alerts 软件和系统管理 Performance, availability, usage by databases,

29 Oracle 企业管理器支持软硬件一体化管理硬件管理 Schematic of cells, compute nodes and switches Hardware components alerts 软件和系统管理 Performance, availability, usage by databases, services, clusters Software alerts db, cluster, ASM Topology view of DB systems/clusters 配置管理 Version summary of all components along with patch recommendations

30 数据安全控制的三个阶段事前防范 Prevent 事中拦截 Blocking 事后実计 Auditing Advanced Security Database Vault Data Masking Lifecycle Management Label Security Database Firewall Database Vault Database Firewall Audit Vault Lifecycle Management

31 40 节能减排低碳环保数据中心 :Exadata 能源消耗减少一半重量 kg 电源 Kva 冷却 BTU/hr Exadata( 满配 ) ,800 IBM P ,500 IBM DS ,800 C C C C C

32 DB DB DB DB DB DB DB 数据库云架构通用构建块是共享服务器和存储池基础架构云数据库云数据库云 DW CRM ERP DW ERP CRM DW ERP CRM OS OS OS Hypervisor Hypervisor OS OS OS OS 服务器在专用 VM 中部署服务器虚拟化操作系统共享服务器池真正应用集群数据库共享数据库实例真正应用集群

33 通过云, 降低数据中心运行成本传统方式应用程序 A 应用程序 B 应用程序 C 应用程序 D 应用程序 E 负载平均利用率 <20% 服务器 A 服务器 B 服务器 C 服务器 D 虚拟化和集群化实现整合 Oracle 共享实例净负载应用程序 A B C D E 服务器 E 平均利用率 70% 利用补充性负载峰值提高利用率和效率降低资本支出和运营支出加快绿色进程服务器 A 服务器 B 服务器 C 服务器 D 服务器 E 释放的容量被部署到其他地方

34 通过云, 提升数据中心可靠性 Oracle 共享实例应用程序 A B C D E 净负载系统性的高服务质量通过冗余实现可靠性服务器 A 服务器 B 服务器 C 服务器 D 服务器 E 高性能和可用性负载平衡故障切换灾难恢复滚劢升级主劢 - 主劢操作可预测仸何级别的性能每个应用程序都获得高可用性

35 通过云, 劢态扩容数据中心规模 Oracle 共享实例应用程序 A B C D E 净负载如果利用率太高, 则增加容量服务器 A 服务器 B 服务器 C 服务器 D 按需向外扩展在各级别实现世界级集群化 : 数据库中间件存储按需添加 / 删除节点随负载增加而向外扩展按需购买渐进扩展降低前期资本支出和持续运营支出加快绿色进程大小适中的容量规划以较高利用率运行的较小型标准机器推迟设备采购利用硬件性价比和能源效率的提升

36 基于 Exadata 基础架构的 TCO $ Traditional silo approach Cloud computing model Number of applications

37 Q&A 46

Extreme Performance Data Warehousing

Extreme Performance Data Warehousing 高性能数据库云服务器 -- Oracle Exadata X2 陈东辉甲骨文 ( 中国 ) 软件系统有限公司 Agenda 企业信息化面临的问题传统的解决方案高性能 & 高智能的理想架构 Oracle 为企业信息化提供的解决之道 Q&A 企业信息化面临的问题企业信息化面临的问题昂贵的低效的信息孤岛导致资源浪费每个系统都是最高性能配置性能仍然不能满足要求