Storage Management

Size: px

Start display at page:

Download "Storage Management"

何劳
4 years ago
Views:

1 使用 Oracle 数据库 11g 第 2 版实现存储管理陆伟琪 Oracle 中国

2 主要的存储挑战存储最佳实践高效管理降低成本减少风险存储目标

3 目标降低成本存储成本阵列光纤端口管理软件人员成本系统管理员降低成本高效管理存储目标减少风险

4 存储成本不断增长的数据量非结构化数据结构化数据监管合规性不断增加的应用程序合并收购数据复制

5 存储成本过度供应过度供应是一个真正的挑战 DBA 需要 2 TB, 但是由于请求周期可能为数周到数月, 因此请求 4 TB 存储管理员获取 8 TB, 这样他们不必再次调整管理据 Horison Information Strategies 报告, 超过 60% 的磁盘空间未使用 / 未分配信息来源 :

6 < 在此处插入图片 > Liebert 客户调查企业存储论坛 33% 的调查反馈者预计到 2007 年末用完电源和冷却容量,96% 的调查反馈者表明他们将在 2011 年面临容量不足

7 目标高效存储管理存储管理挑战复杂性性能和容量要求更改管理降低成本高效管理减少风险降低成本存储目标

8 存储管理数据存档挑战 Dividing databases into multiple smaller databases Purging data from databases Offline 这些解决方案增加了运营和基础架构成本当前的合规性挑战潜在降低应用程序灵活性

9 存储管理性能管理存储在数据库性能中起着很重要的作用, 应该正确调整大小 OLTP 关键度量是每秒 I/O 操作数, 因为 I/O 是随机的假设每个数据库事务有 5 个 I/O 操作假设每个磁盘有 30 个 I/O 操作磁盘数 =( 每秒数据库事务数 * 5)/30 数据仓库关键度量是 I/O 带宽, 因为要扫描表根据经验, 对于每个 CPU( 或内核 ), 将需要维持大约 200 Mb/ 秒您需要调整下游 HBA 交换机和阵列的大小以匹配此吞吐量, 从而保持平衡

10 存储管理存储数据带宽瓶颈当前的仓库部署通常存在瓶颈, 限制了从磁盘到服务器的数据移动处理器到光纤通道环路上存在存储阵列瓶颈服务器中的光纤通道主机总线适配器有限未配置完备的复杂的 SAN 存储互连速度降至原来的 1/100 到 1/10

11 存储管理更改管理数据库存储配置取决于许多变量哪些数据要放在哪个磁盘上 LUN 配置使设备匹配负载类型 (OLTP DSS ) 在可用选项之间进行权衡文件清单 : 2 个控制文件 2 个日志文件每个表空间有多个数据文件备份文件临时文件等用于创建命名和管理的数百或数千个文件乘以数据库数 n 我选择的配置正确吗? 持续调整

12 目标减少风险降低成本系统正常运行时间硬件故障计划维护数据丢失存储故障数据损坏减少风险存储目标减少高效管理风险

13 风险管理数据丢失意外停机系统故障数据故障存储故障人为错误数据损坏计划停机系统变化数据变化站点故障

14 风险管理备份

15 Oracle 解决方案规划自动存储管理 (ASM) 降低存储管理成本, 提高灵活性, 实现性能最佳实践基于磁盘的备份和恢复 RMAN 和 OSB 能够恢复数据库和文件系统中的损坏数据 Oracle 闪回技术能够恢复因人为错误而损坏的数据分区对大型数据集进行分而治之提高查询性能, 改善数据加载和清除高级压缩磁盘空间利用率提高 4 倍只读表和表空间提高性能, 实现隐私 / 审计合规性数据库管理的信息生命周期管理 (ILM) 使用数据库管理数据存储位置, 保持审计跟踪, 加强安全性和合规性, 并且索引查询和搜索所有信息 Exadata Storage Server 显著提高存储效率

16 自动存储管理存储管理器旨在管理 Oracle 数据库文件, 而无需额外成本卷管理器文件系统集群功能降低成本和复杂性, 并且不会影响性能或可用性简化和自动化数据库存储管理提高存储利用率和灵活性针对性能和可用性 SLA 可预测地交付

17 自动存储管理 (ASM) 简化供应, 提高性能 DB A DB B DB C 自动 I/O 负载平衡将数据条带化分布到磁盘上, 以平衡负载最佳 I/O 吞吐量自动镜像高效联机添加 / 删除磁盘将来自多个数据库的数据整合到同一共享存储环境中自动存储管理

18 ASM 主页

19 ASM 性能页面

20 Donald Eyberg Embarq 的数据库服务经理 Oracle 自动存储管理 (ASM) 极大地增强了我们在数据库中管理存储的能力它允许有多个层, 这样我们可以使不同类型的存储设备适应不同应用程序需求和性能要求它按需平衡以实现最佳性能

21 Oracle 数据库 11g 第 2 版 ASM 增强改善的管理 ASM 安装和配置助手 (ASMCA) 功能完备的 ASMCMD ASM 文件访问控制 ASM 磁盘组重命名数据文件到磁盘映射可调优的性能智能数据放置 Sector_size 经常访问的数据不经常访问的数据

22 Oracle 数据库 11g 第 2 版 ASM 集群文件系统 HR 销售 ERP 数据库文件 Oracle 二进制文件文件通用集群或本地文件系统构建于 ASM 之上优化的磁盘布局联机添加 / 删除 / 重新平衡磁盘集成的镜像动态卷管理只读快照

23 只读表和表空间性能和管理优势只读表在 11g 中提供, 只读表空间在 Oracle 8i 之前已存在只读表和表空间提供增强的性能和安全性 RMAN 不需要备份只读表只读表的查询性能提高便于实施隐私和审计合规性策略可以将数据放于只读介质上可以与 ILM 解决方案结合使用

24 基于磁盘的备份和恢复集成的消除重复和存储分层完全自动化快速增量备份仅备份更改的块使用非常高效的算法跟踪更改的块速度提高 20 倍验证块以防止备份副本损坏夜间增量备份前滚恢复区备份不需要进行完整备份低成本的 SATA 磁盘可用于恢复区数据库区在夜间闪回恢复应用区经过验证的增量每周归档到磁带或者使用存储阵列中的未使用空间

25 Oracle 闪回技术传统恢复 80 闪回从根本上改变了错误恢复仅对更改的数据进行操作纠正错误的时间等于造成错误的时间数分钟而不是数小时闪回 Time To Recover (minutes) 纠正时间 = 出错时间 + f(db_size) 闪回很容易单个命令取代复杂过程根据观察, 闪回数据库对 OLTP 负载的影响小于 2% 对于测试也有重要作用!

26 Oracle 分区将数据分成可管理的单元 Row 1 Row 2 Row 3 Row 4 Row 5 Row 6 Customer Table Col 1 Col 2 Col 3 Col 4 Col 5 Age < 3 Months Age > 3 & < 12 Months 分区类型范围散列列表组合 Age > 12 Months Partition Key (Order Date)

27 Satish Palvai Xactly 的共同创办人和首席技术官 Oracle 分区使我们的应用程序执行起来非常快总的来说, 当我们从 Oracle 数据库 10g 升级到 11g 时, 性能提升约为 30 到 50%

28 显著减少存储使用高级压缩 OLTP 压缩大型应用程序表事务处理数据仓库压缩所有数据类型结构化和非结构化数据类型提高查询性能整个数据中心的级联存储节省高达 4 倍压缩 2009 Oracle Corporation

29 高级压缩显著改善容量和性能存储消耗量表扫描时间 MB 节省超过 70% 的存储空间秒性能提高 2.5 倍无压缩压缩 0 无压缩压缩表扫描读取量索引范围扫描时间读取量读取量减少为原来的 1/3.5 秒性能无变化 0 0 无压缩压缩无压缩压缩

30 David Apgar 业务连续性规划高可用性工程师 Yahoo 我们的一个大型 Oracle RAC 系统是一个 16 节点系统, 其中 6 个是存储节点, 未压缩的数据大概有 1 PB 压缩后仅有 200 TB

31 SD SD 信息生命周期管理经济高效的数据管理 Tier 1 Tier 2 Tier 3 Months 1-3 Months 4-12 Months Data Characteristics * Mission critical Applications * Enterprise storage * Mirroring & replication * Continuous Data Protection Access Frequency Volume * Low-cost storage * Flash recovery area Recovery Requirements * Unused storage * MAID storage Age

32 存储层存储成本范围 (2008 年 1 月 ) 存储层供应商最低美元数 /GB 最高美元数 /GB (2008 年 1 月 ) (2008 年 1 月 ) 平均值高端 EMC DMX 1000-M2 146GB,<10TB $11.10 $14.70 HP XP GB,<10TB $12.00 $16.10 $13.80 IBM DS GB,<10TB $12.20 $16.90 低端 EMC CX GB,<6TB $4.40 $6.00 HP EVA GB,6TB $4.90 $6.50 IBM DS GB,<6TB $4.10 $5.50 $5.20 高端和低端之间的平均差值 2.65 高端范围的价格通常表示针对性能配置系统低端范围的价格通常表示针对容量配置系统所有的负载成本都介于 5-14 美元 /GB 之间

33 使用 Oracle 数据库实现 ILM 使用 ASM 定义三个存储层高端存储层 2.5 倍低端存储层 1 倍联机归档存储层 ½ 倍

34 使用 Oracle 数据库实现 ILM 通过分区将数据映射到存储层订单 1-3 个月 4-12 个月个月 5% 常用 35% 不常用 60% 历史高端存储层 2.5 倍低端存储层 1 倍联机归档存储层 ½ 倍

35 使用 Oracle 数据库实现 ILM 压缩数据以提高存储利用率订单 1-3 个月 4-12 个月个月 5% 常用 35% 不常用 60% 历史高端存储层 2.5 倍低端存储层 1 倍联机归档存储层 ½ 倍

36 使用 Oracle 数据库实现 ILM 只读表 / 表空间订单 1-3 个月 4-12 个月个月 5% 常用 35% 不常用 60% 历史高端存储层 2.5 倍低端存储层 1 倍联机归档存储层 ½ 倍

37 使用 Oracle 数据库实现 ILM 仅备份更改的内容订单 1-3 个月 4-12 个月个月 5% 常用 35% 不常用 60% 历史高性能存储层低成本存储层联机归档存储层

38 Exadata Storage Server 数据带宽瓶颈解决方案增加更多管道大量并行体系结构增宽管道比常规存储快 5 倍通过管道传送较少数据在存储设备中处理数据

39 HP Exadata Storage Server 硬件 Exadata Storage Server 机架式 Exadata Storage Server 每个单元的数据带宽高达 1GB/ 秒 HP DL180 G5 2 个 Intel 4 核处理器 8GB RAM 双端口 4X DDR InfiniBand 卡 12 个 SAS 或 SATA 磁盘预安装了软件 Oracle Exadata Storage Server 软件 Oracle Enterprise Linux HP 管理软件硬件保修 3 年部件 /3 年人员 /3 年现场全天候 4 小时响应

40 HP Oracle Database Machine 针对高性能数据仓库进行配置 8 台 Oracle 数据库服务器 64 个 Intel 处理器内核 Oracle Enterprise Linux 14 台 Exadata Storage Server 高达 168 TB 的原始存储 InfiniBand 交换机由 Oracle 优化认证和支持

41 Exadata 新体系结构打破数据带宽瓶颈 Exadata 传送较少数据查询处理将移入存储设备中, 以便在卸载服务器 CPU 时显著减少发送给服务器的数据 Exadata 拥有更多管道模块化存储单元构建块组织到大量并行网格中带宽随容量扩展 Exadata 拥有较大的管道 InfiniBand 互连的数据传输速度比光纤通道快 5 倍 Exadata 移动的数据较少且速度较快

42 零售商 Exadata 速度提高 3 倍到 50 倍 Merchandising Level 1 Detail: Period Ago Merchandising Level 1 Detail: Current - 52 weeks Supply Chain Vendor - Year - Item Movement Merchandising Level 1 Detail by Week Materialized Views Rebuild Date to Date Movement Comparison - 53 weeks Prompt04 Clone for ACL audit 速度平均提高 16 倍 Sales and Customer Counts Gift Card Activations Recall Query

43 Oracle Exadata Storage Server 混合列压缩数据按列存储, 然后压缩对于批量加载或移动的数据很有用针对数据仓库的查询模式通常压缩率为 10 倍扫描相应增长针对旧数据的存档模式通常压缩率为 15 倍到 50 倍 50 倍高达 2009 Oracle Corporation

44 Exadata 共存和迁移数据库可以同时部署在 Exadata 和传统存储设备上表空间可以在 Exadata 存储产品传统存储设备或二者组合上存在, 并对数据库应用程序透明 SQL 卸载处理要求表空间的所有部分都位于 Exadata 上如果当前使用 ASM 和 ASM 冗余, 则可以联机迁移可以使用 RMAN 或 Data Guard 进行迁移 Exadata 联机迁移数据库服务器非 Exadata

45 Oracle 优势在数据管理方面的投资已逾 30 年性能安全性保护性一致性灵活性硬件长期性简单性开放性 - 最快速最全面的数据访问功能 - 业界最佳的安全性 - 全面保护防止数据丢失 - 数据在事务上的一致性 - 轻松适应不断变化的需求 - 完全硬件独立性 - Oracle 数据库已得到数十年的支持 - 无需管理专用数据存储 - 标准的 SQL 接口

47 更多信息高级压缩或 oracle.com/database

Lower IT Costs Keynote

Lower IT Costs Keynote 使用 Oracle 数据库 11g 第 2 版降低 IT 成本 Oracle 数据库 11g 第 2 版降低 IT 成本硬件资本成本降至原来的 1/5 存储成本降至原来的 1/10 性能至少提高 10 倍消除停机和未使用的冗余极大地简化软件组合 DBA 产能至少提高 2 倍升级成本降至原来的 1/4 硬件成本降至原来的 1/5 这是您的数据中心吗? 原有的应用程序电子邮件 ERP 数据集市