1
<Insert Picture Here> 超大型数据库的备份和恢复策略 Tim Chien 高级产品经理数据库高可用, 服务器级技术 Timothy.Chien@oracle.com
下面的内容将会给出我们通常产品指导的提纲 这些仅仅作为信息参照, 不能被加入到任何合同书中 所有这些信息不是用来去发布任何资料 代码 和功能的承诺, 并且不能最为市场购买的依据 有关开发 发布, 以及任何 Oracle 产品功能的时间安排最终由 Orace 公司保留解释控制权 3
议程 超大型数据库的发展趋势和推动力 备份和恢复设计 评估恢复需求 设计备份环境架构 备份和恢复部署 评估备份工具和策略 测试恢复策略 逻辑恢复 闪回技术 总结 / 问答 <Insert Picture Here> 4
超大型数据库的发展趋势和推动力 快速增长的数据库 1 TB+ 在最初的已是 通常 配置 => 100 TB++ 企业内部网和互联网的资源信息增长 数据整合 商业的全局视图 整合 面向商业决策的关键性分析 并发 大量访问 全部用户 内部的 / 合作伙伴 / 客户 扩展性的费用低廉 怎样增长性扩展, 且不是费用巨大 5
数据仓库发展趋势 供应链 计划应用 金融分析 执行中心 合作伙伴 ( 外部 ) 客户 Web 服务器 数据仓库 最终用户 ( 内部 ) 人性化 内部服务器 广告商业活动 电子邮件服务器 6
数据仓库对比 OLTP 的特点 非常大的数据容量 10TB 以上的产品相同 分区和并行处理是关键 数据仓库通过控制过程 (ETL) 如果必要数据能被重新提供 数据仓库的重要部分可以被固定 旧的数据通常不会改变 对比 OLTP 应用潜在低可用需求 可接受的停止服务时间不是分钟, 而是小时 7
超大型数据库 Oracle 案例 Reliance LTD 13 TB Choicepoint 14 TB Experian 14 TB Turkcell 14 TB Allstate 15 TB UBS AG 15 TB NASDAQ 35 TB Claria 38 TB Yahoo! 超过 100 TB 备注 : 上面所指大小为数据量的大小 8
超大型数据库数据保护 每个发展趋势 / 驱动力提出了数据库保护需求 : 增长中的数据 在可接受的范围如何备份 / 恢复? 整合数据 如何在应用级恢复? 如果对数据提供 24x7 保护? 并发, 大量访问 如何用可扩展 高可用方式分担工作负载? 扩展费用低廉 如何管理软件 架构, 以及数据保护的操作维护费用? 9
Oracle 最高可用架构 多种最佳高可用技术的整合套件 - 每一部分都是可扩展 完全工作状态 数据集中 最佳可用和最低成本 真正应用集群 & 集群组件容错服务器扩展 在线升级在线升级硬件和软件 Data Guard 完全工作状态故障切换复制 数据库 数据库 自动存储管理容错存储扩展 存储 闪回技术恢复到某时间点纠正错误 存储 在线重定义在线重定义表 恢复管理 & Oracle 安全备份低成本高性能数据保护 10
议程 超大型数据库的发展趋势和推动力 备份和恢复设计 评估恢复需求 设计备份环境架构 备份和恢复部署 评估备份工具和策略 测试恢复策略 逻辑恢复 闪回技术 总结 / 问答 <Insert Picture Here> 11
备份和恢复设计评估恢复需求 为了不可用数据的商业健康分析和识别所需费用 设计恢复需求, 这些需求包括关键数据和逻辑关系 评估数据丢失的承受度 (RTO) 优先考虑的数据 PITR 需求? 备份保留策略 确定你的恢复时间目标 (RTO) 问题标识 & 恢复计划时间 + H/W & S/W 恢复时间 + Oracle 恢复时间 ( 介质 + 实例恢复 ) 考虑恢复目标粒度, 恢复事件粒度 12
备份和恢复设计评估恢复需求 为停机和数据丢失评估容错 归档方式 提供完全的恢复操作选项 是在线备份和基于时间点恢复的需要 是数据卫士的需要 自动管理从生产数据库到同步的灾备数据库的快速转换和故障切换, 并实现零数据丢失操作 非归档方式 只能在数据库关闭和挂载 (mounted) 状态下备份 只能恢复数据到最近的正确备份 13
议程 超大型数据库的发展趋势和推动力 备份和恢复设计 评估恢复需求 设计备份环境架构 备份和恢复部署 评估备份工具和策略 测试恢复策略 逻辑恢复 闪回技术 总结 / 问答 <Insert Picture Here> 14
备份和恢复设计设计备份环境架构 基于恢复时间目标虑 : 有需要数据卫士的商业需求吗? 理想情况要求在最小的数据丢失下停机时间从几秒到几分钟 需要为灾备准备单独的服务器和存储 评估磁带和虚拟磁带库 (VTL) 备份 磁带仍然广泛使用 通常备份跨越不同的系统 适合异地 长时间保存 磁带的容量 / 费用, 性能持续提高 例如 :Quantum LTO-3 压缩提供 800 GB/ 容量单位, 88 MB/ 秒的吞吐量 (4 个磁带驱动器实现 1 TB/ 小时的备份速度 ) 15
备份和恢复设计设计备份环境架构 虚拟磁带库技术使用增长 使用通常的磁带接口进行随机磁盘存取 最小崩溃方式下加速备份到存在的磁带备份进程 虚拟磁带库的数据被归档到物理磁带实现异地保留策略 生产系统磁盘 虚拟磁带库 物理磁带设备 16
备份和恢复设计设计备份环境架构 基于恢复时间目标考虑 : 评估磁盘备份 磁盘的价格在持续下降 ATA 磁盘接口显示了优秀的顺序 I/O 性能, 每 GB 更低的费用 对比磁带, 磁盘提高了性能和可靠性 基于恢复时间目标需求的快速部署 通常移植 / 复制数据到物理磁带是为了长期存储需要 成长中, 特别 是磁盘备份设备市场 快速文件系统备份, 但不是应用级, 因此潜在地引发了恢复的额外时间 评估主机资源利用, 产品的磁盘 I/O, HBA/ 网络 & 磁盘驱动吞吐量 => 最小的性能架构将会是瓶颈 17
议程 超大型数据库的发展趋势和推动力 备份和恢复设计 评估恢复需求 设计备份环境架构 备份和恢复部署 评估备份和恢复工具 测试恢复策略 逻辑恢复 闪回技术 总结 / 问答 <Insert Picture Here> 18
备份和恢复部署规划备份策略 1. 评估备份恢复工具 恢复管理器 (RMAN) Oracle 自带的工具, 实现创建和管理物理备份, 存储和恢复数据库 多路, 并行, 数据块级的全备份和增量备份 支持数据文件, 表空间, 以及全库的备份和恢复, 同时实现数据块级的介质恢复 客户端和企业管理器均可实现操作 Oracle 安全备份 (OSB) 适合数据库和文件系统的磁带备份管理 价格低 :$3,000/ 磁带驱动器 19
备份和恢复部署规划备份策略 1. 评估备份恢复工具 Oracle 数据泵 数据和元数据的逻辑数据库备份 闪回技术 完全支持行级 交易级 表级和数据库级的逻辑错误恢复操作 已优化的, 连续的关于闪回数据库的数据库快照 ( 基于连续数据保护能力 ) 20
备份和恢复部署规划备份策略 1. 评估备份恢复工具 用户自管理 数据库手工备份, 使用操作系统命令数据存储恢复 对于物理或逻辑的块损坏不可用 支持表空间和数据库级的备份和恢复 第三方磁盘备份工具 快照 速度快, 但需要额外的存储和版权费用 连续数据保护 (CDP) 设备 通过写操作复制 写操作分配的连续快照 额外的存储和版权费用 与 Oracle 恢复工具无整合 21
议程 超大型数据库的发展趋势和推动力 备份和恢复设计 评估恢复需求 设计备份环境架构 备份和恢复部署 评估备份和恢复工具 测试恢复策略 逻辑恢复 闪回技术 总结 / 问答 <Insert Picture Here> 22
备份和恢复部署规划备份策略 2. 规划备份策略 只读表空间的处理? 只需要备份一次, 然后根据磁带保留策略周期性全备份 配置分区到不同的表空间 旧的表空间可以规律地转变为只读 不写日志对象或操作? 只读 ( 旧数据 ) 读写 ( 近期数据 ) jan04 feb04 mar04 apr04 may04 23
议程 超大型数据库的发展趋势和推动力 备份和恢复设计 评估恢复需求 设计备份环境架构 备份和恢复部署 评估备份和恢复工具 测试恢复策略 制定备份过程 测试恢复策略 逻辑恢复 闪回技术 总结 / 问答 <Insert Picture Here> 24
备份和恢复部署规划备份策略 3. 制定备份过程 实现 1: 使用 0 级和优化的增量备份 (10g 及以上版本 ) 每周 0 级备份和每天 不同 级别的增量备份 备份恢复考虑 增量 方式的折衷 根据需要备份和保留归档日志 只操作自上一次增量备份变化的数据块 不写日志考虑 当不写日志操作完成时执行增量备份 不写日志数据不能恢复到某时间点 不写日志. 0 级 ( 全 ) 1 级 ( 增量 ) 25
备份和恢复部署规划备份策略 3. 制定备份过程 实现 2: 维护 ETL 加载 执行定期全备份并维护 n 次 ETL 加载, 这里 n 指全备份之间的天数差 恢复最近全备份的数据存储恢复并执行需要的 ETL 加载 在归档日志可用的前提下, 基于时间点的恢复天数受限于不写日志开始后的 0 级备份 不需要每天晚上的增量备份 对比实现 1 有关自动操作和可管理性较少 不写日志 0 级 ( 全备份 ) 保留 ETL 加载 0 级 ( 全备份 ) 26
备份和恢复部署规划备份策略 3. 制定备份过程 其它考虑 跨越多天的分别全备份 BACKUP DATABASE NOT BACKED UP SINCE SYSDATE-3 DURATION 06:00 PARTIAL MINIMIZE TIME; 表空间级对比全备份 索引表空间比数据表空间的备份频率小 备份较少使用 / 不关键表空间 / 不经常使用 Exclude scratch tablespaces from backup 27
备份和恢复部署规划备份策略 3. 制定备份过程 其它考虑 Exclude scratch tablespaces from backup 多片段备份 ( 文件并行备份 ) 当磁带驱动器是全部吞吐量的瓶颈时是最高效的 结合额外的通道实现线性扩展 为大文件定义适合的片段大小 对数据库中的多个小文件是无价值的 快速备份压缩 (ZLIB) 比 10g 快 40% 适合于每天的, 增量的备份 使用 BZIP2 来全备份 更好的压缩率 28
议程 超大型数据库的发展趋势和推动力 备份和恢复设计 评估恢复需求 设计备份环境架构 备份和恢复部署 评估备份和恢复工具 测试恢复策略 制定备份过程 测试恢复策略 逻辑恢复 闪回技术 总结 / 问答 <Insert Picture Here> 29
备份和恢复部署测试恢复策略 介质失败 恢复数据库文件到新的位置 数据块损坏 数据块介质恢复, Trial 恢复, 日志挖掘 用户 / 逻辑错误 闪回, TSPITR, 日志挖掘 灾难 可恢复所有的文件到其它主机 数据恢复建议 由工具来实现 : 自动诊断数据损坏 给出修复选择 根据用户的要求执行恢复 30
议程 超大型数据库的发展趋势和推动力 备份和恢复设计 评估恢复需求 设计备份环境架构 备份和恢复部署 逻辑恢复 闪回技术 总结 / 问答 <Insert Picture Here> 31
恢复技术的革命闪回技术 革命性的闪回错误恢复 仅基于变化的数据操作 恢复错误的时间等同于发生错误的时间 时间级而不是小时级 正确的时间 = 错误的时间 + f(db_size) 闪回技术易于实现 单条命令而不是复杂的过程 非常低的性能消耗 小于 2% 适合于测试! 32
闪回数据库 磁盘写数据 新块版本 旧块版本 时间点恢复的新策略 评估整个数据库备份的恢复需要 与 RMAN 无缝整合 看作一种连续备份 仅恢复 变化的 数据块 按日志重做将数据库恢复到某一时间 快速 - 在几分钟而不是几小时内恢复 简单 单个命令即可进行恢复将数据库闪回至 2:05 PM 数据文件 闪回日志 数据库的 倒回 按钮 33
闪回错误修正 客户 数据库 所有级别的恢复 闪回数据库 闪回数据库将整个数据库恢复到某个时间 闪回表 闪回数据库将整个数据库恢复到某个时间 ( 使用 UNDO) 订单 闪回交易 倒回交易和所有相关冲突交易 ( 使用 undo 和 redo) 34
指定恢复点 恢复点 Create Restore Point Known_good_point;.. Flashback Database to Restore Point Known_good_point; 一个有关数据库时间点的定义名, 并且被使用时与闪回数据库 闪回表和 RMAN 有关 恢复点可以在企业管理器中创建和管理 两种恢复点, 基于恢复需要 : 通常恢复点 用户定义关于数据库时间点的别名 保证恢复点 (GRP) 保留闪回日志直到恢复点被使用或删除 ( 只有闪回数据库可接受 ) 35
不写日志时使用保证恢复点 不用开启闪回日志创建 GRP 闪回日志被自动创建去维护可恢复 GRP, 并且没有其它时间点 => 保留闪回区空间 在数据仓库中, 在不写日志加载前后 GRP 提供了快速 PITR 加载前 : 完成任何不写日志后创建至少 1 小时的 GRP 加载后 : 完成任何不写日志后创建至少 1 小时的 GRP 不需要时删除 GRPs => 闪回日志空间被重新收回 开始时间 不写日志 加载后 GRP 加载前 GRP. 36
议程 超大型数据库的发展趋势和推动力 备份和恢复设计 评估恢复需求 设计备份环境架构 备份和恢复部署 逻辑恢复 总结 / 问答 <Insert Picture Here> 37
汇总在一起.. 超大型数据库备份配置模板举例 RTO > 12 小时 磁带备份, Undo 表空间按照闪回查询和闪回交易需要配置保留设置 6 < RTO < 12 小时 以上内容 + 闪回区域 RTO < 6 小时 以上内容 + 按闪回数据库要求设置闪回日志保留 (or create GRPs) RTO 分钟级衡量 以上内容 + 数据卫士 * 你的收益将会很大.. 38
资源 & 引用 最高可用架构白皮书 : http://www.oracle.com/technology/deploy/availability/htdocs/maa.htm 在 OTN 上 Oracle 高可用门户 : http://www.oracle.com/technology/deploy/availability/ 在 OTN 上 Oracle 高可用客户成功案例 : http://www.oracle.com/technology/deploy/availability/htdocs/ha_case Studies.html 39
总结 超大型数据库快速成长 以后几年会有几个 PB 大小的系统? 系统地工作去备份 恢复 恢复设计和部署 理解数据布局和变化特性 评估恢复需求 备份环境架构 部署时对设计进行测试 评估备份工具和策略 测试恢复策略 确定闪回技术的可行性 实现逻辑错误恢复能力 我能保留充分的 undo 和闪回日志吗? 40
问 答 41
42