备份恢夊系统技术案建议书

Size: px

Start display at page:

Download "备份恢夊系统技术案建议书"

尻癣裘
5 years ago
Views:

1 XXXX 项目建议书威联通科技股份有限公司 (QNAP Systems, Inc.) 2016 年 09 月

2 目录第 1 章 XXXX 银行集中备份系统建设概述项目背景系统建设目标总体技术思路及优势... 2 第 2 章 XXXX 银行备份系统设计说明数据备份系统备份域的规划数据备份系统架构设计应用系统数据备份方法存储介质的的使用规划备份软件部署方式备份方案实现的功能说明虚拟机备份详细步骤 Oracle 数据库备份详细步骤备份设备选择以及威联通 NAS 备份一体机产品说明第 3 章技术特点总结 I

3 第 1 章 XXXX 银行集中备份系统建设概述 1.1 项目背景目前,XXXX 银行业务系统的备份及恢复都是采用手工方式, 稳定性较差效率较低随着业务的发展, 银行业务对信息系统的依赖性也越来越大, 积累下来以及新增加的数据量也大规模增长, 手工方式已经不再适合目前的信息系统对数据安全的要求, 我们将通过此项目, 为银行提供一套全自动化的数据备份系统, 提升信息系统工作效率的同时, 也提高系统的安全性可靠性, 为银行的业务连续性提供保障将全部覆盖所有业务的信息系统数据, 发生意外情况时系统恢复及时有效, 形成备份容灾一体化的安全架构 1.2 系统建设目标 XXXX 银行此次系统备份项目的建设目标是为应用支撑环境提供一个全面的稳定可靠的备份平台, 用以备份包含生产运行测试开发等环境的所有数据, 保证在数据丢失时可以及时恢复建立 XXXX 银行统一的集中备份架构 :XXXX 银行集中备份系统作为基础设施的一部分, 建立统一标准的集中备份平台, 使用集中统一的备份管理软件, 实现数据保护的集中管理同时结合备份技术的发展, 采用先进的备份架构和备份技术, 提高数据备份效率 ; 建立统一的数据备份策略 : 根据应用系统的备份级别和备份数据对象的分类, 制定 XXXX 银行数据备份策略的统一标准, 采用统一的备份策略, 实现全面统一的数据保护范围, 对数据和主机均采取有效的保护机制, 减少备份对业务系统的影响 ; 实现数据备份的完整性和全面性 : 基于数据备份总体策略, 详细设计各个应用系统备份策略, 实现 XXXX 银行应用系统在统一的数据备份架构平台上部署统一的数据保护策略, 以达到建立完善的数据保护架构和数据保护策略的目的, 实现数据备份的完整性和全面性 ; 1 / 29

4 1.3 总体技术思路及优势根据 XXXX 银行对备份系统的要求, 我们的总体技术思路为 : 使用我公司自行设计开发的威联通备份软件 NAS 备份一体机产品, 利用目前的千兆网络或者组建独立的备份网络如果后续 XXXX 银行升级为光纤网络存储, 我们也可以同步升级成基于 LAN-Free 备份架构, 从而减轻局域网和生产系统主机的压力对于备份介质的选择, 我们建议采用采用 D2D 的备份方式提高备份系统的效率威联通备份产品具有下列优势 : 成熟性 : 威联通备份软件作为国内自主研发的备份软件, 在国内大型金融电信政府行业被广泛应用, 市场占有率领先于其他国产备份软件扩展性 : 威联通备份软件采用业界先进的三层架构, 设备服务器和备份客户端可以不受限制的水平扩展 ; 开放性 : 威联通备份软件支持的操作系统数据库和磁带库产品是最全面的 ; 易于管理 : 提供基于 Windows 操作系统的图形化管理界面 2 / 29

5 第 2 章 XXXX 银行备份系统设计说明 2.1 数据备份系统备份域的规划在此次项目中, 威联通公司股份有限公司为 XXXX 银行数据中心部署威联通备份平台, 数据中心采用 3 层构架基于目前网络环境, 暂时采用基于 LAN 的备份方式, 在系统相对空闲时对每台服务器进行数据备份, 当具备光纤环境条件时, 可以无缝升级到基于 LAN-Free 的备份方式作为数据备份中心的主体架构 2.2 数据备份系统架构设计由于服务器数目多, 数据量大, 预估的服务器有 50 台以上, 预估总的全备份数据量在 20T 左右, 我们建议增加一套威联通备份软件一台 16 盘位配置 4TB 磁盘的威联通 NAS 备份一体机, 通过网络实现数据备份, 备份系统架构如下 : 3 / 29

6 威联通备份系统示意图内部终端以太网各类数据库与应用服务器光纤网络新增加的 NAS 备份一体机磁盘阵列 1 / 29

7 备份系统需要增加的软硬件清单如下 : 序号名称型号规格数量 1 威联通备份软件威联通企业级备份软件, 支持 1 Windows\Linux\Unix 平台客户端, 支持 Oracle\DB2\SQL Server\MySQL\Notes 数据库 2 威联通 NAS 备份一体机内置 16 个 4TB 的 SATA 磁盘, 做 RAID 1 后有 60TB 以上的可用空间, 内置 4 个千兆以太网络接口威联通备份软件可以安装在威联通 NAS 备份一体机上, 无需额外的备份服务器安装好威联通备份软件服务端后, 我们还将在 XXXX 银行数据中心的服务器上安装备份客户端和数据库备份代理程序, 再根据各种服务器的数据类型和备份要求, 在备份软件的管理界面上制定相应的备份策略, 生产数据就可以通过网络将每天新增加的数据传输到威联通 NAS 备份一体机上威联通基于 NAS 备份一体机的一体化备份方案有以下优势 : 方便管理 : 采用安装在 NAS 备份一体机上的备份软件服务端, 可以节约一台专用的备份服务器, 也方便管理 ; 合理使用规划备份容量 : 由 60TB 的 NAS 备份一体机作为主要的备份设备, 可以提供 500M/s 的备份速度我们提供的备份软件 NAS 备份一体机都是自主研发和生产的, 具有非常好的兼容性和性能优势 2.3 应用系统数据备份方法随着 XXXX 银行业务的不断发展数据量不断增大恢复的级别要求不断提 1 / 29

8 高 ; 数据恢复对恢复时间点目标 (Recovery Point Objective) 和恢复时间目标 (Recovery Time Objective) 的要求也越来越高, 结合业务应用特点的不同, 对数据在应用系统中的表现进行了分析, 以下是分析的信息 : 数据库类 : 该类数据对于可恢复性要求比较高, 因此, 需要采取最先进成熟的技术对其进行准确备份, 以尽量提高可恢复性, 当灾难出现时, 尽快重建业务系统 ; 文件类该数据一般为核心数据库之外的数据, 该类的数据的特征一般为日志信息和主要应用程序生成数据 ; 基于对上述数据的分析, 我们制定数据备份和磁带容灾保存的基本策略如下 : 数据类型数据备份方式文件类数据库类操作系统和文件系统环境信息应用系统运行文件类生产类数据库初始 ( 或更新后 ) 全备份初始全备份 + 每日增量备份 + 定期合成备份定期全备份 + 每日增量备份 + 定时日志备份 + 定期导出 2.4 存储介质的的使用规划一个好的备份系统, 除了配备有好的软硬件之外, 更需要有良好的备份策略和管理规划来进行保证对于 XXXX 银行这样一个大数据量的系统, 必须根据各种应用和业务的处理类型来分别制定具体的备份策略我们建议按照以下流程进行 : 将数据备份任务按业务系统划分, 确定各系统的备份数据量, 并为每个备份任务指定专用的介质集 ; 根据各业务系统对备份的需求, 以及系统的忙闲程度, 为每个备份任务划定可以进行数据备份的时段合理的选择备份方式备份的最终目的是为了进行数据恢复, 在选择备份方式时, 要在业务系统性能需求许可的情况下, 最大程度的降低数据恢复时的复杂程度在确定以上内容后, 对备份任务的调度策略进行统一规划, 2 / 29

9 对于相关业务系统的数据, 为保证数据一致性, 尽量安排在同一天进行备份 ; 首先保证关键业务的数据备份 ; 尽量使备份数量在一周内的每天平均分布, 可以采用大小数据量相搭配, 或关键业务与非关键业务相搭配等方式进行 ; 尽量使多个驱动器可以并行工作, 提高备份效率 ; 根据业务需要确认备份介质保存周期如无特殊需求, 则保存周期的设置应以保证每一次全备份完成以前, 都有可用介质供数据恢复使用为准对于关键业务数据, 可以考虑通过复制到异地机房保存 ; 也可以通过磁带库导出存放在异地, 磁带复制的时间应选在磁带库不进行备份任务的时候进行 ; 以下给出了一个备份策略定制的示例 : 数据备份策略示例星期星期星期星期星期星期星期一二三四五六日备份任务组一 F I I I I I I 备份任务组二 I F I I I I I 备份任务组三 I I F I I I I 备份任务组四 I I I F I I I 备份任务组五 I I I I F I I 备份任务组六 I I I I I F I 备份任务组七 I I I I I I F 注 :F=Full Backup, 即全备份 ;I=Incremental Backup, 即增量备份 2.5 备份软件部署方式针对 XXXX 银行数据中心可能需要部署的威联通备份软件软件模块, 我们说明如下备份主服务器 : 威联通备份软件的备份主服务器通过单个控制台实现了不同备份环境的集 3 / 29

10 中式简化管理, 为异构操作环境和存储基础架构提供企业级备份和恢复能力 ; 包含 : 磁带库支持模块 ; 支持多种磁带库驱动器, 实现磁带方式备份 ; 数据库及应用支持模块支持多种数据库和应用代理 : 如 Oracle DB2 Vmware Microsoft SQL Server 和 Notes 的全面恢复功能 ; 2.6 备份方案实现的功能说明威联通备份软件是自主研发的, 使用简洁的中文管理界面, 管理人员可以很快熟练掌握备份软件的配置和使用以下就 Vmware 虚拟机和数据库备份做一说明虚拟机备份详细步骤由于虚拟化环境下的备份系统的架构以及相关操作与传统的备份环境区别很大, 而且需要一些特殊的数据备份技术威联通备份软件虚拟机备份方案是基于 VMware vshpere API 开发的, 并通过威联通 NAS 备份一体机的作为存储设备, 可以在完美备份的同时, 还可以充分利用存储空间不要在 Guest OS 层面来备份虚拟机对于传统的物理机操作系统来讲, 一般需要安装一个备份代理, 通过备份代理来与备份服务器通信从而备份目标文件但是这种方式对于虚拟机的 Guest OS 操作系统来讲已经显得很低效了, 因为它会导致不必要的资源消耗, 从而不仅影响到本台虚拟机的性能, 还会导致运行在同一台物理服务器上的其他虚拟机操作系统的性能威联通备份软件的方案是在虚拟层来备份这些虚拟机, 使用的是 Image-level backup, 也就是影像级别的备份来备份整个大 vmdk 虚拟磁盘文件, 而无需 Guest OS 本身参与可以直接将虚拟机的虚拟磁盘备份下来而无需 Guest OS 或者物理服务器的参与这样便会将传统备份 Guest OS 的备份过程所消耗的不必要的资源浪费节省掉, 而且也可以确保虚拟机能够使用到所有资源而不会受到性能影响 4 / 29

11 利用 vstorage API Backup(VCB) 框架的一套 API, 而 VCB 是在 Virtual Infrastructure 3 中发布的, 用于将备份操作从主机上卸载从而避免主机性能受到影响威联通备份软件的虚拟机备份不再使用 VCB, 而使用 vstorage API 技术, 这样不但可以允许对虚拟机磁盘影像文件的更方便的访问, 而且还包含了一些可以加速备份的特性, 比如 Changed Block Tracking(CBT) CBT 是一种可以让系统对自从上次备份以来变化的块进行跟踪的技术, 威联通备份软件只需要向 VMkernel 来查询这些信息备份软件不需要自己跟踪变化的块了, 这样就可以让备份软件更加快捷的进行增量备份 vstorage API 提供了更多的可以提高备份虚拟机效率的特点支持 IO 静默和 VSS 如果备份的是运行有交易型应用程序的虚拟机, 比如关系型数据库以及邮件服务器等, 那么在对它们进行备份之前, 威联通备份软件的虚拟机备份程序需要首先将它们设置成静默模式, 从而可以得到一致的备份数据集这种方式成为应用一致性备份, 也就是在备份开始之前, 对应的应用程序的 IO 被暂停, 任何已经完成的交易会被写入磁盘这样就可以保证对应的应用系统处于合适的状态, 以便在数据恢复之后保证没有数据被丢失这种静默操作仅仅对那些自身被设计为支持静默操作的应用程序有效由于 Oracle SQL Server 并不是设计成支持静默操作的应用程序, 所以我们建议在备份完 Image 后, 还额外通过客户端程序和数据库接口做数据库的备份, 只有这样才能保证数据库数据的完整性添加虚拟机备份策略 ; 5 / 29

12 添加 vcenter 或者 ESX 服务器并选择需要备份的虚拟机 ; 可以添加 vcenter 或者直接添加 ESX 主机 6 / 29

13 设置备份时间和目标设备 7 / 29

14 8 / 29

15 执行备份任务以下为威联通备份软件对 ESX 虚拟机进行恢复的步骤点击向导, 建立恢复任务 9 / 29

16 选择备份源选择恢复到哪个 ESX Server 10 / 29

17 恢复过程 : 在 Esx 服务器上可以看到的步骤 : 恢复完成, 启动系统 : 11 / 29

18 12 / 29

2.6.2 Oracle 数据库备份详细步骤威联通备份软件支持三种方式 Oracle 数据库系统的备份 : 冷备份 (raw /cold) 热备份(warm) 和在线备份 (online/hot) 冷备份使用裸设备分区(raw partition) 或文件系统 (file system) 对关闭的数据库系统进行备份

19 2.6.2 Oracle 数据库备份详细步骤威联通备份软件支持三种方式 Oracle 数据库系统的备份 : 冷备份 (raw /cold) 热备份(warm) 和在线备份 (online/hot) 冷备份使用裸设备分区(raw partition) 或文件系统 (file system) 对关闭的数据库系统进行备份热备份通过预处理和后处理将数据设置成在线模式, 然后备份数据库的裸设备分区或数据库文件进行备份在线备份使用威联通备份软件的数据库备份代理备份在线数据库系统通过 RMAN 接口对 Oracle 数据库数据库进行备份与其他备份软件不同, 威联通备份软件将复杂的 Oracle 数据库备份简化到非常简单的几个步骤 1. 点击备份向导, 选择 Oracle 备份 13 / 29

20 2. 设置一个备份策略名称 3. 配置 Oracle 运行环境参数 : 14 / 29

21 4. 选择需要备份的 Oracle 表空间和控制文件 : 5. 配置 Oralce 备份的日期和备份级别 (Level 0,1,2) 15 / 29

22 6. 设置 Oracle 备份的备份设备和磁带组 : 7. 设置备份结束后的选项 ( 如是否要删除归档文件等 ) 16 / 29

23 8. 设置是否需要运行前后脚本 : 设置完成后, 备份软件即可在设定的时间启动备份任务 17 / 29

24 威联通备份软件的 Oracle 备份模块是通过 Oracle 厂商官方的 RMAN 接口对 Oracle 数据库进行备份, 是对 Oracle 数据库本身影响最小的备份模块, 而且直接写人到 NAS 备份一体机, 可以快速且稳定的进行数据传输在数据量大且带宽允许时, 可以配置多通道的备份方式, 从而实现 Oracle 数据库的快速备份和恢复 18 / 29

25 2.7 备份设备选择以及威联通 NAS 备份一体机产品说明自从 1952 年 IBM 发布了第一款磁带机以来, 磁带技术就一直占据着数据备份 / 恢复领域的重要地位传统的数据备份方式也就是采用物理磁带库 / 磁带机与备份软件相结合, 通过设定一定的策略实现数据备份和恢复的自动化虽然基于磁带的备份和恢复技术是广泛应用的数据保护手段, 但长期以来, 磁带备份在可靠性性能和成本等方面存在的缺陷一直困扰着 IT 管理员 : 备份失效率高, 可靠性无法保障数据备份中, 备份本身并不是目的, 必须能够在发生灾难时保证数据成功恢复, 备份才有意义然而采用传统的磁带备份方式, 数据的有效备份和恢复无法得到保障首先, 作为备份介质的磁带, 可靠性差使用过磁带备份的用户, 都身有体会, 磁带有三怕 - 怕潮怕摔怕强磁潮湿的环境容易使磁带发霉, 若要长期存放必须置于恒温恒湿的磁带箱内 ; 现今磁带的磁录密度都相当高, 一旦不慎从高处摔落地面, 就会导致磁头定位不准, 读取不到数据 ; 磁带不能接近强磁物体更是基本常识, 被磁化的磁带经常是导致还原失败的原因另外实际操作中, 磁带还会经常发生卡带绞带的问题而长时间存放的磁带必须按时回带, 磁带机的读写头也得按时清洗, 确保万一需要复原时, 磁带能正常被读取其次, 机械故障率高传统的磁带库的构成包括机械手磁带机驱动器磁带存储槽控制器条码扫描系统磁带入库和磁带出库装置等, 这些部件大多是精密的机械组件, 任一组件的故障均可能导致整个磁带库运转异常, 甚至无法正常工作频发的机械故障经常导致备份过程的长期中断甚至备份数据丢失第三, 人为因素导致备份失效使用磁带的过程需要过多人工因素的参与, 不但导致高昂的人工成本, 也引入了诸多人为的不安全因素 19 / 29

26 根据美国存储杂志的统计, 磁带备份中,40%~60% 是失效的, 其中大部分原因是由磁带失效机械故障和人为因素造成的备份 / 恢复速度慢数据备份中的一个重要概念是备份窗口 (Backup Window), 即一个工作周期内留给备份系统进行备份的时间长度, 也就是应用所允许的完成数据备份作业的时间数据备份需要应用系统的参与, 备份过程中应用系统的性能带宽等都会受影响, 因此备份需要在业务量较小的时候 ( 比如夜间或假日 ) 进行, 甚至可能需要应用系统停机随着数据量不断膨胀, 备份所需的时间越来越长, 但业务连续性的要求却越来越高, 备份窗口要求越来越小备份管理员发现传统磁带的速度实在太慢, 已经不能在既定时间内完成工作近年来, 磁带的读取技术在不断的改进, 磁带数据的恢复速度已经有了很大的提高但是在面临大量数据恢复时, 磁带的恢复速度仍然无法令人满意在读取数据时, 物理磁带还需要挂载倒带寻道等一系列初始化过程, 这往往需要数分钟的时间 ; 如果是跨越多个磁带进行数据恢复, 就需要更长的时间所以在进行海量数据的恢复时, 往往需要花费十几个小时甚至几天的时间, 严重影响了应用业务的正常运行总体拥有成本 (TCO) 居高不下磁带备份方式总体拥有成本居高不下, 主要分为两部分 : 采购成本和维护成本我们所认为的磁带备份方式成本相对较低, 主要是针对存储介质磁带的单位容量价格不高而言, 而实际上磁带库的实用性能并不单取决于存储容量, 更重要的是由磁带驱动器的规格和个数机械手的精度和灵活性决定的, 而这些恰恰是磁带库中价格最昂贵的主要部件因此磁带备份方式的初始采购成本并无优势另外传统磁带备份方式的维护和保养成本也很高据美国存储杂志统计, 美国磁带库的平均年维护成本高达磁带库采购成本的 15% 左右尤其令用户烦恼的是, 由于磁带库技术较为封闭, 许多元器件的维修更换必须由磁带库原厂商工程师完成, 一些关键部件的维修甚至需要返回原厂, 磁带库厂商及其工程师 20 / 29

27 的响应速度直接决定了磁带库维修所需的时间维修成本高不说, 更重要的是正常的业务备份受到影响近年来, 磁盘技术有了长足的进步, 磁盘的容量在不断的加大, 成本却在不断的降低从传统 IDE 磁盘发展而来的企业级 SATA 磁盘, 在继承了其前辈大容量低成本特性的同时, 在性能方面也有了巨大的进步, 目前 SATA II 接口的速率已经达到了 300MB/s 基于高性能大容量低成本的 SATA 磁盘的备份和恢复, 已经开始成为一种高性价比的备份方案传统的备份软件 / 硬件的供应商很快认识到了磁盘备份的潜力, 纷纷推出了基于磁盘的备份和恢复功能这种磁盘到磁盘的备份手段称之为 D2D(Disk To Disk) 备份采用 D2D 备份方式的优势主要在于 : 备份可靠性得到大幅提升与磁带备份方式中的磁带相比,D2D 备份中的存储介质磁盘是密闭的电子设备, 可靠性要强于磁带现在广泛使用于 D2D 备份的企业级 SATA 硬盘, 平均无故障时间 (MTBF) 甚至高达 120 万小时, 是磁带的 5 倍以上在取消了机械手磁带机等机械设备后,D2D 备份的可靠性得到了进一步的加强另外磁盘备份可以通过 RAID( 冗余磁盘冗余阵列 ) 和热备技术进一步提升系统可靠性 RAID 技术能够保证当一块甚至多块磁盘发生故障时, 存储的数据依然完整有效, 备份系统的读写可以在降级状态下正常进行而热备技术又能够自动实现 RAID 重建, 无须 IT 管理人员干预, 将系统自行从降级状态恢复到正常状态数据读写性能优异, 备份 / 恢复速度块采用磁盘备份方式的另一个最大的优势之一在于磁盘的读写性能目前主流的 SATA 磁盘吞吐速度高达 300MB/s, 这一点在很大程度上缓解了大型数据中心在备份时间窗口方面的压力, 而现在最快的 LTO 5 磁带驱动器也只能达到 140MB/s 的速度而且通过磁盘的 RAID 技术, 实现多块磁盘同时读写, 性能能够得到进一步提升优异的读写性能可以实现快速备份和恢复 21 / 29

28 第 3 章技术特点总结综上所述, 威联通备份软件结合 NAS 备份一体机的备份方案优势总结如下 : 自动化集中管理整个备份过程威联通备份软件介质管理集成于威联通备份软件的管理控制台, 是管理员能够集中的管理和控制所有的设备和介质提供定时的自动备份, 并利用磁带库等技术进行自动换带在自动备份过程中, 还要有日志记录功能, 并在出现异常情况时自动报警灵活性和易于使用威联通备份软件具有友好的操作介面, 同时可以提供方便管理人员随时随地的远程管理有集中管理的能力, 有层次化的结构当有多台备份服务器需要管理的时候, 能通过一个管理平台把多台服务器的状态监控起来同时, 管理界面简单易用, 对各种应用, 如文件数据库的备份和恢复的策略设置都有专门的向导功能, 以便用户在最短的时间内可以将相关的数据保护起来同时, 有基于日历的任务管理, 方便查阅每天的备份作业除了普通的备份恢复日志外, 更有生成备份恢复及其它相关管理的统计报表 / 图表的功能, 可以将一段时间内备份恢复备份设备及介质使用等详细进行详细的统计, 并通过图表的方式表现出来智能的排错能力错误当出现错误时, 能提供详细的错误说明以帮助用户快速定位错误并及时解决可扩展性可扩展性不仅包括容量的扩展, 还包括功能的扩展例如此次我们设计的是基于 LAN 的备份, 等到具备 SAN 网络时, 不需要数据迁移, 就可以实现 LAN-FREE 备份架构, 威联通 NAS 备份一体机也支持异地复制功能, 可以将数据通过 WAN LAN 复制到异地机房 22 / 29

29 整体解决方案的优势威联通公司有丰富的大型项目实施经验, 能够快速准确地实施所推荐的方案经验告诉我们, 产品虽好, 如果没有强大的工程实施能力及技术支持能力, 客户也不能从中受益, 甚至陷入困境因此, 对公司的选择有时比对产品的选择更重要威联通培训服务全面理解威联通备份系统技术熟练地使用威联通备份系统产品, 是充分发挥在建系统效率的重要保证威联通公司提供高质量的教育培训服务, 使得管理人员能够熟练使用 23 / 29

册子0906

册子0906 IBM SelectStack ( PMC v2.0 ) 模块化私有云管理平台是跨主流虚拟化技术的统一资源云管理平台 01 亮点 : 快速可靠地实现集成化私有云管理平台 02/03 丰富的功能支持企业数据中心云计算扩展性强 : 简单易用 : 04/05 功能丰富 : 06/07 为什么选择 IBM SelectStack (PMC v2.0)? 快速实现价值提高创新能力降低 IT 成本降低复杂度和风险