contents 目录 网络之路 Route to Network 网络存储专辑 2008 年第一季度总第 7 期 2008 年第一季度 总第 7 期 网络存储基础知识 1 存储发展史 /2 硬盘基础知识 /8 RAID 基础知识 /16 SAN 基础知识 /29 NAS 介绍 /42 SAN 与

Transcription

1 网络之路 Route to Network 网络存储专辑 2008 年第一季度总第 7 期

2 contents 目录 网络之路 Route to Network 网络存储专辑 2008 年第一季度总第 7 期 2008 年第一季度 总第 7 期 网络存储基础知识 1 存储发展史 /2 硬盘基础知识 /8 RAID 基础知识 /16 SAN 基础知识 /29 NAS 介绍 /42 SAN 与 NAS 的比较 /50 数据备份基础知识介绍 /56 磁带库与虚拟磁带库介绍 /63 网络存储扩展知识 69 数据分级存储 /70 文件系统概述 /78 数据库基础 /88 H3C 存储的典型特性 97 TimeMark CDP 特性介绍 /98 复制特性介绍 /102 NeoStor HA 概述 /106 DiskSafe/111 H3C 虚拟磁带库产品 DL1000 介绍 /127 测试方法 133 IOMETER 与性能测试 /134 IXIA iscsi 协议一致性测试工具介绍 /141 典型应用方案 149 连续数据保护解决方案 /150 H3C 双机双阵列解决方案 /159 虚拟磁带库解决方案 /166

3 网络存储基础知识 网络存储基础知识 Basic Knowledge of Network Storage

4 网络之路 Route to Network 存储发展史文 / 上官应兰 全球第一款磁盘存储系统 IBM RAMAC 305( 以下简称 RAMAC) 与一块笔记本电脑磁盘 ( 以下简称磁盘 ) 奇妙邂逅后, 引出了一段有趣的对话 : 磁盘 : 嘿! 你看上去有些笨重 RAMAC: 是的, 我有两个冰箱那么大, 重约 1 吨 磁盘 : 看我小巧玲珑, 可以装进口袋随身携带 那你的容量一定很大了? RAMAC: 只有 5MB, 但可以存放一幅中等分辨率的达 芬奇的名画 蒙娜丽莎的微笑 磁盘 : 别看我外表不起眼, 容量却有 40GB 呢 你多大岁数了? RAMAC:50 了 磁盘沉默了 对计算机产业来说, 磁带 磁盘的出现可以和微处理器的发明相提并论 没有存储的有力支撑, 计算机就不可能具有今天这样强大的计算能力, 胜任如此多的应用 存储技术 50 年的创新史几乎就是整个存储业发展的缩影, 而这种创新的能量必将铸就下一个 50 年的辉煌 让我们一起坠入历史的长河中, 一起来品味存储的发展简史吧 一 早期存储发展史 1725 年,Basile Bouchon 发明了打孔纸卡, 用来保存印染布上的图案, 这可以算是最早的数据存储媒介了, 一直用到了 20 世纪 70 年代中期 下面是打孔纸卡的原型, 这张卡片上能存储的数据很少, 事实上没有人会真的用它来存放数据, 一般用来保存不同计算机的设置参数 图 1 打空纸卡原型

5 网络存储基础知识 1952 年,IBM 最早把盘式磁带用在数据存储上 5 月 21 日,IBM 发布了用于 IBM 701 Defense Calculator 的 IBM 726 磁带机, 因为一卷磁带可以代替 1 万张打孔纸卡, 于是它马上 获得了成功 图 2 盘式磁带 IBM 726 磁带机的出现标志着数据存储从打孔计算器向电子计算机的转变, 成为了存储发展史的分水岭 因此, 通常意义上的存储发展史从 1952 年算起 1956 年 9 月 13 日, 当美国纽约市的市民们怀着无比兴奋的心情, 期待着著名歌手 猫王 Elvis Presley 在纽约百老汇的一次精彩表演时, 在美国大陆的另一端, 位于加利福尼亚州 San Jose 的 IBM 实验室中, 全球第一个磁盘驱动器诞生了 IBM 推出的第一款商用磁盘存储系统 RAMAC 305(RAMAC,Random Access Method of Accounting and Control), 有两个冰箱那么宽, 内部安装了 50 个直径两英尺的磁盘, 重量约 1 吨, 当时可以存储 惊人 的 500 万个字符 (5MB) 当时, 搬运 RAMAC 305 也成了街上一道独特的风景, 需要几个工人, 借助搭在卡车上的踏板, 才能顺利地把 RAMAC 305 这个庞然大物运上车 RAMAC 的诞生是一件具有里程碑意义的事件, 不仅体现在它带来了更大的存储容量, 以及更快的随机存取特性, 更在于由此引发的整个行业的变革 RAMAC 之后, 随着一系列新技术不断涌现, 更大容量 更高性能 更具商业价值的存储产品让用户的应用获得了更有力的支持 技术的发展提升了应用的水平, 反过来, 应用的发展也带动了存储技术向前迈进 而 RAMAC 的诞生也带来了存储分工 : 磁盘用于在线存储, 而磁带用于离线存储 图 3 搬运中的 RAMAC305

6 网络之路 Route to Network 二 现代存储发展史 序言 :RAMAC 的诞生为存储编年史划上了一记浓厚的重墨 这就向早期的奥林匹克和现 代奥林匹克的关系一样,RAMAC 的出现意味着现代存储技术的主流 - 磁盘技术的起源 现代存储发展史可以划分为两条主线 : 一条是磁盘技术, 一条则是磁带技术 磁盘技术发展史 在磁盘发展历程中, 我们不得不提起 IBM 这个存储巨头 在整个磁盘技术更新的过程中, IBM 是功不可没的, 不仅因为世界上第一块磁盘就是由 IBM 发明并制造的, 还因为几乎每一项革命性的磁盘技术都与 IBM 有着千丝万缕的关系 1956 年 9 月, 第一块磁盘 IBM RAMAC 305 诞生 1968 年,IBM 公司又提出了 温彻斯特 /Winchester 即所谓 温盘 技术, 其精隋在于 : 密封 固定并高速旋转的镀磁盘片, 磁头沿盘片径向移动, 磁头悬浮在高速转动的盘片上方, 而不与盘片直接接触, 这也是现代绝大多数磁盘的原型 1973 年,IBM 制造出了第一台采用 温彻斯特 技术的磁盘 IBM 3340, 成功实现技术到产品的转换, 实现磁盘制造的一大突破, 奠定磁盘技术的发展有了正确的结构基础 今天的磁盘容量虽然高达上百 GB, 但仍没有脱离 温彻斯特 技术的工作模式, 因此 IBM 3340 可称为现代磁盘之父 1979 年,IBM 公司再次走在磁盘开发技术的前列, 发明了薄膜磁头 (Thinfilm Head), 为进一步减小磁盘体积 增大容量 提高读写速度提供了可能 同年,IBM 的两位员工 AlanShugart 和 FinisConner 离开 IBM 后组建了希捷公司, 并开图 4 现代磁盘发出 5.25 英寸规格的 5MB 磁盘 年, I B M 研发了 M R ( M a g n e t o - Resistive Head) 磁阻磁头技术, 并在 1991 年将 MR 磁头技术运用到磁盘中, 使得个人用户的磁盘突破了 1GB, 从此磁盘容量也进入了 GB 数量级 1993 年,IBM 研发了 GMR( 巨磁阻磁头技术 ), 使磁头灵敏度进一步提升, 进而提高了存储密度, 增大了存储容量 1996 年, 昆腾与英特尔联合制定了 Ultra DMA 33 标准, 这套标准将 IDE 的接口速度从 16MBps 提升到 33MBps 其后, 基于 UDMA33, 又出现了 UDMA66 UDMA100 以及 UDMA133

7 网络存储基础知识 1999 年, 单碟容量高达 10GB 的 ATA 磁盘面世,Maxtor 宣布了首块单碟容量高达 10.2GB 的 ATA 磁盘, 从而把磁盘的容量引入了一个新里程碑 2002 年,SATA(Serial ATA) 也得到了普及, 继希捷率先推出 SATA 接口的酷鱼 V 后, 迈拓 IBM 西部数据也纷纷推出同类产品 2007 年, 日立发布了业界首款 1TB 磁盘, 带领存储业正式步入 TB 时代 磁带技术发展史 磁带的发展历史和轨迹则是由早期第一个磁带机的特性决定的 磁带顺序读写的特性导致在存储介质上查找某个数据非常困难, 往往需要数小时的时间 ; 同时, 数据存储往往需要大量的人工手动操作 ( 装载 卸载和归档 ) 因此, 磁带技术也一直朝着简化使用 提升性能 提高容量的方向发展, 可以把磁带技术的发展历史简单划分为三个时期 : 年 : 人工手动操作磁带存储 1952 年,IBM 成功发布了计算机业内的第一款磁带机, 拉开了磁带发展的序幕 这一时期延续了 35 年, 主要特征是圆轴磁带的使用, 并且需要人工手动操作 ( 装载 卸载和归档 ) 在这一时期,IBM 和 StorageTek 是整个磁带市场的领导厂商 1984 年, 盒式磁带取代了圆轴磁带, 从而为磁带工业的许多新的发展奠定了基础 年 : 自动带库创造 近线概念 1987 年,StorageTek 自动磁带库的成功问世, 标志着磁带的发展进入了第二个时期 之前, 离线磁带存储需要耗用大量的人工劳动 ; 自动磁带库诞生以后, 近线 成为介于在线磁盘存储和离线人工操作的磁带存储之间的新型存储形式的标准名称 自动存储服务消除了以前手动磁带操作过程中容易引发的问题 2002 年 现在在 2002 年, 磁带技术经历了其 50 年发展历程中最引人注目的技术突破 : 磁带盒的容量在这一年首次超过了最大的磁盘驱动器的容量, 达到了 1TB, 其低廉的存储成本仍使磁带稳居数据中心备份的第一把交椅 磁带技术和磁盘技术的融合 现在, 由于磁盘的存取速度快, 加上在 RAID 保护之下, 可靠度也相当高, 企业用户不约而同开始思考, 利用磁盘取代部份磁带功能可能性, 在需求的带动下, 市场上吹起一股磁盘备份的风潮, 存储厂商纷纷推出各种基于磁盘的备份解决方案, 虚拟磁带库 (Virtual Tape Library, 简称 VTL) 是其中之一 虚拟磁带的技术原理并不复杂, 说穿了就是运用存储虚拟软件, 将备份服务器连接至磁盘空间的 SCSI 讯号, 仿真成磁带机的表述格式, 欺骗 操作系统和备份软件, 误以为连接到的是一部实体的磁带设备 早期虚拟磁带方案只能仿真单机, 称为 VTD(Virtual Tape Drive), 随着技术逐渐成熟, 已经能够 模仿 大型磁带库的多组磁带机 机械手臂 (Robotic) 磁带条形码(Barcode) 循环换带等完整功能

8 网络之路 Route to Network 三 存储技术架构发展史 前面我们讲到的大多是一个一个独立的存储介质的发展史, 实际上提到数据存储, 除了存储介质, 另外一个不得不提的话题就是存储网络架构 随着时间的变迁, 存储技术架构也经历了一系列的发展 早期的存储形式是存储设备 ( 通常是磁盘 ) 与应用服务器其他硬件直接安装于同一个机箱之内, 并且该存储设备是给本台应用服务器独占使用的 随着 Internet 的发展, 数据成爆炸型增长, 而现有网络环境却没有为它提供充分的发展空间 网络系统每时每刻都在调用传输处于服务器后端磁盘阵列中的数据 在很多大的应用系统中, 磁盘 I/O 占用了服务器的大量时间, 整个系统都处于对磁盘的等待状态, 使整个系统性能下降 磁盘成了服务器的包袱, 制约整个网络的瓶颈 针对 I/O 是整个网络系统效率低下的瓶颈问题, 专家们提出 : 将数据从通用的应用服务器中分离出来以简化存储管理 于是出现了将磁盘从服务器中脱离出来, 集中到一起管理的需求, 如何将服务器和盘阵连接起来? 面对这样的问题, 部分厂商提出了 SCSI 协议, 通过专用的线缆将服务器的总线和存储设备连接起来, 通过专门的 SCSI 指令来实现数据的存储, 后来发展到 FC 协议 这样, 多个服务器可以通过 SCSI 线缆或光纤建立与存储系统的连接, 这样的方式, 称之为 DAS(Direct- Attached Storage, 直接附加存储 ) DAS 实现了机内存储到存储子系统的跨越, 安装方便 成本较低, 但是缺点依然有很多, 比如扩展性差 资源利用率低 可管理性差 异构化严重等 而解决这个问题的另一个思路就是 : 存储网络 把存图 5 直接附加存储储真正从服务器中分离出来, 有两种不同的实现手段, 即 NAS(Network Attached Storage, 网络附加存储 ) 和 S A N ( S t o r a g e A e r a Network, 存储区域网络 ) N A S 是一种文件共享服务, 拥有自己的文件系统, 通过 NFS 或 CIFS 对外提供文件图 6 网络附加存储

9 网络存储基础知识 访问服务 NAS 包括存储器件 ( 例如磁盘驱动器阵列 CD 或 DVD 驱动器 磁带驱动器或可移动的存储介质 ) 和专用服务器 ( 装有专门的操作系统 ) 专用服务器利用 NFS 或 CIFS, 充当远程文件服务器, 对外提供文件级的访问 SAN 是一种通过网络方式连接存储设备和应用服务器的存储构架, 当有数据的存取需求时, 数据可以通过存储区域网络在服务器和后台存储设备之间通过 FC 或者 iscsi 协议高速传输 SAN 的发展历程较短, 从 90 年代后期兴起, 由于当时以太网的带宽有限, 而 FC 协议在当时就可以支持 1Gb 的带宽, 因此早期的 SAN 存储系统多数由 FC 存储设备构成, 导致很多用户误以为 SAN 就是光纤通道设备, 其实 SAN 代表的是一种专用于存储的网络架构, 与协议和设备类型无关, 随着千兆以太网的普及和万兆以太网的实现, 人们对于 SAN 的理解将更为全面 SAN 和 NAS 经常被视为两图 7 SAN Attached 种竞争技术, 实际上, 二者能够很好地相互补充, 以提供对不同类型数据的访问 SAN 针对海量 面向数据块的数据传输, 而 NAS 则提供文件级的数据访问和共享服务 回顾存储发展的历史, 无论是存储技术还是存储架构图 8 iscsi Attached 都变得越来越成熟, 存储作为独立的产业走上了前台 随着 SATA SAS 等低成本 高性能技术的出现, 以及 1TB 容量的超大磁盘的推出, 还有存储介质的改变等, 将进一步促进存储技术的发展 再过 50 年, 磁盘系统会是什么样子? 体积更小? 容量更大? 更智能化? 磁带又会往什么方向发展? 是否会被磁盘设备取代? 关注存储, 请从现在开始

10 网络之路 Route to Network 硬盘基础知识 文 / 石岩 我们对硬盘的认识, 大都是通过产品的外型 性能指标特征和网站公布的性能评测报告等方面去了解, 但是硬盘的内部结构究竟是怎么样的? 硬盘的读写原理是什么? 大多数人可能不是很清楚了 本文通过介绍如下四点, 以便大家对硬盘有更深的认识 硬盘结构 硬盘工作原理 硬盘接口类型 硬盘性能指标 一 硬盘结构 硬盘的外部结构 硬盘有许多类型, 不过在组成结构方面大同小异, 从硬盘的外部结构看 : 1. 接口包括电源接口和数据接口两部份, 其中电源接口与主机电源相连, 为硬盘正常工作提供电力保证 数据接口则是硬盘数据与主板控制芯片之间进行数据传输交换的通道, 使用时是用一根数据电缆将其与主板 IDE 接口或与其它控制适配器的接口相连接 经常听说的 40 针 /80 芯的接口电缆也就是指数据电缆, 数据接口主要分成 IDE 接口 SATA 接口和 SCSI 接口 FC 接口等 2. 控制电路板大多采用贴片式元件焊接, 包括主轴调速电路 磁头驱动与伺服定位电路 读写电路 控制与接口电路等 在电路板上还有一块高效的单片机 ROM 芯片, 其固化的软件可以进行硬盘的初始化, 执行加电和启动主轴电机, 加电初始寻道 定位以及故障检测等 在电路板上还安装有容量不等的高速缓存芯片 3. 固定盖板就是硬盘正面的面板, 它与底板结合成一个密封的整体, 保证了硬盘盘片和机构的稳定运行 在面板上最显眼的莫过于产品标签, 上面印着产品型号 产品序列号 产品 生产日

11 网络存储基础知识 期等信息 固定盖板和盘体侧面还设有安装孔, 以方便安装 除此, 还有一个透气孔, 它的作用就是使硬盘内部气压与大气气压保持一致 在硬盘的正面都贴有硬盘的标签, 标签上一般都标注有与硬盘相关的信息 在硬盘的一端有电源接口插座 主从设置跳线器和数据线接口插座, 而硬盘的背面则是控制电路板 在下图中可以清楚地看出各部件的位置 图 1 硬盘各部件 硬盘的内部结构 硬盘内部结构由固定面板 控制电路板 磁头 盘片 主轴 电机 接口及其它附件组成 其中磁头盘片组件是构成硬盘的核心, 它封装在硬盘的净化腔体内, 包括有浮动磁头组件 磁头驱动机构 盘片 主轴驱动装置及前置读写控制电路等部分 如下图即可一目了然 : 图 2 硬盘内部结构图

12 网络之路 Route to Network 1. 磁头组件由读写磁头 传动手臂 传动轴三部分组成 磁头是硬盘技术最关键的一环, 是集成工艺制成的多个磁头的组合, 它采用了非接触式头 盘结构 加电后在高速旋转的磁盘表面飞行, 飞高间隙只有 0.1~0.3um, 可以获得极高的数据传输率 现在转速 7200rpm 的硬盘飞高都低于 0.3um, 以利于读取较大的高信噪比信号, 提供数据传输存储的可靠性 2. 磁头驱动机构硬盘的寻道是靠移动磁头, 而移动磁头则需要该机构驱动才能实现 磁头驱动机构由电磁线圈电机 磁头驱动小车 防震动装置构成 高精度的轻型磁头驱动机构能够对磁头进行正确的驱动和定位, 并能在很短的时间内精确定位系统指令指定的磁道 其中电磁线圈电机包含着一块永久磁铁, 这是磁头驱动机构对传动手臂起作用的关键, 磁铁的吸引力足以吸住并吊起拆硬盘使用的螺丝刀 防震动装置的作用是当硬盘受强裂震动时, 对磁头及盘片起到一定的保护作用, 以避免磁头将盘片刮伤等情况的发生 3. 盘片和主轴组件盘片是硬盘存储数据的载体, 现在的盘片大都采用金属薄膜磁盘 这种金属薄膜磁盘较之软磁盘的不连续颗粒载体具有更高的记录密度, 同时还具有高剩磁和高矫顽力的特点 主轴组件包括主轴部件如轴瓦和驱动电机等 随着硬盘容量的扩大和速度的提高, 主轴电机的速度也在不断提升, 有厂商开始采用精密机械工业的液态轴承电机技术 4. 前置控制电路前置电路控制磁头感应的信号, 主轴电机调速, 磁头驱动和伺服定位等 由于磁头读取的信号微弱, 将放大电路密封在腔体内可减少外来信号的干扰, 提高操作指令的准确性 5. 硬盘的控制电路硬盘的控制电路位于硬盘背面, 将背面电路板的安装螺丝拧下, 翻开控制电路板即可见到控制电路 总得来说, 硬盘控制电路可以分为如下几个部份 : 主控制芯片 数据传输芯片 高速数据缓存芯片等 二 硬盘的工作原理 简单来讲, 硬盘的工作原理是利用特定的磁粒子的极性来记录数据 磁头在读 取数据时, 将磁粒子的不同极性转换成不同的电信号, 再利用数据转换器将这些原 始信号变成电脑可以使用的数据, 写的操作正好与此相反 10

13 网络存储基础知识 三 硬盘接口类型 ATA SATA SCSI SAS FC 这五种硬盘是目前存储领域通用的五种硬盘 1. ATA 接口 ATA:Advanced Technology Attachment, 俗称 IDE 它使用一个 40 芯电缆与主板进行连接, 采用并行总线的方式, 最初的设计只能支持两个硬盘 ATA 硬盘可靠性较低, 一般只支持 5 8 小时工作时间, 要求工作负荷小, 被广泛应用于个人电脑存储 ATA PATA 及 IDE 实际上是同一种接口, 只是在不同历史时期由不同的厂家产生的不同叫法 图 3 ATA 接口示意图 2. SATA 接口 图 4 SATA 接口示意图 11

14 网络之路 Route to Network Serial ATA:Serial Advanced Technology Attachment 也就是串行 ATA(Serial ATA) SATA 接口速率比 IDE 接口高, 最低为 150MBps, 并且 300MBps 接口硬盘已经形成商用, 规划内的最高速率可达 600MBps, 而 IDE 硬盘目前最高速率为 133MBps, 远远低于 SATA 接口 SATA 硬盘采用点对点连接方式, 支持热插拔 SATA 硬盘采用 7 针细线缆而不是大家常见的 40/80 针扁平硬盘线作为传输数据的通道 细线缆的优点在于它很细, 因此弯曲起来非常容易, 并且不占空间 3. SCSI 接口 SCSI:Small Computer System Interface, 小型计算机系统接口 SCSI 硬盘性能优异, 可靠性高, 是传统的企业存储硬盘, 应用于中高端存储领域 目前 SCSI 硬盘采用并行接口, 有 68 针及 80 针两种 接口速率发展到 320MBps, 基本已经达到极限, 将来必被其串行版本 SAS 硬盘所替代 SCSI 硬盘转速为 1 万转或 1 万 5 千转, 容量较小, 最高可达 300GB SCSI 硬盘采用总线式连接, 一条 SCSI 总线最多挂接 16 个设备, 每个设备被分配一个 ID, 通过总线仲裁来获得总线访问权 图 5 SCSI 接口示意图 4. SAS 接口 SAS:Serial Attached SCSI, 串行 SCSI 接口 SAS 硬盘是 SCSI 硬盘的串行版本, 由原来的并行总线发展为串行总线 SAS 是一种点对点 全双工 双端口的接口, 提供 3.0Gbit/s 的传输率, 规划到 12.0Gbit/s 支持在 SATA 兼容的电缆和连接器上传输 SCSI 协议, 兼备 SCSI 所具有的易管理性和可靠性, 而且可以提升性能和可伸缩性 SAS 硬盘定位于中高端存储应用, 可靠性和性能都很高 SAS 硬盘一般都提供两个 SAS 接口, 可同时使用或互为备份, 适用于主流的服务器和企业存储 SAS 的连接器, 与 SATA 比较相似,SAS 连接器可以接 SATA 的硬盘, 但 SATA 的连接器不能接 SAS 的硬盘 12

15 网络存储基础知识 5. FC 接口光纤通道其实是对一组标准的称呼, 这组标准用以定义通过铜缆或光缆进行串行通信从而将网络上各节点相连接所采用的机制 光纤通道标准由美国国家标准协会 (American Na tional Standards Institute,ANSI) 开发, 为服务器与存储设备之间提供高速连接 光纤通道是一种跟 SCSI 或 IDE 有很大不同的接口, 是一种可以提高多硬盘存储系统的速度和灵活性而设计的高性能接口 FC 硬盘定位于高端存储应用, 可靠性和性能高 图 6 FC 接口示意图 四 硬盘性能指标 影响硬盘速度的技术指标很多, 如转速 磁头形式 数据传输率 寻道时间 缓冲区容量等, 下面讲述一下性能指标的具体意义 1. 硬盘的转速 (Rotational Speed) 硬盘盘片每分钟转动的圈数 硬盘的转速理论上越快越好 因为较高的转速可直接缩短硬盘平均潜伏时间和实际读写时间 硬盘的速度由很多因素决定, 转速仅仅是提高速度的一个方面, 所以转速快的性能不一定比慢的要好很多 硬盘的主轴转速是决定硬盘内部数据传输率的决定因素之一, 它在很大程度上决定了硬盘的速度, 同时也是区别硬盘档次的重要标志 13

16 网络之路 Route to Network 2. 平均访问时间 (Average Access Time) 与平均寻道时间 (Average Seek Time) 平均潜伏时间 (Average Latency Time) 平均寻道时间是指硬盘在盘面上移动磁头至指定磁道所需要的平均时间 描述硬盘读取数据的能力, 以毫秒为单位, 一般在 7ms-14ms 之间 当单碟片容量增大时, 磁头的寻道动作和移动距离减少, 从而使平均寻道时间减少, 加快硬盘速度 平均潜伏时间是指磁头从到达目标磁道到数据开始传输的时间 平均访问时间是平均寻道时间与平均潜伏时间的总和 平均访问时间最能够代表硬盘找到某一数据所用的时间, 越短的平均访问时间越好 当硬盘找到某数据后, 要求迅速将数据内容传送至 CPU 进行处理, 用数据传输率 (Data Transfer Rate) 来描述此过程的快慢, 单位为 MB/s( 兆字节每秒 ), 也被称为吞吐率 (Throughput Rate) 3. 数据传输率分为外部传输率 (External Transfer Rate) 和内部传输率 (Internal Transfer Rate) 计算机通过接口将数据交给硬盘的速度与硬盘将数据记录在盘片上的速度相比, 前者比后者要快好多 前者是外部数据传输率, 后者是内部数据传输率, 两者之间有一块缓冲区以缓解速度差距 通常我们称突发数据传输率 (Burst Data Transfer Rate) 为外部传输率, 指从硬盘缓冲区读取数据的速度 内部传输率, 也称最大或最小持续传输率 (Sustained Transfer Rate), 是指硬盘将数据记录在盘片上的速度, 反映硬盘缓冲区未用时的性能 目前的主流硬盘在容量 平均访问时间 转速 价格等都差不多, 然而在内部传输率上的差别比较大, 因而内部数据传输率成为硬盘的一个 硬 指标 目前, 各硬盘生产厂家努力提高硬盘性能, 除了改进信号处理技术 提高转速, 最主要的就是提高位密度 由于单碟容量越大的硬盘位密度越高, 磁头的寻道动作和移动距离减少, 从而使平均寻道时间减少, 内部传输速率也就越大, 从而加快硬盘速度 所以建议留意硬盘的单碟片容量, 容量大的优先考虑 14

17 网络存储基础知识 4. 缓冲区硬盘内部存储和外界接口之间的缓冲器, 该指标指在硬盘内部的高速存储器 高速缓存是硬盘控制器上的一块存取速度很快的内存 DRAM, 分为写通式和回写式 写通式指读硬盘时系统先检查请求, 寻找所要求的数据是否在高速缓存中 如果在, 则称为命中, 缓存就送出相应的数据, 不必再向磁盘访问数据, 从而明显改善性能 但是写通式只读数据 现在多数硬盘使用可读 / 写数据的回写式高速缓存, 它比写通式高速缓存更能提高性能 它在内存中保留写数据, 当硬盘空闲时再写入 随着硬盘的容量的增大, 高速缓存就显得相当重要 5. 平均故障间隔时间 (MTBF) 产品的故障总数与寿命单位总数之比叫 故障率 (Failure Rate), 常用 λ 表示 例如正在运行中的 100 个硬盘, 一年之内出了 2 次故障, 则每个硬盘的故障率为 0.02 次 / 年 当产品的寿命服从指数分布时, 其故障率的倒数就叫做平均故障间隔时间 (Mean Time Between Failures), 简称 MTBF 即: MTBF=1/λ, 单位为 小时 MTBF 是衡量一个产品 ( 尤其是电器产品 ) 的可靠性指标, 仅适用于可维修产品 6. S.M.A.R.T 该指标的英文全称是 S e l f - M o n i t o r i n g A n a l y s i s & R e p o r t i n g Technology, 中文含义是自动监测分析报告技术 这项技术使主机系统能够随时检测和分析硬盘的工作状态, 提前预测硬盘的故障 15

18 网络之路 Route to Network RAID 基础知识 文 / 龚锦龙 一 RAID 概述 RAID 技术是由美国加州大学伯克利分校 D.A. Patterson 教授在 1988 年提出的, 作为高性能 高可靠的存储技术, 在今天已经得到了广泛的应用 RAID 是 Redundant Array of Inexpensive Disks( 中文直译为廉价磁盘冗余阵列 ) 的缩写, 是将一系列单独的磁盘以不同的方式组合起来, 为一个应用主机或主机集群提供一个逻辑上的磁盘 使用 RAID 的好处是能够扩大磁盘容量 提高磁盘读取的性能和数据的安全性 二 RAID 级别 RAID 技术经过不断的发展, 现在已拥有了从 RAID 0 到 RAID5 的 6 种明确标准级别的 RAID 级别 另外, 其他还有 RAID6 RAID7 RAID10(RAID 1 与 RAID 0 的组合 ) RAID01 (RAID 0 与 RAID 1 的组合 ) RAID30(RAID 3 与 RAID 0 的组合 ) RAID50(RAID 5 与 RAID 0 的组合 ) 等 不同 RAID 级别代表着不同的存储性能 数据安全性和存储成本, 下面将介绍如下 RAID 级别 :RAID0 RAID1 RAID2 RAID3 RAID4 RAID5 RAID6 RAID01 RAID10 RAID 0 RAID0 全称叫做 Striped Disk Array without Fault Tolerance( 没有容错设计的条带 RAID O 的特点磁盘阵列 ) 从图中可以看出,RAID0 在存储数据时由 RAID 控制器 ( 硬件或软件 ) 分割成大小相同的数据条, 同时写入阵列中的磁盘 如果发挥一下想象力, 你会觉得数据像一条带子横跨过所有的阵列磁盘, 每个磁盘上的条带深度则是一样的 至于每个条带的深度则要看所采用的 RAID O 的特点 16

19 网络存储基础知识 RAID 类型, 在 NT 系统的软 RAID0 等级中, 每个条带深度只有 64KB 一种选项, 而在硬 RAID0 等级, 可以提供 以及 128KB 等多种深度参数 Striped 是 RAID 的一种典型方式, 在很多 RAID 术语解释中, 都把 Striped 指向 RAID0 在读取时, 也是顺序从阵列磁盘中读取后再由 RAID 控制器进行组合再传送给系统, 这也是 RAID 的一个最重要的特点 D1D2D3D4D5D6D7D8D9D10D11D12 D1 D2 D3 D4 D5 D6 D7 D8 D9 D10 D11 D12 图 1 RAID 0 的结构 这样, 数据就等于并行的写入和读取, 从而非常有助于提高存储系统的性能 对于两个硬盘的 RAID0 系统, 提高一倍的读写性能可能有些夸张, 毕竟也要考虑到同时增加的数据分割与组合等与 RAID 相关的操作处理时间, 但比单个硬盘提高 80% 的性能是完全可以的 不过,RAID0 还不能算是真正的 RAID, 因为它没有数据冗余能力 由于没有备份或校验恢复设计, 在 RAID0 阵列中任何一个硬盘损坏就可导致整个阵列数据的损坏, 因为数据都是分布存储的 下面总结一下 RAID0 的特点 : 图 2 RAID 0 的特点 17

20 网络之路 Route to Network RAID 1 RAID1 全称叫 Mirroring and Duplexing( 相互镜像 ) RAID1 以镜像作为冗余手段, 虚拟磁盘中的数据有多个拷贝, 放在成员磁盘上 如图 D1D2D3D4 D1 D2 D3 D4 = D1 D2 D3 D4 图 3 RAID 1 的结构 RAID1 在写入数据时,RAID 控制器并不是将数据分成条带而是将数据同时写入两个硬盘 这样, 其中任何一个硬盘的数据出现问题, 可以马上从另一个硬盘中进行恢复 注意, 这两个硬盘并不是主从关系, 而是相互镜像 / 恢复的 RAID1 已经可以算是一种真正的 RAID 系统, 它提供了强有力的数据容错能力, 但这是由一个硬盘的闲置的代价所带来的效果, 而这个硬盘并不能增加整个阵列的有效容量 下面总结一下 RAID 1 的特点 : 图 4 RAID 1 的特点 18

21 网络存储基础知识 RAID 2 RAID2 全称叫 Hamming Code ECC( 汉明码错误检测与修正 ) RAID2 是早期为了能进行即时的数据校验而研制的一种技术 ( 这在当时的 RAID 0 1 等级中是无法做到的 ), 针对了当时对数据即时安全性非常敏感的领域, 如服务器 金融服务等 RAID 2 是 RAID 系统中最为复杂的等级之一 因为它采用了早期的错误检测与修正技术 汉明码 (Hamming Code) 校验技术 阵列中序号为 2N 的磁盘 ( 第 ) 作为校验盘, 其余的磁盘用于存放数据, 磁盘数目越多, 校验盘所占比率越少 RAID2 在大数据存储额情况下性能很高, 但由于花费太大, 成本昂贵, 目前已基本不再使用, 转而以更高级的即时检验 RAID 所代替, 如 RAID3 RAID5 等 RAID 3 RAID3 全称叫 Parallel transfer with parity( 并行传输及校验 ) RAID2 等级的缺点相信大家已经很明白了, 虽然能进行即时的 ECC, 但成本极为昂贵 为此, 一种更为先进的即时 ECC 的 RAID 等级诞生, 这就是 RAID3 RAID3 是在 RAID2 基础上发展而来的, 主要的变化是用相对简单的异或逻辑运算 (XOR,eXclusive OR) 校验代替了相对复杂的汉明码校验, 从而也大幅降低了成本 XOR 的校验原理如右图 这里的 A 与 B 值就代表了两个位, 从中可以发现,A 与 B 一样时,XOR 结果为 0,A 与 B 不一样时,XOR 结果就是 1, 而且知道 XOR 结果和 A 与 B 中的任何一个数值, 就可以反推出另一个数值 比如 A 为 1,XOR 结果为 1, 那么 B 肯定为 0, 如果 XOR 结果为 0, 那么 B 肯定为 1 这就是 XOR 编码与校验的基本原理 图 5 XOR 的校验原理从图中可以发现, 校验盘只有一个, 而数据与 RAID 0 一样是分成条带 (Stripe) 存入数据阵列中, 只不过 RAID3 将大的数据块 (D1) 分成更小的数据条块 (D11,D12,D13, ) 存入 在数据存入时, 按数据阵列中处于同一等级的条带的 XOR 校验编码被即时写在校验盘相应的位置, 所以彼此不会干扰混乱 读取时, 则在调出条带的同时检查校验盘中相应的 XOR 编码, 进行即时的 ECC 由于在读写时与 RAID 0 很相似, 所以 RAID 3 具有很高的数据传输效率 RAID3 在 RAID2 的基础上成功地进行结构与运算的简化, 曾受到广泛的欢迎, 并大量应用 直到更为先进高效的 RAID 5 出现后,RAID 3 才开始慢慢退出市场 下面总结一下 RAID 3 的特点 : 19

22 网络之路 Route to Network D1 D2 D3 D11 D12 D13 P1 D21 D31 D22 D32 D23 D33 P2 P3 校验盘 图 6 RAID 3 的结构 图 7 RAID 3 的特点 注 : 主轴同步是指阵列中所有硬盘的主轴马达同步 RAID 4 RAID 4 全称叫 Independent Data disks with shared Parity disk( 独立的数据硬盘与 共享的校验硬盘 ) 20

23 网络存储基础知识 RAID 3 英文定义是 Parallel transfer with parity, 即并行传输及校验 与之相比, RAID 4 则是一种相对独立的形式, 这也是它与 RAID 3 的最大不同 与 RAID 3 相比, 存储工程师发现关键之处是把条带改成了 块 即 RAID 4 是按数据块为单位存储的, 那么数据块应该怎么理解呢? 简单的说, 一个数据块是一个完整的数据集合, 比如一个文件就是一个典型的数据块 RAID 4 这样按块存储可以保证块的完整, 不受因分条带存储在其他硬盘上而可能产生的不利影响 ( 比如当其他多个硬盘损坏时, 数据就完了 ) D1D2D3D4D5D6D7D8D9 D1 D2 D3 P1 D4 D5 D6 P2 D7 D8 D9 P3 校验盘 图 8 RAID 4 的结构 不过, 在不同硬盘上的同级数据块也都通过 XOR 进行校验, 结果保存在单独的校验盘 所谓同级的概念就是指在每个硬盘中同一柱面同一扇区位置的数据算是同级 在写入时,RAID 就是按这个方法把各硬盘上同级数据的校验统一写入校验盘, 等读取时再即时进行校验 因此即使是当前硬盘上的数据块损坏, 也可以通过 XOR 校验值和其他硬盘上的同级数据进行恢复 由于 RAID 4 在写入时要等一个硬盘写完后才能写下一个, 并且还要写入校验数据所以写入效率比较差, 读取时也是一个硬盘 一个硬盘的读, 但校验迅速, 所以相对速度更快 总之,RAID 4 并不为速度而设计 下面总结一下 RAID 4 的特点 : 图 9 RAID 4 的特点 21

24 网络之路 Route to Network RAID 5 RAID5 与 RAID3 的机制相似, 但是数据校验的信息被均匀的分散到的阵列的各个磁盘上, 这样就不存在并发写操作时的校验盘性能瓶颈 阵列的磁盘上既有数据, 也有数据校验信息, 数据块和对应的校验信息会存储于不同的磁盘上, 当一个数据盘损坏时, 系统可以根据同一带区的其他数据块和对应的校验信息来重构损坏的数据 D1D2D3D4D5D6D7D8D9D10D11D12 D1 D2 D3 P1 D4 D5 P2 D6 D7 P3 D8 D9 P4 D10 D11 D12 图 10 RAID 5 的结构 RAID 5 可以理解为是 RAID 0 和 RAID 1 的折衷方案 RAID 5 可以为系统提供数据安全保障, 但保障程度要比 RAID1 低而磁盘空间利用率要比 RAID1 高 RAID 5 具有和 RAID 0 相近似的数据读取速度, 只是多了一个奇偶校验信息, 写入数据的速度比对单个磁盘进行写入操作稍慢 同时由于多个数据对应一个奇偶校验信息,RAID 5 的磁盘空间利用率要比 RAID 1 高, 存储成本相对较低 RAID5 在数据盘损坏时的情况和 RAID3 相似, 由于需要重构数据, 性能会受到影响 下面总结一下 RAID 5 的特点 : 图 11 RAID 5 的特点 22

25 网络存储基础知识 RAID 6 RAID 6 提供两级冗余, 即阵列中的两个驱动器失败时, 阵列仍然能够继续工作 一般而言,RAID 6 的实现代价最高, 因为 RAID 6 不仅要支持数据的恢复, 又要支持校验的恢复, 这使 RAID 6 控制器比其他级 R A I D 更复杂和更昂贵 1. RAID 6 的校验数据当对每个数据块执行写操作时, RAID 6 做两个独立的校验计算, 因此, 它能够支持两个磁盘的失败 为了实现这个思想, 目前基本上有两个已经接受的方法 : 使用多种算法, 如 X O R 和某种其他的函数 在不同的数据分条或者磁盘上, 使用矩阵排列的数据 2. RAID 6 的一维冗余 RAID 6 的第一种方法是用两种不同的方法计算校验数据 实现这个思想最容易的方法之一是用两个校验磁盘支持数据磁盘, 第一个校验磁盘支持一种校验算法, 而第二个磁盘支持另一种校验算法, 使用两种算法称为 P + Q 校验 一维冗余是指使用另一个校验磁盘, 但所包含的分块数据是相同的 例如,P 校验值可能由 X O R 函数产生, 这样,Q 校验函数需要是其他的某种操作, 一个很有力的侯选者是 Reed Solomon 误差修正编码的变体, 这个误差修正编码一般用于磁盘和磁带驱动器 假如两个磁盘失败, 那么, 通过求解带有两个变量的方程, 可以恢复两个磁盘上的数据, 这是一个代数方法, 可以由硬件辅助处理器加速求解 3. RAID 6 的二维冗余二维冗余基于这样一个概念 : 阵列可以逻辑地以矩阵的行和列安排 因此, 数据的排列以行和列来表示, 校验数据可作为阵列空间的正交矢量来计算 为了实现这个方法, 每一个数据分块都属于两个正交 ( 分离和独立 ) 的分条, 不存在将阵列中任何其他分条写入相同校验位置的可能性 这种方法可简单地看作 M N 的矩阵,M 个校验磁盘需要 N 个校验计算, N 个校验磁盘需要 M 个校验计算 这种安排需要校验磁盘的总数为 M + N 当行和列数相等且阵列的大小增加时, 这种类型的阵列的校验开销将减小 例如, 一个 3 3 的 9 个磁盘的阵列有 6 个校验磁盘, 校验开销占 66% 然而, 当阵列包含 100 个磁盘, 按 配置时, 需要 20 个校验磁盘, 校验开销占 20% 二维方法的优点之一是可以利用同样的算法计算校验数据, 这大大简化了用于简约功能操作的数学例程, 如数据和校验的恢复 它既可以使用阵列管理软件中的单个程序, 也可以使用同样的硬件辅助实现 RAID 01 RAID01 是 RAID0 和 RAID1 的结合, 但它是对条带化后的数据进行镜像 与 RAID10 不同, 一个磁盘的丢失等同于整个镜像条带的丢失, 所以一旦镜像盘失败, 则存储系统成为一个 RAID-0 系统 ( 即只有条带化 ) RAID01 的实际应用非常少 23

26 网络之路 Route to Network D1D2D3D4D5D6D7D8 D1 D5 D2 D6 D3 D7 D4 D8 D1 D5 D2 D6 D3 D7 D4 D8 图 12 RAID 01 的结构 RAID 10 RAID10 也是 RAID1 和 RAID0 的结合, 也称为 RAID(0+1), 条带化后为每一个条带提供镜像, 既提高了系统的读写性能, 有提供了数据冗余保护,RAID10 的磁盘空间利用率和 RAID1 是一样的, 为 50% RAID10 适用于既有大量的数据需要存储, 有对数据安全性有严格要求的领域, 比如金融, 证券等 D1D2D3D4D5D6D7D8 D1 D5 D2 D6 D3 D7 D4 D8 D1 D5 D2 D6 D3 D7 D4 D8 图 13 RAID 10 的结构 24

27 网络存储基础知识 下面总结一下 RAID 10 的特点 : 图 14 RAID 10 的特点 RAID 50 RAID50 是 RAID5 和 RAID0 的结合,RAID50 数据分布按照如下方式来组织 : 首先将分为 N 组磁盘, 然后将每组磁盘做 RAID5, 最后将 N 组 RAID5 条带化 D1D2D3D4D5D6D7D8D9D10D11D12 D1 D2 P11 D3 D4 P12 D5 P21 D6 D7 P22 D8 P31 D9 D10 P32 D11 D12 图 15 RAID 50 的结构 25

28 网络之路 Route to Network 下面总结一下 RAID 50 的特点 : 图 16 RAID 50 的特点 三 RAID 之间比较 在各个 RAID 级别中, 使用最广泛的是 RAID0,RAID1,RAID5,RAID10, 如下是从容量 冗余性以及性能方面对这几种典型 RAID 类型进行比较 RAID-0, 将数据分成条带顺序写入一组磁盘中 RAID-0 不提供冗余功能, 但是它却提供了卓越的吞吐性能, 因为读写数据是在一组磁盘中的每个磁盘上同时处理的, 吞吐性能远远超过单个磁盘的读写 RAID-1, 每次写操作都将分别写两份到数据盘和校验盘上, 每对数据盘和校验盘成为镜像磁盘组 也可使用并发的方式来读数据时, 提高吞吐性能 如果镜像磁盘组中某个磁盘出错, 则数据可以从另外一块磁盘获得, 而不会影响系统的性能, 然后, 使用一块备用磁盘将健康磁盘中的数据复制出来然后这两块磁盘又组成新的镜像组 RAID1/0, 即 RAID1 与 RAID0 的结合, 既做镜像又做条带化, 数据先镜像再做条带化 这样数据存储既保证了可靠性, 又极大地提高了吞吐性能 RAID-5 是将数据校验循环分散到各个磁盘中, 它像 RAID-0 一样将数据条带化分散写到一组磁盘中, 但同时它生成校验数据作为冗余和容错使用 校验磁盘包含了所有条带的数据的校验信息 RAID-5 将校验信息轮流地写入条带磁盘组的各个磁盘中, 即每个磁盘上既有数据信息又同时有校验信息,RAID-5 的性能得益于数据的条带化, 但是某个磁盘的失败却将引起整个系统的下降, 这是因为系统将在承担读写任务的同时, 重新构建和计算出失败 26

29 网络存储基础知识 磁盘上的数据, 此时要使用备用磁盘对失败磁盘的数据重建恢复整个系统的健康 从一个普通应用来讲, 要求存储系统具有良好的 IO 性能同时也要求对数据安全做好保护工作, 所以 RAID10 和 RAID5 应该成为我们重点关注的对象 下面从 IO 性能, 数据重构及对系统性能的影响, 数据安全保护等方面, 结合磁盘现状来分析这两者的差异 IO 的性能读操作上 RAID10 和 RAID5 是相当的,RAID-5 在一些很小数据的写操作 ( 如比每个条带还小的小数据 ) 需要 2 个读 2 个写, 还有 2 个 XOR 操作, 对于单个用户的写操作, 在新数据应用之前必须将老的数据从校验盘中移除, 整个的执行过程是这样 : 读出旧数据, 旧数据与新数据做 XOR, 并创建一个即时的值, 读出旧数据的校验信息, 将即时值与校验数据进行 XOR, 最后写下新的校验信息 为了减少对系统的影响, 大多数的 RAID5 都读出并将整个条带 ( 包括校验条带 ) 写入缓存, 执行 2 个 XOR 操作, 然后发出并行写操作 ( 通常对整个条带 ), 即便了进行了上述优化, 系统仍然需要为这种写操作进行额外的读和 XOR 操作 小量写操作困难使得 RAID-5 技术很少应用于密集写操作的场合, 如回滚字段及重做日志 当然, 也可以将存储系统的条带大小定义为经常读写动作的数据大小, 使之匹配, 但这样会限制系统的灵活性, 也不适用于企业中其它的应用 对于 RAID10, 由于不存在数据校验, 每次写操作只是单纯的执行写操作 因此在写性能上 RAID10 要好于 RAID5 数据重构对于 RAID10, 当一块磁盘失效时, 进行数据重构的操作只是复制一个新磁盘, 如果假定磁盘的容量为 250G, 那么复制的数据量为 250G 对于 RAID5 的存储阵列, 则需要从每块磁盘中读取数据, 经过重新计算得到一块硬盘的数据量, 如果 RAID5 是以 4+1 的方式组建, 每块磁盘的容量也为 250G, 那么, 需要在剩余的 4 个磁盘中读出总共是 1000G 的数据量计算得出 250G 的数据 从这点来看,RAID5 在数据重构上的工作负荷和花费的时间应该远大于 RAID10, 负荷变大将影响重构期间的性能, 时间长意味再次出现数据损坏的可能性变大 27

30 网络之路 Route to Network 数据安全保护 RAID10 系统在已有一块磁盘失效的情况下, 只有出现该失效磁盘的对应镜像盘也失效, 才会导致数据丢失 其他的磁盘失效不会出现数据丢失情况 RAID5 系统在已有一块磁盘失效的情况下, 只要再出现任意的一块磁盘失效, 都将导致数据丢失 从综合来看,RAID10 和 RAID5 系统在出现一块磁盘失效后, 进行数据重构时,RAID5 需耗费的时间要比 RAID10 长, 同时重构期间系统负荷上 RAID5 要比 RAID10 高, 同时 RAID5 出现数据丢失的可能性要比 RAID10 高, 因此, 数据重构期间,RAID5 系统的可靠性远比 RAID10 来的低 RAID5 在磁盘空间率用率上比 RAID10 高,RAID5 的空间利用率是 (N-1)/ N (N 为阵列的磁盘数目 ), 而 RAID10 的磁盘空间利用率仅为 50% 但是结合磁盘来考虑, 今天的硬盘厂商所生产的 ATA 或 SATA 硬盘的质量已经可以承担企业级的应用, 并且, 容量的增加幅度相当大, 目前已经可以实现单个磁盘 400G 的存储容量 SCSI 硬盘由于要求高转速而使用小直径盘片, 容量的增加相对缓慢 ATA 磁盘相对 SCSI 磁盘拥有成本也要小很多 应此, 在采用价格昂贵的 FC 或 SCSI 硬盘的存储系统中, 对于预算有限同时数据安全性要求不高的场合可以采用 RAID5 方式来折中 ; 其他应用中采用大容量的 ATA 或 SATA 硬盘结合 RAID10, 既降低了 RAID10 的为获得一定的存储空间必须采用双倍磁盘空间的拥有成本, 又避免了 RAID5 相对 RAID10 的各种缺点 RAID 级别 有效容量 顺序读写性能 随机读写性能 读写读写 磁盘 n RAID0 n RAID 1 n/ RAID 5 n RAID 10 n/ 几点说明 : 1. n 表示阵列中磁盘的数量 2. 读写性能的数字 10 表示最好,1 表示最差 仅对同一列的数字进行对比才有意义 28

31 网络存储基础知识 SAN 基础知识 文 / 秦祖福 自从 iscsi 正式发布以来, 存储圈对于 FC SAN 和 IP SAN 的争论一直就没有停息过, 圈外人 对于 FC SAN 和 IP SAN 也是一头雾水 在存储技术历史的长河中, 让我们一起找寻它们的根源 一 什么是 SAN SAN 的概念 SAN(Storage Area Network 存储区域网络 ) 是一个由存储设备和系统部件构成的网络, 所有的通信都在一个与应用网络隔离的单独的网络上完成, 可以被用来集中和共享存储资源 SAN 不但提供了对数据设备的高性能连接, 提高了数据备份速度, 还增加了对存储系统的冗余连接, 提供了对高可用群集系统的支持 简单地说,SAN 是关联存储设备和服务器的网络 它和以太网有类似的架构 以太网由服务器 以太网卡 以太网集线器 / 交换机及工作站所组成,SAN 则由服务器 HBA 卡 集线器 / 交换机和存储装置所组成 SAN 的历史 在上个世纪 80 年代, 连接主机和存储设备的标准方法是通过像 IDE 或并行 SCSI 这样的接口实现的点对点的 DAS( 直接连接存储 ) 方式 并行 SCSI 提供了相对快速的访问 SCSI 硬盘的速度 (5MBps 或 10MBps), 并且几个硬盘可以通过同一个接口连接到计算机上 但是, 随着存储子系统变得越来越大, 计算机变得越来越快, 一个新问题出现了 : 外部存储设备开始变得庞大起来 ; 磁带库 RAID( 廉价冗余磁盘阵列 ) 和其他 SCSI 设备开始需要越来越多的空间, 这就要求并行 SCSI 连接从主机延伸出来得越来越远 ; 同时, 主机系统要求更高的 I/O( 输入 / 输出 ) 速率 ; 另外, 应用系统希望采用同一个存储系统,SCSI 带来的连接数目 29

32 网络之路 Route to Network 的限制也摆在了人们面前 为了满足这些新的需求, 人们开发了为存储设备提供千兆串行网络访问能力的光纤通道 (Fibre Channel) 协议 光纤通道协议综合了许多优点, 如单模光纤最远距离可达到 10 公里 ; 通过连接设备可达 100 公里 ; 可以使用多种介质的简单串行线缆 ( 光缆 铜缆 ) 千兆网络速率以及可以在同一线缆上同时使用多种协议 这些特点使得光纤通道协议作为并行 SCSI 协议的替代者在整个 90 年代都得到了人们的认可, 现在光纤通道协议被用在绝大多数高容量 高端直连存储设备上 随着光纤通道协议作为并行 SCSI 的点对点方式替代者的出现, 并随着其逐渐被市场所接受, 一种组合单纯的存储应用与网络技术于一身的新技术出现了 这就是存储区域网络 (Storage Area Network,SAN) SAN 的组成 图 1 SAN 存储局域网络示意图 SAN 由三个基本的组件构成 : 接口 ( 如 SCSI 光纤通道 ESCON 等 ) 连接设备 ( 交换设备 30

33 网络存储基础知识 网关 路由器 Hub 等 ) 和通信控制协议 ( 如 IP 和 SCSI 等 ) 这三个组件再加上附加的存储设备和服务器, 构成一个 SAN 系统 SAN 主要分为两种 :FC SAN 和 IP SAN SAN 的优点 设备整合, 多台服务器可以通过存储网络同时访问后端存储系统, 不必为每台服务器单独购买存储设备, 降低存储设备异构化程度, 减轻维护工作量, 降低维护费用 ; 数据集中, 不同应用和服务器的数据实现了物理上的集中, 空间调整和数据复制等工作可以在一台设备上完成, 大大提高了存储资源利用率 ; 高扩展性, 存储网络架构使得服务器可以方便的接入现有 SAN 环境, 较好的适应应用变化的需求 ; 总体拥有成本低, 存储设备的整合和数据集中管理, 大大降低了重复投资率和长期管理维护成本 二 FC SAN 初探 FC SAN 的概念 光纤通道 (FC SAN) 采用 Fibre Channel 等存储专用协议, 通过光纤通道交换机等连接设备, 使网络服务器与多种存储设备连接在一个高速专用独立于以太网的网络中, 数据采用 FCP 协议以块方式存取, 不占用服务器运算处理的网络带宽 光纤通道 (Fibre Channel)SCSI 技术是 SAN 技术的物理基础 Fibre Channel 采用高频 (1GHz) 串行位 (Bit) 传送, 单环速度可达 Mbyte/s( 相当于 Gigabit), 双环共用可达到 Mbyte/s 每个环可挂接 126 个 SCSI 设备, 不加中继时最远距离可达 10Km 而且有很大的继续发展空间 传统的 SCSI 总线电缆因受制于电子技术和电气物理特性的限制, 在速度 (20-160MB/s), 容量 ( 每条总线 8-16 个 SCSI 设备 ), 距离 ( 米 ) 等方面都已近极限 光纤通道协议为存储设备提供了千兆串行网络访问能力的, 适应了当前存储子系统变得越来越大 计算机变得越来越快的情况下产生的新需求 在光纤通道协议的第四层上建立了以光纤通道为基础的用于存储的 SCSI 协议 用于网络的 IP 协议以及映射到网络架构上的用于集群的虚拟接口 (VI) 协议 光纤通道协议综合了许多优点, 如网络范围的最远距离可达到 10 公里, 可以使用多种介质的简单串行线缆 千兆网络速率以及可以在同一线缆上同时使用多种协议 这些特点使得光纤通道协议作为并行 SCSI 协议的替代者在整个 90 年代都得到了人们的认可, 现在光纤通道协议被用在绝大多数高容量 高端直连存储设备上 光纤通道 (FC SAN) 的体系架构图 2 所示 显然, 这种 SAN 以处理数据的多种服务器为中心, 存在两张网, 一张是面对应用网 ( 或 31

34 网络之路 Route to Network 图 2 FC SAN 整体架构图 Client/Server 架构或 Browzer /Web server 架构 ); 另一张是存储网 ( 由主机中的 FC HBA 卡 FC 交换机及存储设备三层结构组成的 SAN), 它专门解决主机系统对磁盘的块级 (Block-Level) 存储数据调用 这也是使用 SAN 的原因之一 FC SAN 整体结构见图 2 FC 协议结构 FC 协议分析 图 3 FC 协议层次 32

35 网络存储基础知识 光纤通道按协议层进行分层, 各层之间技术相互独立, 留有增长空间, 并且由被认可的标准化机构进行开发, 分层结构共分 5 层, 如图 3 所示 FC 协议层次 (1) FC-0( 物理层底层 ): FC-0 层定义了连接的物理端口特性, 包括介质和连接器 ( 驱动器 接收机 发送机等 ) 的物理特性 电气特性和光特性 传输速率以及其它的一些连接端口特性 (2) FC-1( 传输协议 ): 规定了 8B/10B 编码方式和传输协议. 包括串行编码 解码规则 特殊字符和错误控制 (3) FC-2( 帧协议 ): 规定了具体的传输机制, 包括帧格式, 节点间的信息交换 (4) FC-3( 公共服务 ): 提供高级特性的公共服务, 即端口间的结构协议和流动控制, 它定义了三种服务 : 条块化 (Striping) 搜索组(Hunt Group) 和多路播放 (Broadcast Multicast) (5) FC-4(ULP 映射 ): 定义了 Fibre Channel 和 IP,SCSI-3 以及其他的上层协议 (ULP) 之间的接口 FC 流量控制 FC 中的流量控制机制是在信用度基础上的 所谓的信用度 (Credit) 是指设备接受额外帧的能力 信用度的多少决定了设备接收额外帧能力的大小 如果接受方没有向发送方发出任何的信用度, 那么发送方就不能发送任何帧, 在信用度的基础上协调帧传送, 可以避免帧的丢失, 同时减少了对整个帧序列进行重传的频率 实际上, 这种基于信用度的机制建立在终端节 图 4 FC 基于信服的流量控制 33

36 网络之路 Route to Network 点能够提供的缓冲区 (TX-Buffer 和 RX-Buffer) 的数目上, 这些缓冲区用于存储到来的数据流 例如, 拥有板上存储器的主机总线适配器, 被分派作为接受缓冲区, 成为 FC-1 解码和译码功能, 以及 FC-2 的帧重新装配功能之间的接口 当 FC-1 提交帧的时候, 这种接受缓冲区被充满 ; 当 FC-2 的装配线取出各个帧进行数据块的重建时, 这种接受缓冲区被清空 为了充分的利用 FC 的传输能力, 最好能够连续的发出多个帧 这一点在事务开始前由授权充分信用度来实现, 同时利用 FC 的全双工能力在帧还未接受时就发出附加的信用度 FC 中常用的两种是端到端 (EE-Credit) 和缓冲区到缓冲区 (BB-Credit) 的流量控制 端到端的流量控制机制 (EE-Credit) 是在两个终端节点之间使用的流量控制 在两个通信节点登录并交换通信参数时候, 建立起传输信用度, 并且由节点本身来监测 中间的交换机不参与端到端流量控制 如图 4 所示 一旦一个初始的信用度等级授权后, 如果要补充信用度的话, 要由接受方发送出应答 (ACK) 来实现 每发出一个帧发送方就消耗了一个端到端的信用度 (EE-Credit), 只有当其接收到一个 ACK 后才能增加信用度 光纤通道中还定义使用 BB-Credit 的流量控制机制 ( 缓冲区到缓冲区的信用度 ), 并且依靠 receive-ready(r-rdy) 有序集补充信用度, 如图 4 所示 某个附接到交换机的终端接点将在登录到交换机的过程中建立它的 BB-Credit 在交换机远端参与通信的一方将在登录时建立其自身交换机的 BB-Credit BB-Credit 没有端到端的成分 发送方在发出一个帧时将 BB-Credit 减 1, 直到 BB-Credit 的数量为零的时候. 此时不能再进行帧发送 在接收到 R-RDY 时将 BB-Credit 加 1 BB-Credit 的初始值必须是非零的 如果为零的话, 说明不能再接收或者发送帧 FC 发现机制在 FC 中, 当一个新的设备加入到网络中时, 它要与它的网络管理者 ( 一般是交换机 ) 取得联系, 网络管理者便会依次告知那些已经注册过的和那些需要被通知这一事件的所有设备 此外, 在 FC 中, 由于为了增强网络的灵活性和安全性, 有时可能需要进行分区 当一个 图 5 FC 发现机制 34

37 网络存储基础知识 新的设备加入到网络中的时候, 该设备首先与它同在一个分区的其它现有设备完成注册, 然后连接这个设备的交换机会把这一事件告知其他的分区的设备和其它的交换机 如图 5 所示, 如果当 A 区的节点 A 加入网络时, 它先与 FC 交换机取得联系, 那么 FC 交换机将把 A 节点加入网络的这一信息先后分别告知节点 B 和节点 C 以及 B 区的节点 D 和节点 E 至此,A 节点就加入到网络中, 可以与 A 区与 B 区中的设备进行通信 三 IP SAN 初探 IP SAN 的概念 图 6 IP SAN 架构图 IP SAN 架构如上图 6 所示 : 将数据块和 SCSI 指令通过 TCP/IP 协议承载, 通过千兆 / 万兆专用的以太网络连接应用服务器和存储设备, 这样的解决方案称为 IP SAN 35

38 网络之路 Route to Network IP SAN 遵循 IETF 的 iscsi 标准, 通过以太网实现对存储空间的块级访问, 由于早先以太网速度, 数据安全性以及系统级高容错要求等问题, 这一标准经历了三年的认证过程, 在包括 IBM HP SUN COMPAQ DELL Intel Microsoft EMC HDS Brocade 等众多家厂商的努力, 和万兆 / 千兆以太网 10GBit Ethernet 支撑下,IP SAN/iSCSI 已解决了网络瓶颈, 数据安全和容错等问题, 进入了实用阶段 IP SAN 协议 目前实现 IP SAN 的主要协议包括 FCIP(Fibre Channel over IP) ifcp(internet Fibre Channel) iscsi(internet Small Computer System Interface) 等 FCIP 是基于 TCP/IP 的隧道协议, 实现了物理位置不同的 SAN 网络之间的互连 它将光纤通道帧封装在 IP 包中, 通过 IP 网络传输, 到达远端网络后, 由专用设备进行解包, 还原成光纤通道帧 通过 FCIP 协议突破了光纤通道 10Km 的传输长度极限 ifcp 协议提供了网关到网关的访问方法, 从表面上看起来, 和 FCIP 协议非常相似, 也为光纤通道设备提供了跨 IP 网络的传输操作, 但是在实现上是完全不同的 光纤通道协议由若干层组成, 在最上层是 FCP 层, 为操作系统提供了串行 SCSI 接口 ifcp 协议保留了光纤通道协议的 FCP 层, 而将原光纤通道协议传输层替换成了 TCP/IP 协议簇 与 FCIP 和 ifcp 相比,iSCSI 协议完全抛弃了光纤通道, 是一个纯粹的 IP 存储网络协议 它通过 IP 网络传输 SCSI 指令集, 实现 IP 网络上数据块级传输 iscsi 既有光纤通道技术的部分优点, 同时也继承了以太网和 IP 技术的优点 另外,iSCSI 也克服了光纤通道技术的距离限制 采用 iscsi 协议构建 SAN 的优势在于可以利用当前发展成熟的 IP 网络, 理论上, 用户可以以一个相对较低的投资实现 WAN 上的远程复制 最初的应用是具有 iscsi 光纤通道技术的桥接路由或网关, 未来将发展到端到端的 IP 连接 iscsi 兼容的设备要比光通道设备便宜得多, 因而有更广泛的市场 另外,iSNS(Internet Storage Name Server,Internet 存储名称服务 ) 是 ifcp 和 iscsi 系统中用于设备发现的协议 FCIP 和 ifcp 的主要驱动都是在 SAN 上的扩展, 它使用户能够实现长距离的远程复制, 两者可以很好地应用在一起 FCIP 和 ifcp 不会像 iscsi 那样迅速对市场形成很大的影响, 但是它们都可以找到特定应用 企业如果已经应用了光纤通道技术并且想克服距离限制, 那么就可以选择 FCIP; 如果还没有实施光纤通道技术, 并且希望从非光通道环境扩展和移植, 则 ifcp 是一个合适的选择 iscsi 协议 iscsi 协议是通过 TCP/IP 协议来传输主机和 SAN 节点之间的 SCSI 指令, 实现了 IP 网络中 SAN 的连接 为了更好的了解 iscsi 协议, 先简单介绍一下 SCSI 架构 SCSI 架构 SCSI 结构模型 2(SCSI Architecture Model-2,SAM-2) 描述了 SCSI 各个层的概念 实 36

39 网络存储基础知识 体和连接 SCSI 是一组向 I/O 设备 ( 例如硬盘 磁带机 CD DVD 打印机 扫描仪等) 请求服务的接口族 单个的 I/O 设备称为逻辑单元 (Logical Unit,LU) SCSI 采用客户端 / 服务器的架构, 其中 SCSI 的客户端称为发起端 (initiator), 服务器则称为目标端 (target) 发起端向目标端发出 SCSI 指令, 请求目标端的组成部件即逻辑单元的服务, 目标端接收该指令并作相应的处理 一个目标端可以有多个的逻辑单元, 每一个逻辑单元在该目标端中都有一个地址, 称为逻辑单元号 (Logical Unit Number,LUN) 一个服务请求信息必须包含一个指令描述块 (Command Descriptor Block,CDB), 它包含了发起端向目标端发送请求信息的指令参数 iscsi 协议 iscsi 协议中采用网络实体 (Network Entity) 来描述连接于 IP 网络的设备或网关 一个网络实体必须包含一个或多个网络入口 (portal) 网络实体中的一个 iscsi 节点可以通过其中任意一个网络入口来接入 IP 网络 iscsi 节点 (iscsi Node) 是一个网络实体中的 iscsi 发起端 (iscsi initiator) 或目标端 (iscsi Target), 通过 iscsi 名称来标识 节点的 iscsi 名称也是 SCSI 设备的名称, 一个 iscsi 节点只有一个 SCSI 设备 网络入口是网络实体中负责实现 TCP/IP 协议栈的组件 iscsi 发起端的网络入口只通过其 IP 地址来命名, 而 iscsi 目标端的网络入口由 IP 地址和 TCP 监听端口共同定义 图 7 显示了 iscsi 客户端和服务器的组成示意图 图 7 iscsi 客户端和服务器的组成元件 37

40 网络之路 Route to Network iscsi 发起端是通过 TCP/IP 网络向 iscsi 目标端发起 iscsi 通信请求 ( 比如请求数据, 进行读写以及其它一些 iscsi 操作 ) 的设备, 它通常是配置有 HBA(Host Bus Adapter, 主机总线适配置器 ) 的主机或者是配置了 NIC( 即网卡 ) 并附带 iscsi 软件驱动程序的主机 iscsi 目标端通常是存储设备 iscsi 协议是基于 TCP/IP 协议之上的 SCSI 远程过程调用模型的映射 在 iscsi 协议中, SCSI 的指令通过 iscsi 的请求来传输, 而 SCSI 的响应和状态则通过 iscsi 的响应来传输 图 8 是 iscsi 协议层次模型图, 从中可以看出 SCSI 指令的封装顺序 发起端和目标端之间通过建立一个或多个 TCP 连接进行通信, 这样的一组 TCP 连接又构成一个发起端和目标端之间的 iscsi 会话 (Session) SCSI 层处理的是 SCSI 指令描述块 CDB, 而 iscsi 层处理的则是 iscsi 协议数据单元 PDU(Protocol Data Unit) 控制消息 SCSI 指令 参数和数据封装在 iscsi PDU 中, 通过 TCP 连接传输 在 iscsi 协议中, 传输方向是按照 iscsi 发起端来定义的, 从 iscsi 发起端到 iscsi 目标端的传输称为输出, 而从 iscsi 目标端到 iscsi 发起端则称为输入 图 8 iscsi 协议的层次模型 iscsi 协议主要包括四部分 :iscsi 命名和编址规则 iscsi 会话管理 iscsi 差错处理和 iscsi 安全性 iscsi 命名和编址规则 iscsi 协议定义了 iscsi 发起端和目标端的命名和编址规则 所有的 iscsi 节点 ( 包括发起端和目标端 ) 都有一个全球唯一的 iscsi 名称, 且不依赖于节点的位置改变而改变 有两种 iscsi 命名格式 :iqn(iscsi Qualified Name) 格式和 eui(ieee EUI-64) 格式 iscsi 的名称具有以下的特点 : 1 iscsi 名称全球唯一, 没有两个 iscsi 发起端或目标端具有相同的名称 2 iscsi 名称是永久的,iSCSI 发起端和目标端在其使用寿命内,iSCSI 名称不会改变 3 iscsi 名称与位置或地址无关,iSCSI 发起端或目标端可以移动, 或者具有多个地址, 但是都不会改变其名称 38

41 网络存储基础知识 多个 iscsi 发起端或目标端可以共享同一个 IP 网络地址, 同样一个 iscsi 发起端或目标端可以有多个 IP 地址 iscsi 节点的编址规则遵从基于 IP 标准的编址策略, 即 < 域名 >[: 端口号 ] 域名使用 IPv4 地址或 IPv6 地址 对于 iscsi 目标端, 端口号可以随 IP 地址指定, 也可以使用默认的端口号 3260 iscsi 会话管理 iscsi 通信的最高级别是在 iscsi 发起端和目标端之间形成的会话, 会话的形式有两种 : 普通操作会话和发起端用来发现目标端的发现会话 会话以会话 ID(SSID) 来识别, 会话 ID 由发起端 ID(ISID) 和目标端 ID(TSID) 所组成 会话包含一个或多个连接 ( 见图 9), 每一个连接对应一个 TCP 连接, 并都有一个连接 ID(CID) 在会话中可以添加或删除 TCP 连接 图 9 具有一个或多个 TCP 连接的 iscsi 会话 iscsi 会话包括了登录阶段 (Login Phase) 和全双工阶段 (Full Feature Phase) 当 iscsi 发起端向目标端监听的端口发起 TCP 连接请求时, 就开始进入登录阶段 在该阶段,iSCSI 发起端和目标端之间可以进行认证和安全协议以及其它各种参数的协商 如果 iscsi 登录阶段成功结束, 目标端会向发起端确认登录, 否则拒绝登录并断开 TCP 连接 该阶段成功结束后, 会话就进入了全双工阶段 在全双工阶段, 发起端可以将 SCSI 指令和数据封装在 iscsi PDU 中, 并通过已经建立的 iscsi 会话发送给不同的 LU 如果一个会话中包含多个 TCP 连接, 则 iscsi 要求每一个 iscsi 请求 / 响应对通过同一个 TCP 连接传输 但是不同的请求 / 响应对可以通过同一会话的不同 TCP 连接进行处理 iscsi 差错处理在一些 IP 网络, 特别是在 WAN 中, 数据传输的错误是经常出现的, 因此 iscsi 协议提供了错误处理机制 为了实现错误的处理与恢复, 发起端和目标端在指令确认前, 都要有指令缓冲的功能 各终端要保证在协议数据单元 PDU 丢失或损坏后可以恢复原来的数据 iscsi 差错处理的两种机制是重试和重分配 发起端可以向目标端再次发送相同的指令或数据 PDU 来请求丢失的数据包 重分配则在发起端和目标端之间的 TCP 连接丢失时使用 发起端通过新的 TCP 连接发送 Task Reassign 的任务管理 PDU 通知目标端使用新的 CID 继续未完成的指令 目标端是否需要支持这种功能可以通过登录阶段进行协商 39

42 网络之路 Route to Network iscsi 安全性在过去, 由于存储设备或者直接与主机相连, 或着通过独立于用户网络的专用 SAN 连接, 因此安全性并不是主要考虑的问题 但是对于包括 iscsi 在内的基于 IP 的 SAN 协议, 存储信息在开放的 IP 网络上是透明的, 因此就存在安全隐患 在 iscsi 协议中, 跟安全相关的机制主要有两部分, 分别为基于 iscsi 连接层面的认证和基于 IP 层的报文保护 在 iscsi 登录阶段, 可以选择需要认证, 也可以选择不认证 如果选择认证, 认证的方式又包括 KRB5 SPKM1 SPKM2 SRP 和 CHAP 任何参数协商和登录确认都发生在认证之后, 如果采用认证, 则要求 iscsi 会话中的每一个连接都要经过认证 虽然认证机制可以防止未授权的连接, 但是对于接下来的 PDU 报文交换却无能为力 iscsi 协议采用 IPSec 机制来提供 iscsi 节点之间基于 IP 层的报文保护 ( 一致性 认证和安全性 ) 为了与协议相符,iSCSI 网络组件必须采用 ESP(Encapsulating Security Protocol) 协议实现 IPSec 隧道模式 在每个发送的数据报中, 使用关键字信息认证代码能够提供数据认证和一致性, 防止了信息插入 删除和修改 ; 使用序列计数器防止了操作重演和信息重复传送 四 IP SAN 和 FC SAN 的比较 FC SAN 的问题 其实 FC SAN 的弱点是由它的物理机理决定的, 它无法使存储设备随它在 Internet 上运行, 从而无法满足应用前端对存储数据 无时不在 无处不在 的要求 FC SAN 的物理覆盖有限, 不超过 50 公里 这样容易形成存储孤岛 兼容性差,FC 协议发展时间短, 开发和产品化的大厂商较少, 而且厂商之间各自遵循内部标准, 导致不同厂商的 FC 产品之间兼容性和互操作差, 即使同一厂商的不同版本不同型号的 FC 产品也存在类似的问题 ; 成本高昂,FC SAN 的成本包括先期设备成本和长期维护成本, 由于 FC 协议在成熟度和互联性上无法与以太网相比, 导致 FC 协议只能局限于存储系统应用, 无法实现 40

43 网络存储基础知识 大规模推广, 这直接导致了 FC 产品价格的昂贵 ; 同样与 FC-SAN 相关的所有产品都身价高昂, 无论是备份软件的 FC-SAN 模块, 还是 SCSI 硬盘简单更换连接口成为 FC 硬盘, 都要翻上几倍的价钱 ; 另外兼容性差也导致了用户无法自己维护 FC 设备, 必须购买昂贵的厂商服务, 如果用户的环境中包括多种 FC 存储设备, 用户每年花在 FC-SAN 的系统保修服务的费用占当年采购成本的 15% 左右 如果再算上系统安装部署阶段的专业服务费用支出, 以 5 年计算, 整个服务费用支出与系统采购达到 1:1! 扩展能力差,FC-SAN 高昂的成本和协议封闭, 使得产品的开发 升级 扩容代价高昂 从 2000 年以来, 存储市场中最大的中端部分就一直 5 年不变地维持着前端两个存储控制器, 后端两个 ( 最多四个 ) 光纤环路的结构 不仅产品本身无法进行性能和处理能力扩展, 产品型号向上的升级付出的代价几乎相当于购买一套新的设备 异构化严重, 各厂商按照自有标准开发各种功能, 如快照 复制 镜像等, 导致不同厂商存储设备之间功能无法互通, 结果又出现的 DAS 方式的各种问题, 重复投资 难以管理的局面 SAN 的出现, 从根本上是要建立一个开放 高性能 高可靠 高可扩展性的存储资源平台, 从而能够应对快速的业务变化和数据增长, 然而以上问题使得用户使用网络存储的目标产生了严重的偏离, 很多用户甚至开始质疑为什么要放弃 DAS 而使用昂贵复杂的 FC-SAN IP SAN IP 网络是一个开放, 高性能, 高可扩展, 可靠性高的网络平台 IP 网是国际互连网, 企业内部网络的主要形式 经过多年发展,IP 网络实现了最高的可管理性和互操作性 TCP/IP 协议弹性强, 适应网络的各种变化, 无需停止服务即可实网络变更 1G 的以太网已经普及,2006 年会扩展到 10G FC 在 2008 年才能到 4G 不同厂家的 IP 网设备兼容性好 网络设备采购成本低廉 以太网知识普及, 以太网多年的发展培养了无数的网络管理人员 IP SAN 的基本想法是通过高速以太网络连接服务器和后端存储系统 将 SCSI 指令和数据块经过高速以太网传输, 继承以太网的优点, 实现建立一个开放 高性能 高可靠性, 高可扩展的存储资源平台 41

44 网络之路 Route to Network NAS 介绍 文 / 董映霞 关键词 :NAS CIF NFS SMB 摘要 : 本文介绍 NAS 的定义, 优缺点 如何实现 windows 平台和 linux 平台的共享 缩略语清单 : Abbreviations 缩略语 Full spelling 英文全名 Chinese explanation 中文解释 HBA Host Bus Adapter 主机总线适配器 NAS Network Attached Storage 网络附加存储 CIFS Common Internet File Service 公共因特网文件服务 NFS Network File System 网络文件系统 SMB Server Message Block 服务器信息块 RPC Remote Procedure Call 远程过程调用 一 NAS 介绍 NAS 简介 NAS(Network Attached Storage, 网络附加存储 ): 一种文件共享服务, 由专用的服务器通过专有文件系统管理存储空间, 对外通过 NFS(Network File System, 网络文件系统 ) 或者 CIFS(Common Internet File Service, 公共因特网文件服务 ) 等协议提供文件级的访问功能 NAS 支持不同的操作系统共享同一个文件 42

45 网络存储基础知识 在 NAS 中, 数据存储采用专用的文件服务器管理文件存储系统 文件服务器作为一个核心被所有客户端用户访问, 但不承担应用服务 文件服务器本身通过一个文件系统管理磁盘阵列, 存取磁盘阵列上的文件, 并管理相应的网络安全和访问授权 NAS 系统可以根据应用服务器或者客户端计算机发出的指令, 完成对其文件的管理, NAS 采用 UDP 或 TCP 协议提供标准化访问服务, 能够在异构服务器间共享数据 NAS 架构图 : 图 1 NAS 架构图 通过上图 NAS 的物理架构可以看出,NAS 使用了传统以太网和 IP 协议, 当进行文件共享时, 则利用了 NFS 和 CIFS 以沟通 Unix 和 NT 系统 由于 NFS 和 CIFS 都是基于操作系统的文件共享协议, 所以 NAS 的性能特点是进行小文件级的共享存取 由此可以看出,NAS 主要应用于文件共享任务 : 在典型的如 Unix 环境下的 NFS 和在 Windows NT 环境下的 CIFS 提供了高水平的文件同时存取保护 NAS 起源 NAS 采用网络 (TCP/IP ATM FDDI) 技术, 通过网络交换机连接存储系统和服务器主机, 建立专用于数据存储的存储私网 随着 IP 网络技术的发展,NAS 技术发生质的飞跃 早期 80 年代末到 90 年代初的 10Mbps 带宽, 网络附加存储作为文件服务器存储, 性能受带宽影响 ; 后来快速以太网 (100Mbps) VLAN 虚网 Trunk(Ethernet Channel) 的出现, 网络附加存储的读写性能得到改善 43

46 网络之路 Route to Network 1998 年千兆以太网 (1000Mbps) 的出现和投入商用, 为 NAS 带来质的变化和市场广泛认可 由于 NAS 采用 TCP/IP 网络进行数据交换,TCP/IP 是 IT 业界的标准协议, 不同厂商的产品 ( 服务器 交换机 NAS 存储 ) 只要满足协议标准就能够实现互连互通, 无兼容性的要求 ; 并且 2002 年万兆以太网 (10000Mbps) 的出现和投入商用, 存储网络带宽将大大提高 NAS 存储的性能 NAS 需求旺盛已经成为事实 首先 NAS 几乎继承了磁盘列阵的所有优点, 可以将设备通过标准的网络拓扑结构连接, 摆脱了服务器和异构化构架的桎梏 其次, 在企业数据量飞速膨胀中,SAN 大型磁带库 磁盘柜等产品虽然都是很好的存储解决方案, 但他们那高贵的身份和复杂的操作是资金和技术实力有限的中小企业无论如何也不能接受的 NAS 正是满足这种需求的产品, 在解决足够的存储和扩展空间的同时, 还提供极高的性价比 因此, 无论是从适用性还是 TCO( 总拥有成本 ) 的角度来说,NAS 自然成为多数企业, 尤其是中小企业的最佳选择 NAS 优缺点 1. 发挥最大的存储效益 NAS 将存储空间集中管理 分配, 不仅可节省大量的硬件购置费用, 还能充分利用硬盘的每一寸空间 2. 数据集中容易管理通过 NAS 将原本分散在不同电脑上的数据资料集中在同一存储装置上, 企业主不仅容易管理 掌控资料内容, 也方便 MIS 人员进行档案备份, 并改善备份的效率 3. 数据异地存储, 危机处理更容易传统单机习惯将程序 资料都放在同一块硬盘上, 一旦系统出现问题, 资料会一并毁灭 利用 NAS, 可强迫员工养成资料 程序分开存放的习惯 ; 万一系统故障, 仍能及时取出重要资料 4. 数据存储的便利性数据放在网络上, 不管您使用哪部电脑, 都可方便取得 ; 部分机型甚至可连上互连网络, 在全球各地都能存取资料 5. 管理容易, 成本低 SAN 的管理, 通常需要专门的人员, 而 NAS 则完全基于以太网, 不需要很专业的人员去管理 在这么多优点的背后,NAS 的缺点也非常明显 性能上看, 由于与应用使用同一网络,NAS 会增加网络塞, 反过来,NAS 性能也严重受制于网络传输数据能力从数据安全性看,NAS 一般只提供两级用户安全机制, 虽然这能简化使用, 但还需要用户额外增加适当级别的文件安全手段 44

47 网络存储基础知识 二 NAS 实现 windows 平台的共享 CIFS 协议 对于 Windows 平台来说,SMB(Server Message Block)/CIFS(Common Internet File System) 协议实现了 windows 操作系统的文件共享 什么是 SMB/CIFS? 依照微软的解释,CIFS 是为客户系统在网络上向服务器请求文件和打印服务的开放跨平台的运行机制 它是建立在广泛应用于个人电脑和工作站等操作系统的标准服务器消息块 (SMB) 协议之上 实际上,SMB 是一个通过网络在共享文件, 设备, 命名管道和邮槽之间操作数据的协议 而 CIFS 是 SMB 的一个公共版本 从上面 NAS 共享的实现可以看出,SMB/CIFS 协议实现 windows 操作系统的文件共享 SBM 是 windows 系统共享的核心 SMB 简介 SMB 工作原理让 NETBIOS 协议运行于 TCP/IP 通信协议之上, 并且使用 Windows 的 NETBEUI 协议让 Unix 计算机可以在网络邻居上被 Windows 计算机看到 解析 NetBIOS 名字 IP: 在 windows 网络中, 为了能够利用网上资源, 同时自己的资源也能够被别人所利用 ; 各个主机都定期地向网上广播自己的身份信息 而负责收集这些信息, 为别的主机, 提供检索情报的服务器就被称为浏览服务器 samba 可以有效地完成这项功能, 在跨越网关的时候 samba 还可以作 Windows 服务器使用 samba 主要功能 : 共享 Linux 磁盘给 Windows 共享 Windows 磁盘给 Linux 机器 共享 Linux 打印机给 Windows 共享 Windows 打印机给 Linux 机器 SMB 会话过程 SMB 技术的发展开始于八十年代, 出现过很多版本的 SMB 协议 但是最通用的是 NT LM 0.12 版本 (Windows 98,Windows NT,Windows 2000 and XP) SMB 可以运行在 TCP/IP,NetBEUI,DECnet 和 IPX/SPX 协议之上 如果 SMB 执行于 TCP/IP, DECnet 或则是 NetBEUI 之上, 那么 NETBIOS 名字必须被使用 NETBIOS 名字用来在网络上鉴别一台计算机 45

48 网络之路 Route to Network 客户端和服务器建立 SMB 会话过程如下图 : 图 2 客户端和服务器建立 SMB 会话过程 由上图看出, 客户端和服务器建立 SMB 会话过程如下 : 开始于客户端向服务器请求一个 NETBIOS 会话 客户端发送它的已编码的 NETBIOS 名字到 SMB 服务器 ( 它们在 139 端口监听连接请求 ) 服务器接收到 NETBIOS 名字后, 回复一个 NETBIOS 会话数据报给有效的会话连接 客户端在建立了连接之后才能进入访问 客户端发送一个 S M B n e g p r o t 请求数据报 ( n e g p r o t 是磋商协议 n e g o t i a t e -protocol 的简写 ) 客户端列出了它所支持的所有 SMB 协议版本 通过磋商之后, 客户端进程向服务器发起一个用户或共享的认证这个过程是通过发送 SesssetupX(SesssetupX 是会话建立和 X Session setup and X 的简称 ) 请求数据报实现的 客户端发送一对登录名 / 密码或一个简单密码到服务器, 然后服务器通过发送一个 SesssetupX 应答数据报来允许或拒绝本次连接 在客户端完成了磋商和认证之后, 它会发送一个 TconX 数据报并列出它想访问的特定网络资源的名称, 之后服务器会发送一个 TconX 应答数据报以表示此次连接是否接受或拒绝 SMB 安全模式 Samba 的安全级别, 按从低到高分为四级 :share,user,server,domain 它们对应的验证方式如下 : Share 模式 ( 共享模式 ) 没有安全性的级别, 任何用户都可以不要用户名和口令访问服务器上的资源 在此安全等级下,Samba 服务器并不进行有效身份认证, 用户不需要帐号和密码即可登录 Samba 服务器 Samba 服务器的每一共享目录拥有密码, 任何知道有效密码的用户都可以访问它 46

49 网络存储基础知识 User 模式这是在 share 模式上的增强版 它坚持使用一对登录名 / 密码来访问共享资源 samba 的默认配置, 要求用户在访问共享资源之前资源必须先提供用户名和密码进行验证 Server 模式和 user 安全级别类似, 但用户名和密码是递交到另外一个服务器去验证, 比如递交给一台 NT 服务器 如果递交失败, 就退到 user 安全级 Domain 模式这个安全级别要求网络上存在一台 Windows 的主域控制器,samba 把用户名和密码递交给它去验证 其身份认证流程如下 : 图 3 Domain 安全等级下的身份认证流程 三 NAS 实现 linux 平台的共享 NFS 协议 NFS:(Network FileSystem 的缩写 ),NFS 是由 Sun 开发并发展起来的一项用于在不同机器, 不同操作系统之间通过网络互相分享各自的文件 NFS server 也可以看作是一个 FILE SERVER, 它可以让你的 PC 通过网络将远端的 NFS SERVER 共享出来的档案 MOUNT 到自己的系统中, 在 CLIENT 看来使用 NFS 的远端文件就像是在使用本地文件 47

50 网络之路 Route to Network RPC 简介 什么是 RPC RPC(Remote Procedure Call):NFS 本身是没有提供信息传输的协议和功能的, 但 NFS 却能让我们通过网络进行资料的分享, 那么这个 NFS 是藉由什么样的协议来进行传输的呢? 虽然 NFS 有属于自己的协议与使用的 port number, 但是在数据传送或者其它相关讯息传递的时候, NFS 使用的则是一个称为 RPC(Remote Procedure Call) 远程过程调用的协议来协助 NFS 本身的运作 RPC 的任务由字面上的意思来看 RPC 就是一些程序 ( Program ) 在执行远程联机时, 需要用到的程序 简单的来说, 当我们在使用某些服务来进行远程联机的时候, 有些信息, 例如主机的 IP 服务的 port number 与对应到的服务之 PID 等等, 都需要管理与对应这些管理 port 的对应与服务相关性的工作, 就是这个 Remote Procedure Call, RPC 的任务了 NFS 与 RPC 的关系可以说 NFS 本身就是使用 RPC 的一个程序, 或者说 NFS 也是一个 RPC SERVER 所以只要用到 NFS 的地方都要启动 RPC 服务, 不论是 NFS SERVER 或者 NFS CLIENT 这样 SERVER 和 CLIENT 才能通过 RPC 来实现 PROGRAM PORT 的对应 NFS 主要在管理共享出来的目录, 而至于数据的传递, 就直接将他丢给 RPC 的协议来运作 可以这么理解 RPC 和 NFS 的关系 : NFS 是一个文件系统, 而 RPC 负责信息的传输 Linux 客户端和服务器的配置 由 NFS 协议和 RPC 的调用实现 NAS 资源 linux 平台的共享 实现 NAS 资源 linux 客户端的共享,Server 端和 client 端的配置和要求如下 Server 端的配置 : 系统需求核心版本最好能够高于 2.2.xx, 如果重新编译过核心, 必需 ( 一定要选择 )NFS 支持才行 共享权限编辑 /etc/exports 这个文件, 分配共享权限 这个文件如果不存在, 请自行建立 如 : 要将 /tmp 分享出去给大家使用, 由于这个目录本来就是大家都可以读写的, 因此我要让所有的人都可以存取 此外, 我要让 root 写入的档案还是具有 root 的权限, 可以这么写 : 48

51 网络存储基础知识 root]# vi /etc/exports /tmp*(rw,no_root_squash) 启动服务 portmap, nfsd 只要直接启动即可 启动之后, 会出现一个 port 111 的 sunrpc 的服务 那就是 portmap 至于 nfs 则会启动至少两个以上的 daemon 出现, 然后就开始在监听 Client 端的需求 启动之后, 可以到 /var/log/messages 里面看看有没有被正确的启动的信息 root]# /etc/rc.d/init.d/portmap start Client 端的配置 扫瞄可以使用的 Server 目录 showmount 命令查看是否有挂载的目录 建立 mount point 在 Client 本地端建立 mount point 如: 利用 mount 这个指令来挂载 /home/public 这个目录 root]# mount -t :/home/public /home/nfs/public 使用 mount 将远程主机分享的目录挂载进来 总结 server 端及 client 端的设置确认 Linux 主机是否可以支持 NFS 这项服务, 然后设定一下使用者的来源 IP 或主机名称以及分享出去的目录的权限, 之后呢, 启动 NFS 即可将刚刚设定的目录给他分享出去了 那么在 Client 端怎么使用这个分享出来的目录? 在客户端先下发 showmount 命令查看 Linux Server 是否有分配到客户端的 NFS 目录, 如果有的话, 就将他 mount 在本机上面, 如果可以 mount, 那么就可以使用 NFS 主机提供的资源了 NFS,SMB/CIFS 比较 相同点 都是基于文件系统 都是基于 C/S(Client/Server) 结构 都能提供不同 OS 系统数据共享不同点 NFS 主要面向 UNIX/LINUX 系统间文件数据共享 SMB/CIFS 主要面向 Windows 系列平台数据共享 NFS 的不安全性 -- 没有真正的用户验证机制, 而只有对 RPC/Mount 请求的过程验证机制, 而 SMB/CIFS 能提供基于用户 / 密码的验证以及 ACL 方式等 NFS 服务需要提供较多端口, 安全隐患较大 49

52 网络之路 Route to Network 与 NAS 的比较 文 / 陈乾业 一 概述 随着互联网技术及其应用的发展, 起来越多的信息系统需要持续不断地运行 人们希望在任何时候都能及时找到自己想要的数据, 因此对于存储系统的可靠性的要求也越来越高 同时随着越来越多的信息数字化, 存储的数据量也越来越大, 并且需要数据能快速存取, 因此对存储系统的容量 性能 可扩展性和可管理性也提出了更高的要求 早先的存储形式, 如内嵌式存储和 DAS, 已不能满足上述要求 于是就出现了 NAS 和 SAN 二 NAS 和 SAN 简介 NAS 图 1 NAS 50

53 网络存储基础知识 NAS 即 Network Attached Storage( 网络附加存储 ), 提供一种文件共享服务 NAS 存储结构的核心是在网络中加入特定设备, 由该设备专门负责文件的操作 它拥有自己的文件系统, 支持 NFS CIFS 网络文件系统协议及 FTP,HTTP 等各种网络协议来提供文件服务, 从而使得文件的存储和操作不依赖于服务器的平台 操作系统 一个 NAS 设备包括存储设备 文件服务器 (Filer) NAS 文件服务器是功能单一的精简型服务器, 专职处理文件服务和文件的存储 其架构也不像服务器那么复杂, 在文件操作方面经过优化, 从而提供高效的文件服务 NAS 的主要特点有 : 即插即用 ; 部署简单 ; 管理简单 ; 成本低 ; 可以提供不同操作系统的文件共享 SAN 图 2 FC SAN 图 3 IP SAN SAN 即 Storage Area Network( 存储区域网络 ), 使用专用网络连接主机和存储设备 当有数据存取时, 数据通过存储区域网络, 在主机和存储设备之间高速传输 根据存储区域网络的不同可分为 FC-SAN 和 IP-SAN SAN 的体系结构比 NAS 复杂, 包括主机连接器件 (HBA, 网卡 ) 存储网络连接器件( 交换机等网络连接设备 ) 存储设备和管理软件 SAN 的主要特点有 : 提供高速的数据块级访问 ; 管理集中 高效 ; 高扩展性 ; 可实现远程数据保护 / 灾难恢复 51

54 网络之路 Route to Network 三 NAS 和 SAN 的比较 共同点 NAS 和 SAN 两种存储形式有一些共同点如 : 1. 分离网络设备中的服务器功能和存储功能, 使用网络连接存储系统和服务器, 都有很好的扩展性 ; 2. 数据的集中, 存储的集中管理 ; 3. 提供较高的性能 区别 但是相比之下它们的差异很大, 下面对这两种存储形式做一下比较 服务器负载 NAS 系统负责提供文件共享, 这样网络中的服务器就可以不用管理文件的操作, 从而减轻网络服务器的负担 NAS 对文件操作时, 由 NAS 文件服务器将对文件的操作映射成对磁盘块的 图 4 NAS 和 SAN 的文件系统模型 52

55 网络存储基础知识 操作, 减少了应用服务器的负担 而 SAN 的文件系统则位于主机端 SAN 对文件操作时, 由应用服务器将对文件的操作映射成对磁盘块的操作, 再把对磁盘块的操作发给存储区域网, 接着再由存储服务器直接对存储设备进行操作 可扩展性 NAS 的可扩展性受到设备大小的限制 增加另一台 NAS 设备非常容易, 但是要想将两个 NAS 设备的存储空间无缝合并却不容易, 因为 NAS 设备通常具有独特的网络标识符, 一个 NAS 设备存储空间的扩大很有限 而 SAN 的扩展就方便多了, 只需在存储设备端再增加物理资源, 通过 SAN 管理软件就可以方便的对存储空间进行扩展 传输网络 SAN 采用单独的网络, 不与计算机局域网共用通信通道 而 NAS 一般通过局域网传输, 和其他计算机共用一个计算机网带宽, 大量的数据传输将占用局域网的带宽 成本 易用性 NAS 易于管理 低成本 ( 设备 ) 和对多操作系统支持, 方便使用 而 SAN 则需要特定的管理软件, 设备的成本也比 NAS 要高 数据访问方式 NAS 提供文件级服务,NAS 访问需要经过文件系统格式转换, 所以访问 NAS 资源是文件级的访问 NAS 不适合块级的应用, 尤其是要求使用裸设备的数据库系统 SAN 提供存储块级服务, 当多个服务器共同向大型存储设备进行读写, SAN 的性能及可靠性就得到了充分的发挥,SAN 可以有效地传送爆发性的块数据 数据共享对于单一的 SAN 资源只能独享数据, 若要实现数据共享则需要使用第三方的 SAN 共享软件 而 NAS 则是共享与独享兼顾的数据存储池 四 NAS 和 SAN 的融合 NAS 和 SAN 往往被视为两种竞争技术 事实上根据 NAS 和 SAN 各自的特点, 两种技术并不冲突, 而是可以很好地统一 SAN 对于高容量块状级数据传输具有明显的优势, 而 NAS 则更加适合文件级别上的数据处理 尽管二者存在根本特性上的差异, 但 SAN 和 NAS 实际上也是能够相互补充的存储技术 例如,SAN 擅长块数据传输 极易扩展和管理 用户可以使用 SAN 运行关键应用, 比如数据库 备份等, 以进行数据的集中存取与管理 ; 而 NAS 支持若干客户端之间文件共享, 所以用户可以使用 NAS 作为日常办公中需要经常交换小文件的地方, 比如存储网页等 SAN 和 NAS 在实际情况中是可以并存在一个系统中 例如,SAN 更多与 NAS 联合使用, 可以为 NAS 设备提供高性能 大容量的存储设备, 同时许多 SAN 通常驻留在 NAS 应用中 53

56 网络之路 Route to Network 信息技术发展的趋势已经驱使两种技术的融合 从应用的角度划分, 必须采用 SAN 或者 NAS 的应用都是少数, 绝大多数的应用需求采用 SAN 或 NAS 都能满足, 而采用 SAN 与 NAS 融合的方 案能够更好的满足应用 图 5 应用的需求 目前,NAS 和 SAN 融合的方案主要有两种 :NAS 网关和统一存储系统 NAS 网关 NAS 网关即 NAS 系统中的文件服务器 (Filer) NAS 网关连接到后端的 SAN 存储上, 从而使用 SAN 存储为 NAS 网关提供存储容量 这就使得 NAS 网关后面的存储设备可以拥用 SAN 存储的特性 : 大容量 高扩展性 高可靠性 这种方案的缺点是 : 当 NAS 文件访问负载很大时,NAS 网关可能成为系统的瓶颈 解决的方法就是提升 NAS 网关的性能, 如使用 NAS 群集技术等 图 6 NAS 网关 54

57 网络存储基础知识 统一存储系统 这种实现方案和在 SAN 前加 NAS 网关的实现方式正好相反, 不是 SAN 到 NAS 的支持, 而是 NAS 到 SAN 的支持, 即在原有的 NAS 基础上, 增加对 FCP 协议的支持 由于 NAS 具有自己的操作系统和文件系统, 因此增加的 FCP 和原有的 NFS CIFS HTTP 一样, 仅是一个协议的支持 同一网络存储可以通过不同的接口卡完成对 SAN 和 NAS 的同时支持, 如通过以太网卡提供 NAS 的访问服务, 而同时又可以通过 HBA 卡提供 SAN 的访问服务 至于 NAS 和 SAN 则可以共同地有效使用所有虚拟化的空间 图 7 统一网络存储系统 55

58 网络之路 Route to Network 数据备份基础知识介绍 文 / 王智 余正华 一 什么是数据备份 数据备份顾名思义, 就是将数据以某种方式加以保留, 以便在系统遭受破坏或其他特定情况下, 重新加以利用的一个过程 它有两个特点, 时间性和可逆性 时间性就是说备份是在某个时间进行的, 而恢复可以选择不同的时间点进行恢复, 只要在那个时间点做过备份就行 而可逆性指的就是对于同一个时间点来说备份和恢复这两个过程其实是一个可逆的过程 在备份的时候, 很多管理员会陷入备份的几个误区 : 误区之一 : 用数据拷贝来代替备份 实际上, 备份不仅仅是数据拷贝 例如, 在海量的数据情况下, 我们需要对数据进行必要的管理, 否则会陷入数据的汪洋之中 ; 例如, 在对数据库进行备份的情况下, 为了减少备份的数据量, 我们需要对数据进行必要的提炼, 等等 从某种意义上来说, 备份 = 数据拷贝 / 提炼 + 数据管理 误区之二 : 用集群和远程容灾来替代备份 备份更多是指数据从在线状态, 剥离到离线状态的过程, 这与服务器的高可用集群技术以及远程容灾技术, 在本质上有所区别 虽然从目的上讲, 这些技术都是为了消除或减弱意外事件给系统带来的影响, 但是, 由于其侧重的方向不同, 实现的手段和产生的效果也不尽相同 集群和容灾技术的目的, 是为了保证系统的可用性, 也就是说, 当意外发生时, 系统所提供的服务和功能不会因此而间断 对数据而言, 集群和容灾技术是保护系统的在线状态, 保证数据可以随时被访问 而相对来说, 备份技术的目的, 是将整个系统的数据或状态保存下来, 这种方式不仅可以挽回硬件设备坏损带来的损失, 也可以挽回逻辑错误和人为恶意破坏的损失 一般来说, 备份技术并不保证系统的实时可用性 也就是说, 一旦意外发生, 备份技术只保证数据可以恢复, 但是恢复过程需要一定的时间, 在此期间, 系统是不可用的 56

59 网络存储基础知识 二 备份系统基础 备份系统架构介绍 目前市场上比较常用的备份系统一般分为三层架构 : 管理 / 主控 服务器 介质服务器和备份客户端, 如下图 1 所示 图 1 备份三层架构 其中, 管理 / 主控服务器负责维护备份域内备份客户端 介质 / 服务器 备份设备等的配置信息, 维护并管理用户的权限和软件许可, 管理所有的作业和历史任务记录 介质服务器职责是真正往备份设备上读写数据, 并负责维护该介质服务器上所有作业的索引信息和索引缓冲信息 备份客户端一般是应用服务器, 通过在应用服务器上安装备份客户端软件来实现 57

60 网络之路 Route to Network 备份拓扑结构介绍 备份系统的拓扑结构对整个备份系统甚至在线系统的影响比较大, 所以选择一个适合的备份拓扑结构对于用户是至关重要的 下面来介绍一下常见的 4 类备份拓扑结构 : 传统的基于 LAN 的备份方式传统的基于 LAN 的备份方式下, 主控服务器同时也是介质服务器, 备份设备直接挂接在主控服务器上 数据备份时, 备份数据的读写和控制均需经过前端 LAN, 同时, 备份数据的读写和控制都需经过主控服务器, 如下图 2 所示 优点 : 组网简单, 花费小缺点 : 备份数据占用了生产业务的带宽, 对生产业务影响很大 图 2 传统的 LAN 备份方式 LAN-Free 备份方式 LAN-Free 备份方式下, 应用服务器同时也是介质服务器, 备份设备连接在后端 SAN 存储网络上 数据备份时, 备份数据通过应用服务器读写 SAN 上的存储资源, 备份数据流仅在后端 SAN 存储网络中传输, 同时, 备份控制信息从后端 SAN 存储网络经过应用服务器和前端 LAN 后到达主控服务器, 如下图 3 所示 优点 : 备份数据通过 SAN 网络, 不影响生产业务缺点 : 生产系统同时要处理备份数据, 生产系统的压力很大 58

61 网络存储基础知识 图 3 Lan-Free 备份方式 Server-Free 备份方式 Server-Free 备份方式下, 备份客户端没有安装在应用服务器上, 但需要在应用服务器上安装代理客户端 主控服务器和介质服务器在同一台机器上, 同时, 备份设备连接在后端 SAN 存储网络上 数据备份时, 主控服务器发送备份信息到应用服务器, 应用服务器上代理客户端收到备份请求后, 在存储上生成快照, 备份服务器将生成的快照中的数据备份到磁带库上 数据备份对在线应用没有任何影响, 实现 Server-Free, 如下图 4 所示 优点 : 备份数据通过 SAN 网络, 不经过生产系统, 减轻了生产系统的压力缺点 : 当备份业务很多时, 备份服务器的压力会加大 图 4 Server-Free 备份方式 59

62 网络之路 Route to Network Server-Less 备份方式 Server-Less 备份方式拓扑结构和 LAN-Free 备份方式有些类似, 唯一不同的在于数据备份时, 备份数据从后端 SAN 存储资源上通过 SAN 网络直接存储到备份设备, 不需要经过介质服务器, 如下图 5 所示 优点 : 备份数据不经过任何服务器, 对服务器没有任何压力缺点 : 因为无法识别数据的内容, 导致备份的粒度太大, 无法进行文件级的备份 图 5 Server-Less 备份方式 备份拓扑结构小结 综上所述, 由于 LAN 备份对生产系统的压力太大, 而 Server-Less 备份的粒度太大, 无法 进行文件级的备份, 所以目前的备份主要采用 LAN-Free 和 Server-Free 备份结构 备份类型介绍 备份类型是指确定需要备份的内容 备份时间以及备份方式 备份的数据往往根据企业或组织的需要来确定 在实际应用中, 必须根据备份窗口和恢复窗口的大小 以及整个数据量, 决定采用何种备份方式 常见的备份类型有完全备份 增量备份 差分备份以及这 3 种备份类型的组合 如果考虑采用磁带进行备份, 则磁带又具有磁带轮换类型 这是根据不同的使用情况进行划分, 可以根据一般原则和实际需要来确定备份类型 下面就比较一下不同备份类型的优缺点 : 60

63 网络存储基础知识 备份类型说明优点缺点备份的时间最长, 相对作数据恢复的时间最短其它备份类型全备份所有数据的完整备份数据恢复最完整, 不会备份数据占有的空间最出错大 完全恢复系统时间最长 增量备份 自从上次备份后变化的数 据作备份 备份时间最短 备份占有的空间最少 恢复数据依赖于其它备份, 包括先前的全备份 和增量备份 差异备份 合成全备份 自从上次全备份后变化的数据作备份在备份服务器或介质服务器上, 根据先前的全备份和其它增量或差异备份, 合并生成全备份 是介于增量备份和全备份之间的一种备份方式, 所以是增量和全备份的一种折中由于生成全备份是在备份服务器完成, 所以对占用的备份空间和全备应用服务器没有压力份一样大恢复的时间和恢复数据的完整性和全备份相同 备份设备介绍 备份设备的质量与性能在整个备份过程中是至关重要的, 它是能否进行高质量备份的 关键所在 目前用于备份的存储介质主要有磁盘设备和磁带设备 磁盘设备具有快速的读写 和快速搜索能力, 适合于快速的小数据量备份 ( 几百 G 以下 ), 但不适合数据的较长期离线保 存 ; 而磁带设备具有大容量 每兆字节价格低和便于离线存放的特征, 适合于大数据量的备 份 ( 几百 G 以上 ), 但是执行备份和恢复的速度相对较慢 下面就目前主流的备份设备的优劣点做一个简单的比较 : 设备类型优点缺点磨损快, 易于出错 磁带 磁盘 光盘 备份速度快 保留时间长 存储容量大 价格低, 易于离场保护 随机读写, 读写速度快, 恢复 文件更快 易于配置和维护 可用于临时存放数据 寿命最长, 媒体不老化 不易配置和维护, 特别是 SAN 配置中 顺序读写设备, 小数据量恢复慢, 特别是文件 或邮件系统 需要定期清洁驱动器 很多原有备份软件不支持 昂贵 无法实现离场保护 备份和还原速度最慢 硬件选择受限 难于管理 61

64 网络之路 Route to Network 三 传统备份厂家备份产品介绍 传统备份软件经过十多年的发展后, 目前在功能上已经趋于同质化, 同级产品间的功能与支持性差别很小, 已没有哪个产品能单靠功能异军突起, 因此采购决策的依据, 便从功能面转到价格 品牌与操作易用性方面 目前市场上比较常见的企业级的备份软件有 Symantec 的 NetBackup EMC 的 Legato NetWorker Bakbone NetVault CommVault Galaxy CA BrightStor ARCserver Backup, 以及 IBM 的 Tivoli Storage Manager(TSM) 与 HP Data Protector 等 7 款产品 其中 HP 的 Data Protector 基本上是与 HP 的存储产品随机出货, 而 IBM TSM 也主要用在 IBM 系统环境 ( 甚至是随 IBM 主机附送 ), 这两款产品很少会单独销售, 因此市场上流通的产品还是以 NetBackup NetWorker NetVault Galaxy BrightStor ARCserver Backup 为主 四 新兴数据备份 随着最近几年存储的快速兴起, 数据备份已经不再局限于传统的备份软件备份方式, 基于存储的快照方式已经逐渐成为备份应用的主流 在存储快照方面,NetApp EMC HDS IBM 和我司的许多存储产品本身已经内建快照, 可为本机上的卷或 SAN 资源提供快照 但快照只是这些产品的附加功能, 这些产品本质上并不以提供快照服务为目的 而且就备份而言, 必须要转存到本机以外的存储装置上才有意义, 因此必须结合远程复制机制, 才能成为一套完整的数据备份解决方案 严格来讲, 这种数据备份方式已经不是简单的数据备份了, 达到数据可用的目的, 更多是要求的数据尽可能少的丢失或不丢失 灾难后更少的恢复时间 更少的管理维护成本等等其他方面的要求 这种备份更大意义上是一种广义的备份, 我们一般称这种备份方式为 容灾 62

65 网络存储基础知识 磁带库与虚拟磁带库介绍 文 / 卿翊轩 一 虚拟磁带库简介 虚拟磁带库概述 基于磁带的备份和恢复技术是常见的数据保护手段, 但长期以来, 其固有问题一直困扰着 IT 管理员 : 磁带备份 / 恢复的速度慢 磁带库的机械设备的故障率高 磁带对存放环境要求苛刻, 而且需要经常清洗 磁带库高昂的维修和保养成本 远程备份实现复杂 异地运输成本高虚拟磁带库 (Virtual Tape Library, 简称 VTL) 技术的出现, 有效的解决了传统磁带库的固有问题, 通过用磁盘来仿真磁带, 提供了更快的传输性能, 更高的可靠性与更便捷的管理方式 虚拟磁带库是近年来兴起的众多磁盘备份 (Backup to Disk) 解决方案中最受瞩目的一项 虽然 VTL 问世的时间不过两年多, 在国外却是相当热门的产品, 从市场面来看, 主要的存储设备供货商都开始开发 VTL 产品线, 包括外接式磁盘存储系统的几大知名厂商以及多家磁带存储设备大厂 相较于国外的炙手可热,VTL 在国内的知名度并不高, 对大多数企业 IT 人员来说,VTL 仍是陌生的名词, 真正了解这项技术以及所能带来效益的人并不多 Neocean DL1000 是 H3C 公司推出的全新 VTL 产品, 其将磁盘仿真为标准的磁带库和磁带, 在无缝地接入传统备份环境的同时, 提供更快的数据备份 恢复速度和更高的可靠性 在此基础之上,DL1000 支持磁带容量按需分配 自动磁带缓冲 远程复制等丰富的存储特性, 为用户提供灵活的数据备份方案, 是 H3C 公司 IToIP 解决方案的重要组成部分 63

66 网络之路 Route to Network 虚拟磁带库类型 目前市场上的虚拟磁带库依照架构不同, 大概可以分为三种类型 : 磁盘阵列型 (Disk Array Based) 应用服务器型 (VTL Appliance) 备份软件型 (Backup Software) 磁盘阵列型如图 1, 顾名思义, 它是以磁盘阵列为基础发展的虚拟磁带库, 透过内建于磁盘阵列控制器 (RAID Controller) 中的虚拟软件, 将存储空间仿真成具备所有物理磁带库特征的磁带库 这类型虚拟磁带库的用户以大型企业为主, 采用光纤通道主机接口, 支持 FC SAN 网络环境, 存储容量通常在数十 TB 以上, 有的甚至可达上百 TB 图 1 磁盘阵列型 应用服务器型如图 2, 透过安装在 PC 服务器上的虚拟磁带软件, 将服务器内的硬盘, 或是可被服务器控制的外接磁盘阵列, 作为存放备份数据的虚拟磁带空间 由于软件架构在标准的 x86 平台和 Linux 操作系统上, 成本相对较便宜, 而且存储设备配置较低, 只要服务器支持, 可以采用任何 SCSI 或光纤通道接口的磁盘阵列, 与备份服务器端可以通过 SCSI iscsi 或光纤通道等传输接口相连, 部署应用上较有弹性 这类型产品相当多, 国外有 Maxxan SVT 100 Diligent VTF Open, 国内也有精业 耐特普罗等系统整合厂商推出软硬件合一的虚拟磁带库 64

67 网络存储基础知识 图 2 应用服务器型 备份软件型如图 3, 直接将虚拟磁带功能整合至备份软件内, 目前仅有 Bakbone NetVault 支持这项功能 由于纯粹是依靠软件来达成仿真磁带的目的, 运用上相当具有弹性, 不但没有最大容量限制, 可仿真的磁带库数量 磁带数量与每卷磁带容量也都是无限的, 只要存储空间足够, 亦不限定采用何种厂商的存储, 不过这类方案的限制是无法和其它品牌备份软件搭配使用 图 3 备份软件型 65

68 网络之路 Route to Network 虚拟磁带库原理 概述为了能在主机的操作系统底层以磁盘空间仿真出可被视为物理磁带的虚拟设备, 多数的 VTL 产品都是通过仿真物理磁带设备响应系统指令的方式, 来使系统认为响应的是一台物理磁带设备 以存储设备常见的 SCSI 接口来说, 由于系统是与驱动接口或 API 沟通, 而不直接面对 SCSI 设备, 因此只要仿真程序能在与系统沟通时 骗 过驱动接口, 就能将某一类型的 SCSI 设备仿真成另一类型的 SCSI 设备, 如把硬盘仿真成光盘等 以仿真 SCSI 指令响应的方式来虚拟 SCSI 设备 SCSI 设备与主机沟通的方式是通过 SCSI 指令 (SCSI Commands) 来进行 如当某 SCSI 设备接上系统, 并安装好驱动程序后, 应用程序或操作系统就可通过 ASPI 驱动程序或功能相似的 API 送出 INQUIRY 指令, 要求该 SCSI 设备传回本身的信息 通过 SCSI 设备响应信息中设备型态码 (Peripheral device type) 字段的数值, 系统即可得知该设备的类型 所以只要 VTL 软件能模仿物理磁带设备响应系统的 SCSI 指令格式, 将磁带响应的设备型态码送回给系统 ( 如在 ASPI 中磁带设备的设备型态 16 位代码是 01h), 就能使系统将 VTL 视为物理磁带设备 不过这只是系统辨识 SCSI 设备的部分, 由于不同的 SCSI 设备间的 SCSI 指令有所差异, 如磁带机有倒带 (REWIND), 光驱有播放音乐 (PLAY AUDIO) 指令等, 因此当以硬盘仿真这些设备时, 光是骗过驱动接口是不够的, 仿真程序本身也必须能够提供对应于被仿真设备的完整指令, 才能确保虚拟出来的设备能够正常动作 由于 SCSI 指令都是以指令描述块 (CDB,Command descriptor block) 的格式来表示, 因此仿真软件的关键就在于收到主机送来的 CDB 后, 是否能正确的提供与所要仿真的设备相同的 CDB 响应 理论上只要 VTL 响应 CDB 的方式与真实的磁带机一样, 则在应用程序看来,VTL 就等同于像是一台真的磁带机般在执行动作 由于 SCSI 的使用环境限制大 扩充性也较小, 因此实际上的 VTL 解决方案都是透过光纤通道 (FC) 或 iscsi 来实现 我们以 iscsi 架构的 VTL 为例来做说明 iscsi 是将 SCSI 指令封装在 TCP/IP 的封包中, 可允许 IP 主机通过 TCP 来存取存储设备, 在 IP 网络中实现 SCSI 指令的传输与操作, 因而在 iscsi 的指令封包 66

69 网络存储基础知识 (PDU) 中也封装有 SCSI 的指令描述块 CDB 因此基于 iscsi 的 VTL 仿真程序也就可以依照前面所述的方式, 仿真真实的物理磁带响应 CDB 的方式, 来使 iscsi 主机认为 VTL 是真正的磁带设备,VTL 仿真程序会依照所仿真的磁带类型 规格, 以映像 (mapping) 方式对应磁盘与磁带的存取区块 (block), 当 iscsi 主机要求读取磁带上特定区块的数据时,VTL 软件就能通过映像把磁盘上相应的区块取出, 送回给主机 虚拟设备的关键比较麻烦的是在 SCSI 规范中除了标准指令外, 格式中还保留有让厂商自行定义的部分字段, 不同厂商的设备都会有各厂商自行定义的指令, 因此 VTL 软件必须保存有各式磁带设备的完整 SCSI 指令与参数, 针对不同厂商的磁带设备准备不同的 SCSI 指令, 才能确保在仿真不同的磁带设备时, 能正确的运作 VTL 应用分析 从技术上来看, 或许有人会质疑 VTL 存在的必要性, 理由是纯粹要提升备份 / 还原速度的话, 硬盘对硬盘 (Disk to Disk, 简称 D2D) 的备份就可以做得到, 虚拟化的意义是什么? 事实上 VTL 的好处不光只是在效能, 更重要的是在成本与管理两个层面 VTL 的优势 可结合磁带备份, 保障既有投资首先是在成本方面, 虽然几乎所有的备份软件都可以支持 Disk Staging( 或称为 Disk to Disk to Tape, 简称 D2D2T) 功能, 不过导入时必须改变整个备份系统架构, 备份的程序 组态 策略也必须随之改变 在管理方面, 备份软件和备份策略的设定管理上较为繁复, 如果要落实自动化备份和提升备份流程管理质量,MIS 人员势必要投注较多的心力学习, 整体投入成本必然会增加不少 相较之下, 导入 VTL 就简单多了 由于备份服务器会将 VTL 视为真实的磁带库, 部署时完全不需更动原来的信息系统架构, 备份程序 组态 策略也可维持原样, 67

70 网络之路 Route to Network 对 MIS 人员来说, 备份 / 还原效能和备份质量提高, 管理上的负担却不会增加 原本的磁带机 / 库可以接在 VTL 后端, 同样可以做到 D2D2T 的备份, 保障备份设备的投资 对于原本采用旧型磁带机备份而空间不够的用户, 可以考虑采取 VTL 配合自动上带机 (Auto Loader) 的解决方案, 成本绝对会比采购单一台大型磁带库来得划算, 而且还有提升备份 / 还原效能的附加价值 VTL 部署容易, 无需学习新技能运用高速 大容量的磁盘阵列来改善传统备份机制的缺点, 已经是大势所趋, 各种基于磁盘开发的新兴备份技术众多, 产品更是五花八门, 如何选择合适的解决方案是一大课题 如果希望运用磁盘备份来改善备份还原速度, 解决备份窗口过长的问题, 又不想舍弃原有的备份策略和程序,VTL 是相当合适的选择 VTL 的部署管理相当容易, 由于备份服务器会将 VTL 视为是一台真正的磁带库, 而且可以自行设行磁带库的型号和磁带格式, 几乎对既有的系统架构不会有任何影响, 在管理上也相当方便, 由于 VTL 都采用简单的图形管理接口, 需要设定的步骤并不多, 不会造成管理上的负担 VTL 的劣势首先是硬盘和磁盘阵列并不具备可移植性, 无法像磁带一样可以离线存放至其它地点, 虽然有厂商运用 IP 网络复制的方式, 让 VTL 也能作到异地备份, 但毕竟成本较高 此外, 目前主流的备份软件, 授权方式都是按磁带机数量来收费,VTL 虽然可以仿真多组磁带机, 授权费必须等同实体磁带库来计价, 可能会因此增加用户的成本 ( 目前新推出的备份软件, 像是 Symantec Veritas Backup Exec 10d CA ARCserve Backup 11.5, 都已经改为按备份容量计价, 对使用者而言是一大利好 ) 68

71 网络存储扩展知识 网络存储扩展知识 Extended Knowledge of Network Storage 69

72 网络之路 Route to Network 一 数据分级存储 数据分级存储 文 / 巴丽娟 数据分级存储, 是指数据客体存放在不同级别的存储设备 ( 磁盘 磁盘阵列 光盘库 磁带库 ) 中, 通过分级存储管理软件实现数据客体在存储设备之间的自动迁移 数据迁移的规则是可以人为控制的, 通常是根据数据的访问频率 保留时间 容量 性能要求等因素确定的最佳迁移策略 在分级数据存储结构中, 磁带库等成本较低的存储资源用来存放访问频率较低的信息, 而磁盘或磁盘阵列等成本高 访问速率快的设备, 用来存放经常访问的重要信息 数据分级存储的工作原理是基于数据访问的局部性 通过将不经常访问的数据自动移到存储层次中较低的层次, 释放出较高成本的存储空间给更频繁访问的数据, 可以获得更好的总体性价比 分级存储的必要性 IT 企业总是要面对增长起来无休无止的数据量 各种应用都在创建越来越大的文件 用户也很少删除数据和存档, 这就导致要访问旧一些的文件已经变得非常困难 因此, 目前的潮流是购买更多的软件 然而, 这种解决方案产生了非常复杂和笨拙的存储环境, 不仅需要更多的维护和管理, 而且需要更多的金钱来维持 事实上, 数据具有生命周期, 不同的时期有其存在的不同意义 在数据刚生成的数日内, 访问频率最高, 为企业产生效益和收入, 带来的价值也最高 ; 随着时间的推移, 访问频率降低, 数据的价值也随之下降, 低访问频率的数据量远远超过高访问频率的数据量, 如果全部用企业级存储产品来存储所有数据, 费用非常高, 也没有必要 不同生命周期的数据, 由于提供给企业不同的服务目的, 企业应考虑如何以最低的成本获得最高的价值, 而不是采用以往单纯的 购 70

73 网络存储扩展知识 买更多磁盘 的解决方式和态度, 徒增存储费用和管理复杂度 总之, 企业业务数据从产生到存储 利用 归档, 最后超过存储期限被删除, 数据被读取的频率会逐渐下降, 数据存储的位置也应该随之变化, 以提高存储设备的使用率, 降低存储成本 因此有必要进行分级存储, 企业在存储其关键业务数据时, 采用昂贵的存储技术和方式, 如 RAID 磁盘 复制 定时拷贝 多级备份等, 确保数据高可用 ; 当数据已经不再为企业带来效益时, 将这类数据迁移到较便宜的存储介质上 ; 最后, 当数据 老化 到不再被访问时, 应考虑将其删除或者迁移, 如果是法律要求或政府规定等要保留多年的数据, 应将其迁移到近线磁带库或者离线存储介质上进行归档, 既安全又节省费用 同时, 信息量的急剧增长, 也使存储管理复杂性增加, 数据的分级存储也是简化存储管理的需要 通过设定优化的数据迁移规则, 能使重要数据和常用数据在最短的时间内访问到, 使极少使用的数据备份在廉价的海量存储器中 二 分级存储的优点 数据分级存储之所以重要, 是因为它既能最大限度地满足用户需求, 又可使存储成本最小化 数据分级存储的优点具体表现在 : 减少总体存储成本不经常访问的数据驻留在较低成本的存储器中, 可综合发挥磁盘驱动器的性能优势与磁带的成本优势 性能优化分级存储可使不同性价比的存储设备发挥最大的综合效益 改善数据可用性分级存储把很少使用的历史数据迁移到辅助存储器中, 或归档到离线存储池中, 这样就无需反复保存, 减少了存储的时间 ; 同时提高了在线数据的可用性, 使磁盘的可用空间维持在系统要求的水平上 数据迁移对应用透明进行分级存储后, 数据移动到另外的存储器时, 应用程序不需要改变, 使数据迁移对应用透明 三 分级存储的存储方式 传统的数据存储一般分为在线 (On-line) 存储及离线 (Off-line) 存储两级存储方式 所 谓在线存储就是指将数据存放在磁盘系统上, 而离线则是指将数据备份到磁带上 但随着数 据量的猛增, 这种只使用在线和离线两级存储的策略已经不能适应企业的需求 近线存储市 71

74 网络之路 Route to Network 场近来成为热点, 出现了一些存取速度和价格介于高速磁盘与磁带之间的低端磁盘设备, 作为近线存储设备 在线存储 总体上讲, 在线存储多采用高速磁盘阵列等存储设备, 存取速度快, 当然价格昂贵 在线存储一般采用高端存储系统和技术如 :SAN 点对点直连技术 S2A 等 高端存储系统具有一些 高端 属性, 比如, 高容量 高性能 高可用性 冗余性等, 现在存储工程师看到, 这些特点已经不再是高端特有的了, 许多中端产品也大都采取了这些设计 SAN 技术的高性能依赖于三个重要领域的性能支持 : 存储容量 计算能力和传输能力 在传统 SAN 存储系统中, 存储容量这一环节由于存储介质技术的快速发展已经得到了很好的解决 存储容量通过多磁盘容量的叠加已经能够达到数千 TB 的水平 而在计算能力与传输能力两个环节上, 传统 SAN 却存在很多先天的弱点 最近在高端存储领域出现了两种新技术 点对点直连技术与并行存储技术 具体如下 : 点对点直连技术是 EMC 推出的点到点互联架构, 在性能方面, 由于它采用了点对点对接, 消除了总线或交换机方式造成的延迟, 专用的数据通道意味着不会出现交换机竞争的情况, 减少数据从存储位置传输到目标位置的延迟 它还具有 32 个独立高速缓存区, 而且每个高速缓存区都具有独立的逻辑访问, 可以为用户提供更强大的处理和访问能力 S2A 是 DataDirect Networks 公司推出的并行存储技术 S2A 没有采用传统的光纤通道交换机的交叉矩阵交换机制, 它所采用的高度并行端口技术消除了交换机制所带来的不可避免的时间延迟, 能够持续不变地提供充满端口带宽的数据吞吐量 S2A 控制器内部的四个主机通道之间采用虚拟的并行体系结构, 通过提供并行处理和并行数据读写的途径, 使得在多主机的存储区域网络环境中具有非常高的不受多主机环境影响的使用性能 图 1 H3C 在线存储案例图 72

75 网络存储扩展知识 离线存储 离线存储采用磁带作为存储介质, 其访问速度低, 但能实现海量存储, 同时价格低廉 以前用户有这样的想法 : 反正数据存放在磁带上面, 性能都不高, 只要在灾难发生时能够使用它们将需要的数据恢复回来就可以了 其实, 这是很不正确的 要知道, 用户的数据越来越多, 原有的数据也不能丢弃, 当这些数据逐年累积以后管理它们就成了一件十分困难的事情, 而且还要进行磁带定期维护的工作 因此, 许多磁带库厂商在这方面进行了加强, 提供了完整的数据生命周期管理, 专为数据密集型 SAN 环境而设计, 尤其适用于高强度 大容量的数据访问和数据存储, 减少了管理 SAN 数据的时间和成本, 从数据生成到其生命周期结束, 其中的每一步骤都提供了相应的功能 这也说明磁带库管理更注重 智能 近线存储 随着用户需求的日益细分, 人们越来越发现原有的两级模式 ( 在线与离线 ) 已经不能很好地满足用户的存储需求, 在这两个 极端 之间有大量的空白, 于是就产生了近线存储的概念 近线存储的概念产生就得到了厂商与用户的赞同, 定位于此领域的产品很快就纷纷出现, 形成了近一时期最为活跃的中间层 图 2 H3C 近线存储案例图 73

76 网络之路 Route to Network NetApp 推出的 R100 近线存储设备, 获得巨大成功, 仅 1 年时间在全球就拥有了 100 多个用户, 总部署容量超过 3PB Quantum 推出的基于磁盘的产品 DX30, 能够模拟各类磁带库, 保留了与存储管理软件的兼容性, 而又具有比磁带库更高的速度, 用户可以先将数据备份到 DX30 中, 然后再转移到磁带上 以磁带产品知名的 StorageTek 公司在业界较早提出了数据生命周期管理的概念, 并拥有针对数据的不同生命周期提供的相应的解决方案, 包括磁带设备和磁盘系统及软件产品, 以帮助用户 将适当的数据, 在适当的时间, 存储到适当的设备上 Legato 公司备份软件的最新版 NetWorker7.0, 引入了磁盘备份与磁带备份相结合的新方式, 通过磁盘备份可以为用户提供更多性能优势 采用磁盘进行备份避免了一些磁带备份的弊端 : 磁带只能进行顺序读写, 而且每盘磁带都需要完全倒回才可取出, 加载卸载时间很长 磁盘备份解决方案还完全包括了 虚拟带库 的功能, 而且可以在读一部分内容的同时进行写另一部分内容, 因而可以实现了在设备进行备份时的恢复 搬移 / 克隆等操作 图 3 分级存储案例图 74

77 网络存储扩展知识 四 分级存储的管理 存储实现分级以后, 在线 近线与离线存储存放的数据价值不同, 在同一级别存储内部 ( 比如在线和离线存储 ), 存放的数据也应该不同, 实现每一级别内的 " 分级存储 " 如何将各个级别存储中数据统一管理起来便成了最为关键的问题 分级存储管理 (Hierarchical Storage Management,HSM) 起源于 1978 年, 首先使用于大型机系统 近 10 年来,HSM 被广泛应用于开放系统的 Unix 和 Windows 平台 分级存储管理是一种将离线存储与在线存储融合的技术 它将高速 高容量的非在线存储设备作为磁盘设备的下一级设备, 然后将磁盘中常用的数据按指定的策略自动迁移到磁带库等二级大容量存储设备上 当需要使用这些数据时, 分级存储系统会自动将这些数据从下一级存储设备调回到上一级磁盘上 对于用户来说, 上述数据迁移操作完全是透明的, 只是在访问磁盘的速度上略有怠慢, 而在逻辑磁盘的容量上明显感觉大大提高了 通俗地讲, 数据迁移是一种可以把大量不经常访问的数据存放在磁带库 光盘库等离线介质上, 只在磁盘阵列上保存少量访问频率高的数据的技术 当那些磁带等介质上数据被访问时, 系统自动地把这些数据回迁到磁盘阵列中 ; 同样, 磁盘阵列中很久未访问的数据被自动迁移到磁带介质上, 从而大大降低投入和管理成本 HSM 应用也具备监测磁盘容量并在关键容量情况下做出反应的能力 这种软件经过配置后可以为某个卷设定一个最小的剩余空间, 如 20% 如果软件发现该卷的剩余容量已经不足 20%, 数据就会被从该卷移动至备用存储介质 这样便可以立即释放空间, 管理员也可以在今后有空闲时再来解决空间的问题 由此可见, 分级存储管理更多从降低成本 不影响数据应用效果的角度解决数据的存储问题 事实上, 降低成本 提高效率已成为 IT 厂商追逐技术进步的一个目标 近线存储就是这种进步的产物 伴随单盘成本的下降, 近线存储市场渐热, 有业内专家预测, 不久的将来, 近线存储技术将取代数据迁移技术, 用户将以模拟海量空间的 更为安全可靠的磁盘介质保存历史数据 而成熟完善的数据迁移软件技术将更为恰到好处的融入到近线存储设备中, 为近线存储技术的发展起到推波助澜的作用 五 信息生命周期管理 现在着重介绍与分级存储管理密切相关信息生命周期管理 目前, 许多厂商和用户都认为, 数据是具有生命周期的 Legato 公司将信息生命周期划 分为 7 个阶段, 包括了数据从产生直至灭亡的全部过程 具体为 : 业务需求 采集 / 组织 保 75

78 网络之路 Route to Network 护 / 恢复 复制 / 镜像 共享 迁移 / 归档 删除 由于是一个 周期 的管理, 因此, 在这个周期的每个环节都要有相应的产品来满足需求, 包括系统咨询 信息采集 数据保护 迁移 归档等等产品 在一定的时期, 用户可能只会应用到其中的某个或某几个环节, 但是, 把整个信息系统作为一个整体来管理是一个必然的趋势 信息生命周期管理 (Information Lifecycle Management,ILM ) 是 StorageTek 公司针对不断变化的存储环境推出的先进存储管理理念 ILM 不是某个硬件或软件产品, 而是评估和管理信息的存储方式 它教育客户平衡信息价值和管理费用, 根据数据对企业生存的关键性以及企业发展带来的价值决定存储费用 信息从产生到使用直到灭亡, 其全部过程都需要进行管理, 因此, 信息生命周期管理是用户发展到一定阶段的存储需求, 只不过它是一种很复杂的需求, 具体来说, 就是如何建立一个更完整 更具有价值的信息系统, 能够完全满足用户对于数据的以下五种需求 : 随时访问 按时间恢复 方便的共享 所有数据受到适当的保护以及按照一定的时间规定 ( 比如法律规定 ) 管理数据 ILM 的核心是理解信息在其不同生命阶段中对企业的不同价值, 帮助企业从战略高度来管理信息 那么, 管理信息和管理存储设备有何不同? 从管理设备的角度出发,CIO 会不切实际地期望不断降低存储费用, 同时要求高性能 随着数据量的不断增加, 可用的磁盘容量不断减少, 企业不得不无计划 被动地增加存储, 导致系统环境越来越复杂, 难以管理 从管理信息的角度出发, 企业会根据信息生命周期的特点, 将其存储在与自身价值相符 并与拥有者所需要的交流方式和服务方式相符的不同层次的架构里, 通过有计划 主动地增加存储, 不断降低复杂性并增加整个存储系统的可用容量 ILM 通过存储 保护 管理 集成四个组成部分实现信息管理费用与业务需求之间的平衡, 从而达到降低企业的风险和费用的目的 因此,ILM 使企业实现了 " 适当的信息, 在适当的时间, 以适当的费用, 存储在适当的设备上 " 它从以下三个方面提升企业业务运营: 帮助企业管理不断发展产生的变化和遇到的困难, 为企业降低风险 ; 提高企业的运行效率, 降低运营费用, 提高经济收益 ; 帮助企业更好地管理资源, 在市场上具有更好的竞争优势 六 分级存储案例 凡是拥有巨大数据量的用户都可以从应用分级存储中获得更大利益, 尤其是电信 气 象 地震以及图像处理 ( 电视台 ) 等领域 以电信行业为例, 在线业务系统需要在线存储 ; 有些业务需要查询客户 3 个月或 6 个月以前的信息记录, 近线存储就很适合 ; 更久的信息同 76

79 网络存储扩展知识 样不能删除, 这就需要离线存储 同时, 随着业务的不断进行又会产生新的数据, 如何将在线 近线以及离线的数据统一管理好需要利用分级存储管理和信息生命周期管理技术 随着电视技术的发展, 存储技术在电视领域得到了广泛应用 存储技术贯穿了电视节目的拍摄 制作 播出及存储等整个流程 特别, 随着电视事业的飞速发展, 大量的专题片 系列片等自办节目越来越多, 节目的制作成本也越来越高, 但节目经费非常有限, 拍摄制作周期越来越短, 因此, 素材资源的再利用就显得尤其重要 同一个素材很可能会被循环再用, 重复使用多次 媒体资产在信息咨询时代, 对于电视台, 最重要的媒体实体就是历年来存储的视音频资料即电视节目, 它已成为极具增值效益的一种无形资产 实现电视节目的良性管理将为资产持有者节约成本的同时, 带来可观的经济效益 在物理层次上, 电视台视音频素材的存储也有三种模式即 : 在线存储 近线存储和离线存储 电视台的在线存储设备永久连接在非线性编辑系统 硬盘播出系统等计算机系统中, 并随时保持可实时快速访问的状态 在线存储设备通常具有很高的访问速度和良好的反应能力, 适合访问要求频繁, 并且对反应和数据传输都要求较高的应用 在电视台实际应用中在线存储设备一般采用 SCSI 磁盘阵列 光纤磁盘阵列等, 用于存储即将用于制作 编辑 播出的视音频素材 电视台的离线存储设备或存储介质平时没有装在线性编辑系统 硬盘播出系统等计算机系统中, 在存取数据时需要将存储设备或存储介质临时性地装载或连接到线性编辑系统 硬盘播出系统等计算机系统中, 当数据访问完成时可以脱开连接 一旦断开之后, 就可以更换存储介质 离线存储通常价格比较低廉, 如磁带 磁带库 或光盘库等, 可以将总的存储做得很大 但是由于离线到在线的存储介质的装载过程很长, 所以离线存储一般用来存储不常用的冷数据包括制作年代较远的新闻片 专题片 纪录片 资料片等 近线存储介于在线存储和离线存储之间, 既可以做到较大的存储容量, 又可以获得较快的存取速度 近线存储设备一般采用自动化的数据流磁带或者光盘塔 近线存储设备用于存储和在线设备发生频繁读写交换的数据包括近段时间采集的视音频素材或近段时间制作的新闻片 专题片 纪录片 资料片等 在线 近线 离线三种存储体相互配合, 在电视台媒体资产管理系统的管理软件定义的迁移策略控制下, 既可保证资料的访问速度, 又可扩充系统的存储容量 77

80 网络之路 Route to Network 文件系统概述 文 / 张险 一 文件系统概述 文件系统定义了把文件存储于磁盘时所必须的数据结构及磁盘数据的管理方式 我们知道, 磁盘是由很多个扇区 (Sector) 组成的, 如果扇区之间不建立任何的关系, 写入其中的文件就无法访问, 因为无法知道文件从哪个扇区开始, 文件占多少个扇区, 文件有什么属性 为了访问磁盘中的数据, 就必需在扇区之间建立联系, 也就是需要一种逻辑上的数据存储结构 建立这种逻辑结构就是文件系统要做的事情, 在磁盘上建立文件系统的过程通常称为 格式化 以 Windows 平台下最常见的 FAT 文件系统为例 FAT 文件系统有两个重要的组成部分 :FAT 表 (File Allocation Table) 和数据存储区 FAT 表是 FAT 文件系统的名称来源, 它定义了存储数据的簇 (Cluster, 由 2 的 n 次方个 Sector 组成,n 值根据分区大小而定, 需综合考虑数据存取效率和存储空间的利用率 ) 之间的链接关系, 这种链接关系是一个单向链表, 指向 0xFF 表示结束 依据一个簇编号所用 bit 数的不同, 可分为 FAT12 FAT16 和 FAT32 文件系统 数据区存储的数据包含文件目录项 (Directory Entries) 和文件数据 文件目录项存储的是一个文件或目录的属性信息, 包括文件名称 ( 把目录也看成是文件 ) 读写属性 文件大小 创建时间 起始簇编号等, 一个目录下的每个子目录和文件都对应一个表项记录 文件目录项以固定 32 字节的长度存储, 以树型结构管理, 其中根目录的位置是确定的 也就是说, 根据分区根目录可以找到下级子目录和文件的起始簇编号, 根据下级子目录又可以找到更下级目录或文件的起始簇编号 可见,FAT 表和文件目录项是为了文件的访问和管理而建立的 应用程序要访问一个文件时, 根据文件路径 ( 逻辑分区号 + 目录, 如 F:\software) 和文件名称 ( 如 setup.exe) 可从文件目录项中获得存储文件数据的起始簇号, 之后从 FAT 表查询这个簇号对应的链表, 就可以获得该文件对应的全部簇编号 从这些簇中读出全部数据, 就得到一个完整的文件 一般来说, 文件系统是和操作系统紧密结合在一起的, 不同的操作系统使用不同的文件系统, 但有时为了兼容, 不同操作系统也使用相同的文件系统 78

81 网络存储扩展知识 二 常见文件系统 FAT/FAT32/NTFS EXT2/EXT3/ReiserFS JFS/UFS/VXFS H3CFS 上面列举了几种常见的文件系统,Windows 系统下有 FAT FAT32 NTFS,linux 下有 EXT2 EXT3 ReiserFS 等,IBM AIX 下有 JFS,SUN solaries 下有 UFS,HP-UX 下有 VXFS, 还有很多各厂商自己开发的文件系统, 比如我司监控产品中的 H3CFS 就是为特定应用开发的文件系统 Windows 常见文件系统 对于 windows 下, 我们重点要了解几种文件系统的区别, 他们各自的优点, 一般来说后开发出来的文件系统各方面都比老的文件系统要好, 但实际上也不一定, 在实际情况下, 要根据满足不同的需求进行选择 比如对于小容量磁盘, 适合用 FAT32, 可以提高磁盘利用率, 对于装多个操作系统, 也要求在启动分区使用 FAT32 格式 NTFS FAT FAT32 卷的容量从 512MB 到 2TB 推荐的最小卷大小约为 10MB 容量可从软盘大小到 4GB 在 Windows XP 中, 只能格式化 也可使用大于 2TB 的卷 不支持域最大到 32GB 的 FAT32 卷 无法在软盘上使用 不支持域 文件大小只受卷的容量限制 最大文件大小为 2GB 最大文件大小为 4GB NTFS 比 FAT 或 FAT32 的功能更强大, 它包括提供 Active Directory 所需的功能以及其他重要安全性功能 只有选择 NTFS 作为文件系统才能使用诸如 Active Directory 和基于域的安全性等功能 将分区转换为 NTFS 很容易 要维护文件和文件夹访问控制并支持有限个帐户, 必须使用 NTFS NTFS 是一种最适合处理大磁盘的文件系统 79

82 网络之路 Route to Network Linux 常见文件系统 (EXT3 与 EXT2) EXT2 和 EXT3 是 linux 下最常用的两种文件系统,EXT3 较 EXT2, 主要有以下优点 : 可用性高 数据完整性 读写性能好 数据转换安全简单可用性高在异常断电或系统崩溃发生时, 每个在系统上挂载了 ext2 文件系统必须使用 e2fasck 程序来检查其一致性 在这期间, 经历的时间很长, 而且文件卷上的所有数据都不能访问, 使用了 ext3 文件系统后, 即使在非正常关机后, 系统也不需要检查文件系统, 而且恢复 ext3 文件系统的时间只要数十秒钟 数据完整性 Ext3 文件系统能够极大地提高文件系统的完整性, 避免了意外关机对文件系统的破坏 在保证数据完整性方面,ext3 文件系统有 2 种模式可供选择 其中之一就是同时保持文件系统及数据一致性 采用这种方式, 不再会看到由于非正常关机而存储在磁盘上的垃圾文件 读写性能好尽管使用 ext3 文件系统, 有时在存储数据时可能要多次写数据, 但是, 从总体上看来,ext3 比 ext2 的性能还要好一些, 这是因为 ext3 的日志功能对磁盘的驱动器读写头进行了优化 因此, 文件系统的读写性能较之 ext2 文件系统来说, 性能并没有降低 数据转换安全简单由于 ext3 直接从 ext2 文件系统发展而来, 系统由 ext2 文件系统过渡到 ext3 日志文件系统升级过程平滑, 可以最大限度地保证系统数据的安全性 由 ext2 文件系统转换成 ext3 文件系统非常容易, 只要简单地键入两条命令即可完成整个转换过程, 用户不用花时间备份! 恢复! 格式化分区等 用一个 ext3 文件系统提供的小工具 tune2fs, 它可以将 ext2 文件系统轻松转换为 ext3 日志文件系统 另外,ext3 文件系统可以不经任何更改, 而直接加载成为 ext2 文件系统 三 文件系统结构 的方法 文件系统定义 操作系统用以表明磁盘或分区上的文件的一种方法以及数据结构, 也即磁盘上文件组织 80

83 网络存储扩展知识 图 1 Linux 文件系统结构图 Linux 文件系统使用索引节点来记录文件信息, 作用像 Windows 的文件分配表 索引节点 是一个结构, 它包含了一个文件的长度! 创建及修改时间! 权限! 所属关系! 磁盘中的位置等信 息 每个文件或目录都与索引节点数组中的唯一一个元素对应 系统给每个索引节点分配了 一个号码, 称为索引节点号 Linux 文件系统将文件索引节点号和文件名同时保存在目录中, 目录只是将文件的名称和它的索引节点号结合在一起的一张表 建立文件系统过程简单描述如下 : 建立文件系统过程 物理磁盘初始化 -> 分区 -> 格式化 ( 高级 )-> 装载 对于一块物理磁盘, 一般在出厂以后就已经初始化了, 主要是对盘片划分道 扇区, 以 及磁头放置初始位置等等, 初始化后, 我们利用分区工具对磁盘进行分区, 就是在一块物理 磁盘上进行逻辑划分成一个一个分区, 便于进行管理 在 linux 下, 可以使用如 Fdisk 工具 进行分区 分区后, 就可以在上面建立文件系统, 建立文件系统就是根据特定的文件系统格 式, 对分区上的扇区块进行编址和重新组织, 这个建立文件系统的过程通常叫高级格式化, 与高级格式化对应的是低级格式化, 比如将所有扇区清零, 就是一种低级格式化 建立文件 系统后, 对于 linux 和 unix 系统, 需要进行装载到内核, 以便系统进行统一管理, 使用完之后 要进行卸载 文件系统分区与目录的区别 对于刚刚接触 linux 或 unix 的新手, 经常对目录和文件系统搞混淆 实际上目录本身只是 一个路径的标识, 在 unix 中看作一个文件, 本身只是占用非常小的存储空间, 而文件系统却 是对应一个独立的分区, 我们使用它必须进行挂载, 它的挂载点恰恰就是某个目录, 我们常 常用这个目录名来代表这个特定的文件系统 所以我们常常把它弄混了 比如我们用 ls 命令查看根目录, 会看到很多如 /bin /tmp /etc /var 等目录标识, 那么这些都是目录还是挂载了文件系统呢? 实际上我们只要简单地用 df 命令查看一下就知 道,df 列出的就是文件系统 如下图,/ 和 /tmp 都是文件系统 81

84 网络之路 Route to Network 图 2 df 列出的文件系统 文件系统有自己单独的空间, 如果在目录下的文件总大小超过整个文件系统分区大小, 就再不能写文件进去了, 特别注意的是根文件系统通常很小, 要经常关注其使用率, 若超过 85% 就要清理或考虑扩容 否则常常会造成登录不了或系统异常 四 文件分类 Unix 四种基本类型文件 普通文件 目录文件 连接文件 设备文件普通文件普通文件是用户大部分时间都在进行操作的文件 普通文件包括文本文件!C 语言源代码!shell 脚本 ( 由 Linuxshell 解释的程序 )! 二进制的可执行程序和各种类型的数据 对 Linux 来说, 文件就是文件,Linux 要知道的文件之间唯一区别是它是不是可执行文件 可执行文件可以直接执行, 当然, 这种文件应该含有要执行的内容, 并且这种文件要在所查找路径中 可执行文件是二进制文件 ( 也就是说, 它包含可执行机器代码 ) 和 shell 脚本的文件 目录文件目录也是文件, 它们包含文件名和子目录名, 并包含指向那些文件和子目录的指针 目录文件是 Linux 存储文件名的唯一地方, 使用 ls 命令可以列出一个目录的内容, 但还没有触及文件本身 如果把一个文件从一个目录移到另一个目录中, 事实上只是把这个文件的说明从一个目录文件移到另一个目录文件中 Linux 系统中的每个文件都被赋予一个唯一的数值, 这个数值称做索引节点 inode(index Node) 索引节点存储在一个称作索引节点表(Inode 82

85 网络存储扩展知识 Table) 中, 该表在磁盘格式化时被分配 每个实际的磁盘或分区都有其自己的索引节点 一个索引节点包含文件的所有信息, 包括磁盘上数据的地址和文件类型 Linux 文件系统把索引节点号值 1 赋予根目录, 可以通过查找从根目录开始的一个目录链来找到系统中的任何文件 连接文件连接是 Linux 比较独特而非常有用的一种文件 连接的作用与 Windows 下的快捷方式相似, 它自己不包含内容, 它指向别的文件或目录 Linux 及大多数 UNIX 的现代版本的连接, 实际上是符号连接, 它的数据是它所连接的文件的路径名 符号连接的目录条目包含一个文件的索引节点, 而该索引节点本身又是对 Linux 逻辑文件系统上某处的另一个文件的引用 一个符号连接可以指向同一磁盘或另一磁盘上的另一个文件或目录, 也可以指向另一台计算机上的一个文件或目录 使用符号连接, 当原始文件被删除时, 所有对该文件的符号连接也都被删除 设备文件 Linux 将所有的设备都用文件来表示 大多数设备文件都放在 /dev 目录中, 它们的内容就是所有设备名的一个完整清单 这里, 设备名 Hd 代表 IDE 硬盘驱动器,sd 代表 SCSI 硬盘驱动器,sr 代表 SCSICD-ROM 驱动器,fd 代表软盘驱动器,tty 代表终端,lp 代表打印机,modem 代表对调制解调器设备文件的链接,cdrom 代表对 CD-ROM 设备文件的链接 下面是查看文件属性的常用命令 : 图 3 查看文件属性的常用命令 83

86 网络之路 Route to Network 软连接和硬连接 连接文件分为软连接和硬连接 1 个 inode 号码肯定和一片完全属于一个文件的数据区一一对应 那么一个文件系统中两个或更多个不同的文件名能否对应同一个文件呢? 答案是肯定的 这就是硬连接 我们知道 inode 号码是记录在文件名对应的目录项中的, 我们可以使两个或多个文件的目录项具有相同的 inode 值, 实际上就使它们对应着同一个文件 有几个目录项具有相同的 inode 号, 我们就说这个文件有几个硬连接 (hardlink), 对于普通文件,ls -l 命令的连接计数 count 域的数值就是本文件拥有的硬连接数 硬连接可以通过 ln 命令建立, 例如 : # ln /home/zyd/mytext hardlink_mytext 就建立了一个新的文件 hardlink_mytext, 这个文件的 inode 同样是 建立硬连接实际上只是增加了一个目录项, 但并不复制文件数据区, 原文件的数据区由两个文件共享 这一方面能够节约大量磁盘空间, 同时可以保证两个文件能同步更新 'ls -il' 可以显示文件的 inode( 在下面最左边 ) : rw-rw-r-- 1 zyd zyd 17 Nov 3 14:52 newfile rw-rw-r-- 2 zyd zyd 17 Nov 3 14:50 hardlink_mytext rw-rw-r-- 2 zyd zyd 17 Nov 3 14:50 mytext 那么什么是软连接呢? 软连接 (symbolic link) 又叫符号连接 符号连接相当于 Windows 下的快捷方式 不可以对文件夹建立硬连接的, 我们通常用的还是软连接比较多 建立软连接如下 : # ln -s f1 f2 # 建立软连接 # ls -il f1 f rw-r--r-- 1 root root Sep 10 11:19 f lrwxrwxrwx 1 root root 2 Sep 25 10:55 f2 -> f1 可见, 软连接的文件的 inode 节点号是不同的, 因为软连接是新建一个文件 软连接实际上只是一段文字, 里面包含着它所指向的文件的名字, 系统看到软连接后自动跳到对应的文件位置处进行处理 ; 相反, 硬连接为文件开设一个新的目录项, 硬链接与文件原有的名字是平权的, 在 Linux 看来它们是等价的 由于这个原因, 硬链接不能连接两个不同文件系统上的文件 84

87 网络存储扩展知识 五 文件组织形式 文件组织形式定义 逻辑组织用户看到的文件组织形式一系列字节的序列 (UNIX, Windows) 物理组织逻辑组织到磁盘块的映射文件 : 字节序列磁盘 : 块 (block) 序列 流式文件 / 记录式文件 文件的逻辑结构是用户可见结构, 即从用户角度观察到的文件系统 文件从逻辑结构可以分为两大类 : 字节流式的无结构文件和记录式有结构文件 由字节流 ( 字节序列 ) 组成的文件是一种无结构文件或流式文件, 不考虑文件内部的逻辑结构, 只是简单地看作是一系列字节的序列, 便于在文件任意位置添加内容 很多操作系统多采用这种形式,UNIX/Linux Windows/DOS 等 由记录组成的文件称为记录式文件, 记录是这种文件的基本信息单位, 记录式文件通常用于信息管理 文件索引节点 (Index Node) Linux 为每个文件分配一个整数表示符, 称为索引节点 (inode), 可以将 inode 简单理解成一个指针, 它永远指向本文件的具体存储位置 系统是通过索引节点 ( 而不是文件名 ) 来定位每一个文件 文件系统的每个对象都分配到一个独一无二的索引, 叫做索引节点 (inode) 文件系统利用索引节点 (inode) 来描述文件系统的拓扑结构 在单个文件系统中, 每个文件对应一个索引节点, 而每个索引节点有一个唯一的整数标识符 文件系统中所有文件的索引节点保存在索引节点表中 文件系统中的目录实际是一种特殊文件, 它们也有对应的索引节点, 索引节点指向的数据块中包含该目录中所有点, 索引节点指向的数据块中包含该目录中所有的目录项 ( 文件 目录 符号链接等 ), 每个目录项对应自己的索引节点 85

88 网络之路 Route to Network 图 4 UNIX 文件物理结构 ( 索引 + 链接 ) 注 :inode 不保存文件名, 文件名存放在文件所在的目录文件里 图 5 UNIX 文件系统物理结构 超级块 (super block) : (1) 记载文件卷上 k+1 块到 n-1 块中所有空闲块 ; (2) inode 区中 100 个空闲 inode( 缓冲 ) 文件安装 (mount) 后超级块读入内存 六 文件系统扩展知识 文件系统和裸设备 裸盘具有最好的性能 对裸盘与 EXT3 文件系统 NTFS 文件系统进行了大量对比测试, 86

89 网络存储扩展知识 下面是一组典型数据生成的图表, 是在各种访问模式下的裸盘与 EXT3 或 NTFS 文件系统的 IOPS 对比 在 Redhat 下, 各种访问模式下的裸盘比文件系统的 IOPS 值高, 高的幅度从百分之几到 50% 对于典型的应用, 裸盘比 EXT3 文件系统的性能要高 10% 以上 在 Windows 下, 顺序 IO, 裸盘比 NTFS 的性能稍高, 但随机 IO,NTFS 反比裸盘的性能稍高, 这是不是测试数据出了偏差, 还需证实 Linux 子目录的主要功能 /: 文件系统结构的起始位置, 称为根 (root), 是系统管理员的主目录 /home: 容纳用户登录主目录, 比如用户 user 的主目录就是 /home/user /bin: 二进制可执行命令, 保存引导所需的命令和普通用户可能用到的命令 任何用户都可以使用这里的命令 /sbin: 系统管理命令, 这里存放的是系统管理员使用的管理程序 /dev: 设备特殊文件, 保存设备的文件接口, 如终端和打印机 /etc: 保存系统配置文件和任何其他系统性的文件 /var: 保存经常变动的文件, 如记录文件! 临时文件和电子邮箱文件 /usr: 最庞大的目录, 要用到的应用程序和文件几乎都在这个目录 其中包含下面这些 /usr/bin: 保存面向用户的命令和辅助性工具 /usr/sbin: 保存超级用户的一些管理程序 /usr/doc: 保存 Linux 文档 /usr/include:linux 下开发和编译应用程序所需要的头文件 /usr/lib: 常用的动态链接库和软件包的配置文件 /usr/man: 保存由 man 命令调用的命令联机手册, 即帮助文档 /usr/src: 保存源代码,Linux 内核的源代码就放在 /usr/src/linux 里 87

90 网络之路 Route to Network 数据库基础 文 / 郑萍萍 一 数据库技术的发展史 数据库技术的发展, 已经成为先进信息技术的重要组成部分, 是现代计算机信息系统和计算机应用系统的基础和核心 数据库技术最初产生于 20 世纪 60 年代中期, 根据数据模型的发展, 可以划分为三个阶段 : 第一代的网状 层次数据库系统 ; 第二代的关系数据库系统 ; 第三代的以面向对象模型为主要特征的数据库系统 第一代数据库的代表是 1969 年 IBM 公司研制的层次模型的数据库管理系统 IMS 和 70 年代美国数据库系统语言协商 CODASYL 下属数据库任务组 DBTG 提议的网状模型 层次数据库的数据模型是有根的定向有序树, 网状模型对应的是有向图 这两种数据库奠定了现代数据库发展的基础 第二代数据库的主要特征是支持关系数据模型 ( 数据结构 关系操作 数据完整性 ) 具有以下特点 :1. 关系模型的概念单一, 实体和实体之间的联系用关系来表示 ;2. 以关系数学为基础 ;3. 数据的物理存储和存取路径对用户不透明 ;4. 关系数据库语言是非过程化的 第三代数据库产生于 80 年代, 随着科学技术的不断进步, 各个行业领域对数据库技术提出了更多的需求, 关系型数据库已经不能完全满足需求, 于是产生了第三代数据库 第三代数据库支持多种数据模型 ( 比如关系模型和面向对象的模型 ), 并和诸多新技术相结合 ( 比如分布处理技术 并行计算技术 人工智能技术 多媒体技术 模糊技术 ), 广泛应用于多个领域 ( 商业管理 GIS 计划统计等), 由此也衍生出多种新的数据库技术 : 分布式数据库 : 允许用户开发的应用程序把多个物理分开的 通过网络互联的数据库当作一个完整的数据库看待 并行数据库 : 通过 cluster 技术把一个大的事务分散到 cluster 中的多个节点去执行, 提高了数据库的吞吐和容错性 多媒体数据库 : 提供了一系列用来存储图像 音频和视频对象类型, 更好地对多媒体数据进行存储 管理 查询 模糊数据库是存储 组织 管理和操纵模糊数据库的数据库, 可以用于模糊知识处理 88

91 网络存储扩展知识 二 数据库基本概念 人们时刻都在与数据打交道, 如 : 家庭开支, 个人收入, 企业财务, 电信 银行数据等等, 对于少量 简单的数据, 他们与其他数据的关联比较少, 可以简单的存放在文件中 但是对于像企业 银行等需要有大量关联数据的情况, 普通的文件记录管理就太复杂了, 需要用到数据库来存储 管理, 此时需要了解什么是数据库 下面介绍下数据库的几个基本概念 : 数据 数据库 数据库管理系统 数据库系统 数据 (Data) 所谓数据就是描述事物的符号. 在我们的日常生活中, 数据无所不在 数字 文字 图表 图象 声音等都是数据 人们通过数据来认识世界, 交流信息 数据库 (DB,Database) 数据库是长期存储在计算机内 有组织的 可共享的数据集合 数据库中的数据按一定的数据模型组织 描述和储存, 具有较小的冗余度 较高的数据独立性和易扩展性, 并可在一定范围内为各种用户所共享 数据库管理系统 (DBMS, Database Management System) 数据库管理系统是位于用户与操作系统之间的一个数据管理软件 它使用户能方便地定义和操纵数据, 维护数据的安全性和完整性, 以及进行多用户下的并发控制和恢复数据库 基本功能包括 : 数据定义 :DBMS 提供数据定义语言 (DDL,Data Definition Lanaguage), 用户通过它可以定义数据库中的数据对象 数据操纵功能 :DBMS 提供数据操纵语言 (DML,Data Manipulation Language), 使用 DML 可以操纵数据库中的数据, 实现如插入 删除 和修改等数据库的基本操作 数据库的运行管理 : 数据库在建立 运用和维护期间由 DBMS 统一管理其数据的安全性 完整性 多用户对数据的并发使用及发生故障后的系统恢复 数据库的建立和维护 : 一般包括数据库初始数据的输入 转换功能, 数据库的转储 恢复功能, 数据库的重组织功能和性能监视 分析功能 这些功能是 DBMS 的可选项, 一般由一些使用程序完成 数据库系统 (DBS, Database system) 数据库系统是指在计算机系统引入数据库后构成的计算机应用系统, 是一个实际可运 89

92 网络之路 Route to Network 行的存储 维护和应用系统提供数据的软件系统, 是存储介质 处理对象和管理系统的集合体 一般由数据库 操作系统 数据库管理系统及相关管理工具 应用系统 数据库管理员和用户构成 数据库是依照某种数据模型组织起来并存放在一起的数据集合 这些数据为多个应用服务, 独立于具体的应用程序 数据库的建立 使用和维护工作需要专门的人员来完成, 具有这些权利的用户被称作数据库管理员 (DBA, Database Administrator) 三 数据库备份与恢复 数据库备份 恢复 所谓数据库备份, 就是把数据库复制到转储设备的过程 其中, 转储设备是指用于放置数据库拷贝的磁带或磁盘等存储介质 通常也将存放于转储设备中的数据库的拷贝称为原数据库的备份或转储 图 1 原数据库的备份或转储 数据库的备份分为物理备份和逻辑备份两种 物理备份是将实际组成数据库的操作系统文件从一处拷贝到另一处的备份过程, 通常是从磁盘到磁带 逻辑备份是利用 SQL 语言从数据库中抽取数据并存于二进制文件的过程 所谓数据库恢复, 是指当数据库发生故障时, 利用已备份的数据文件或控制文件, 重新建立一个完整的数据库 根据出现故障的原因, 恢复分为两种类型 : 实例恢复 : 指数据库实例出现失败后, 数据库自动进行的恢复 介质恢复 : 指当存放数据库的介质出现故障时所做的恢复, 我们下面讲的数据库冷备份 热备份恢复指得都是这种介质恢复 90

93 网络存储扩展知识 图 2 数据库恢复 下面以 ORACLE 数据库为例, 介绍数据库的备份 在线日志和归档日志 Oracle 数据库有两种日志模式 : 在线日志和归档日志 : 在线日志 (Online Redo Logs): 一个 Oracle 数据库的每一实例有一个相关联的在线日志 一个在线日志由多个在线日志文件组成 在线日志文件填入日志项, 日志文件记录的数据用于重构对数据库所作的全部修改 后台 Log Write(LGWR) 进程以循环方式写入在线日志文件, 在线日志文件是被循环重用的 在归档模式下, 在线日志可在重用前被保存下来, 成为归档日志 归档日志 (archive redo logs): 当 Oracle 要将填满的在线日志文件组进行归档时, 需要建立归档日志, 或称离线日志 归档机制决定于归档设置, 可设置成由 Oracle 后台进程 ARCH 自动归档或由用户进程发出语句手工归档 在线日志与归档日志的传递过程如下图所示 : 91

94 网络之路 Route to Network 图 3 在线日志与归档日志的传递过程 SCN(the System Change Number)& Checkpoint SCN 是指当 ORACLE 数据更新后, 由 DBMS 自动维护并累积递增的一个数字 当一个事务提交 (Commit Transaction) 时, 后台 Log Write(LGWR) 进程会将 Log Buffer 中的数据写入 Redo Log 日志文件, 同时也会将这笔交易的 SCN 同步写入到 Redo Log 日志文件中 由此可见, 当进行事务提交 (Commit Transaction) 时,LGWR 必须先完整地完成上述一系列行为, 系统才会返回提交成功信息 实际操作中, 可以通过如下语句查询目前 redo log file 中最新的 SCN 记录 select dbms_flashback.get_system_change_number from dual; Checkpoint 和 SCN 的关系当提交一个事务时,Oracle 系统只会立刻将 Redo Buffer 写入 Redo Log 日志文件中, 但是并不会立刻将该更新后的数据块 (Dirty Block) 同步写入磁盘的数据文件中, 这是为了减少过多磁盘 IO 的考虑, 采取批量存入的方式写入 Checkpoint 发生的目的就是要把储存在 Buffer 内的已提交的事务写入磁盘中, 否则一旦数据库被破坏, 则必须得花很多时间从 Redo Log 日志文件中最后的 SCN 值进行数据恢复 当发生 Checkpoint 时, 会把 SCN 写到四个地方 : 三个控制文件和一个数据文件中 92

95 网络存储扩展知识 数据库的 NOARCHIVELOG 模式和 ARCHIVELOG 模式 Oracle 数据库可运行在两种不同方式下 :NOARCHIVELOG 模式和 ARCHIVELOG 模式 NOARCHIVELOG( 非归档模式 ) Oracle 在 NOARCHIVELOG 模式下使用时, 数据库控制文件指明写满的日志文件不需要归档, 所以当已经写满的日志文件状态变为 active 时, 只要日志开关的检查点完成, 该日志文件即可被 Log Write(LGWR) 进程重用 在该方式下仅能保护数据库实例故障, 而不能免于介质故障 也就是说只有在联机重做日志组中的数据的修改才可以用于实例恢复 ARCHIVELOG ( 归档模式 ) Oracle 在 ARCHIVELOG 模式下, 可进行在线日志文件的归档 在数据库控制文件中会指明写满的日志文件在归档之前不可以被循环使用 一旦日志文件状态变为 no active, 归档进程立即使用该日志文件进行归档 数据库的冷备份和热备份 Oracle 数据库的备份分为物理备份和逻辑备份两种 物理备份是将实际组成数据库的操作系统文件从一处存储介质拷贝到另一处存储介质的过程 逻辑备份是使用 SQL 的 export 语句导出数据库存储为二进制文件 物理备份包括两种方式 : 冷备份和热备份 冷备份又称离线备份, 需要在 no archive 模式下进行, 必须在数据库已经正常关闭的情况下进行, 此时所有的数据文件和控制文件都在同一个时间点有相同的 SCN, 系统会提供给用户一个完整的数据库 冷备份可以将数据库使用的每个文件都备份下来, 这些文件包括 : 所有控制文件 ( 文件后缀名为.CTL, 默认路径 Oracle\oradata\oradb) 所有数据文件 ( 文件后缀名为.DBF, 默认路径 Oracle\oradata\oradb) 所有联机 REDO LOG 文件 ( 文件形式为 REDO*.*, 默认路径 Oracle\oradata\oradb) 初始化文件 INIT.ORA( 可选 )( 默认路径 Oracle\admin\oradb\spfile) 热备份也就是在线备份, 要求数据库在 ARCHVIELOG 模式下 由于数据库在线时, 数据库的读 写数据文件和控制文件不在相同的 SCN(the System Change Number) 例如, 一个读 写数据文件的在 SCN 为 100, 然后另一个读写数据文件的 SCN 为 95 或者 90 而 Oracle 打开数据库时需要所有文件的 SCN 值是相同的, 也就是说所有在线日志数据改变量都保存到磁盘的数据文件中, 因此在数据库进行 Backup 模式时, 数据库会触发 Checkpoint, 然后备份表空间 Redo Log 日志和控制文件 对于 7*24 小时应用的数据库系统, 可以通过在 ARCHIVE 模式下对数据库进行在线备份 由于热备份需要消耗较多的系统资源, 因此建议在数据库不使用或使用率较低的情况下进行 热备份的优点是 : 93

96 网络之路 Route to Network (1) 可在表空间或数据文件级备份, 备份时间短 ; (2) 备份时数据库仍可使用 ; (3) 可达到秒级恢复 ( 恢复到某一时间点上 ); (4) 可对几乎所有数据库实体作恢复 ; (5) 恢复是快速的, 大多数情况下在数据库仍工作时恢复 四 各主流数据库的比较 现今使用的最多的数据库是 Sybase Oracle MS SQL Server IBM DB2 等几大主流数据库 那么这些数据库到底有什么特点, 适合于什么样的应用, 我们在一些特性上对这几个数据库进行比较 Sybase 以 Java 为中心的数据库 Sybase 是一个面向联机事务处理, 具有高性能 高可靠性的功能强大的关系型数据库管理系统 (RDBMS) Sybase 数据库的多库 多设备 多用户 多线索等特点极大地丰富和增强了数据库功能, 给用户提供 GUI 和命令行操作 开放性 : 以 Java 为中心的数据库系统, 为那些准备在 Java 平台下构建企业应用的企业来说, 将是最好的选择 并行性 : 虽然有 DB SWITCH 来支持其并行服务器, 但 DB SWITCH 在技术层面还未成熟, 且只支持版本 12.5 以上的 ASE SERVER DB SWITCH 技术需要一台服务器充当 SWITCH, 从而在硬件上带来一些麻烦 性能 : 多用户时性能不佳, 接近于 SQL Server, 但在 UNIX 平台下的并发性要优与 SQL Server 应用模型 : C/S 结构, 可以用 ODBC Jconnect Ct-library 等网络客户连接 安全性 : 获得最高认证级别的 ISO 标准认证 使用风险 : 向下兼容, 但是 ct-library 程序不易移植 94

97 网络存储扩展知识 MS SQL Server 最 容易 的数据库系统 MS SQL Server 是在购买 Sybase 公司 1987 年推出的 Sybase SQL Server 基础上发展而来的, 具有单进程与多线索的体系结构 系统只有一个服务器进程, 所有的客户都连接到这个进程上, 但是该进程又细分为多个并发的线索, 他们共享数据缓冲区和 CPU 时间, 能及时捕捉各用户进程发出的存取数据的请求, 并能为数百或更多用户维持这种高性能 开放性 : 只能在 Windows 上运行, 没有丝毫的开放性, 操作系统的系统的稳定对数据库是十分重要的 Windows9X 系列产品是偏重于桌面应用, NT server 只适合中小型企业 而且 Windows 平台的可靠性, 安全性和伸缩性是非常有限的 它不像 Unix 那样久经考验, 尤其是在处理大数据量的关键业务时 并行性 : 并行实施和共存模型并不成熟, 很难处理日益增多的用户数和数据卷, 伸缩性有限 性能 : 多用户时性能不佳应用模型 : C/S 结构, 只支持 windows 客户, 可以用 ADO DAO OLEDB ODBC 连接 安全性 : 没有获得任何安全证书 使用风险 : 完全重写的代码, 经历了长期的测试, 不断延迟, 许多功能需要时间来证明 并不十分兼容早期产品 使用需要冒一定风险 Oracle 最 难 的数据库 Oracle 是甲骨文公司 (Oracle) 推出的以高级结构化查询语言 (SQL) 为基础的大型关系数据库, 是使用方便逻辑管理的语言操纵大量有规律数据的集合, 是目前最流行的客户 / 服务器 (CLIENT/SERVER) 体系结构的数据库之一 开放性 : 能在所有主流平台上运行 ( 包括 Windows ), 完全支持所有的工业标准, 采用完全开放策略, 可以使客户选择最适合的解决方案, 对开发商全力支持 并行性 : 并行服务器通过使一组结点共享同一簇中的工作来扩展服务器的能力, 提供高可用性和高伸缩性的簇的解决方案 有着很好的平台移植性, 如果 Windows NT 平台不能满足需要, 用户可以把数据库移到 UNIX 中 Oracle 的并行服务器对各种 UNIX 平台的集群机制都有着相当高的集成度 95

98 网络之路 Route to Network 性能 : 性能最高, 保持开放平台下的 TPC-D 和 TPC-C 的世界记录 应用模型 : 多层次网络计算, 支持多种工业标准, 可以用 ODBC JDBC OCI 等网络客户连接 安全性 : 获得最高认证级别的 ISO 标准认证 使用风险 : 长时间的开发经验, 完全向下兼容, 得到广泛的应用, 几乎没有风险 IBM DB2 数据库系统的贵族 IBM DB2 是 IBM 的 System R 项目开发的关系数据库 DB2 系列跨越了各种 UNIX Linux 与 Windows 平台和 IBM iseries(os/400 操作系统 ) 和 zseries(os/390 z/os z/vm 和 Linux) 服务器系列 DB2 Everyplace 支持手持设备和嵌入式 Linux 环境, 并提供了与更大型系统的数据同步 为整个系列的应用程序开发和数据库管理提供了常用工具 来自所有系列成员的创新以及 2001 年收购的 Informix 数据库系列, 满足了整个系列的发展需求 开放性 : 能在所有主流平台上运行 ( 包括 Windows ) 最适于海量数据 DB2 在商业系统和银行系统的应用最为广泛, 在全球的 500 家最大的企业中, 几乎 85% 以上用 DB2 数据库服务器 并行性 : DB2 具有很好的并行性 DB2 把数据库管理扩充到了并行的 多节点的环境 数据库分区是数据库的一部分, 包含自己的数据 索引 配置文件 和事务日志 数据库分区有时被称为节点或数据库节点 性能 : 性能较高, 适用于数据仓库和在线事物处理 应用模型 : 跨平台, 多层结构, 支持 ODBC JDBC 等客户 安全性 : 获得最高认证级别的 ISO 标准认证 使用风险 : 在巨型企业得到广泛的应用, 向下兼容性好 风险小 96

99 H3C 存储的典型特性 H3C 存储的典型特性 Typical Characteristic of H3C's Products 97

100 网络之路 Route to Network TimeMark CDP 特性介绍 文 / 程媛 关键词 :TimeMark,CDP 摘要 : 缩略语清单 : 缩略语清单 :List of abbreviations: 缩略语 英文全名 中文解释 CDP Continuous Data Protection 持续数据保护 SAN Storage Area Networl 存储局域网 COFW Copy On First Write 第一次写时拷贝 一 TimeMark CDP 概述 TimeMark 是我司存储产品为提高数据存储的安全性和效率而量身提供的功能选项, 可以按照策略为存储资源创建增量的数据点映象 其实现的主要功能有 : TimeMark 可以防止出现软错误, 即非灾难性数据丢失, 包括软件程序导致的数据损坏 病毒破坏等 TimeMark 可以防止数据受到人为的破坏, 比如意外删除文件等 TimeMark 支持回滚操作, 当渐变式灾难发生时, 立刻回滚到过去具有正确数据的某一状态, 恢复系统正常运行 支持 TimeMark 拷贝, 可以使用任何一个已有的 TimeMark 来创建真实的永久资源, 得到创建该 TimeMark 的时间点的完整数据, 并提供给应用服务器使用 支持任一时间点虚拟映象的加载, 用户可以随意访问某个特定时间点的数据状态 使用快照资源只记录创建 TimeMark 之后第一次被改变的原始数据, 对后续重复改变的数据不做记录, 因此快照资源的大小仅仅是源数据卷大小的一部分, 节省了系统资源 支持为每个逻辑资源创建多达 255 个 TimeMark CDP(Continuious Data Protection) 是 TimeMark 的功能扩展, 实现的是真正意义上的持续数据保护, 它保护的时间点可精确到微秒 用户只有先启用 TimeMark, 才能启用 CDP CDP 与 TimeMark 不同之处在于 :TimeMark 只能使数据恢复到某个特定时间点, 而 CDP 可以使数据恢复到其保护时间范围内的任一时间点 如果说 TimeMark 是一个照相机, 那么 CDP 就是一台摄影机 98

101 H3C 存储的典型特性 二 典型组网应用 典型组网一 图 1 TimeMark 典型组网组网说明 : 配置 TimeMark 策略为 1 小时创建一次, 初始创建时间为 9:30 AM 用户保护的数据状态只能是 9:30AM 10:30AM 11:30AM 等特定时间点 典型组网二 图 2 CDP 典型组网 组网说明 : 开启 TimeMark 和 CDP, 配置 CDP 保护时间为 TM1 和 TM2 的间隔时间, 则用户保护 的数据状态可以为 TM1 和 TM2 之间的任一时间点 99

102 网络之路 Route to Network 三 特性原理介绍 TimeMark TimeMark 使用的是一种快照技术, 顾名思义就是记录某一时间点的状态, 此概念类似于照片 其核心原理是 COFW(Copy On First Write, 第一次写时拷贝 ), 在某一时间点为数据卷创建一个快照后, 当该数据卷上的数据第一次发生变化时, 系统先把被改变的原始数据拷贝到一块独立的存储资源 ( 我们称之为快照资源 ) 中, 然后再把新数据写入数据卷 ; 当该数据再次发生变化时, 系统直接把新数据写入数据卷, 而不再把被改变的数据拷贝到快照资源中 这样, 系统记录了原数据卷在创建快照时刻的历史状态, 一旦需要恢复到写之前的状态, 只需把保存起来的数据重新写到存储资源的原来位置即可 也就是 TimeMark 回滚 由于快照资源只保存第一次发生改变的数据, 所以只占用很少的存储资源, 大大节省了存储空间 快照资源可以按需设置为自动扩展或者手动扩展, 还支持手动容量收缩 COFW 原理图如下 : 图 3 COFW 原理图 正因为快照资源中记录的仅仅是第一次数据改变的信息, 因此 TimeMark 的回滚操作是不可逆的 CDP 开启 CDP 功能时, 必须先创建一块独立的存储资源来记录每次写入的数据, 这块区域被 100

103 H3C 存储的典型特性 称为缓存资源, 也称为 CDP Journal, 其功能类似于快照资源 当客户端有数据写入时, 先写入 CDP Journal, 然后再按照一定的策略提交到数据卷中 当发生写操作时, 数据首先被打上时间戳标签写入 CDP Journal, 当 CDP Journal 中写入的数据量满足一定的触发条件时,CDP Journal 才会将数据提交到数据卷 提交到数据卷之后,CDP Journal 中相应的数据不会马上被删除, 而是持续到 CDP Journal 空间写满或者达到保护的时间范围,CDP Journal 才会删除最早的数据 数据被删除之后, 就不能再被保护了 CDP Journal 中记录的写操作按照以先进先出的顺序保留 正因为每个写操作都会被 CDP Journal 记录, 而不象 TimeMark 那样仅仅记录前后两次创建 TimeMark 之间被改变的原数据, 所以当客户端数据写操作很频繁时,CDP Journal 会占用很大的存储空间 CDP Journal 支持容量自动扩展 另外 CDP Journal 还支持镜像功能, 镜像能更好的保护 CDP Journal 中的数据 当客户端数据写入 CDP Journal 的同时也写入其镜像盘中, 当 CDP Journal 损坏之后, 可以无缝的切换到镜像盘 下面以一个实例进行说明 图 4 CDP 实例图 4 中,TimeMark 的创建策略为整点创建, 即 4:00pm 一次,5:00pm 一次, 因此 TimeMark 保护的是整点时刻的数据状态 整点过程中的一些其他操作, 如 4:15 文件创建,4:50 文件删除, 这些操作 TimeMark 没办法保护, 但是 CDP Journal 却可以 配置了 CDP 之后,4:00pm 至 5:00pm 之间的任何写操作都被打上精确到微秒的时间戳, 记录在 CDP Journal 里 发生渐变灾难时, 能迅速回滚到任一需要的健康状态 因为 CDP Journal 记录的完整性, 所以 CDP 的回滚操作是可逆的 以图 4 为例, 假设 6:05pm 发生了灾变, 首先回滚到 4:15, 回滚成功后, 系统会生成一个 TimeMark,4:15 之后的 TimeMark, 即 5:00pm 和 6:00pm 时刻的 TimeMark 全部丢失 但是, 只要 CDP Journal 里面的数据还在, 用户依然可以利用 CDP Journal 和 4:00pm 的 TimeMark 回滚到 4:15 至 6:05pm 之间的任意时间点 101

104 网络之路 Route to Network 复制特性介绍 文 / 夏飞 一 复制概述 复制 (Replication) 是我司存储设备提供的远程容灾功能, 支持在远程办公地点与数据 中心之间通过 IP 网络对关键业务数据进行策略性增量复制, 实现数据的异地备份, 并在发生 意外灾难时对数据进行快速恢复, 确保用户的业务持续性 图 1 复制功能示意图 如图 1 所示, 当条件满足预设策略时, 生产中心的在线存储设备启动数据复制, 将生产数 据复制到灾备中心的近线存储设备中, 为在线存储设备生成远端数据副本 同时, 在复制过 102

105 H3C 存储的典型特性 程中, 还可以对复制的数据进行加密和压缩, 提高复制的安全性和速率 二 复制基本原理 为了下面叙述方便, 我们称在线存储设备为源存储设备, 近线存储设备为目的存储设备 当源存储设备和目的存储设备通过初始通信为某个 SAN 资源建立复制关系时, 需要各自交换相关信息, 生成一张 umap 表, 用来建立自己的 SAN 资源数据块位置信息和对端相应数据块位置信息的映射关系, 当源存储设备上的某个 SAN 资源向目的存储设备开始复制时, 首先查找源存储设备上该资源的 umap 表, 统计 umap 表中被改变的数据块的信息, 然后将改变的数据块复制到目的存储设备上, 从而实现增量复制 源存储设备将改变的数据块复制到目的存储设备的过程称为同步, 在开始同步的时候, 会在源存储设备上为该 SAN 资源建立一个 Timemark, 如果有新的数据写入, 则也会把这些数据记录到相应的 TimeMark 对应的 Snapshot Resource 里, 这样可以保证每一次复制在时间点上是一致的 图 2 复制功能原理图 103

106 网络之路 Route to Network 三 复制在数据容灾中的应用 如图 3 所示, 在生产中心, 在线存储设备利用复制技术, 将生产中心的数据复制到灾备中 心, 生成冗余的数据副本 其中, S 表示生产中心的数据源, D 表示灾备中心的数据 副本 图 3 复制在数据容灾中的应用我司存储设备提供的复制功能可以在容灾的各个阶段 ( 灾难发生前 灾难发生时 灾难发生后 ) 对数据进行主动保护, 确保业务的恢复 阶段一 : 灾难发生前 预置分配 : 在灾备中心, 近线存储设备预先将数据副本分配给相应的备用服务器, 以防止在灾难袭击时进行配置的混乱局面 通过一些独特技术 ( 如差量扫描 压缩 自动重传等 ), 存储产品只复制数据的变化量, 即前一次复制之后变化的数据, 有效地提高带宽利用率 ; 同时, 结合加密技术, 存储设备可以对传输数据流进行加密, 以确保端到端的安全性 104

107 H3C 存储的典型特性 阶段二 : 灾难发生时 意外突发性灾难 : 为了防止在复制过程中发生灾难导致数据副本被损坏, 灾备中心的存储设备将复制的数据存入一个独立的区域, 直到成功地接收到需要复制的所有数据并得到确认, 才会将复制的数据更新到副本磁盘中 这将保证灾备中心的数据副本永远存放被成功复制 完整可用的数据 渐变式灾难 : 利用 TimeMark 技术, 灾备中心的存储设备可以为数据副本生成多个 TimeMark( 如图 3 中用 T 表示 ), 记录数据副本在不同时刻的状态, 可以有效地避免渐变式灾难带来的数据损坏 这是许多传统的具有复制功能的存储产品所不具备的 快速修复 : 存储设备提供针对数据库和信息存储系统 (Oracle SQL Sybase DB2 Microsoft Exchange Lotus Notes/Domino 等 ) 的快照代理软件, 来确保被复制数据具有逻辑一致性 否则, 在数据库的数据被恢复, 并且数据库被应用程序重新使用前, 必须进行磁盘检查 FSCK 文件系统检查和数据库恢复等耗费大量时间的处理过程 容灾数据可实时访问 : 在灾备中心, 利用 TimeMark/TimeView 功能, 存储设备可以将数据副本中的数据映射到备用服务器上, 在不影响容灾系统正常工作的情况下, 实时访问这些数据 这样可以保证灾备中心的数据是 活 的, 并能继续为其它业务服务, 比如查询 数据挖掘 系统测试等等, 有效提高容灾系统的投资回报率 阶段三 : 灾难发生后 生产中心硬件环境正常后, 为了使其恢复正常工作, 就必须进行反向同步, 即把灾备中心的数据副本重新同步到生产中心的存储设备中 存储产品提供的反向复制及 差量扫描 极大的缩短了重建生产中心的时间 105

108 网络之路 Route to Network NeoStor HA 概述 文 / 张险 一 HA 概述 我司存储产品 IV5000 系列和 IX3000 系列都支持存储控制模块的冗余, 软件都使用 neostor, 本篇文章将介绍一下 neostor HA 原理,neostor 称这个特性为 failover 存储控制模块就相当于一台主机, 他们之间的冗余实际上也是利用计算机集群的原理 所以本文先讲述一下计算机集群方面的知识 高可用性 (High Availability) 集群技术 目前应用最为广泛的集群计算技术可以分为三大类 : 高可用性集群技术 高性能计算集群技术和高可扩展性集群技术 这里只对高可用性集群技术做介绍 ( 其他两种可以参见 : 计算机集群技术介绍及实现 ) 高可用性集群, 英文原文为 High Availability Cluster, 简称 HA Cluster, 是指以减少服务中断 ( 宕机 ) 时间为目的的服务器集群技术 可用性是指一个系统保持在线并且可供访问, 有很多因素会造成系统宕机, 包括为了维护而有计划的宕机以及意外故障等, 高可用性方案的目标就是使宕机时间以及故障恢复时间最小化, 宕机时间说明了方案的全面性 复杂性和成本 所谓集群, 就是共同为客户机提供网络资源的一组计算机系统 而其中的每一台提供服务的计算机, 我们称之为节点 当一个节点不可用或者不能处理客户的请求时, 该请求将会转到另外的可用节点来处理, 而这些对于客户端来说, 它根本不必关心这些要使用的资源的 106

109 H3C 存储的典型特性 具体位置, 集群系统会自动完成 从工作方式出发, 我们可以把集群分为下面几种 ( 特别是两节点的集群 ): 主 / 主 (Active/active) 这是最常用的集群模型, 它提供了高可用性, 并且在只有一个节点在线时提供可以接受的性能, 该模型允许最大程度的利用硬件资源 每个节点都通过网络对客户机提供资源, 每个节点的容量被定义好, 使得性能达到最优, 并且每个节点都可以在故障转移时临时接管另一个节点的工作 所有的服务在故障转移后仍保持可用, 但是性能通常都会下降 主 / 从 (Active/passive) 为了提供最大的可用性, 以及对性能最小的影响,Active/passive 模型需要一个在正常工作时处于备用状态, 主节点处理客户机的请求, 而备用节点处于空闲状态, 当主节点出现故障时, 备用节点会接管主节点的工作, 继续为客户机提供服务, 并且不会有任何性能上影响 混合型 (Hybrid) 混合是上面两种模型的结合, 只针对关键应用进行故障转移, 这样可以对这些应用实现可用性的同时让非关键的应用在正常运作时也可以在服务器上运行 当出现故障时, 出现故障的服务器上的不太关键的应用就不可用了, 但是那些关键应用会转移到另一个可用的节点上, 从而达到性能和容错两方面的平衡 注 : 对于 neostor, 也有以上几种模式, 有 A-A(active-active) 模式和 A-P(active-passive) 模式, 第三种模式虽然没有显式地提出来, 但是实际上还是通过一些配置做到类似的功能 Neostor 通过 存储例外列表 来选择那些存储资源在故障发生时不进行故障转移 二 Neostor HA 概述 HA 概念 对于一个高可用系统, 要保证最大限度的可用性, 就要消除系统中的单点故障, 从图一中可以看出, 一个高可用系统要在各个层次上都做到冗余 例如前端应用要做主机之间的集群, 前端网络和后端网络都有两台交换机做堆叠或聚合, 并使用链路冗余, 存储控制器 (Neostor 服务器 ) 做到冗余 这篇文章重点介绍的就是 neostor 服务器的冗余, 即 failover 特性 107

110 网络之路 Route to Network 图 1 HA 概念图 (1) Failover 保护以下三种情况的故障 : 1. 应用路径失效 : 指前端应用主机到 Neostor 服务器之间的链路, 如 neostor 业务口网卡到前端交换机的链路或者 neostor FC HBA 卡到应用主机 HBA 卡之间的链路 2. 存储路径失效 : 指 neostor 服务器到后端磁盘阵列之间的链路 3. Neostor 服务器故障 : 包括 neostor 服务进程 注 : 对于前端交换机到应用主机之间的链路失效,failover 是不能进行保护的 Failover 有两个重要的概念 即心跳和配置存储库 心跳是两台主机为了检测对方状态的一种机制 通讯协议使用 TCP 协议, 备机利用 TCP 握手机制每隔一个周期向主机发起连接请求判断主机的状态, 做这个工作的是备机上的 fm 进程 ( 注 : 关于 fm 进程后面会讲到 ) 来完成的 在以前的设计中, 心跳是使用单独的物理网络, 即是两台 neostor 服务器之间使用单独一条网线 ( 交叉线 ) 或者中间使用一个 HUB( 集线器 ) 串接 这种方式好处是心跳网络是独立, 不会受到网络中其他流量的干扰, 比如网络阻塞等 我们现在的产品中使用的是将心跳网络与业务网络合用, 即在业务网口上还附在一个从 IP, 作为心跳 IP, 网段与业务网段也是同一个网段 这种方式的好处是业务网络一旦出现链路故障, 由于心跳网络是共用的, 所以利用心跳检测机制, 备机马上就可以感知到, 显然有助于减少双机的切换前判断时间 108

111 H3C 存储的典型特性 图 2 HA 概念图 (2) 配置存储库 (configuration repository) 是保存 neostor 服务器的配置, 配置存储库是使用后端共享资源, 是在保留为虚拟设备的物理资源上划分的 200M 大小 SAN 资源 一旦启用配置存储库后,neostor 服务器的任何配置更新先写到配置存储库, 写入配置存储库成功后, 再将配置同步到 neostor 服务器本地磁盘上, 也就是说配置存储库是配置的主拷贝 (master copies), 本地磁盘上的配置是一个作为备份的拷贝 (backup copies) 这样当配置更新成功写入到配置存储库后还未向本地磁盘同步时, 如果 neostor 主服务器宕机了, 最新的配置仍然在配置存储库中, 备机接管后从配置存储库同步新的配置, 就维持了最新的配置更改 仲裁盘 (quorum disk) 是双机中用来防止裂脑现象 (split-brain, 就是两个节点如果失去了通信, 都试图去接管共享资源 ) 的一种机制 仲裁盘在启用配置存储库选项后就有了, 我们也可以把它当作配置存储库的附属功能 仲裁盘需要 8M 空间, 不占配置存储库本身的 200M 空间, 所以如果后端要单独分配一个存储资源给配置存储库用, 这个存储资源就需要 200M+8M+3M=211M 空间 另外 3M 是虚拟设备用来存放 UMAP 信息 HA 配置介绍 Failover 的配置还是非常的简单, 主要是我们了解上面提到的那些概念和原理 这里主要介绍一下 failover 配置过程中的一些较难理解的关注点 109

112 网络之路 Route to Network 配置 failover 需要满足的条件 需要两台 neostor 服务器, 且相同 Neostor 版本 相同 Neostor 选项及支持协议 共享的存储设备, 即一台服务器上看得到的设备, 另外一台上也必须看得到 主服务器启用配置存储库 备服务器上不能配置有 SAN 客户端 逻辑资源 配置过程中可选择的模式配置过程中, 可以选择 A-A 和 A-P 模式, 默认是 A-A 模式, 如果去掉 双向故障保护 选项, 就是 A-P 模式 A-A 模式实际上两个 A-P 模式的一个叠加 A-A 模式情况下我们也会在两台 neostor 服务上都看到 FM 进程 配置完成后服务器上的变化主服务器上应用子网所在的网口, 增加一个附加 IP 地址, 即心跳地址, 该网口的配置文件中原服务器 IP 地址修改为心跳地址 备服务器上新增加了 FM(failover) 进程 多个心跳之间的关系多个心跳之间的关系是 :Neostor 默认只有当全部心跳都发生 Timeout 时才认为心跳 Timeout 时间发生 IPSAN 的情况, 我们利用心跳保护应用路径 希望一旦有一个子网的心跳 Timeout 发生 ( 表明应用路径失效 ), 就需要 Failover 切换保护 Nestor 软件通过配置软开关 FAILEDANY=1( 默认为 0) 来实现单个心跳 timeout 就发生 Failover 配置方法参见维护手册 当心跳失败后, 备服务器如何检测和判断 备机发出 ICMP 子网广播 如果网段内有响应, 即可以判断备机应用路径无误 一般情况 icmp 广播可能被禁止, 备机会根据配置的客户端主机的 IP 地址, 发送 ICMP 单播 如果收到响应, 也可认为应用路径无误 对于多个心跳的情况, 每个心跳子网各自处理处理 多个心跳子网, 只有当所有心跳 Error 发生后, 才会发生心跳事件 心跳 Error 发生时, 备机发出 ICMP 子网广播检测 ; 只有当心跳超时发生时, 备机才发送单播 ICMP 其他值得关注的问题在配置 failover 后, 我们在用 GUI 登录进行管理时, 要使用保护的网段 ip, 如果我们只保护了业务网段, 也要用业务 ip 进行管理, 否则在 failback(failback, 即主机发生故障切换到备机后, 主机又恢复正常, 在备机上试图切换回去 ) 时, 总有个提示说主机仍然不正常 如果非得要用管理 IP 进行管理, 我们就建议对管理网段也进行保护 110

113 H3C 存储的典型特性 文 / 侯敏 一 DiskSafe 概述 DiskSafe 是 IX1000/EX1000 配套发布的客户端软件, 用户可以有选择性地进行购买配合存储产品使用 此软件只有基于 Windows 平台的版本, 用来将本地的数据 (Local disk) 备份到远程的存储设备 IX1000(Mirror disk) 上 结合 IX1000 的 TimeMark 功能,DiskSafe 可以对保护的本地磁盘创建快照, 从而达到对本地磁盘的基于时间点的保护和备份功能 组网和应用 图 1 DiskSafe 典型组网图 111

114 网络之路 Route to Network 图 1 是一个典型的 DiskSafe 应用组网图 如图 1, 远程办公环境中的 Windows 应用服务器上安装了 DiskSafe 软件, 用于将本地磁盘或 DAS( 直接附加存储, 例如单独的磁盘阵列柜 ) 中的数据, 按照指定的策略备份到数据中心的 NeoStor 服务器上 当需要恢复数据时, 将 NeoStor 服务器中的数据恢复到本地即可 DiskSafe 特点 DiskSafe 与其他备份软件相比最大的不同在于他是与 NeoStor 存储服务器无缝嵌入的, 或者可以说它是 NeoStor 存储服务器在主机端的一个延伸 因为它可以自动连接 NeoStor 存储服务器, 自动创建合适大小的备份资源, 对备份资源在 NeoStor 上的相关属性自动配置, 大大简化了用户的使用 另外, 它密切结合 NeoStor 软件本身的一些特别的功能, 例如快照, TimeView 等, 使得它比一般的备份软件功能更多, 主机及存储资源占用更少 (1)DiskSafe 的备份策略分为连续保护和周期保护, 连续保护是只要本地磁盘中的数据发生变化,DiskSafe 软件会立即把变化同步到镜像磁盘上, 而周期保护是指 DiskSafe 每隔一段时间对本地磁盘和镜像磁盘进行同步 (2)DiskSafe 的恢复主要有 3 种方式, 以满足各种需求下的恢复需求 : 在 Windows 下使用 DiskSafe 软件恢复 : 这种恢复方式主要针对数据盘, 可以通过 restore 或者 rollback 功能, 把 NeoStor 服务器上的当前数据或者过去时间点的数据恢复到本地 这种恢复方式速度较快, 使用较为简单 通过 RecoveryCD 启动恢复 : 这种恢复方式可用于系统盘的恢复, 例如由于病毒等原因导致系统不能启动时, 可以通过 DiskSafe 软件配套的 RecoveryCD 光盘启动主机, 启动后在 RecoveryCD 的界面上选择将当前数据或者过去时间点的数据恢复到本地 但是这种恢复方式需要主机的网卡, 硬盘,RAID 卡等硬件是 RecoveryCD 所兼容的, 目前我们遇到的大部分问题是客户的硬件比较独特, 致使 RecoveryCD 不能识别, 需要手动安装驱动, 较为麻烦 通过 HBA 卡远程启动 : 这种恢复方式可用于对恢复时间要求性高的应用有特别效果 它需要在主机上安装一块 iscsi HBA 卡, 在主机启动的时候通过对 HBA 卡的 BIOS 配置使得主机可以识别到 NeoStor 上的远程镜像磁盘, 并通过这块镜像磁盘启动操作系统 这样, 系统可以立即恢复使用, 并且通过远程启动以后使用的同时, 可以选择把数据恢复到本地硬盘 但是这种方式需要主机安装昂贵的 iscsi HBA 卡 (3)DiskSafe 可以结合 IX1000 上的 TimeMark,TimeView 功能, 用以达到对过去时间点的数据进行保护的功能 使用 TimeMark 的备份方式可以节约大量的备份存储空间, 因此 DiskSafe 可以支持最大 255 个过去时间点的保护 使用 TimeView, 可以在主机端随时可以读取过去快照时间的数据, 而且不影响当前的任何业务和保护, 方便用户查询 (4) 集群支持 :DiskSafe 可以在 MSCS 集群环境下自动添加一个资源, 用于实现主备切换时的 DiskSafe 保护切换功能 在这种应用下, 集群中当前主机的 DiskSafe 把共享盘保护到镜像磁盘上, 当主备切换时,DiskSafe 对共享盘的保护也会立即切换到另外一台主机上继续进行, 使得 DiskSafe 的保护不会中断 112

115 H3C 存储的典型特性 二 术语说明 SAN 和 SAN 客户端 SAN 的全称是 storage area network, 它是区别于传统的直接附加存储的一种新型存储布署, 关于 SAN 详细介绍可参见本刊其他章节 这里只说我们在 NeoStor 中所使用的 SAN, 它是由主机通过 IP 网络用 iscsi 协议来连接使用的, 在主机端通过硬件的 HBA 卡 (host bus adapter, 一块硬件的适配卡 ) 或者软件的 Initiator 来连接 NeoStor 中的 SAN 资源 在 NeoStor 中把 SAN 可以指定划分给多台主机, 每一个连接对应于一个 SAN 客户端, 其中配置了 Initiator name,target IP,Target Name 等信息, 具体的这方面的介绍可参见本刊其他章节 快照和 TimeMark 快照技术是存储中一项重要的数据保护技术 IX1000 中使用的是快照技术中的 虚拟视图快照技术 在 IX1000 上对某个 SAN 或者 NAS 资源创建了一个时间点的 TimeMark 以后, 那么这个时间点以后如果再要修改这个 SAN 上的数据, 会把此时间点的数据现拷贝到单独的快照资源上, 这样, 当这个 SAN 或者 NAS 资源希望恢复到过去时间点的数据时, 仅需把当时拷贝到快照资源中的数据拷贝回来即可 基于增量的备份 DiskSafe 是一种基于增量的备份方式, 即除了第一次的初始化同步会把整个本地磁盘备份到存储服务器上以外, 以后的备份都是仅传输两边数据不一致的部分 这种方式大大节省了备份的流量和备份服务器上的空间 数据一致性 像所有的备份软件和工具遇到的挑战一样,DiskSafe 也需要保证在备份过程中的业务运转和数据一致 为此 DiskSafe 中包含有一个 UmapView 的程序, 用于实时检查本地磁盘和镜像磁盘之间的差异, 即使是在某一次同步的过程中, 这个程序也是在实时检查的 这样即使在同步的过程中, 某个数据已经同步过一次, 但是如果在同步过程中这个数据又发生了改变, 那么 DiskSafe 程序还会将它再同步一遍 最终保证同步结束的那一个瞬间, 本地磁盘和镜像磁盘的数据是完全一致的 临时快照 113

116 网络之路 Route to Network 通过上面的描述, 我们知道 DiskSafe 同步的过程是需要一段时间的, 这段时间内很可能因为网络中断等异常情况导致同步被中断, 而且同步的过程中镜像磁盘上的数据是不完整的 那么需要设置一个手段, 用来防止同步中断后镜像的数据紊乱,IX1000 中通过设置临时快照的方法来保证 : 即使同步中断后仍然可以通过临时快照的回滚使得镜像磁盘恢复到回滚前的状态 SnapShot Agent SnapShot Agent 也是 IX1000 配套客户端软件之一, 他的作用主要是我们在使用 TimeMark 在备份数据库前, 强制数据库中的数据全部写入硬盘, 即保证数据库的数据完整性 它可以被 IX1000 上发出的快照通知触发, 也可以被 DiskSafe 触发 (DiskSafe 有这个选项 ) 三 数据保护 安装好 DiskSafe 以后, 可以在 计算机管理 中找到 DiskSafe 的控制台 如图 2 所示, 通过下图路径的 Protect 可以开始创建保护, 本文不打算把创建保护的每一步操作指导进行说 明, 如果读者希望实际使用可以参考 DiskSafe 的说明书或者典型配置案例 图 2 DiskSafe 控制台中的保护菜单 DiskSafe 保护的对象可以是整个磁盘或者某个分区, 包括没有文件系统的磁盘或分区 通过 DiskSafe 的配置界面可以在 NeoStor 服务器上自动创建合适大小的 SAN 资源用于备份, 对备份资源在 NeoStor 上的相关属性自动配置 备份的策略分为两种 : 连续模式和周期模式, 将在下面详细介绍 114

117 H3C 存储的典型特性 与 NeoStor 的连接 (IMA) 在 1.2 节中, 我们提到过 DiskSafe 的一个特点是它与 NeoStor 存储服务是紧密联系的, 它可以自动连接 NeoStor 存储服务器, 在 NeoStor 上自动创建合适大小的备份资源, 对备份资源在 NeoStor 上的相关属性自动配置等 而这一切都是通过与 DiskSafe 配套的一个软件 IMA 来负责完成的 ( 安装 DiskSafe 前需要先安装 IMA 软件 ) 在使用 DiskSafe 进行保护时会出现图 3 这样的窗口, 可以通过它来调用 IMA 的接口完成连接 NeoStor 服务器, 用于唯一需要填的是这个 NeoStor 的 IP, 用户名和密码, 然后 IMA 会 : 1. 根据用户选择的保护对象的容量, 在 NeoStor 上创建一个同样大小的 SAN 2. 给这个 SAN 启动快照功能和 TimeMark 功能 3. 为这个主机创建一个 SAN 客户端, 把这个 SAN 资源分配给这个 SAN 客户端 4. 调用本地的 MS initiator 软件, 把这个 SAN 资源连接到本地已供 DiskSafe 使用 图 3 DiskSafe 中添加 NeoStor 服务器和 SAN 的界面 我们可以在 IMA 的安装目录下面看到 IMA 的接口程序以及一些批处理脚本, 例如图 4 就是命 令行接口的帮助说明, 从中可以看到 IMA 的用法 : 115

118 网络之路 Route to Network 图 4 IMA 的命令行接口 DiskSafe 的基础 (UMAP) 首先说一下 DiskSafe 的基本构架, 如图 5 所示,DiskSafe 基本的构架分为 2 部分 : Service 和 Driver 图 5 DiskSafe 的构架 116

119 H3C 存储的典型特性 安装好 DiskSafe 以后, 可以在 管理工具 服务 中看到,DiskSafe 已经作为一个服务添加到主机的 Service 中去 在主机启动以后, 服务自动启动, 用来完成同步, 创建快照, 恢复等指令的下发, 并按备份策略在后台实时监控 但是 DiskSafe 服务对本地磁盘所操作的动作, 是基于区块的系统核心过滤程序 (Filter Driver) 来获取或下发的 过滤器驱动程序是一种可选择的特殊驱动程序, 可以加载在其它驱动程序之上, 用于修改或增加原驱动程序的功能, 而不必修改原驱动程序和使用该驱动的应用程序 例如, 只需在过滤驱动程序中添加处理例程, 把数据写到两个不同的物理磁盘, 保证数据的冗余保存, 增加磁盘访问的容错能力 关于 Filter Driver 的详细说明可以参考 Filter Driver Developer Guide 等文档, 在 MicroSoft 的网站上可以找到相关文档 Filter Driver 是位于操作系统的文件系统与物理磁盘之间, 因此不会与常驻的文件系统上的程序相冲突 ( 如杀毒程序等 ), 占用的系统资源也很少, 不会影响原来系统的存取效率, 同时还具备网络传输带宽和负载均衡的功能 在安装 DiskSafe 并重启以后, 相关的 Filter Driver 就加载到了操作系统中 从此以后, 对于 DiskSafe 所保护的磁盘或者分区的动作都会经过 Filter Driver 的处理, 包括记录下改变数据的位图, 包括将数据变量同步到 NeoStor 中等 图 6 UmapViewer 程序 117

120 网络之路 Route to Network 这样一个记录数据变化的位图在 DiskSafe 中叫 UMAP,UMAP 是 DiskSafe 的运行基础, 当用户用 DiskSafe 在 NeoStor 上建立一个保护时, 系统就会替这个保护区域再建立一块用作索引的 UMAP 区域, 主机磁盘区块的任何变动都会被记录在 UMAP 上, 这个 UMAP 存放在本地磁盘和内存中 DiskSafe 安装文件夹下面有一个 UmapViewer 的程序, 可以查看当前保护对象的变化数据, 如图 6 连续保护 建立了一个 Protection 以后, 如果它的策略是连续保护模式, 那么只要主机端的数据发生变化,DiskSafe 会立即把它同步到镜像磁盘上 需要注意的是, 所谓的连续保护也是相对的连续, 由于网络传输等限制, 并不能保证在任意时间点的本地磁盘数据和镜像磁盘中的数据完全一致, 这一点需要和镜像关系区分开来 可以把连续保护模式抽象地看做一个间隔时间很短的周期保护, 在这里不对连续保护做更多的说明 周期保护 和大部分的备份软件类似,DiskSafe 的周期保护可以选择在某一个具体的时间点进行备份, 也可以选择每隔一段时间进行备份 达到出发周期进行同步时,DiskSafe 把本地磁盘与镜像磁盘中不一致的数据全部传到镜像磁盘上进行覆盖 所有的过去时间点数据的备份动作又 NeoStor 中的 TimeMark 来自动完成, 因此在 DiskSafe 主机端不用进行额外的花销 周期保护牵涉到的细节主要有以下几点 : 1. 保护的过程中, 被保护的资源是否可用, 数据一致性如何保证? 不同于一些数据库的备份,DiskSafe 在进行周期备份时, 被保护的资源是可以继续使用的, 并且不影响同步的数据一致性 同步需要一定的时间,DiskSafe 不能保证传输到 NeoStor 中的数据是同一个时间点的数据, 但是 UMAP 的存在可以记录下同步过程中最新的数据变化, 这样即使在同步的过程的数据再次发生变化, 数据还是会再一次同步到镜像磁盘中去 这样的实现从逻辑上保证了在完成同步的那一个瞬间, 本地数据盘和镜像磁盘中的数据是完全一致的 2. 如果本地数据在备份的过程中不停地变化, 那么同步如何结束? 在极端的情况下, 确实会出现这样的情况 : 同步的速度小于本地磁盘数据更新的速度时, 那么这个同步会一直不能结束 不过 DiskSafe 的定位是对主机端的本地磁盘进行保护, 118

121 H3C 存储的典型特性 对于 SAN-SAN 之间的保护可以使用 NeoStor 本身的 Replication 保护, 它的实现就避免了这个问题, 详细的介绍可以参加本刊复制 (Replication) 相关的内容 3. 周期触发同步时, 如何防止同步失败导致镜像磁盘数据混乱? 在周期触发同步的过程中, 会把本地磁盘和镜像磁盘的差异数据源源不断地写到镜像磁盘上, 这个过程是需要一定的时间的 如果这期间发生异常导致同步失败, 此时镜像磁盘上的数据是完全紊乱的 DiskSafe 可以选择在同步前对镜像磁盘创建一个临时的 TimeMark, 这样如果发生异常导致同步失败, 可以通过这个临时 TimeMark 把镜像磁盘恢复到同步前的状态 如果同步顺利完成, 这个临时 TimeMark 自动删除 4. 究竟是如何做到对过去时间点的数据的保护的? 通过上面的描述, 我们知道周期同步触发时 DiskSafe 只是把本地磁盘和镜像磁盘不一致的数据拷贝到镜像磁盘上, 那么过去时间点的数据是如何保护的呢? 在 DiskSafe 的界面上我们可以对本地磁盘创建快照, 进行回滚, 但是实际上这些动作都是在对镜像磁盘进行操作 周期模式的选项中有一个 Take a snapshot after each synchronization 的选项, 如果选择了这个选项, 在每次周期同步完成以后, 都会在 NeoStor 上对镜像磁盘创建一个 TimeMark, 这样当以后再对镜像磁盘进行数据更改时, 这个 TimeMark 时间点的数据就会被记录在 NeoStor 的快照资源中 详细的说明请见第 5 章 四 数据恢复 在前文中已经说过,DiskSafe 的恢复主要有 3 种方式 : 在 Windows 下使用 DiskSafe 软件恢复 通过 RecoveryCD 启动恢复 通过 HBA 卡远程启动进行恢复 通过 DiskSafe 软件恢复 用 DiskSafe 软件可以把当前的镜像磁盘数据直接恢复到本地, 也可以把镜像磁盘先恢复到过去某一个时间点以后再恢复到本地磁盘, 图 7 是使用 DiskSafe 软件的恢复界面 图 7 使用 DiskSafe 软件的恢复界面 119

122 网络之路 Route to Network 很容易可以看到, 使用这种方式恢复, 必须是以当前的 Windows 操作系统可以顺利启动为前提的 因此它主要用于数据盘的恢复, 并且可以想象到恢复之前必须把使用到这个数据盘的应用程序停止掉, 否则可能会造成数据混乱 下面是使用 DiskSafe 软件恢复到过去时间点的实现步骤 : 1. 把当前的磁盘或分区从 Windows 下取消挂载, 禁止其他应用软件对这个磁盘和分区的读写 ; 2. 把镜像磁盘进行 TimeMark Rollback, 即把镜像磁盘恢复到过去的时间点 ; 3. 把恢复完成的镜像磁盘中的数据同步到本次磁盘中 ; 4. 同步完成后, 中断保护关系, 重启后把磁盘或分区重新挂载 通过 RecoveryCD 启动恢复 RecoveryCD 是一个 Linux 的启动光盘, 通过启动光盘中的 Linux 操作系统以后, 自动运行光盘中的恢复程序, 从而用来恢复数据 由此可见 RecoveryCD 恢复的 2 个特点 : 无须依赖本机的 Windows 操作系统 ; 主机的硬件要在 RecoveryCD 的 Linux 操作系统中可以识别 下面是 RecoveryCD 光盘中的文件结构, 可以看到是一个典型的 Linux 启动光盘 : boot.cat isolinux display.txt initrd.img isolinux.bin isolinux.cfg logo.lss vmlinuz initrd.img 是一个文件系统镜像, 解压缩以后可以看到在这个文件系统下的几个特别之处 : [1] /bin 和 /sbin 下 : 一些基本的命令, 此外还包括 iscsi 连接的 bin, 文件系统创建等 [2] /etc 目录下 : 主要是配置文件, 启动配置文件, 还有 2 个文件中记录了很多种硬件的信息 在 RecoveryCD 检测硬件以后如果能够支持则显示这些硬件信息 [3] /lib 下 : 其中有大量的驱动模块, 例如网卡,SATA 和 SCSI 的驱动,U 盘的驱动等 [4] /usr 下 : 装有 perl, 另外, 在 /usr/local/ 下面是 RecoveryCD 的恢复程序 ( 很多 Perl 脚本 ) 启动 RecoveryCD 以后即运行这些恢复程序 下面是使用 RecoveryCD 启动恢复的实现步骤 : 1. 从 RecoveryCD 启动, 进入到 RecoveryCD 的 Linux OS 中, 自动运行恢复程序 ; 120

123 H3C 存储的典型特性 2. 恢复程序检查硬件, 要求能够监测到兼容的网卡和硬盘, 否则不能继续恢复 ; 3. 为网卡配置 IP; 4. 输入 NeoStor 上镜像资源的相关配置,RecoveryCD 用 Initiator 软件连接镜像资源磁盘到本地 ; 5. 把镜像资源中的数据拷贝回本地磁盘或分区 以上的步骤没有提到对过去时间点的恢复, 事实上用 RecoveryCD 启动恢复也可以做到恢复过去时间点的数据, 过程和上面的步骤类似 通过 HBA 卡远程启动进行恢复 通过 HBA 卡远程启动进行恢复是 DiskSafe 恢复方式中较为独特的一种方式, 而且它是一些与存储硬件结合不强的备份软件所不能进行的恢复方式 它需要在主机上安装一块 iscsi HBA 卡, 在主机启动的时候通过对 HBA 卡的 BIOS 配置使得主机可以识别到 NeoStor 上的远程镜像磁盘, 并通过这块镜像磁盘启动操作系统, 这样的启动方式我们叫作 SAN Boot DiskSafe 的特点是在通过 SAN Boot 启用以后, 系统可以立即使用, 并且在使用的同时, 把数据恢复到本地硬盘 如图 8 所示, 是使用 QLogic 4050c iscsi HBA 卡配置完成后, 在主机在 BIOS 启动阶段 ( 操作系统启动前 ) 可以发现 NeoStor 服务器上的镜像磁盘, 并且可以设置为从这块镜像磁盘启动 图 8 连续模式下快照创建步骤 启动 ; 下面是使用 HBA 卡远程启动恢复的实现步骤 : 1. 设置 HBA 卡, 使得 BIOS 可以识别到 NeoStor 上的镜像磁盘, 并设置主机从这个镜像磁盘 121

124 网络之路 Route to Network 2. 主机从镜像磁盘的 Windows OS 启动以后, 可以使用 OS 上的应用软件或其他软件 ; 3. 同时, 可以把镜像磁盘中的数据同时恢复到本地磁盘中, 在恢复的过程中, 镜像磁盘中的数据的变化也会同不恢复到本次磁盘中, 最终达到的结果是恢复完成的那一个瞬间, 本地磁盘中的数据已经和镜像磁盘中的数据完全一致了 ; 4. 此时, 可以重启主机, 从本地硬盘启动 五 快照技术 连续模式下的快照 这个模式下比较容易理解, 可以简化地认为本地地盘 (local disk) 和 IX1000 上的镜像磁盘 (mirror disk) 是实时同步的 所以用 DiskSafe 创建快照实际上就是对 IX1000 上的 mirror disk 发出一个创建 timemark 的指令,IX1000 上可以在非常短的时间内完成快照创建的工作 实际上 local disk 和 mirror disk 之间会有传输时间差 2-3 秒, 并且如果网络性能低的话, 这个差异数据还将进一步扩大 值得注意的是, 如果 local disk 和 mirror disk 之间有差异数据 (dalta data), 那么 DiskSafe 会一直处于同步状态, 直到某个时间点 local disk 和 mirror disk 数据完全一致了 这 DiskSafe 同步的时候是不能手动创建快照, 设置的定时创建快照也会因此而推迟 而且, 由于 mirror disk 上创建 timemark 需要的时间非常短, 所以不涉及到创建的 cancel 或者创建过程中的数据改变 整个过程的步骤大致如图 9: 图 9 连续模式下快照创建步骤 122

125 H3C 存储的典型特性 周期模式下的快照 这个模式下涉及的状态相对较多, 我用图来说明, 如图 10: 图 10 周期模式下快照创建步骤 整个过程的复杂在于 : 1. 创建快照前有一个同步过程 : 而在连续模式下, 创建快照前是已经自动同步完成的 2. 由于有这个同步过程,DiskSafe 增加了一个可选项 : 在同步前是否在 mirror disk 上创建一个临时 TimeMark, 这个 TimeMark 是用来防止同步失败而导致 mirror disk 不可恢复的, 作用和 replication 中目的端创建的临时 TimeMark 类似 3. 由于创建快照前会先去同步, 同步的时间可能会比较长 ( 特别在用户使用远程租用线路时 ), 因此增加了 cancel 的功能, 再次增加了复杂度 配置 SnapShot Agent 时的处理 先澄清一个不少人存有的误区 : DiskSafe 触发 SnapShot Agent 是对 IX1000 上的 mirror disk 出发, 即 mirror disk 创建 TimeMark 的时候会由 mirror disk 发出一个快照通知 这是错误的! 事实上在 IX1000 上看 mirror disk 的 启用快照通知 这个框是关掉的 那快照通知是怎么发的? 我们先来看一下, 如果 DiskSafe 配置时选择了触发 Snapshot Agent, 那么创建快照并触发 Snapshot Agent 的流程, 如图 11: 123

126 网络之路 Route to Network 图 11 启用 SnapShot Agent 以后的快照创建步骤 可以看到 IX1000 上的 mirror disk 压根就和 SnapShot Agent 没什么关系, 是由 DiskSafe 触发 SnapShot Agent 的 形象一点说是 DiskSafe 对数据库说了一句 我要做快照了, 你先把缓存中的数据都给我放到本地的数据盘里面, 然后数据库刷刷刷把缓存刷进来了并且汇报给了 DiskSafe,DiskSafe 在收到满意的答复后自己才开始同步, 然后创建快照 六 典型应用 下面简单介绍 2 种 DiskSafe 的典型应用 更多的应用介绍可以详见本刊专门的应用案例 124

127 H3C 存储的典型特性 案例 1:DiskSafe+ 复制 (Replication) 此应用的组网图如图 12 所示 : 图 12 DiskSafe+ 复制组网图创建步骤 其中 : 1. 主机 Windows A 与存储服务器 NeoStor A 在同一个子网内, 通过 DiskSafe 把主机 Windows A 中的本地数据保护到 NeoStor A 中 2.NeoStor A 和 NeoStor B 分别位于 2 个城市,2 台存储服务器之间通过广域网进行复制, 在 NeoStor B 上对 NeoStor A 上的进行磁盘做一个 Replication 通过这样的保护, 可以在对主机 Windows A 有一近一远两份保护, 即使 Windows A 和 NeoStor A 中的数据同时丢失, 还是可以在 NeoStor B 端, 通过 RecoveryCD 或者 HBA 卡启动恢复在 B 端恢复数据, 甚至可以在 A 端用另外一台主机通过 HBA 卡远程连接 NeoStor B 上的镜像磁盘启动, 立即使用, 并且可以在使用的同时恢复到本地硬盘上 125

128 网络之路 Route to Network 此应用的组网图如图 13 所示 : 案例 2:MSCS 集群环境下使用 DiskSafe 图 13 MSCS 集群环境下使用 DiskSafe 组网图 其中 : 1. 主机 Windows A 和主机 Windows B 之间配置集群环境 2. 在存储服务器 NeoStor A 上为集群划分共享的心跳盘和共享数据盘 3. 在主机 Windows A 和主机 Windows B 上配置 DiskSafe 保护, 并已启用 DiskSafe 的集群支持功能, 使得 DiskSafe 在 NeoStor B 上建立镜像磁盘用来保护共享数据盘 由于配置了 DiskSafe 的集群支持功能, 当 MSCS 集群发生主备切换时, 对共享数据盘的保护也会随之迁移到新的主机上继续进行保护或快照创建等策略 126

129 H3C 存储的典型特性 H3C 虚拟磁带库产品 DL1000 介绍 文 / 卿翊轩 一 DL1000 产品介绍 概述 Neocean DL1000( 以下简称 DL1000) 是 H3C 公司推出的全新 VTL 产品, 是 H3C 公司 Neocean 自适应网络存储架构 的重要组成部分 DL1000 利用虚拟磁带库技术, 把物理磁盘仿真为真实的物理磁带库 / 磁带机, 从而在无需更换现有的磁带备份软件的基础上, 提高介质的访问速度 可靠性及可用性, 为用户提供了高性价比的网络存储解决方案 基于内置的 NeoVTL 软件,DL1000 还提供了丰富的存储特性 DL1000 可实现虚拟磁带和物理磁带之间数据的导入 / 导出 以及自动归档, 还可对导出的数据进行加密, 以预防未经认证访问物理磁带上的数据, 对可能发生的数据丢失的情况 ( 如磁带的丢失或错放等 ) 提供保护 ; 同时,DL1000 还支持把虚拟磁带的数据远程复制到远端的数据中心, 进行进一步的数据保护 基于 Web 启动的 GUI, 支持多台 DL1000 的集中管理, 支持远程管理, 其人性化的设计使得系统更易于管理 产品特性 DL1000 通过将磁盘仿真为行业标准的物理磁带库, 从而提高使用现有第三方备份软件的备份性能和可靠性 由于虚拟磁带本身是基于磁盘技术上的, 所以它可以提供更高的数据备份和恢复速度 因为 DL1000 使用了磁盘来备份数据, 所以它消除了那些可能发生在物理磁带机和磁带库上的物理磁带介质损坏和机械故障 同时, 由于 DL1000 模拟的磁带机可以超过物理磁带库所支持的最大磁带机数, 所以它能支持更多并行的备份数据流, 使得客户可以在更短的备份窗口中来完成他们的备份工作 由于客户环境可能已经有物理磁带库用于保护数据, 那些在物理磁带中的数据也可以被 127

130 网络之路 Route to Network 导入到 DL1000 的虚拟磁带中 假如你需要去从一个物理磁带中来恢复文件时, 可以用 DL1000 来访问那些物理磁带从而实现即时恢复 假如要对虚拟磁带中的数据作额外保护, 可以将其中的数据导出到物理磁带做长时间的归档保护 根据以上的应用分析,DL1000 的产品特性分为以下三个部分 : DL1000 和备份服务器这部分特性是 DL1000 的基本特性, 也是核心特性, 即 NeoVTL 引擎把虚拟磁带库仿真为物理磁带库提供给备份服务器使用 仿真物理磁带库如图 1 所示, 通过 NeoVTL 引擎,DL1000 可以把磁带读写命令和磁盘读写命令进行转化, 从而把物理磁盘虚拟为各个厂家的物理磁带库 / 物理磁带机 以及各种介质类型的物理磁带 (DL1000 可仿真的物理磁带库 / 物理磁带机请参考 Neocean DL1000 V100R001 支持的虚拟磁带库和磁带机列表 ) 备份服务器可通过 iscsi 协议或者 FC 协议访问 DL1000 中的资源 而 DL1000 所提供的虚拟磁带库在备份服务器看来, 和真实的物理磁带库没有任何区别, 但是磁带的加载速度图 1 DL1000 仿真的物理磁带库大大提高 ( 初始化时间只有 6 秒左右, 可以忽略不计, 而普通带库需要 1 到 5 分钟 ) DL1000 可仿真出比真实的物理磁带库所支持的磁带机数目更多的磁带机 ( 比如,STK L20 物理磁带库最多支持 2 个磁带机,20 盘物理磁带, 而 DL1000 则可以仿真出多于 2 个且不同厂商的磁带机 ), 这样, 可并行进行更多的备份 / 恢复作业, 提高系统的并发性能 对于虚拟磁带来说, 最重要的特点之一就是支持自动扩容, 即可预定义虚拟磁带的初始容量 增量以及最大容量 当虚拟磁带的使用容量超过初始容量时, 磁带会自动按照增量进行扩容, 直到达到磁带的最大容量 这样可大大简化系统的管理, 避免 Out of Space 错误, 同时, 提高磁盘存储空间图 2 DL1000 实现数据压缩的利用率 数据压缩 128

131 H3C 存储的典型特性 DL1000 的压缩功能通过压缩文件来节省磁盘空间, 这样在虚拟磁带中就可以存放更多的数据 假如使用压缩比率 2:1 的方式来备份数据, 在虚拟磁带上可存放两倍于原磁带大小的数据 如图 2 所示 但是具体的压缩比率和待备份数据相关, 根据不同的数据种类而不同 比如, 对于某些特殊文件类型 (ZIP PDF GIF RAR ), 因为已经被压缩过了, 所以就不能再被进一步压缩 DL1000 目前的版本仅支持软件压缩方式, 通过标准的 LZO 压缩算法来实现 DL1000 和物理磁带库这部分特性主要适用于客户已有物理磁带库的环境, 通过下面这些特性, 可实现物理磁带的数据导入到虚拟磁带, 或者手动 / 自动把虚拟磁带的数据导出到物理磁带, 实现数据到物理磁带库的真实归档 如图 3 所示 : 图 3 DL1000 和物理磁带库的应用 导入数据到虚拟磁带 (Import) 从物理磁带导入数据到虚拟磁带的操作需要手动执行,DL1000 提供了三种导入数据的模式 : 复制 (copy) 模式将物理磁带上的所有内容拷贝到虚拟磁带上, 物理磁带的数据保持不变 直接访问 (Direct Access) 模式即为物理磁带创建一个虚拟副本, 并把物理磁带链接到虚拟副本上, 因此虚拟副本仅仅作为一个链接, 而不占用实际的存储空间 这样将允许备份软件直接访问磁带中的数据, 无需等待完整拷贝结束, 即为备份软件提供一种快速读取物理磁带库数据的手段 当仅需要从物理磁带中恢复少量数据时, 这种模式就非常有用 直接访问的磁带是写保护的 因此, 仅仅可以从磁带中读取数据, 而不能写入数据 129

132 网络之路 Route to Network 再循环 (Recycle) 模式再循环模式下, 对于已设置保留时间的物理磁带, 当该时间到达以后,DL1000 再循环利用该物理磁带的空间 使用再循环模式导入一盒磁带时,DL1000 只导入部分数据, 就可以查看磁带上的数据以决定是否要再循环使用该磁带 导出数据到物理磁带 (Export) 这里的导出操作是指手动把数据从虚拟磁带导出到物理磁带,DL1000 提供了两种导出数据的模式 : 复制 (copy) 模式和导入操作的复制模式类似, 即把虚拟磁带中的数据复制到物理副本上, 在数据传输完成之后仍然保留原有的虚拟磁带 移除 (Move) 模式把虚拟磁带中的数据复制到其物理副本上, 然后从系统中删除掉虚拟磁带 假如需要在删除该虚拟磁带之前, 保留虚拟磁带的数据一段时间, 可以进行相应的设置 自动归档 (Auto Archive) 一旦针对虚拟磁带启用了自动归档, 当使用备份软件或其他工具在执行了一次备份任务以后 eject 虚拟磁带时, 虚拟磁带会自动执行导出操作, 把本次备份的数据导出到物理磁带 针对自动归档, 也可以设置使用复制模式或者移除模式 因为虚拟磁带指定自动归档时, 将根据虚拟磁带的 Barcode 信息在物理磁带库中寻找对应的磁带, 为了保证导出时虚拟磁带能够自动找到相应的物理磁带, 必须要确保物理磁带的 Barcode 和虚拟磁带的完全相同 自动磁带缓冲 (Automated Tape Caching) 自动磁带缓冲功能不同于上面章节提到的导入 / 导出 该功能把虚拟磁带作为物理磁带库的缓存, 为备份软件提供数据的透明访问方式, 即在备份软件看来, 虚拟磁带和物理磁带是一个整体, 备份软件不用关心数据是在物理磁带还是虚拟磁带上 启用自动磁带缓冲功能时,DL1000 将根据物理磁带库的实际配置来创建虚拟磁带, 保证虚拟磁带和物理磁带的数量 容量 Barcode 等信息完全一致, 因此, 管理员可以延用已有的 License 以及备份配置, 不需要做任何改动 自动磁带缓冲功能提供了灵活的策略迁移虚拟磁带上的数据 : 基于时间的触发条件 : 每天某个时刻 或者每周具体哪天的某个时刻开始迁移数据 ; 基于策略的触发条件 :(1) Age Based Day(s) 定义了数据在虚拟磁带上的保留时间, 该值满足时开始迁移数据 ;(2) Disk Capacity Based 定义了虚拟磁带容量的阈值, 当使用百分比达到配置的值时开始迁移数据 ;(3) End of Backup 定义了每次备份完成时开始迁移数据 ; 管理员可根据不用的应用灵活设置数据的迁移策略, 当策略满足时, 系统自动进行数据迁移 需要注意的是, 自动磁带缓冲的功能是单向的, 所以主要用于将新的数据备份到新的物理磁带, 而不是用于将包含数据的物理磁带恢复到应用服务器时的 Cache 安全磁带传输一旦数据被归档到真实的物理磁带库, 即数据从虚拟磁带中导出到物理磁带中, 必须要 130

133 H3C 存储的典型特性 考虑数据的机密性和安全性, 以防止磁带丢失或者未经授权访问物理磁带库带来的威胁 D L 提供了虚拟磁带的加密功能, 即安全磁带传输选项, 使用业界标准的 A E S (Advanced Encryption Standard) 加密算法加密数据, 然后再把加密过的数据导出到物理磁带库中, 大大提高了备份系统的安全性 如图 4 所示 : 利用安全磁带传输功能, 可以创建用于加密数据的一个或多个密钥, 在导出数据到物理磁带时做加密操作, 从物理磁带导入到虚拟磁带时做解密操作 假如没有使用正确的密钥做解密, 已导出到物理磁带中的数据是无法被读取的 图 4 DL1000 支持安全磁带传输为进一步提高安全性, 为每个密钥配置了密码, 只有提高了这个密码才可以修改密钥名称, 编辑密钥或者删除 / 导出密钥 DL1000 和 DL1000 这部分特性主要的目的是实现两台 DL1000 之间的互通, 从而实现多点数据的几种备份, 进行进一步的数据保护 考虑到数据复制的过程都是基于 IP 网络的, 因此可方便地实现磁带的异地搬运, 从而避免了人力 物力成本, 并降低了搬运过程中磁带丢失的风险 结合用于复制的加密特性, 还可以保证整个复制的过程具有端到端的安全性 如图 5 所示 远程拷贝 (Remote Copy) 远程拷贝是指手动把一盒虚拟磁带的数据复制到另外一台 DL1000 中, 拷贝完成后, 本地和远程的虚拟磁带之间不再有任何关系 因此, 远程拷贝需要手动触发, 且每次都拷贝源虚拟磁带中所有的数据, 而不是简单的附加 自动复制 (Auto Replication) 如果针对特定的磁带启用了自动复制, 当使用备份软件或其他工具在执行了一次备份任务以后 eject 虚拟磁带时, 系统自动触发把本次写入虚拟磁带的数据复制到另一台 DL1000 设备中 每一次复制的同步都由系统自动触发, 管理员仅需完成简单的预配置 131

134 网络之路 Route to Network 类似于自动归档功能, 针对自动复制, 也可以设置使用复制模式或者移除模式 基于 IP 的复制 (Replication) 基于 IP 的复制功能是指把虚拟磁带中的数据通过 IP 网络复制到本台 DL1000 或者另外一台 DL1000 中, 即通过维护一份当前虚拟磁带的副本的方式来保护虚拟磁带中的数据 管理员可灵活设置复制的触发策略, 包括 : 阈值触发 : 当虚拟磁带上新数据的大小达到定义的阀值时, 磁带一旦从磁带机中取出, 将自动触发数据同步, 把新数据复制到目标服务器 ; 时间周期触发 : 即定义复制的初始时间以及时间间隔 当指定的时间间隔满足时, 如果磁带未被使用, 改变的数据就会从源虚拟磁带 (Primary Tape) 上传输到目标 DL1000 系统 图 5 DL1000 实现数据保护的副本磁带 (Replica Tape) 中, 以保证它们之间的数据同步 目标 DL1000 系统通常位于远端, 在通常操作情况下, 备份服务器无法访问副本磁带 当灾难发生时, 系统管理员可以提升副本磁带, 这样备份服务器就可以直接访问其中的数据了 除此之外,DL1000 还支持在复制的过程中对复制的数据进行加密和压缩 在开始数据传输之前, 两台 DL1000 进行密钥协商, 源 DL1000 对将要传输的数据进行加密 压缩, 目标 DL1000 在接收数据的同时进行反向的解密 解压缩 这样就保证了在广域网上进行数据传输, 复制过程的安全性 ; 同时, 也使得网络带宽的利用率最大化 132

135 测试方法 测试方法 Test Methods 133

136 网络之路 Route to Network IOMETER 与性能测试 文 / 张期莲 一 测试方法概述 性能指标简介 目前与存储性能指标较多, 而我们比较关注和用户熟悉并关心的指标如下 : 每秒 IO 数 ( IOPS) 每秒钟存储可服务多少个 IO 请求, 对于特定的块大小,IO 的响应时间越短,IOPS 的值就越大 带宽流量 吞吐量用 MB/s 表示 NAS 的性能指标 OPS(Operations per Second) 每秒可响应的并发请求数, 是并发能力的指标 ORT(Overall Response Time) 每个请求的平均反应时间, 单位是毫秒 OLTP 由事务处理性能委员会 (TPC) 组织的 TPC-C 测试模拟一个完全的计算环境, 许多用户对一个数据库执行事务 该基准专注于一个订单处理环境的主要活动, 一般用在数据库系统的 OLTP 数值测试 对一个存储系统来说, 吞吐量大,IOPS 高, 是追求的目标, 带宽与 IOPS 的关系是 : 带宽 = 块大小 x IOPS 134

137 测试方法 带宽与 IOPS 也是矛盾的, 块大小增大时, 带宽增大, 但 IOPS 减小 ; 顺序读写与随机读写性能反映了存储性能的不同方面, 顺序读写性能反映了存储的吞吐能力, 一般用大数据块访问的 MB/s 来衡量, 关注的是带宽 ; 随机 IO 性能表示存储对请求反应的快慢, 关注的是反应时间, 用 IOPS 来衡量 其他的性能指标, 目前我们只是作为辅助参考, 测试中不做太多考虑 平均响应时间 : 从 IO 请求到得到结果所用时间 并发用户数 : 同时能为多少客户提供服务 稳定性 : 可有效稳定运行 健状性 : 稳定性正常运行多长时间, 容错能力 持续性能 : 长时间持续的性能指标, 数据是从磁盘读出或写入磁盘的, 最能体现存储系统的真实性能 突发性能 : 也称为 cache 性能, 客户的请求是在 cache 中完成的, 对突发访问有意义 TPC: 事务处理性能委员会 (TPC) 是一个非赢利的组织, 其宗旨是建立事务处理与数据库基准, 以及使这些基准的各种结果为业界所采用 所有的 TPC 基准围绕着事务, 通常涉及更新一个某种类型的数据库 ; 这使 TPC 基准成为测试包括存储在内的整个环境的理想选择 TPC 并不是一个性能测试工具, 但它为性能测试的结果的比较提供了标准 TPC 已定义了以下几种不同的基准 : TPC-App, 一个应用服务器和 WEB 服务基准 负荷应用于一个受管理的环境, 模拟一个 24X7 运行的 B-to-B 事务应用服务器的活动 TPC-H 一个决策支持基准 由一套面向商业的特别查询与并发数据更新组成 TPC-R, 一个决策支持基准, 类似于 TPC-H, 但是允许基于对查询的高级知识的额外的优化 TPC-W, 一个事务 WEB 基准 负荷应用于一个受控的 Internet 商务环境, 模拟商务导向的 WEB 服务器的活动在本手册中, 主要描述 IOPS 与带宽性能, 以及 NAS 的两项 OPS 和 ORT 性能指标 测试仪器和工具介绍 IOmeter IOmeter 是一个 IO 子系统测量与特性描述工具, 可用于独立或群集系统 可在 Windows, Linux,Unix 等多种平台上运行 最早由 Intel 于 1998 年开发, 后放弃支持而移交给开源开发实验室继续工作 IOmeter 是一个非常强大与复杂的工具, 它提供负荷产生器与测量工具, 负荷产生器进行对系统压力的操作, 测量工具检测并记录其 IO 操作的性能, 以及对系统造成的影响 通过配置,IOmeter 可以模拟任何程序或基准的磁盘或网络 IO 负载 它能够产生并测量系统的负载 IOmeter 可用于测量与描述 : 135

138 网络之路 Route to Network 磁盘与网络控制器的性能 总线的带宽与延迟 网络吞吐到连接的驱动器 共享总线性能 系统级硬盘性能 系统级网络性能注意 :IOmeter 测试出的数值会比实际应用时高些, 可做为市场宣传数据时测试使用 ; 一般来说, 读的数值往往比实际数值高出 10%~20% IOzone IOzone 是一个文件系统基准工具, 它产生与测量各种各样的文件操作, 用于对一种平台进行广泛的文件系统分析 该基准测试多种操作的文件 IO 性能 : 读 写 重读 重写 向后读 大步读 文件读 文件写 随机读 pread mmap 异步读 异步写 由于 IOzone 主要是关注于文件系统性能, 在测试存储解决方案时要小心, 因为主机的配置对文件系统的行为有巨大影响 IOzone 可在这些平台上运行 :Aix, FreeBSD, HP-UX,IRIX, Linux, Solaris, Windows 等 Bonnie Bonnie++ 是一个可对硬盘与文件系统简单测试的一套基准包 它提供的测试, 产生文件系统活动, 用于观察在 IO 强烈的应用中的瓶颈 Bonnie 测试随机与顺序 IO, 文件与目录创建 只能用在 Unix/Linux 系统中 dd dd 是 Unix 或 Linux 系统自带的备份与恢复工具, 用于测试磁盘系统的 buffered 性能也是不错的, 可以用于裸盘, 可以指定块大小以及块的数量 dd 只能测顺序访问性能, 在进行顺序写时,dd 的测试结果比 IOmeter 的好 一般测试时使用的块越大, 性能也越好 拷贝 (Copy) 也是最常用的测试方法, 但拷贝没有任何可调整的参数, 只能拷贝整个文件, 也不能测试裸盘, 可用于简单的测试 SANergy SANergy 是一个由 IBM Tivoli 提供的用于 SAN 共享的软件, 可运行于 Unix, Linux 和 Windows 系统 用于存储性能测试的部分只是其中的一个小工具, 功能相当简单, 只能测顺序 IO, 可对存储进行简单的测试 SPEC SFS 是一个测试 NFS 文件服务器的 NAS 性能指标 OPS 和 ORT 的标准工具, 它提供了国际标准的测试工具 SFS3.0( 目前最新版本 ) 和测试过程, 目前我司已经购买了一套, 可以作为 NAS 产品性能测试的标准工具 136

139 测试方法 测试工具比较 dd 只能测顺序访问性能, 其测试时运行一般单线程运行, 测试数据量一般要求在主机内存 2 倍以上才可以屏蔽内存的 cache 影响, 其测试结果为 buffered 顺序读写结果, 对于测试顺序读写性能数值较为准确 ; IOmeter 测试出的数值会比实际应用时高些, 可做为市场宣传数据时测试使用 ; 一般来说, 读的数值往往比实际数值高出 10%~20% 总的来说,copy 拷贝的读测试数据偏小, 尤其是 IP 存储在 Windows 下的拷贝读性相当低, 原因是 Windows 拷贝程序是单线程的, 而且使用 64K 块大小, 不能充分发挥 IP 存储的性能 因此拷贝作为存储性能测试工具使用时, 注意其局限性 IOmeter,dd, cp 的测试结果有所差别, 但没有数量级的差别, 具有一定的可比性 对 IOmeter 中的设置项,# of outstanding i/o, 在 Redhat AS4.2 上, 得到的数据没有差别 在 Windows 上这个参数有明显作用, 高的 # of outstanding i/o 设置比 1 有很大差别, 有时能高 1 倍以上 使用两个 dd 同时读或写时, 比用一个 dd 的值高 5-6%, 再增加 dd 个数, 测量值的增加呈递减, 高于 6 个时性能已不再增加, 更多时, 如曾在多于 10 个 dd 实例同时运行时, 测得性能下降 也可能使用多个 copy 拷贝测试同时进行, 以提高总的带宽 SANergy 往往应用于视频及非线编应用场合, 其测试结果与拷贝的接近 为达到最大的 IO 性能, 测试时可起多个 SANergy 进程 IOZone 既可以测试顺序读写, 也可以测试随机读写, 不过一般应用在随机读写测试上, 可以生成 excel 文件结果, 此工具必须要文件系统支持, 不能在裸盘上运行 RAID 阵列划分原则 阵列磁盘数目多少, 一般以 8 块磁盘以上的阵列性能为较佳 ( 如 R A I D 5, RAID10), 但数目大于 8 块以后, 数目越多, 性能虽然有提高, 但幅度提升不大 1 个磁盘最好只属于某个磁盘阵列, 如果属于多个阵列, 则会造成存储整体性能下降 ( 因为多个阵列同时读写时, 磁盘磁头会来回摆动, 随机读写程度增多 ) 将每个阵列的所有磁盘平均分布在多个 RAID 控制器上, 这样能尽可能提高阵列性能 ;( 以 IX1000 举例说明, 如包含 8 个磁盘的阵列, 可以选择编号为 00-03, 的磁盘, 包含 4 个磁盘的阵列, 可以选择编号 00-01, 的磁盘 ) RAID10 阵列在数据顺序写及随机写方面都比 RAID5 阵列要好, 而在数据顺序写和随机读方面 RAID5 和 RAID10 两者相差不大 一般对于数据库应用, 建议采用 RAID10 阵列 137

140 网络之路 Route to Network 二 IP SAN 带宽及 IOPS 性能测试 测试情况分类 1.RAID 控制器 cache 打开, 磁盘 cache 打开 ( 提供最大性能参考 ) 2.RAID 控制器 cache 关闭, 磁盘 cache 关闭 ( 保证数据实时写入磁盘 ) 3.RAID 控制器 cache 关闭, 磁盘 cache 打开 ( 保证数据完全写入磁盘, 系统需 UPS 支持 ) 4.RAID 控制器 cache 打开, 磁盘 cache 打开, 在磁盘阵列进行重建时 ( 模拟 RAID5/RAID10 在阵列重建时, 性能参考值 ) 测试组网图 组网原则 1. 主机个数与应用有关, 建议采用相同类型的 1,2,4 个主机分别进行测试, 这样可以在相同主机数的情况下进行多个产品间的性能比较 ; 2. 每次测试读写数据量大小, 要求在主机内存或主机 cache( 两者取最大值 ) 的 2 倍以上 ; 3. 根据应用不同后端磁盘阵列划分一个或多个存储 RAID 阵列, 每个存储 RAID 阵列分配一个 SAN 资源 ( 提供整体测试最大性能 ), 每个主机端通过 iscsi 连接挂载一个 SAN 磁盘 ; 测试工具使用 Iometer 版本 ( 适用于 Windows/Linux) 用法 : 1.SAN 磁盘采用裸磁盘和带文件系统的磁盘两种情况 ; 2. 每个主机设置 1 个 manager( 模拟 1 客户端 ),1 个 worker, 读写块大小为 2K 4K 8K 16K 64K 128K 256K 512K 1MB,2MB, 分 100% 顺序读 100% 顺序写 100% 随机读, 100% 随机写 4 种情况. 每个脚本选择所有的 SAN 磁盘, 运行 15 分种 ; 3. 控制端参数 : Max Disk Size 选择 SAN 磁盘容量的 80% 比如 100GB 的 SAN 磁盘, 填写 80GB 容量数据 : (windows 按 512B 的扇区大小 ), 注意 :Linux 一般以 4k 为块大小, 这时按上面设置值是 # of Outstanding I/Os 设为

141 测试方法 dd( 适用于 Unix/Linux 系统 ) 用法 : 1.SAN 磁盘采用裸磁盘和带文件系统的磁盘两种情况 2. 读写块大小为 2K 4K 8K 16K 64K 128K 256K 512K 1MB 2MB 3.SAN 磁盘采用裸设备的测试方法, 这里假设裸设备文件描述符为 /dev/sdb (UNIX 系统类似 ) 比如, 当前测试情况为块大小为 16k, 测试数据量为 10GB, 测试用例如下 : 读 :time p if=/dev/sdb of=/dev/null bs=16k count=640k 写 :time p if=/dev/zero of=/dev/sdb bs=16k count=640k 4.SAN 磁盘格式化成文件系统的测试方法, 这里假设 SAN 被格式化后的挂载点为 /mnt/ h3cdisk, 必须先测试写, 这样存储资源上有写入的数据, 可作为源数据测试读性能 ; 而且测试完写性能后, 必须重启主机, 清除主机 OS Cache 后, 再测试读性能 比如, 当前测试情况为块大小为 16k, 测试数据量为 10GB, 测试用例如下 : 写 :time p if=/dev/zero of=/mnt/h3cdisk/cccc1 bs=16k count=640k 主机重启后, 测试读性能 : 读 :time p if=/mnt/h3cdisk/cccc1 of=/dev/null bs=16k count=640k 5. 对于裸设备和文件系统,dd 都要进行测试 ; 对于 Linux, 请分别选择 Redhat AS4.4 和 Suse SLES10 (2.6 内核,x86_64 架构 ) 的 2 个 Linux OS 进行, 此时文件系统请选择可靠性较好的 ext3 和 XFS 进行 对于 Unix, 则选择其标准的文件系统进行即可 IOzone( 适用于 Unix/Linux) IOzone 是一个文件系统的 benchmark 工具, 可以测试不同的操作系统中文件系统的读写性能 可以测试 Read, write, re-read, re-write, read backwards, read strided, fread, fwrite, random read, random write, pread,mmap, aio_read, aio_write 等等不同的模式下的硬盘的性能 但目前我们存储只关注 read, write, re-read, re-write,random read, random write 这几项指标 对于 Linux, 请分别选择 Redhat AS4.4 和 Suse SLES10(2.6 内核,x86_64 架构 ) 的 2 个 Linux OS 进行, 此时文件系统请选择可靠性较好的 ext3 和 XFS 进行 对于 Unix, 则选择其标准的文件系统进行即可 用法举例如下 : 1.SAN 磁盘挂载到主机后, 必须格式化成文件系统, 并挂载到某个目录下, 如 /mnt/ h3cdisk 2. 解压 IOzone 安装包后, 编译生成 iozone 执行文件, 并拷贝到 SAN 磁盘挂载目录下, 如 : cp /opt/iozone /mnt/h3cdisk 3. 读写块大小为 2K 4K 8K 16K 64K 128K 256K 512K 1MB 2MB 139

142 网络之路 Route to Network 4. 在 SAN 挂载目录下编辑 IOzone 运行脚本, 这里假设总测试数据量为 16GB C C cd /mnt/h3cdisk vi iozone-test.sh #! /bin/bash cd /mnt/h3cdisk./iozone -i 0 -i 1 -i 2 -r 2k -s 16G -Recb /home/test/iozone-ex1000-raid5-16g-2k.xls -t 10 C./iozone -i 0 -i 1 -i 2 -r 4k -s 16G -Recb /home/test/iozone-ex1000-raid5-16g-4k.xls -t 10 C./iozone -i 0 -i 1 -i 2 -r 8k -s 16G -Recb /home/test/iozone-ex1000-raid5-16g-8k.xls -t 10 C./iozone -i 0 -i 1 -i 2 -r 1024k -s 16G -Recb /home/test/iozone-ex1000-raid5-16g-1m.xls -t 10./iozone -i 0 -i 1 -i 2 -r 2048k -s 16G -Recb /home/test/iozone-ex1000-raid5-16g-2m.xls -t 设置为可执行文件, 并执行 iozone 测试脚本, 注意 IOzone 测试时间较长, 每个块大小都要测试数个小时, 结束后可以从 /home/test 看到所有测试结果 chmod a+x /mnt/h3cdisk/iozone-test.sh /mnt/h3cdisk/iozone-test.sh 140

143 测试方法 IXIA iscsi 协议一致性测试工具介绍 文 / 周亮 一 背景知识介绍 协议一致性测试 协议一致性 (Protocol Conformance Test) 是测试系统是否符合相关的协议 标准的测试活动, 一般在项目的 SDV 阶段进行 协议一致性测试是我们通讯产品测试中最常用到的测试类型之一 为了使得各网络设备成功的进行通信, 各设备必须遵守一组共同的规则 (RFC 标准 主导厂商的内部标准等 ) 协议规定了一个网络设备在和其它网络设备进行通信时应遵守的规则集合 为了使得来自不同厂家的系统能够成功地进行通信, 必须有标准化的协议 实现者对于协议的不同理解会导致不同的协议实现, 有时甚至会是错误的实现 因此, 我们需要一种有效方法对协议实现进行判别, 这种方法便是协议一致性测试 摘自 测试研究部测试类型定义 iscsi 协议 iscsi(internet Small Computer System Interface) 协议是将 SCSI 命令封装后, 使其能在 IP 网络中传输的协议, 其正式的发布标准为 RFC3720 等 目前 IP SAN 的服务器 ( 即 Target) 和客户端 ( 即 Initiator) 设备都至少支持 RFC3720, 自由选择了其他 iscsi 相关 RFC ( 如 isns) 按照 IETF 的标准, 一款 iscsi 产品至少要符合 RFC3720, 否则是不能与其他 iscsi 产品兼容的 141

144 网络之路 Route to Network IXIA IXIA 是 IP 基础架构和服务性能测试系统的提供商 它开发了各种测试以太网协议的测试工具 我们关于的 iscsi 协议一致性测试工具属于其 anvl 套件 IXIA anvl 系列是主要测试各种以太网协议的图形化测试工具 ; 其中和 iscsi 相关的测试套为 :anvl_iscsi-initiator( 用来测试 initiator 的 iscsi 协议一致性 ) 和 anvl_iscsi-target( 用来测试 Target 的 iscsi 协议一致性 ) 本文主要是对 anvl_ iscsi -target 测试套的评测结果 二 软件功能 运行环境 操作系统软件说明能够支持 Redhat 9.0 或 WS 4 / 3 以及 Windows XP 硬件环境建议测试机器 ( 以下简称 anvl) 与被测存储设备 ( 以下简称 DUT,Device Under Test) 直连 基本参数配置 操作步骤 图 1 anvl-iscsi-target 基本参数配置 142

145 测试方法 配置 DUT 和 anvl 的相关信息, 如主机 IP DUT 名 initiator 起始端口和端口范围 target 端口号等 配置完成后可以点击保存按钮, 这样下次运行时直接读取配置文件就可以了 协议配置配置和 i S C S I 协议相关的参数, 如 I n i t i a t o r 名称, T a r g e t 名称, D i g e s t, ErrorRecovery 级别 : 图 2 anvl-iscsi-target 协议参数配置 此部分的配置较为复杂, 配置前必须非常清楚的了解 DUT 的 iscsi 参数特征, 这些都会直接影响到你的测试结果 例如 ErrorRecoveryLevel, 如果 DUT 的规格支持的 Level=0, 则 Level=1 或 2 的测试项会被自动忽略 ; 同时, 该窗口还包括一些和自动化测试相关的脚本, 比如如何重启 DUT 的命令, 这样当测试用例需要重启 DUT 时就会自动运行该脚本了, 如下图红色方框部分 : 143

146 网络之路 Route to Network 图 3 anvl-iscsi-target 自动化测试脚本 选择测试项 根据测试策略和测试需求选择适当的测试用例 ; 选择打印信息的显示级别 :High 为最 简 仅打印 PASS 或 FAILED 144

147 测试方法 图 4 anvl-iscsi-target 测试项选择 以上测试项包含了 RFC3720 协议的各个主要 PDU 类型和会话阶段 145

148 网络之路 Route to Network 运行测试项 点击运行, 观察测试结果和打印日志信息 : 对于 Failed 的测试项, 通过调整显示的日志级别来获得进一步的信息 图 5 anvl-iscsi-target 运行测试项 146

149 测试方法 汇总测试结果 所有测试用例执行完毕后, 获得汇总信息 图 6 anvl-iscsi-target 汇总测试结果 147

150 网络之路 Route to Network 三 软件试用总结 优点 在调研过程中发现这是唯一可以应用的 iscsi 方面的协议一致性测试工具 测试用例设计基本符合 RFC3720 测试结果正确并具备参考价值 测试执行可以实现自动化和无人干预 操作较为简单, 在参考用户手册学习后能够完成测试工作 缺点 无法定制报文 只能完成系统已配置好的 22 个大测试项 ( 每个大测试项包含 个测试小项的内容 ) 对于 DUT 对 Initiator 的容错性方面有部分用例, 但是不够全面 ( 如 Initiator 错误的发送了协议支持以外的某个 PDU,DUT 是否可以正确的忽略而不至于锁死 ) 总结 总的说来, 在目前情况下,IXIA ANVL 不失为在 iscsi 协议一致性测试方面的一个好的选择 希望后续公司可以开发自己的协议一致性工具, 这样也能减轻测试部在兼容性测试方面的压力 148

151 典型应用方案 典型应用方案 Typical Applications 149

152 网络之路 Route to Network 连续数据保护 解决方案 文 / 余剑声 一 方案产生的背景 随着客户应用环境越来越复杂, 客户的关键应用和关键数据受到侵害的可能性越来越大, 灾难发生的情况更加普遍, 包括病毒侵害 黑客攻击 误操作, 给客户的系统造成巨大的损失 传统的磁带备份技术备份的周期长, 恢复的时间长, 已不能满足客户对数据保护的 RPO RTO 要求 针对以上的问题, 我司利用 H3C 的产品专门制定了一套解决方案, 该方案可以对 Windows 操作系统保护和恢复, 减少服务器维护工作量, 对主机自带硬盘或者主机上挂载的其它存储资源中的数据保护和恢复 ; 对于其他操作系统, 结合我司的 IV5000 或 IX1000 系列产品也能很好的对用户的数据进行连续的保护 二 方案概述 方案组网图 150

153 典型应用方案 图 1 连续数据保护方案的典型组网 组网说明 如图 1 所示, 上方是服务器群, 对外提供数据库等其他业务, 在服务器的后端, 可部属两台 IV5000 后端挂接 EX800/EX1000/IX1000/IX5000 或 FC 存储作为在线存储设备, 这样, 服务器下挂的存储资源可以使用 IV5000 上的的 Timemark 连续数据快照选项对在线存储数据进行连续拍照, 这些过程是不影响业务的, 服务器发生软灾难时, 可以迅速的通过在在线存储资源实施快照回滚等操作来恢复数据到灾难前的任意快照时间点的状态 上面说的是生产卷也就是在线存储的情况, 对于近线存储, 备份存储采用 IX1000, 通过 IV5000/IX000 的 Remote Replication 复制选项将数据从用于在线的 IV5000 复制到本地近线的备份 IX1000 上, 之后在不影响在线存储业务的情况下, 通过备份 IX1000 上的 Timemark 连续数据快照选项对备份数据进行连续拍照, 当在线存储发生故障时可以迅速恢复数据到在线存储设备故障之前的任一快照时间点 151

154 网络之路 Route to Network 对于 Windows 服务器, 可以采用部署一台 IX1000 作为近线备份存储设备, 无论 Windows 服务器后端挂接何种在线存储设备 ( 本地硬盘 DAS NAS SAN 等 ), 都可以将其上的生产卷 ( 包括操作系统卷 ) 连续复制到近线备份的 IX1000 上, 当在线应用发生故障时, 可迅速恢复到故障之前的任一快照时间点 方案中后端的 IV5000 和交换机可以配置 HA 和堆叠, 并且存储端和主机端可以配置多链路, 充分确保方案的可靠性和稳定性 在组网时, 可以灵活的采用三种模式, 也可混合使用 下面针对三种引申出的方案分别进行详细的论述 三 DiskSafe 保护和恢复解决方案 DiskSafe 保护和恢复概述 DiskSafe 的原理就是通过复制本地磁盘或者分区中的数据到镜像磁盘 ( 可以是另外一块本地磁盘或者由 IV5000/IX1000 提供的远程虚拟磁盘 ) 来对 Windows 应用服务器 台式机或者笔记本电脑提供数据保护 DiskSafe 的基本定位就是为每台 Windows 客户端主机提供可靠的数 图 2 DiskSafe 方案典型组网 152

155 典型应用方案 据保护和快速的数据恢复 当操作系统崩溃或者磁盘发生故障时, 这种快速恢复功能尤为重要 DiskSafe 组网说明 如图 2 所示,windows 应用服务器对外提供 ORACLE 数据库服务, 其中数据库安装在下挂的 SAN 磁盘中, 那么这台服务器通过以太网连接到近线的存储端进行数据备份, 这里采用的备份设备可以是 IX1000/EX1000/EX800 数据的保护 首先在 windows 服务器上都安装 disksafe 软件, 并确保近线存储端有足够的空间, 并且最好启用 disksafe 的快照功能, 以便在错误发生后能够很方便的恢复到想要的时间点 如图 3 中,disksafe 正在对 ORACLE 的数据盘以及本地硬盘进行保护, 可以看到现在正在进行从 windows 到近线存储端数据同步的过程 图 3 DiskSafe 保护 ORACLE 数据盘的界面 153

156 网络之路 Route to Network 数据的恢复 图 4 DiskSafe 恢复数据的过程 对于上图的服务器, 如果本地的硬盘已经 ORACLE 的数据盘发生了错误, 我们可以首先通过 RecoveryCD 恢复本地硬盘上的数据 恢复完成本地系统之后, 再通过 disksafe 的 restore 功能把备份卷上的 ORACLE 数据直接恢复至服务器下挂的 SAN 资源中, 这样就完成了本地系统以及外部数据的恢复 当然除了 RecoveryCD 和 restore 操作,disksafe 还有回滚 加载快照等数据恢复的功能可供选择, 这里不一一列举 四 在线的连续数据的保护方案 在线连续数据保护方案概述 顾名思义, 在线的连续数据保护方案就是把我司的存储设备部属到用户的生产环境中, 可以采用两台 IV5000 后端挂接 EX800/EX1000/IX1000/IX5000 作为在线存储设备, 通过 IV

157 典型应用方案 的 Timemark 连续数据快照选项对生产数据卷进行连续拍照, 当在线生产卷发生故障时可以迅 速从同一个阵列的快照卷恢复数据到生产卷故障之前的任一快照点 ; 在线连续数据保护解决方案组网图 图 5 在线连续数据保护组网图 组网说明 通过图 5 可以看到, 用户部属了多种的服务器, 比如 IBM LINUX, 应用有 ORACLE 等, 那么可以使用我司的 IV5000 系列存储系统把后端的 FC 阵列与 IX5000 提供上来的资源进行虚拟化后统一提供给前端的服务器使用, 这样做的好处是可以异构不同厂家不同类型的存储资源, 统一管理 方便使用 不仅如此, 还可以在 IV5000 上进行连续的 TIMEMARK 操作, 用来确保当灾难发生时可以有效的恢复数据 方案中主机端和后端存储均使用多链路进行冗余,IV5000 本身也提供 failover 功能, 这样整个组网就做到了从存储端到链路到主机端的冗余 155

158 网络之路 Route to Network 数据的保护 使用 IV5000 作为生产设备时, 数据的保护过程用户可以设定策略来进行, 应用系统中不必感知它的存在, 这样就使得保护过程非常的方便和易管理, 并且不影响业务 比如 IBM 系统下挂了一个 SAN 资源作为它的 ORACLE 生产卷, 那么管理员可以对这个生产卷添加快照资源并且启用 TIMEMARK, 结合在主机端安装的快照代理软件就可以很方便的保护 ORACLE 生产卷了 数据的恢复 恢复 ORACLE 生产卷上的数据取决于管理员设定的 TIMEMARK 策略, 举个最典型的例子, 管理员设定的 TIMEMARK 策略为 1 小时进行一次, 如下图所示, 当 10:00 做了一次 TIMEMARK 之后, 如果 12:00 发生了软灾难, 那么可以很方便的将 ORACLE 的生产卷恢复到 10:00 时的状态 不仅如此, 在 IV5000 上还可以使用 TIMEVIEW TIMEMARK COPY 等操作很方便的获得想要的数据, 这里不一一论述 图 6 在线数据恢复的回滚过程 五 近线的连续数据保护方案 近线的连续数据保护方案概述 近线的连续数据保护方案是在在线方案上的引申, 二者可以合而为一, 主要的设计思想 是在线存储设备发生灾难时如何恢复的解决方案 156

159 典型应用方案 近线的连续数据保护方案组网图 图 7 近线连续数据保护方案组网图 组网说明 如图 7 所示, 近线的方案只是在在线的方案上添加了一项远程复制的功能, 近线的备份存储设备可以采用 IX1000 来完成 考虑到容灾的需要, 与在线存储设备的物理位置尽量不在一起, 可以在不同的大楼甚至是城市的不同地点 简单的说在线存储也就是把生产卷 A B C D 分别复制到备份卷 A B C D 中, 在线设备与近线设备之间可以通过以太网相连, 也可以通过光纤 专线 VPN 等多种方式连接 157

160 网络之路 Route to Network 数据的保护 在线的方式上面已经介绍了, 近线的方案中主要是把生产卷复制到近线备份存储端, 复制的方式可以设置策略, 比如 1 小时同步一次 注意 : 这里的复制除了第一次是完全复制其他的都是增量复制, 也就是说 10:00 复制了一次之后,11:00 再次复制的时候只复制生产卷上这一个小时的数据变化量 这样简化了复制的量, 节省了资源 所有这些操作都可以在 IV5000 上完成, 操作简单 数据的恢复 当在线的存储资源发生灾难时, 我们可以通过在近线的数据资源来恢复数据合业务, 最典型的例子是使用反向复制的功能把近线的数据同步到生产这一端, 这样即使是在线的服务器和存储都发生了不可恢复的硬灾难, 但是因为近线的存储上仍留有数据, 仍然可以使数据恢复, 并且复制也有 TIMEMARK 功能, 最小的间隔为 10 分钟一次, 也就是说使用近线备份上的数据最多只会丢失 10 分钟的数据 如图 8 所示, 恢复的时候可以先进行回滚操作后再反向复制给生产中心, 完成恢复 图 8 近线数据恢复 灵活采用该方案, 可替代传统的备份软件 + 磁带库模式, 可解决本地的软 硬件故障带 来的数据丢失 ; 统一管理, 维护方便, 维护成本低 158

161 典型应用方案 H3C 双机双阵列解决方案 文 / 余正华 关键词双机 双阵列 存储 业务连续性摘要本文档从 H3C 双机双阵列解决方案的开发背景 产品 ( 版本 ) 定位 技术特点 组成结构 接口参数 组网设计 与竞争对手相比的优劣势等多方面, 全面 真实 客观地说明了双机双阵列解决方案的实际情况 缩略语 缩略语 英文全名 中文解释 SAN Storage Area Network 存储区域网 iscsi Internet Small Computer System Interface Internet SCSI 协议 LAN Local Area Network 局域网 IP SAN IP Storage Area Network IP 存储区域网 SCSI Small Computer System Interface 小型计算机系统接口 159

162 网络之路 Route to Network 一 H3C 双机双阵列解决方案概述 H3C 双机双阵列解决方案市场定位 随着计算机网络的飞速发展, 企业对计算机网络的应用也越来越广, 使用计算机存储数据也使企业工作变得更加方便 高效 在计算机网络对企业日益重要的今天, 一旦业务连续性发生问题, 企业工作无法正常开展, 造成的损失对于企业来说将是无法估量的, 如何保证业务连续性已经成为越来越重要的话题 H3C 双机双阵列解决方案是华三通信公司针对目前部分企业数据中心建设现状和投资现状而推出的, 目的是帮助客户实现网络 存储等的高可用, 保证业务的连续性 本方案可广泛应用于政府 教育 大中型企业 公安 电力 民航 国土 保险 交通 税务等行业的数据存储, 为企业数据存储提供投资更低 结构更灵活 维护成本更低 可靠性更高的数据存储解决方案 H3C 双机双阵列解决方案与华三通信公司的其它解决方案, 如安全等, 一起构建端到端高性能高可用的数据存储解决方案 方案业务功能简介 H3C 双机双阵列解决方案使用存储虚拟化设备 IV5000 故障保护 IV5000 同步镜像功能 链路冗余 主机 HA 和交换机冗余等功能, 使业务系统全冗余, 实现全容错的目的 方案主要亮点和优势 H3C 双机双阵列解决方案使用全容错设计架构, 使系统无单点故障, 保障业务系统的高可用 方案中存储设备 交换机 业务路径和主机服务器实现全冗余, 方案中的任一环节发生故障, 其冗余部件都可进行透明无缝切换, 确保业务的连续性 同时, 在实现相同功能的前提下, 该方案拥有较大的成本优势 二 方案组网和业务能力介绍 H3C 双机双阵列解决方案组网 组网方式一 : 双机双阵列本地存储解决方案简单组网 160

163 典型应用方案 图 1 双机双阵列本地存储解决方案简单组网 组网说明 : 交换机 EX1000 IV5000 和主机均放在本地 后端交换机共有 2 台, 分别在两台交换机上划分 Vlan, 每台交换机划分成 2 个 Vlan, 分别为 vlan1 和 vlan2 Vlan1 用来连接双机服务器和 IV5000, Vlan2 用来连接 EX1000 和 IV5000 两台 EX1000 分别做如下配置 : 网口两两聚合成主备方式, 聚合成功后, 将一个聚合网口的两个网口分别连接到两台后端交换机的 vlan2 上 两台后端交换机之间使用至少 2 根网线连接, 并分别在两台后端交换机上对这 2 根网线做聚合和 Trunking 两台 IV5000 分别做如下配置 : 网口两两聚合成主备方式, 聚合成功后, 将一个聚合网口的两个网口分别连接到两台后端交换机 vlan1 上 ; 将另一个聚合网口的两个网口分别连接到两台后端交换机 vlan2 上 前端主机做成双机热备, 每台主机网卡实现多路径并分别连接到前端网络上 组网方式二 : 双机双阵列异地存储解决方案简单组网 161

164 网络之路 Route to Network 组网说明 : 图 2 双机双阵列异地存储解决方案简单组网 交换机 EX1000 IV5000 和服务器平均分配在本地和异地 例为镜像的两台 EX1000, 本地放置一台, 异地放置一台 交换机共有四台, 分别在各交换机上划分 Vlan, 每台交换机划分成 2 个 Vlan, 一个 Vlan 用来连接主机和 IV5000, 另外一个 Vlan 用来连接 EX1000 和 IV5000 四台交换机之间通过网线或以太网两两连接成一个环 例如四个交换机分别为 A B C D,A 和 B 连接,B 和 C 连接,C 和 D 连接,D 和 A 连接 为了避免交换机形成环路, 需 enable 各交换机连接的端口的 stp 服务 同时, 为了避免交换机 stp 对应用网络产生影响, 需要 disable 交换机上其他端口的 stp 服务 其他配置和双机双阵列本地解决方案组网相同或基本相同, 具体参见图 1 在当今信息时代, 业务量呈爆炸式增长, 企业对业务的连续性要求越来越高, 传统的解决方案越来越不能满足企业 7 24 小时的业务连续性需要, 企业迫切需要一种易维护 易扩展 高可用的解决方案来改变企业目前面临的困境 H3C 双机双阵列解决方案中, 后端存储端利用多路径功能 同步镜像功能和故障保护功能, 将后端存储打造成链路冗余 交换机冗余 存储设备冗余 存储数据冗余的全冗余容错架构, 一旦其中的任一环节出现故障, 冗余设备均会根据情况自动 透明的进行切换 由于切换过程的透明性, 所以不会中断现有业务, 对现有业务几乎不会造成任何的影响 整个方案中, 主机端通过双机软件实现主机的双机热备, 主机和后端存储之间也通过多路径软件分 162

165 典型应用方案 别实现主机到交换机之间链路的冗余 后端存储到前端交换机之间链路的冗余 同样, 前端交换机之间也实现了冗余 H3C 双机双阵列解决方案, 所有的环节均备有冗余, 都避免了单点故障, 保障了整个方案的高可用 主要功能原理和特点 H3C 双机双阵列解决方案主要业务功能及原理 H3C 双机双阵列解决方案, 使用 IV5000 的 Acitve-Active 故障保护功能, 一台 IV5000 故障, 另外一台 IV5000 可以实现透明无缝的业务接管 ; 使用 IV5000 的同步镜像功能, 当主机读数据时,IV5000 从本地 EX1000 读数据后发送给主机, 当主机写数据时,IV5000 收到从主机发送过来的数据后, 分别发送到本地和异地 EX1000, 使两台 EX1000 同时写数据, 一台 EX1000 故障, 另外一台 EX1000 可以实现透明无缝的业务切换 ; 使用多路径功能 (EX1000 使用 Bonding, IV5000 使用 IPTrunking, 主机不同 OS 的主机多路径实现不同, Windows 使用 MPIO Linux 使用 Bonding Solaris 使用 IPMP AIX 使用 EhterChannel HP-UX 使用 HPAPA), 实现 EX1000 IV5000 和主机的路径冗余 ; 使用主机的 HA 功能 ( 不同主机安装的 HA 软件可能不一样 ), 实现主机的冗余 ; 同时, 使用交换机聚合功能, 并将聚合链路分别连接到不同的交换机, 使交换机之间实现冗余 整个业务系统按照全容错的涉及架构, 通过各部件的冗余功能, 实现业务系统的全冗余 下面将对方案中主要部件功能原理做一个简要介绍 : (1)Active-Active 故障保护基本原理 图 3 Active-Active 故障保护 163

166 网络之路 Route to Network 正常情况下,2 台 IV5000 设备同时为各自的客户端提供服务, 并且相互监控 ; 当任一台 IV5000 故障时, 另一台 IV5000 将无缝接管故障服务器的业务 这称为 Active-Active 故障保护, 它可以避免任一台服务器故障带来的业务中断, 消除单点故障 ; 同时,2 台 IV5000 支持负载均衡, 提高整个存储系统的性能 在这种模式下, 每台 IV5000 对于自己的客户端而言都是主服务器, 对于其它客户端而言都是备用服务器 如图 3 所示, 数据磁盘是指由 IV5000 创建并管理的逻辑资源 IV5000 A 和 IV5000 B 配置成为 Active-Active 故障保护, 其中 IV5000 A 和 IV5000 B 可以同时为应用服务器 1 和应用服务器 2 提供服务, 从而提高 IV5000 的响应速度和处理能力 正常情况下,IV5000 A 和 IV5000 B 同时为应用服务器 1 和应用服务器 2 提供服务 当 IV5000 A 发生故障时,IV5000 B 可以无缝接管 IV5000 A 的业务, 为应用服务器 1 和应用服务器 2 提供服务, 避免业务中断 同时, 如果应用服务器连接设备 ( 如交换机 ) 与某台 IV5000 的连接路径中断, 或者某台 IV5000 与存储设备之间的存储路径中断, 那么故障保护功能可以使另一台 IV5000 自动进行故障保护, 保持应用服务器的业务连续性 (2) 同步镜像基本原理如图 4 所示, 当应用服务器需要写入数据时,IV5000 会将从应用程序接收的数据由一份变成两份, 并将这两份数据同时写入主磁盘和镜像磁盘, 然后等待主磁盘和镜像磁盘写入完成信号返回 主磁盘和镜像磁盘接收到数据后写入数据, 数据写入结束, 返回数据写入完成信号给 IV5000 如果 IV5000 收到主磁盘和镜像磁盘的写入完成信号后, 继续发送下一份数 图 4 同步镜像 164

167 典型应用方案 据给主磁盘和镜像磁盘 当主磁盘故障时, 主磁盘将无法返回数据写入完成信号给 IV5000, IV5000 等待一个写入超时时间后, 将认为该磁盘故障, 同时, 将数据读写切换到镜像磁盘, 保证业务的连续 当应用服务器需要读取数据时,IV5000 将从主磁盘读取数据 如果主磁盘故障,IV5000 等待一个读取超时时间后, 将认为该磁盘故障, 同时, 将数据读写切换到镜像磁盘, 保证业务的连续 (3)IPTrunking 基本原理 IPTrunking 是 IV5000 提供的功能选项, 用于解决存储设备路径故障带来的业务中断 IPTrunking 可以配置 IV5000 的多个网络适配器为一个虚拟的网络适配器, 支持路径冗余以及负载均衡 IPTrunking 在 IV5000 的多个网络路径上创建冗余数据路径, 来消除服务器和存储设备间单输入 / 输出 (I/O) 路径带来的故障点 同时,IPTrunking 可以在多条路径上实现负载均衡, 提高整个存储网络的数据访问能力和性能 IPTrunking 自动使用多个网络适配器创建一个组, 并且将这个实际上由多个物理适配器组成的组作为单个虚拟适配器 对系统和网络而言, 这个组显示为具有一个 IP 地址的单一网络接口 但是, 吞吐量会增加若干倍 ( 倍数等于组中的适配器数 ) IPTrunking 可以检测出从物理适配器到存储设备的链路上的任何故障, 并且在发生故障的情况下提供动态故障切换 IPTrunking 的一个组最多支持 6 个以太网卡 H3C 双机双阵列解决方案主要特点 (1) 高可用 H3C 双机双阵列解决方案全容错设计架构, 后端存储设备 交换机 业务路径和前端服务器的全冗余, 使方案中的任一环节发生单点故障, 其冗余部件都可进行透明无缝的切换, 实现了方案的高可靠性, 保证了业务的连续性 (2) 低成本 H3C 双机双阵列解决方案设计时, 充分利用我司各存储产品特性, 实现方案的同时也达到低成本的目的, 拥有较大的成本优势 (3) 兼容异构平台由于国际标准的 iscsi 协议的开放性, 目前各种主流操作系统平台如 Windows Linux Solaris HP-UX AIX 等均开发了兼容该协议的接口, 所以使得基于 iscsi 开发出的存储具备兼容异构平台的能力 (4) 维护方便由于整个系统采用了开放的 符合国际标准的 IP 技术实现, 技术的普及性比较高, 管理人员不需要再学习封闭的技术和标准 整个系统的管理和使用界面都是基于 JAVA 的图形向导式界面, 同时, 可以使用一体化的图形引导界面统一管理后端所有存储, 管理和使用非常简单 方便 165

168 网络之路 Route to Network 虚拟磁带库解决方案 文 / 卿翊轩 一 无缝嵌入到用户原来的备份系统 备份与恢复解决方案组网 图 1 备份与恢复解决方案组网 166