6.disk.pptx

Size: px

Start display at page:

Download "6.disk.pptx"

军邵
5 years ago
Views:

1 操作系统 Operation System 第六章 : 磁盘管理孙海龙 2017 年 5 月 4 日内容提要磁盘的历史及工作原理磁盘的组织与调度算法磁盘空间的管理 RAID 提高 I/O 速度磁盘管理实例 2 2 1

2 硬盘诞生前的外存磁带 3 3 温彻斯特盘的来历温彻斯特硬盘 IBM 把硬盘称做温彻斯特 (Winchester) 硬盘, 也称温盘温彻斯特这个名字有个小小的来历 ;IBM3340 拥有两个 30MB 的存储单元, 而当时一种很有名的温彻斯特来复枪的口径和装药也恰好包含了两个数字 30 ; 于是这种硬盘的内部代号就被定为温彻斯特 4 4 2

3 硬盘简史北京航空航天大学世界上第一块硬盘出生在195 6年当时IBM公司制造出世界上第一块硬盘350 RAMAC (Random Access Method of Accounting and Control) 其容量为5MB 盘片直径为24 英寸盘片数为50片磁盘总重量1吨盘片上有一层磁性物质被轴带着旋转磁头移动着存储数据实现了随机存取当时这种硬盘被用于银行医学等领域虽然350 RAMAC还不能称为严格意义上的硬盘但它为计算机发展史掀开了新的一页 OS教学组 55 硬盘简史 62~78年 14吋硬盘 78~80年 8吋硬盘 80~84年 5.25吋硬盘 84~89年 3.5吋硬盘北京航空航天大学 89~92年 2.5吋硬盘 92年~今 1.8吋硬盘 OS教学组 66 3

4 硬盘的机械结构 7 7 基本概念扇区 (sector) 盘片被分成许多扇形的区域磁道 (track) 盘片上以盘片中心为圆心, 不同半径的同心圆柱面 (cylinder) 硬盘中, 不同盘片相同半径的磁道所组成的圆柱每个磁盘有两个面, 每个面都有一个磁头 (head) 8 8 4

5 扇区组织及内部结构 Sector Physical Sector 0 Physical Sector 1 Physical Sector 29 Bytes ID Data ID Data Gap Field Gap Field Gap Gap Field Gap Field Gap ID Data Gap Field Gap Field Gap Synch Byte Track # Head # Sector # Bytes CRC 3 Synch Byte Data CRC Bytes/Sector 对于磁盘, 每个磁道的扇区数并不是常量绝大多数磁盘都有一些缺陷扇区, 因此映射必须用磁盘上的其他空闲扇区来替代这些缺陷扇区 9 9 具有两个环带的磁盘物理规格经过虚拟的磁盘几何规格

6 磁盘缺陷硬盘实际扇区数比硬盘标签上标定的大, 其中一部份用于存储硬盘的固件 ( 硬盘控制器使用 ); 一部分是用户存储数据的区域, 即工作区, 也就是硬盘标定容量的扇区 ; 剩下的就是保留区, 超过在固件里定义的硬盘容量的那些扇区就称为保留扇区磁盘扇区的一般结构磁盘缺陷 P 表 : 又称为永久缺陷列表, 用于记录硬盘生产过程中产生的缺陷缺陷加入 P 表后的扇区结构 G 表 :G 表又称为增长缺陷列表, 用于记录硬盘使用过程中由于磁介质性能变弱而引起的缺陷缺陷加入 G 表后的扇区结构

7 Flash Disk 随着半导体技术的发展, 半导体盘的应用越来越广泛 Flash Disk Flash 盘的两种技术 : NOR 技术是由 Intel 公司 1988 年首先推出 NAND 技术是由东芝公司 1989 年发明在数据传输速度 : NOR 无论是在随机读取还是连续传输速度上都比 NAND 快, 但相对而言, 在连续大数据传输速度上, 二者差异较小产品成本 : NOR Flash 的平均每 MB 成本是 NAND Flash 成本的三到四倍

8 Flash Disk 北京航空航天大学 OS教学组 1515 Flash Disk Flash Disk的特征是低功耗大容量数据访问速度高没有高速的机械部件可以在剧烈振动的环境中工作;零下45摄氏度到零上85摄氏度 Flash Disk执行一次数据读写的周期比硬盘短即使是较慢的NAND型Flash Memory作为存储载体的Flash Disk执行一次数据访问的周期大致为15-30μs 硬盘大约为5ms 问题容量可靠性北京航空航天大学 OS教学组

9 内容提要磁盘的历史及工作原理磁盘的组织与调度算法磁盘空间的管理 RAID 提高 I/O 速度磁盘管理实例磁盘的组织主引导扇区 (MBR) 分区表 (DPT) 分区引导扇区 (DBR) 容量及访问时间

10 主引导扇区 (MBR) 硬盘的 0 柱面 0 磁头 1 扇区称为主引导扇区 ( 也叫主引导记录 MBR), 该记录占用 512 个字节, 它用于硬盘启动时将系统控制权转给用户指定的在分区表中登记了某个操作系统分区 MBR 的内容是在硬盘分区时由分区软件 ( 如 FDISK) 写入该扇区的,MBR 不属于任何一个操作系统, 不随操作系统的不同而不同, 即使不同,MBR 也不会夹带操作系统的性质, 具有公共引导的特性 MBR 的结构 MBR( Master Boot Record ) 主引导记录包含两部分的内容, 前 446 字节为启动代码及数据 ; 之后则是分区表 (DPT), 分区表由四个分区项组成, 每个分区项数据为 16 字节, 记录了启动时需要的分区参数这 64 个字节分布在 MBR 的第字节后面紧接着两个字节 AA 和 55 被称为幻数 (Magic Number), BOIS 读取 MBR 的时候总是检查最后是不是有这两个幻数, 如果没有就被认为是一个没有被分区的硬盘

MBR (Master Boot Record) 21 21 MBR Address Hex Size (bytes) Dec Description +0x0000 +0

entry #2 Partition entry #3 Partition table (for primary partitions) +0x01EE +494 Partition

11 MBR (Master Boot Record) MBR Address Hex Size (bytes) Dec Description +0x Bootstrap code area x01BE x01CE x01DE +478 Partition entry #1 Partition entry #2 Partition entry #3 Partition table (for primary partitions) +0x01EE +494 Partition entry # x01FE h Boot +0x01FF +511 AAh signature 2 Total size:

12 MBR 由于 MBR 的限制只能有 4 个主分区, 系统必须装在主分区上面硬盘分区有三种, 主磁盘分区扩展磁盘分区逻辑分区一个硬盘主分区至少有 1 个, 最多 4 个, 扩展分区可以没有, 最多 1 个且主分区 + 扩展分区总共不能超过 4 个逻辑分区可以有若干个主分区只能有一个是激活的 (active), 其余为 inactive MBR 分出主分区后, 其余的部分可以分成扩展分区, 一般是剩下的部分全部分成扩展分区, 也可以不全分, 剩下的部分就浪费了扩展分区不能直接使用, 必须分成若干逻辑分区所有的逻辑分区都是扩展分区的一部分

13 硬盘分区表 DPT 从偏移 01BEH 开始到偏移 01FDH 结束的 64 字节硬盘分区表分为四小部分, 每一小部分表示一个分区的信息, 占 16 字节第 0 个字节是自举标志, 其值为 80H 时表示该分区是当前活动分区第 4 字节是分区类型存贮字节位内容及含义第 1 字节引导标志若值为 80H 表示活动分区, 若值为 00H 表示非活动分区本分区的起始磁头号扇区号柱面号其中 : 第字节磁头号第 2 字节 ; 扇区号第 3 字节的低 6 位 ; 柱面号为第 3 字节高 2 位 + 第 4 字节 8 位分区类型符 00H 表示该分区未用 ( 即没有指定 ); 06H FAT16 基本分区 ; 第 5 字节 0BH FAT32 基本分区 ; 05H 扩展分区 ; 07H NTFS 分区 ; 0FH (LBA 模式 ) 扩展分区 (83H 为 Linux 分区等 ) 本分区的结束磁头号扇区号柱面号其中 : 第字节磁头号第 6 字节 ; 扇区号第 7 字节的低 6 位 ; 柱面号第 7 字节的高 2 位 + 第 8 字节第字本分区之前已用了的扇区数节第 13,14,15,16 字节本分区的总扇区数

14 8.46GB 问题第 2 至第 4 字节是该分区起始地址其中第 2 字节为起始磁头号 ( 面号 ); 第 3 字节的低 6 位为起始扇区号, 高 2 位则为起始柱面号的高 2 位 ; 第 4 字节为起始柱面号的低 8 位柱面号最大值为 2^10 = 1024(0~1023) 扇区号不会超过 2^6-1 = 63(0~63) 磁头号不会超过 2^8 = 256(0~255) = 16,515,072 这个扇区之前的所有物理扇区所包含的字节数为 : 16,515, Bytes 8.46GB INT 13 服务扩展标准硬盘厂商定义了新的 INT 13 服务扩展标准以扩大可支持的硬盘容量 INT 13 服务扩展标准不再使用 OS 的寄存器传递硬盘的寻址参数, 而使用存储在 OS 内存里的地址包地址包里保存的是 64 位 LBA 地址, 如果硬盘支持 LB A 寻址, 就把低 28 位直接传递给 ATA 接口, 如果不支持, 操作系统就先把 LBA 地址转换为 CHS 地址, 再传递给 ATA 接口通过这种方式, 能实现在 ATA 总线基础上 CHS 寻址的最大容量是 GB, 而 LBA 寻址的最大容量是 137.4GB 新的硬盘传输规范 ATA 133 规范又把 28 位可用的寄存器空间提高到 48 位, 从而支持更大的硬盘

磁盘地址与块号的转换磁盘地址 (CHS):Cylinder,Head,Sector; 块号 : 又称逻辑块号 (LBA),Logic Block Address, 现代磁盘驱动器可以看做一个一维的逻辑块的数组, 逻辑块是最小的传输单位 29 29 分区引导扇区 DBR (DOS BOOT

15 磁盘地址与块号的转换磁盘地址 (CHS):Cylinder,Head,Sector; 块号 : 又称逻辑块号 (LBA),Logic Block Address, 现代磁盘驱动器可以看做一个一维的逻辑块的数组, 逻辑块是最小的传输单位分区引导扇区 DBR (DOS BOOT RECORD) 由 FORMAT 高级格式化命令写到该扇区的内容 ; DBR 是由硬盘的 MBR 装载的程序段 DBR 装入内存后, 即开始执行该引导程序段, 其主要功能是完成操作系统的自举并将控制权交给操作系统每个分区都有引导扇区, 但只有被设为活动分区的 DBR 才会被 MBR 装入内存运行

16 DBR 主要部分跳转指令, 占用 3 个字节的跳转指令将跳转至引导代码厂商标识和 DOS 版本号, 该部分总共占用 8 个字节 BPB(BIOS Parameter Block, BIOS 参数块 ) 操作系统引导程序结束标志字, 结束标志占用 2 个字节, 其值为 AA 磁盘访问时间寻道时间旋转延迟时间磁头磁头 0 扇区磁道 0 柱面 0 柱面 1 柱面 2 传输时间架 User Thread Queue [OS Paths] Controller Response Time = Queue+Disk Service Time Disk

17 寻道时间与旋转延迟时间寻道时间 : 把磁臂 ( 磁头 ) 从当前位置移动到指定磁道上所经历的时间该时间是启动磁盘的时间 s 与磁头移动 n 条磁道所花费的时间之和 Ts= m n + s, 其中 m 是一个常数旋转延迟时间 : Tr =1/(2*r) 硬盘典型的旋转速度为 3600 r/min, 每转需时 16.7 ms, 平均旋转延迟时间 Tr 为 8.3 ms 软盘旋转速度为 300 或 600 r/min, 平均 Tr 为 50~100 ms 传输时间 Tt 是指把数据从磁盘读出, 或向磁盘写入数据所经历的时间,Tt 的大小与每次所读 / 写的字节数 b, 旋转速度 r 以及磁道上的字节数 N 有关 Tt=b/(rN) 典型的 N 值为一个扇区 : 512B 旋转速度 r, 通常为 : 3600 RPM to RPM 因此, 硬盘 1 秒钟可传输的数据为 2MB~ 50MB

18 访问时间访问时间 = 寻道时间 + 旋转延迟时间 + 传输时间, 即 Ta = Ts +1/(2r)+ b/(rn) 例如, 我们假定寻道时间和旋转延迟时间平均为 30 ms, 而磁道的传输速率为 1 MB/s, 如果传输 1K 字节, 此时总的访问时间为 31 ms, 传输时间所占比例是相当地小当传输 10K 字节的数据时, 其访问时间也只是 40 ms, 即当传输的数据量增加 10 倍时, 访问时间只增加了约 30% 磁盘调度算法先来先服务算法 (FCFS), 最短寻道时间优先算法 (SSTF,Shortest Seek Time First), 扫描算法 (SCAN), 循环扫描算法 (CSCAN)

19 先来先服务算法 (FCFS) 算法思想 : 按访问请求到达的先后次序服务优点 : 简单, 公平缺点 : 效率不高, 相邻两次请求可能会造成最内到最外的柱面寻道, 使磁头反复移动, 增加了服务时间, 对机械也不利先来先服务总行程 :640 cylinders

20 最短寻道时间优先算法 (SSTF) 算法思想 : 优先选择距当前磁头最近的访问请求进行服务, 主要考虑寻道优先优点 : 改善了磁盘平均服务时间缺点 : 可能产生饥饿现象, 造成某些访问请求长期等待得不到服务最短寻道时间优先总行程 :236 cylinders

21 扫描算法 (SCAN) 电梯调度算法思想 : 当有访问请求时, 磁头按一个方向移动, 在移动过程中对遇到的访问请求进行服务, 然后判断该方向上是否还有访问请求, 如果有则继续扫描 ; 否则改变移动方向, 并为经过的访问请求服务, 如此反复优点 : 克服了最短寻道优先的缺点, 既考虑了距离, 同时又考虑了方向缺点 : 但由于是摆动式的扫描方法, 两侧磁道被访问的频率仍低于中间磁道扫描算法总行程 :206 cylinders

22 循环扫描算法 (CSCAN) 算法思想 : 按照所要访问的柱面位置的次序去选择访问者移动臂到达最后一个柱面后, 立即带动读写磁头快速返回到 0 号柱面返回时不为任何的等待访问者服务返回后可再次进行扫描由于 SCAN 算法偏向于处理那些接近最里或最外的磁道的访问请求, 所以使用改进型的 C-SCAN 算法可避免这个问题循环扫描算法总行程 :382 cylinders

23 算法比较 FCFS 算法 SSTF 算法 SCAN 算法 C-SCAN 算法优点公平简单性能比先来先服务好寻道性能较好, 可避免饥饿现象消除了对两端磁道请求的不公平缺点平均寻道距离大, 仅应用在磁盘 I/O 较少的场合不能保证平均寻道时间最短, 可能出现饥饿现象不利于远离磁头一端的访问请求 LOOK 和 C-LOOK 釆用 SCAN 算法和 C-SCAN 算法时磁头总是严格地遵循从盘面的一端到另一端, 显然, 在实际使用时还可以改进, 即磁头移动只需要到达最远端的一个请求即可返回, 不需要到达磁盘端点这种形式的 SCAN 算法和 C-SCAN 算法称为 LOOK 和 C-LOOK 调度这是因为它们在朝一个给定方向移动前会查看是否有请求注意, 若无特别说明, 也可以默认 SCAN 算法和 C-SCAN 算法为 LOOK 和 C-LOOK 调度

24 内容提要磁盘的历史及工作原理磁盘的组织与调度算法磁盘空间的管理 RAID 提高 I/O 速度磁盘管理实例磁盘空间的管理位图空闲表法空闲链表法成组链接法

25 位图用一串二进制位反映磁盘空间中分配使用情况, 每个物理块对应一位, 分配的物理块为 0, 否则为 1 申请物理块时, 可以在位示图中查找 1 的位, 返回对应的物理块号 ; 归还时, 将对应位转置为空闲表将所有空闲块记录在一个表中, 即空闲表 ; 主要记录两项内容 : 起始块号, 块数序号第一空闲盘块号空闲盘块数

26 成组链接法空闲块链表 : 把所有空闲块链成一个表, 链会很长成组链接法 : 把空白物理块分成组, 在通过指针把组与组之间链接起来, 这种管理空白块的方法称为成组链接法成组链接法的优点 : 1. 空白块号登记不占用额外空间 ; 2. 节省时间 ; 3. 采用后进先出的栈结构思想成组链接法

27 内容提要磁盘的历史及工作原理磁盘的组织与调度算法磁盘空间的管理 RAID 提高 I/O 速度磁盘管理实例 RAID 廉价冗余磁盘阵列 (Redundant Arrays of Inexpensive Disks, RAID) 1988 年美国加州大学伯克利分校的 D. A. Patterson 教授等首次在论文中提出了 RAID 概念磁盘厂商将 RAID 称为独立硬盘冗余阵列 (RAID, Redundant Array of Independent Disks) 其基本思想就是把多个相对便宜的硬盘组合起来, 成为一个硬盘阵列组, 使性能达到甚至超过一个价格昂贵容量巨大的硬盘根据选择的版本不同,RAID 比单颗硬盘有以下一个或多个方面的好处 : 增强数据集成度, 增强容错功能, 增加处理量或容量另外, 磁盘阵列对于电脑来说, 看起来就像一个单独的硬盘或逻辑存储单元

RAID RAID 这种设计思想很快被业界接纳, RAID 技术作为高性能高可靠的存储技术, 已经得到了非常广泛的应用 RAID 主要利用数据条带镜像和数据校验技术来获取高性能可靠性容错能力和扩展性, 根据运用或组合运用这三种技术的策略和架构, 可以把 RAID 分为不同的等级,

28 RAID RAID 这种设计思想很快被业界接纳, RAID 技术作为高性能高可靠的存储技术, 已经得到了非常广泛的应用 RAID 主要利用数据条带镜像和数据校验技术来获取高性能可靠性容错能力和扩展性, 根据运用或组合运用这三种技术的策略和架构, 可以把 RAID 分为不同的等级, 以满足不同数据应用的需求 RAID0 条带化 (Stripe) 存储理论上说, 有 N 个磁盘组成的 RAID0 是单个磁盘读写速度的 N 倍 RAID 0 连续以位或字节为单位分割数据, 并行读 / 写于多个磁盘上, 因此具有很高的数据传输率, 但它没有数据冗余, 因此并不能算是真正的 RAID 结构

RAID1 镜象 (Mirror) 存储它是通过磁盘数据镜像实现数据冗余, 在成对的独立磁盘上产生互为备份的数据当原始数据繁忙时, 可直接从镜像拷贝中读取数据, 因此 RAID 1 可以提高读取性能 RAID 1 是磁盘阵列中单位成本最高的, 但提供了很高的数据安全性和可用性当一个磁盘失效时, 系统可以自动切换到镜像磁盘上读写, 而不需要重组失效的数据 57 57 RAID2 海明码

29 RAID1 镜象 (Mirror) 存储它是通过磁盘数据镜像实现数据冗余, 在成对的独立磁盘上产生互为备份的数据当原始数据繁忙时, 可直接从镜像拷贝中读取数据, 因此 RAID 1 可以提高读取性能 RAID 1 是磁盘阵列中单位成本最高的, 但提供了很高的数据安全性和可用性当一个磁盘失效时, 系统可以自动切换到镜像磁盘上读写, 而不需要重组失效的数据 RAID2 海明码 (Hamming Code) 校验条带存储将数据条块化地分布于不同的硬盘上, 条块单位为位或字节, 使用海明码来提供错误检查及恢复这种编码技术需要多个磁盘存放检查及恢复信息 A0 A1 A2 A3 Ecc/Ax Ecc/Ay Ecc/Az B0 B1 B2 B3 Ecc/Bx Ecc/By Ecc/Bz C0 C1 C2 C3 D0 D1 D2 D3 Ecc/Cx Ecc/Dx Ecc/Cy Ecc/Dy Ecc/Cz Ecc/Dz 海明码长度 : 2 P P+D

30 RAID2 的特点并行存取, 各个驱动器同步工作使用海明编码来进行错误检测和纠正, 数据传输率高需要多个磁盘来存放海明校验码信息, 冗余磁盘数量与数据磁盘数量的对数成正比是一种在多磁盘易出错环境中的有效选择, 并未被广泛应用, 目前还没有商业化产品 RAID3 奇偶校验 (XOR) 条带存储, 共享校验盘, 数据条带存储单位为字节它同 RAID 2 非常类似, 都是将数据条块化分布于不同的硬盘上, 区别在于 RAID 3 使用简单的奇偶校验, 并用单块磁盘存放奇偶校验信息如果一块磁盘失效, 奇偶盘及其他数据盘可以重新产生数据 ; 如果奇偶盘失效则不影响数据使用 RAID 3 对于大量的连续数据可提供很好的传输率, 但对于随机数据来说, 奇偶盘会成为写操作的瓶颈位异或字节 B0 B1 B2 B3 C0 C1 C2 C3 D0 D1 D2 D3 校验码产生器 A0 A1 A2 A3 A 校验码 B 校验码 C 校验码 D 校验码

31 RAID3 的特点将磁盘分组, 读写要访问组中所有盘, 每组中有一个盘作为校验盘校验盘一般采用奇偶校验简单理解 : 先将分布在各个数据盘上的一组数据加起来, 将和存放在冗余盘上一旦某一个盘出错, 只要将冗余盘上的和减去所有正确盘上的数据, 得到的差就是出错的盘上的数据缺点 : 恢复时间较长 RAID4 奇偶校验 (XOR) 条带存储, 共享校验盘, 数据条带存储单位为块 RAID 4 同样也将数据条块化并分布于不同的磁盘上, 但条块单位为块或记录 RAID 4 使用一块磁盘作为奇偶校验盘, 每次写操作都需要访问奇偶盘, 这时奇偶校验盘会成为写操作的瓶颈, 因此 RAID 4 在商业环境中也很少使用数据块校验码产生器 A0 A1 A2 A3 A 校验码 B0 B1 B2 B3 B 校验码 C0 C1 C2 C3 D0 D1 D2 D3 C 校验码 D 校验码

32 RAID4 的特点冗余代价与 RAID3 相同访问数据的方法与 RAID3 不同在 RAID3 中, 一次磁盘访问将对磁盘阵列中的所有磁盘进行操作 RAID4 出现的原因 : 希望使用较少的磁盘参与操作, 以使磁盘阵列可以并行进行多个数据的磁盘操作 RAID5 奇偶校验 (XOR) 条带存储, 校验数据分布式存储, 数据条带存储单位为块 RAID 5 不单独指定的奇偶盘, 而是在所有磁盘上交叉地存取数据及奇偶校验信息在 RAID 5 上, 读 / 写指针可同时对阵列设备进行操作, 提供了更高的数据流量校验码产生器 A0 B0 C0 D0 0 校验码 A1 B1 C1 1 校验码 A2 B2 2 校验码 D2 E2 A3 3 校验码 C3 D3 E3 4 校验码 B4 C4 D4 E4 E

33 RAID3 RAID4 和 RAID5 中的信息分布 P0 P P1 P P2 8 9 P P3 P4 P P P P5.. RAID3 和 RAID4 RAID RAID5 的特点 RAID 5 更适合于小数据块和随机读写的数据 RAID 3 与 RAID 5 相比, 最主要的区别在于 RAID 3 每进行一次数据传输就需涉及到所有的阵列盘 ; 而对于 RAID 5 来说, 大部分数据传输只对一块磁盘操作, 并可进行并行操作在 RAID 5 中有写损失, 即每一次写操作将产生四个实际的读 / 写操作, 其中两次读旧的数据及奇偶信息, 两次写新的数据及奇偶信息当进行恢复时, 如我们需要恢复图中的 A0, 这里就必须需要 B0 C0 D0 加 0 parity 才能计算并得出 A0, 进行数据恢复所以当有两块盘坏掉的时候, 整个 RAID 的数据失效

34 RAID6 奇偶校验 (XOR) 条带存储, 两个分布式存储的校验数据, 数据条带存储单位为块与 RAID 5 相比,RAID 6 增加了第二个独立的奇偶校验信息块两个独立的奇偶系统使用不同的算法, 数据的可靠性非常高, 即使两块磁盘同时失效也不会影响数据的使用 A0 B0 C0 0 校验码 A1 B1 1 校验码 A 校验码校验码产生器 A2 2 校验码 B 校验码 D0 3 校验码 C 校验码 C1 D1 D 校验码 B2 C2 D RAID6 的特点 RAID 6 需要分配给奇偶校验信息更大的磁盘空间写入数据要访问 1 个数据盘和 2 个冗余盘, 相对于 RAID 5 有更大的写损失, 因此写性能非常差 ; 可容忍双盘出错 ; 存储开销是 RAID5 的两倍 ( 多一个冗余盘 ) 较差的性能和复杂的实施方式使得 RAID 6 很少得到实际应用

35 RAID 比较级别说明特点磁盘数量 0 条带化速度加倍, 可靠性减半, 容量不变 n 2 1 镜像速度不变, 可靠性加倍, 容量减半 n* 组内条带化速度加倍, 可靠性加倍, 容量减半 n*2 4 组间镜像 1+0 组内镜像, 组间条带化速度加倍, 可靠性加倍, 容量减半 2*n 4 2 海明码校验校验独立存储, 数据位交叉 ( 条带化 ), 自动纠正 1 个盘错 3 奇偶校验校验独立存储, 数据位交叉 ( 条带化 ) 容 1 块盘错 n+log (n) 最少磁盘数量 7* n 奇偶校验校验独立存储, 数据块交叉, 容 1 块盘错 n 奇偶校验校验交叉存储, 数据块交叉, 容 1 块盘错 n 奇偶校验校验交叉存储, 数据块交叉, 容 2 块盘错 n RAID 小结条带化 : 一个字节块可能存放在多个数据盘上优点 : 并行存取, 性能好, 磁盘负载均衡缺点 : 可靠性不同 IO 请求需要排队镜像 : 数据完全拷贝一份优点 : 可靠性缺点 : 存储开销校验 : 数据通过某种运算 ( 异或 ) 得出, 用以检验该组数字的正确性优点 : 可靠性, 快速恢复缺点 : 开销

36 内容提要磁盘的历史及工作原理磁盘的组织与调度算法磁盘空间的管理 RAID 提高 I/O 速度磁盘管理实例提高 I/O 速度的主要途径选择性能好的磁盘并行化采用适当的调度算法设置磁盘高速缓冲区

37 提高磁盘 I/O 速度缓存磁盘高速缓存的形式独立缓存 ( 大小固定 ) 虚拟内存为缓存 ( 弹性 ) 数据交付直接交付 (copy 开销 ) 指针交付 ( 内存管理复杂 ) 置换算法 (LRU) 周期性写回周期性地将 disk cache 中被修改过的内容写回磁盘优化数据布局优化物理块的分布连续摆放优化索引节点的分布减少与数据块的距离与数据块结合

38 提高磁盘 I/O 速度的其他方法提前读顺序访问时, 常采用提前读入下一块到缓冲区中 Skip Sector Track Buffer (Holds complete track) 延迟写将本应立即写回磁盘的数据挂到空闲缓冲区的队列的末尾直到该数据块移到链头时才将其写回磁盘, 再作为空闲区分配出去 ( 可靠性?) 虚拟盘利用内存空间去仿真磁盘 (RAM 盘 ) Virtual disk 与 disk cache 的区别是 : Virtual disk 的存放的内容由用户完全控制 Disk cache 中的内容完全是由操作系统控制

39 Price per Megabyte of DRAM, From 1981 to Price per Megabyte of Magnetic Hard Disk, From 1981 to

40 Price per Megabyte of a Tape Drive, From 内容提要磁盘的历史及工作原理磁盘的组织与调度算法磁盘空间的管理 RAID 提高 I/O 速度磁盘管理实例

Windows2000 磁盘管理系统跨磁盘管理 (DISK SPANNING) 容错 (FAULT TOLERANCE) 81 81 MS DOS 的分区方式缺点

41 Windows2000 磁盘管理系统跨磁盘管理 (DISK SPANNING) 容错 (FAULT TOLERANCE) MS DOS 的分区方式缺点对大多磁盘设置的改变需要重起操作系统才能生效 WINDOWS NT 的注册表中为 MS DOS 方式的分区保存了多分区盘的配置信息每个卷有一个唯一的从 A 到 Z 的驱动器名

42 基本术语盘 (DISKS) 一种物理存储设备, 如硬盘,3.5 英寸软盘, 光盘盘被分为扇区 (SECTOR), 可寻址的大小固定的块扇区的大小是由硬件决定的所有现在的 X86 处理器的硬盘扇区大小为 512 字节光盘的扇区一般为 2048 字节未来的 X86 系统可能支持更大的硬盘扇区分区是盘上连续扇区的集合, 分区表或其他盘管理数据库中保存了分区的起始扇区, 大小, 和其他特性简单卷 (SIMPLE VOLUME) 是这样一种对象, 他代表文件系统驱动程序所作为一个独立单元所管理的, 来自一个分区的扇区多分区卷 (MULTIPATITION VOLUME), 代表文件系统驱动程序作为一个独立单元所管理的来自多个分区的扇区多分区卷提供简单卷所不支持的更好的性能, 可靠性, 大小的特性基本盘和动态盘的概念 WINDOWS 2000 把基于 MS DOS 分区方式的盘称为基本盘动态盘对 WINDOWS 2000 来说是一个新的概念, 他实现了比基本盘更具适应性的分区机制

43 基本盘和动态盘之间不同点动态盘支持创建新的多分区卷基本盘的多分区卷的配置信息保存在注册表中动态盘的多分区卷的配置信息保存在磁盘中动态盘的缺点它所应用的分区的格式是专有的, 并且不和其它的操作系统兼容

44 系统卷是 WINDOWS2000 存放引导文件的地方, 包括引导程序 (NTLDR) 和 NTDETECT, 引导卷是 WINDOWS2000 存放系统文件, 如 NTOSKRNL.EXE 核心内核文件的地方 LDM(Logical Disk Manger) 的分区在一个盘的 MSDO S 分区表中并没有体现出来, 所以被称为软分区, 而 MSDOS 分区被称为硬分区

45 1MB 主引导记录 LDM 分区区域 LDM 数据库动态盘的内部组织 MB 内容表数据库记录处理日志私有头数据库记录头私有头镜像

46 数据库结构私有头 :GUID, 磁盘组的名字 ( 该名字是由 Dg0 和计算机的名字一起组成, 例如 SusanDg0, 意味着计算机的名字是 Susan) 和一个指向数据库内容表的指针为了保证可靠性,LDM 在磁盘的最后一个扇区保存了私有头的拷贝数据库内容表有 16 个扇区大小, 其中包含关于数据库布局的信息数据库记录区域紧接着内容表, 并将内容表后第一个扇区作为数据库记录头这个扇区中存储了数据库记录区的信息, 包括其所包含的记录个数, 数据库相关的磁盘组的名字和 GUID, 以及 LDM 用于创建下一项的序列号数据库中的每一项可以是如下四种类型之一 : 分区, 磁盘, 组件, 卷 LDM 把每一项与内部对象的标识符联系到一起在最低的级别, 分区项描述软分区, 它是在一个盘上的连续区域存储在分区项中的标识符把这个项与一个组件和一个磁盘项联系起来磁盘项代表一个磁盘组中的动态盘, 包括磁盘的 GUID 组件项像一条链子把一个或多个分区项和与分区相连的卷项联系起来卷项存放这个卷的 GUID, 卷的大小和状态, 驱动器的名字比一个数据库记录大的磁盘项占用多个记录的空间, 分区项组件项和卷项很少占用多个记录的空间

47 LDM 需要三个项来描述一个简单卷 : 分区项组件项和卷项分区项描述系统分配给某个卷的磁盘上的一个区域, 组件项把一个分区项和一个卷项联系起来, 卷项中包含 Windows Server 2003 内部用来识别卷的 GUID 多分区卷需要的项数多于三个例如, 一个条带卷包括最少两个分区项, 一个组件项和一个卷项唯一一种含有一个以上组件项的卷的类型是 : 镜像卷镜像卷含有两个组件项, 每个只表示这个镜像的一半 LDM 为每个镜像卷使用两个组件项的目的是 : 当一个镜像破坏时 LDM 能够在组件一级将他们分割开来, 并创建两个各含有一个组件项的卷因为简单卷需要三个项, 而 1MB 数据库空间大约可以容纳 8000 个项, 所以在 Windows Server 2003 中可以创建的卷数目的有效上界大约是 2500 个 LDM 数据库的最后部分是事务处理日志区, 它包含的几个扇区在数据库信息改变时用来存储备份信息这样确保在系统崩溃或断电时,LDM 能够利用日志把系统恢复到一个正确的状态

48 驱动程序系统卷中引导扇区中的代码负责执行 Ntldr Ntldr 从系统卷中读取 Boot.ini 文件, 把计算机的引导选项显示给用户 Boot.ini 指定分区名为 mult(0)disk(0)rdisk(0)partition(1) 的形式 Ntldr 把 Boot.ini 中用户指定的项转换为正确的引导分区, 然后将 Windows Server 2003 系统文件 ( 从注册表 Ntoskrnl.exe 引导驱动程序开始 ) 装入内存, 继续引导过程 Windows Server 2003 的存储驱动程序类 : 实现所有存储设备共同的功能端口 : 基于某种特定总线设备的共同功能, 如 SCSI IDE 小端口 :OEM 提供

49 磁盘的类驱动程序使用 I/O 管理器的 IoReadPartitionTable 函数识别表示分区的设备对象设备名 \Device\Harddisk0\DP(1)0x7e000-0x7ff 50c Windows Server 2003 保存了两个不同的名字空间子目录供 Win32 使用, 其中之一是 : \?? 子目录 ( 另一个是 \BaseNamedObjects 子目录 ) 在 \?? 子目录中,Windows Server 2003 创建了一些与 Win32 程序交互的硬件对象, 包括串口和并口, 还有磁盘

50 由于磁盘对象实际上存在于其它的子目录中, 所以 Windows Server 2003 使用符号链接, 把在 \?? 子目录下的名字与在名字空间其它地方的对象联系起来 I/O 管理器为系统中的每一个物理盘都创建一个 \??\PhysicalDriveX 的链接, 指向 \Device\HarddiskX\Partition0( 从零开始的数字来替代 X) 那些直接访问磁盘扇区的 WIN 32 应用程序可以调用 Win32 函数 CreateFile, 通过指定 \\.\PhysicalDriveX(X 是一个磁盘的号码 ) 作为参数来打开磁盘 Win32 的应用层先把名字转化为 \??\PhysicalDriveX, 然后在把名字提交给 Windows Server 2003 对象管理器管理工具 FtDisk 和 DMIO 负责识别文件系统驱动程序管理的卷, 并将 I/O 直接从卷映射到组成卷的底层分区对简单卷来说, 通过把卷的偏移量加上卷在磁盘中的起始地址, 卷管理器可以保证卷的偏移量被转换成盘的偏移量对于多分区卷这就复杂多了, 因为组成卷的分区可以是不邻接的分区, 甚至可以在不同的磁盘中有一些多分区卷使用数据冗余技术, 所以它们需要更多的卷到磁盘的转换工作

51 多重分区管理跨分区卷 (spanned volume) 条带卷 (striped volume) 镜像卷 (mirrored volume) 廉价冗余磁盘阵列 5 卷 (RAID-5 volume) 跨分区卷 C: 100MB D: 50MB NTFS VOLUME1 NTFS VOLUME2 D: 50MB E: 100MB NTFS VOLUME 2 NTFS VOLUME

52 一个单独的逻辑卷, 最多由在一个或多个磁盘上的 32 个空闲分区组成跨分区卷可以用来把小的磁盘空闲区域, 或者把两个或更多的小磁盘组成大的卷卷管理器对 Windows Server 2003 的文件系统隐藏了磁盘物理配置信息条带卷 ( RAID-0 卷 ) 条 1 150MB 150MB 150MB MB 150MB MB

53 一系列分区组成的单独的逻辑卷, 最多有 32 个分区并且每个盘一个分区条带卷中的一个分区不需要占据整个磁盘, 唯一的限制是每个盘上的分区大小相同数据能够被平均分配到每个磁盘上镜像卷 c: c: (mirror)

54 一个磁盘上分区的内容被复制另一个磁盘与它等大小的分区中镜像卷有时也被称为 RAID-1 镜像卷能够可以在主分区和镜像分区之间平衡 I/O 操作两个读操作可以同时进行, 所以理论上只用一半时间就可以完成当修改一个文件时, 必须写入镜像卷的两个分区, 但是磁盘写操作可以异步进行, 所以用户态程序的性能一般不会被这种额外的磁盘更新所影响镜像卷是唯一一种支持系统卷和引导卷的多分区卷廉价冗余磁盘阵列 5 卷磁盘 1 磁盘 2 磁盘 3 条奇偶校验

55 卷名字空间安装管理器安装点卷安装安装管理器安装管理器 (Mountmgr.sys) 是 Windows Server 2003 中新驱动程序, 为在 Windows Server 安装后创建的动态磁盘卷和基本磁盘卷分配驱动器名卷管理器创建卷时都将通知它当接到通知时, 确定新的卷 GUID 或者磁盘标记 ; 安装管理器使用卷 GUID( 或者标识 ) 在内部数据库中进行查询安装管理者使用第一个未分配的驱动器名, 为这次分配创建一个符号链接 ( 例如,\??\D:)

56 安装点实现安装点的技术是再解析点 (Reparse Point) 技术 C:\Project CurrentProject\Description.txt C:\Projects\CurrentProject\Description.txt 卷安装每个文件系统驱动程序在初始化时都向 I/O 管理器注册每个设备对象包含一个卷参数块 VPB, 但是 I/O 管理器认为只有卷设备对象的 VPB 是有意义的安装请求

57 安装管理器把 D: 分配给系统中的第二个卷它产生符号连接 \??\D: 指向设备对象 \Device\HarddiskVolume2 一个 WIN 32 应用程序试图打开 D: 上的文件 \Temp\Test.txt 时, 它将会指定路径 D: \Temp\Test.txt WIN 32 子系统在调用 NtCreateFile 之前将路径转化为 \??\D: \Temp\Test.txt I/O 管理器将检查 \Device\HarddiskVolume2 的 VPB 是否引用一个文件系统

58 \Device\HarddiskDmVolumes\ PhysicalDmVolumes\BlockVolum e3 1 文件系统驱动程序完成扇区级的 I/O 2 I/O 管理器把 IRP 传送给 DMIO 驱动程序 DMIO 驱动程序 3 \Device\Harddi sk0\dr0 DMIO 驱动程序决定 IRP 目标是跨分区卷的哪一个分区, 产生一个子目标为该分区所在盘的 IRP \Device\Harddi sk0\dr1 4 I/O 管理器把 IRP 传送给磁盘类驱动程序磁盘类驱动程序磁盘端口驱动程序磁盘小端口驱动程序 5 磁盘类驱动程序执行硬件 I/O 访问磁盘 Harddisk 0 条状分区 1 Harddisk 1 条状分区 UFS

60 8K*(( )+(2048*2048)+(2048*2048* 2048))=64Tbytes 2^31*1K=2TB

Microsoft PowerPoint - Chapter7_DiskManagement.pptx

Microsoft PowerPoint - Chapter7_DiskManagement.pptx 操作系统 2014 春第 7 章磁盘管理授课人 : 孙海龙 2014 年 5 月 16 日内容提要磁盘的工作原理磁盘组织与 OS 启动保证磁盘的可靠性提高 I/O 访问速度磁盘管理的实例 1 提高 I/O 速度的主要途径选择性能好的磁盘并行化采用适当的调度算法设置磁盘高速缓冲区 IBM System 305 RAMAC(1956 年 ) 第一个使用移动磁头硬盘的商业计算机 (