深 入 解 析 Windows 操 作 系 统 翻 译 后 记 缘 起 首 先 说 明 一 下, 这 个 标 题 完 全 是 音 译 本 来 是 想 叫 普 罗 赛 斯, 赛 莱 德 斯 和 乔 布 斯 的, 但 后 来 想 还 是 不 要 惊 动 乔 帮 主 了 为 什 么 叫 这 个 名 字 呢

Transcription

1 普 罗 赛 斯, 赛 莱 德 斯 和 约 伯 斯 深 入 解 析 Windows 操 作 系 统 翻 译 后 记 范 德 成 (Robbie Fan) 2015 年 3 月 1

2 深 入 解 析 Windows 操 作 系 统 翻 译 后 记 缘 起 首 先 说 明 一 下, 这 个 标 题 完 全 是 音 译 本 来 是 想 叫 普 罗 赛 斯, 赛 莱 德 斯 和 乔 布 斯 的, 但 后 来 想 还 是 不 要 惊 动 乔 帮 主 了 为 什 么 叫 这 个 名 字 呢, 那 得 从 我 参 与 翻 译 的 那 一 部 分 说 起 我 本 人 无 论 是 在 上 大 学 的 时 候, 还 是 大 学 毕 业 以 后, 都 一 直 对 操 作 系 统 很 有 兴 趣 而 Windows 又 是 每 天 都 用 的 操 作 系 统, 自 然 更 加 让 我 兴 致 盎 然 这 本 Windows Internals 也 是 我 一 直 感 兴 趣 的 书 籍 所 以 当 好 友 高 博 给 我 打 电 话 说 有 机 会 参 与 深 入 解 析 Windows 操 作 系 统 第 六 版 的 翻 译 时, 我 感 到 非 常 欣 喜 深 入 解 析 Windows 操 作 系 统 的 前 一 个 中 文 版 是 潘 爱 民 老 师 翻 译 的 第 四 版 在 高 博 的 引 荐 下, 我 在 上 海 和 潘 老 师 见 了 一 面 潘 老 师 那 天 正 好 从 北 京 来 上 海 出 差, 所 以 我 们 有 幸 见 到 潘 老 师 比 我 们 年 长 十 岁 左 右 他 曾 在 北 京 大 学 教 书, 也 在 微 软 研 究 院 工 作 过, 而 当 我 见 到 他 的 时 候, 他 已 经 加 盟 盛 大 创 新 院 了 他 是 权 威 的 操 作 系 统 专 家 潘 老 师 和 蔼 而 深 沉 他 说 的 每 一 句 话 都 掷 地 有 声 他 说 起,Windows Internals 一 书 是 David A. Solomon 和 Mark E. Russinovich 合 著 的 这 系 列 书 的 第 一 本 是 Helen Custer 写 的 Inside Windows NT 之 后 出 版 的 Inside Windows 2000( 算 作 第 三 版 ) Windows Internals 第 四 版 直 至 第 六 版 等 都 是 David 和 Mark 编 写 的 这 次 第 六 版 的 翻 译, 潘 老 师 已 经 做 完 前 四 章 其 余 的 章 节, 我 们 将 在 潘 老 师 第 四 版 文 本 的 基 础 上 进 行 更 新 我 翻 译 的 第 一 个 章 节 是 上 册 第 五 章, 标 题 是 Processes, Threads and Jobs, 后 来 就 成 了 这 篇 博 客 的 标 题 在 我 看 来,Mark Russinovich 是 黑 客 级 的 大 师 和 C# 语 言 之 父 Anders Hejlsberg 这 位 计 算 机 语 言 设 计 大 师 的 风 格 不 同,Mark 更 像 是 在 黑 客 世 界 中 逐 渐 出 名 的 他 在 Windows NT Magazine (NTMag; 后 来 叫 Windows IT Pro 杂 志 ) 中 显 露 出 才 华 的 时 候, 经 常 做 一 些 修 改 或 破 坏 Windows 内 部 机 制 的 程 序, 来 研 究 Windows NT 的 内 部 机 理 并 揭 示 其 短 处, 乃 至 能 让 Windows 蓝 屏 因 而, 那 时 的 他 被 微 软 员 工 称 为 邪 恶 的 Mark Russinovich 受 到 这 些 经 历 的 影 响, 他 发 明 了 LiveKd NT 内 核 调 试 通 常 需 要 一 台 被 调 试 的 宿 主 机 和 一 台 通 过 COM 端 口 连 接 的 调 试 机, 而 利 用 LiveKd, 直 接 就 可 以 方 便 地 调 试 本 地 机 器 上 的 系 统 后 来, 他 与 David Cutler 的 小 同 事 David Solomon 合 著 了 Inside Windows 2000 David Solomon 和 David Cutler 有 着 很 久 的 交 情 David Cutler 在 DEC 公 司 做 project leader 的 时 候,David Solomon 加 入 DEC, 那 时 他 才 16 岁 ; 到 Windows 2000 发 布 的 时 候, 已 经 十 多 年 过 去 了 而 那 时 Mark 仍 旧 是 非 微 软 人 员, 他 只 能 通 过 WinDbg KD 等 调 试 工 具 来 研 究 Windows 的 内 部 机 理 而 David Solomon 虽 然 也 不 是 微 软 人 员, 但 由 于 他 是 Windows NT 的 讲 师, 因 而 被 授 权 以 进 入 微 软 大 楼 阅 读 Windows 2000 的 源 代 码 两 人 经 常 比 赛, 对 某 一 个 问 题 谁 能 更 快 地 得 到 答 案, 而 多 数 情 况 下 却 是 Mark 胜 出 这 让 David Solomon 不 胜 懊 恼 在 2006 年, 由 于 Mark 参 加 了 和 微 软 员 工 一 起 的 Windows 内 核 培 训 的 缘 故, 和 微 软 内 部 人 员 混 得 挺 熟 后 来, 微 软 收 购 了 Mark 和 他 的 朋 友 Bryce Cogswell 合 开 的 公 司 Winternals, 从 而 Mark 正 式 进 入 微 软 工 作, 成 为 微 软 的 Technical Fellow 之 一 Technical Fellow 是 微 软 中 屈 指 可 数 的 领 军 人 物, 它 不 是 管 理 型 职 位, 但 却 是 技 术 人 员 最 大 的 荣 耀 成 为 了 Technical Fellow 也 就 成 为 了 全 微 软 数 万 员 工 的 榜 样 David Solomon 之 前 都 无 法 想 象, 邪 恶 的 Mark Russinovich 居 然 还 能 在 微 软 的 办 公 室 里 面 这 样 进 进 出 出, 让 人 总 感 觉 有 些 诡 异 CSDN 程 2

3 序 员 杂 志 2007 年 6 月 刊 的 所 罗 门 的 宝 藏 一 文 中 讲 到 了 这 段 有 趣 的 历 史 Mark 不 仅 仅 参 与 Winternals 公 司 的 商 业 软 件 的 开 发, 同 时 他 也 开 发 了 许 多 免 费 软 件, 以 Sysinternals 的 名 义 发 布, 诸 如 Process Explorer Process Monitor PageDefrag PsTools AccessEnum Autoruns NTFS-DOS Rootkit Revealer 等 著 名 的 实 用 工 具 他 在 TechNet 博 客 上 也 不 定 时 地 发 布 一 些 有 价 值 的 系 统 除 错 和 调 试 的 经 验 需 要 注 意 的 是,Windows Internals 第 六 版 的 作 者 中 有 一 位 Alex Ionescu, 他 并 非 来 自 微 软, 而 是 开 源 操 作 系 统 React OS 的 著 名 黑 客 之 一 React OS 是 什 么 呢? 该 开 源 项 目 最 初 成 立 之 时, 其 目 标 就 是 做 一 个 开 源 的 Windows NT/2000!( 其 前 任 项 目 FreeWin95 是 要 做 一 个 开 源 的 Windows 95!) 而 当 今 它 的 目 标 则 是 做 一 个 开 源 的 Windows XP 兼 容 系 统 出 来 所 以 这 个 项 目 可 谓 是 宏 图 大 略, 只 是 由 于 它 的 目 标 是 兼 容 一 个 闭 源 操 作 系 统 的 缘 故, 开 源 人 士 对 此 有 所 顾 忌, 导 致 参 与 的 人 不 多, 开 发 力 量 不 够 强 大, 因 此 到 目 前 为 止 还 处 于 alpha 版 ( 不 稳 定 的 测 试 版 ) 阶 段 记 得 在 2006 年 时,React OS 中 甚 至 连 Cache Manager( 缓 存 管 理 器 ) 都 还 没 有 实 现 但 2014 年, 它 通 过 Indiegogo 为 React OS 社 区 版 拉 了 好 多 赞 助, 希 望 它 能 成 功 吧 Windows 系 统 的 发 展 背 景 要 理 解 Windows, 首 先 得 了 解 这 一 系 列 操 作 系 统 诞 生 的 背 景 Windows 作 为 微 软 研 发 的 操 作 系 统, 自 然 而 然 地 继 承 了 之 前 DOS 操 作 系 统 的 一 些 特 性 DOS 是 一 个 单 任 务 基 于 命 令 行 的 操 作 系 统 它 的 特 点 是 非 常 小 巧, 其 核 心 的 三 个 文 件 :IO.SYS MSDOS.SYS 和 COMMAND.COM 总 共 不 超 过 300KB, 并 提 供 了 所 有 核 心 的 操 作 系 统 服 务, 包 括 文 件 系 统 (FAT12 和 FAT16) 内 存 管 理 程 序 加 载 管 理 等 多 个 方 面, 还 支 持 TSR( 内 存 驻 留 程 序 ) 所 有 的 硬 件 驱 动 程 序 都 由 外 部 提 供, 特 别 是 系 统 BIOS, 它 提 供 了 大 量 的 硬 件 支 持 并 且, 在 MS-DOS 系 统 的 较 靠 后 的 几 个 版 本 里, 已 经 加 入 了 局 域 网 的 支 持, 虽 然 不 及 当 年 Novell 网 络 那 么 强 大, 但 已 经 是 微 软 网 络 基 础 设 施 的 一 个 雏 形 1993 年, 最 后 一 个 MS-DOS 版 本 推 出, 版 本 号 是 6.22 这 里 简 单 介 绍 一 下, 什 么 是 文 件 系 统 : 它 相 当 于 磁 盘 上 的 一 种 树 ( 或 有 向 无 环 图 ) 形 数 据 结 构, 用 于 保 存 目 录 树 和 文 件 FAT 文 件 系 统 即 文 件 分 配 表, 它 有 一 个 引 导 扇 区, 加 上 两 个 文 件 分 配 表 ( 用 于 冗 余 备 份 ), 再 加 上 一 个 根 目 录 表, 之 后 都 是 可 供 动 态 分 配 的 磁 盘 空 间 文 件 系 统 的 分 配 单 位 叫 做 簇 每 个 簇 包 含 多 个 扇 区 它 的 文 件 分 配 表 中 的 每 个 表 项 长 度 为 12 位 或 16 位 ( 所 以 称 为 FAT12 和 FAT16), 对 应 磁 盘 上 的 一 个 簇, 而 表 项 的 内 容 则 定 义 了 文 件 在 磁 盘 上 的 布 局 表 项 之 间 采 用 链 表 的 形 式 来 连 接, 所 以 FAT 是 一 种 相 当 简 单 的 文 件 系 统 因 为 这 个 原 因, 继 DOS 和 Windows 9x 之 后, 它 还 被 广 泛 应 用 于 数 码 设 备 的 文 件 系 统 格 式, 如 U 盘 数 码 相 机 的 SD 卡 和 MP3 播 放 器 等 Windows 3.2 及 更 早 的 系 统 都 不 真 正 提 供 操 作 系 统 核 心, 而 是 重 用 了 MS-DOS, 但 对 内 存 和 任 务 管 理 作 了 扩 展 以 Windows 3.1 为 例,DOS 程 序 除 非 采 用 扩 充 内 存 4G 线 性 地 址 空 间 (32 位 保 护 模 式 ) 等 手 段, 否 则 访 问 不 到 标 准 的 640KB 以 上 的 内 存, 包 括 640KB 到 1024KB 之 间 的 上 位 内 存 块 和 1024KB 以 上 的 扩 展 内 存 当 年 爱 好 DOS 游 戏 的 朋 友 也 许 还 记 得 为 了 尽 可 能 得 到 更 多 640KB 范 围 内 的 内 存 而 用 memmaker 和 人 工 手 段 反 复 调 校 的 日 子 但 Windows 3.1 上 的 Win16 程 序 却 显 式 支 持 扩 展 内 存 通 过 GlobalAlloc LocalAlloc 等 函 数, 可 以 分 配 扩 展 内 存 中 的 块, 并 在 使 用 时 加 以 锁 定 (GlobalLock/LocalLock), 从 而 在 16 位 地 址 空 间 中 访 问 3

4 深 入 解 析 Windows 操 作 系 统 翻 译 后 记 32 位 线 性 地 址 ( 即 虚 拟 地 址 ) 上 的 内 容 除 此 之 外,Windows 3.1 已 支 持 虚 拟 内 存, 通 过 换 页 机 制, 可 以 虚 拟 出 比 物 理 内 存 更 大 的 内 存 空 间 虽 然 使 用 虚 拟 内 存 在 空 间 上 占 了 便 宜, 但 在 时 间 上 却 很 吃 亏 : 硬 盘 的 速 度 比 内 存 要 慢 许 多 所 以 在 实 践 当 中, 作 为 用 户 来 说, 不 到 万 不 得 已, 还 是 尽 量 不 要 让 实 际 应 用 程 序 的 内 存 消 耗 超 过 物 理 内 存 那 么 简 单 地 说, 为 什 么 需 要 扩 展 内 存 呢?640KB 不 够 用 吗? 可 以 这 样 想 : 如 果 是 一 个 像 磁 盘 碎 片 整 理 程 序 (DEFRAG.EXE) 这 样 复 杂 度 的 程 序, 它 的 大 小 约 100KB 一 个 计 算 机 编 程 语 言 的 解 释 器, 如 QBASIC, 它 的 大 小 约 200KB 一 个 股 票 走 势 分 析 程 序, 大 小 约 400KB 一 张 640x480 的 24 色 非 压 缩 图 片, 大 小 约 900KB 随 着 计 算 任 务 的 越 来 越 复 杂 应 用 程 序 的 功 能 越 来 越 多,640KB 内 存 显 然 捉 襟 见 肘 这 也 就 是 为 什 么 内 存 需 要 扩 展 到 1MB 以 上 的 原 因 当 时 的 386 地 址 空 间 从 1MB(20 位 地 址 空 间 ) 提 升 到 了 4GB(32 位 地 址 空 间 ) 如 今 看 来, 连 4GB 的 地 址 空 间 都 已 经 不 够 用 了, 硬 件 还 在 继 续 提 高 它 们 的 规 格, 所 以 又 有 了 64 位 的 计 算 平 台 以 英 特 尔 平 台 为 例, 自 从 2007 年 64 位 奔 腾 开 始, 酷 睿 酷 睿 2 i3 i5 i7 酷 睿 M 64 位 凌 动 等 处 理 器 都 支 持 超 过 4GB 的 内 存, 而 服 务 器 CPU 则 更 早 就 支 持 了 超 大 内 存 的 配 置 Windows 3.1 也 加 入 了 多 任 务 多 任 务, 从 技 术 上 说, 就 是 让 本 来 必 须 从 头 运 行 到 底 独 占 硬 件 资 源 的 应 用 程 序, 能 变 得 不 再 独 占, 能 和 其 他 应 用 程 序 共 享 资 源, 包 括 CPU 显 示 器 和 网 络 等, 从 而 让 用 户 感 觉 好 像 许 多 程 序 在 同 时 运 行 一 样 比 如, 它 让 程 序 的 用 户 界 面 以 窗 口 的 形 式 呈 现, 可 以 互 相 切 换, 以 便 共 享 显 示 器 但 它 的 CPU 共 享 方 式 是 协 同 式 多 任 务 应 用 程 序 要 通 过 从 窗 口 过 程 (window procedure) 中 返 回 到 系 统, 或 者 调 用 某 些 特 定 的 API 如 Sleep GetMessage I/O 函 数 等, 来 主 动 地 把 CPU 的 控 制 权 交 还 给 Windows, 然 后 Windows 才 能 让 下 一 个 进 程 运 行 这 种 多 任 务 方 式 意 味 着 诸 多 程 序 ( 尤 其 是 网 络 应 用 程 序 ) 只 能 以 异 步 的 方 式 来 编 写, 有 时 显 得 相 当 麻 烦 况 且 C 语 言 又 并 非 真 正 支 持 协 程 (coroutine) 或 状 态 机 (state machine, 参 见 C# 2.0) 生 成 器 (generator, 参 见 Python) 等 机 制, 这 样 的 麻 烦 避 免 不 了 Windows 3.1 的 磁 盘 缓 存 依 赖 于 DOS 下 的 SMARTDRV.EXE 此 外, 在 Windows 3.1 运 行 的 时 候 不 可 以 使 用 磁 盘 碎 片 整 理 程 序 只 有 退 出 之 后, 在 纯 DOS 环 境 下 才 能 安 全 地 执 行 碎 片 整 理 磁 盘 缓 存, 就 是 智 能 地 把 磁 盘 中 的 数 据 放 到 内 存 中, 并 利 用 内 存 中 的 数 据, 使 得 访 问 速 度 变 快 的 技 术 通 常 的 思 路 是, 把 频 繁 读 写 的 数 据 存 放 在 内 存 中, 以 加 速 下 一 次 读 取 ; 把 要 写 入 磁 盘 的 数 据 堆 积 在 内 存 中, 按 磁 盘 地 址 排 好 序 去 除 重 叠 内 容 以 后 写 入, 以 减 少 数 据 量 和 寻 道 次 数 碎 片 整 理, 是 把 单 个 文 件 在 磁 盘 上 存 储 成 几 个 不 同 位 置 的 块 合 并 成 一 个 连 续 块 的 操 作, 这 样 做 之 后, 连 续 读 或 写 这 个 文 件 时, 磁 盘 的 寻 道 次 数 可 以 减 到 最 小, 以 加 快 速 度 ( 这 条 理 由 对 于 现 今 的 固 态 硬 盘 由 于 页 映 射 的 关 系 已 不 再 适 用, 但 将 来 如 果 采 用 NVRAM 了, 也 许 会 因 为 局 域 性 [locality] 的 缘 故 而 变 得 重 新 适 用 ) Windows 95 终 于 造 就 了 一 次 大 的 革 新 和 Windows 3.1 不 同, 它 摆 脱 了 基 于 MS-DOS 这 样 一 种 限 制, 而 自 己 成 为 了 独 立 的 操 作 系 统 其 内 部 依 然 有 一 个 称 为 MS-DOS 7.0 的 DOS 系 统, 但 一 旦 Windows 启 动 起 来, 硬 件 管 理 等 任 务 就 完 全 交 给 Windows 来 执 行 在 进 程 调 度 方 面, Windows 95 支 持 抢 占 式 多 任 务, 并 支 持 线 程 它 把 CPU 时 间 分 为 时 间 片, 每 当 一 个 线 程 的 4

5 连 续 运 行 时 间 超 过 时 间 片 的 大 小 时,Windows 95 会 通 过 定 时 器 中 断, 将 CPU 从 它 那 里 抢 占 过 来, 并 调 度 下 一 个 线 程 ( 在 NT 系 统 中 是 定 时 器 或 计 数 器 中 断 处 理 例 程 往 DISPATCH_LEVEL 队 列 中 添 加 一 个 DPC 调 用, 之 后 这 个 DPC 会 在 DISPATCH_LEVEL 这 个 中 断 请 求 级 别 [IRQL] 上 调 用 线 程 调 度 器, 来 完 成 线 程 调 度 ) 并 且,Windows 95 支 持 优 先 级 调 度, 只 有 当 高 优 先 级 的 线 程 空 闲 下 来 了, 才 会 调 度 低 优 先 级 的 线 程 注 意, 优 先 级 调 度 本 身 并 不 考 虑 公 平 性 和 饥 饿 (starvation) 问 题, 而 公 平 性 方 面 Windows Vista 已 给 出 解 决 方 案, 饥 饿 问 题 在 Windows 中 有 包 括 优 先 级 分 离 临 时 提 高 到 最 高 优 先 级 等 好 几 种 手 段 来 避 免 绝 对 的 饥 饿, 也 许 这 是 在 不 违 背 优 先 级 这 一 理 念 下 的 折 衷 方 案, 但 在 我 看 来, 或 许 可 以 通 过 像 阶 梯 截 止 期 限 调 度 器 ( Staircase Deadline scheduler) 那 样, 通 过 CPU 比 例 来 定 义 优 先 级, 能 更 自 然 地 避 免 饥 饿, 也 能 提 高 程 序 的 响 应 性 能 有 关 这 些 信 息, 请 参 考 深 入 解 析 Windows 操 作 系 统 ( 第 六 版 ) 第 5 章 进 程 线 程 和 作 业 Windows 95 在 文 件 系 统 上 的 一 个 改 进 是, 支 持 Unicode 编 码 的 长 文 件 名 之 前 的 Windows 版 本 由 于 基 于 DOS 的 缘 故, 只 支 持 8.3 形 式 的 短 文 件 名, 即 主 文 件 名 最 长 为 8 个 ASCII 字 符, 扩 展 名 最 长 为 3 个 ASCII 字 符 这 样 的 支 持 让 计 算 机 难 以 使 用 人 们 无 法 通 过 这 么 短 的 文 件 名 来 记 住 大 量 文 件 到 底 代 表 什 么 内 容 Windows 95 将 这 一 限 制 打 破, 支 持 了 长 达 255 个 字 符 的 文 件 名 为 了 向 下 兼 容, 这 种 支 持 在 FAT 文 件 系 统 上 实 现, 并 且 老 版 本 的 DOS 也 能 访 问 这 样 的 磁 盘 卷, 只 不 过 无 法 显 示 或 修 改 长 文 件 名 为 了 避 免 破 坏 长 文 件 名 的 存 储 格 式, MS-DOS 7.0 会 禁 止 不 经 过 文 件 系 统 解 释 而 直 接 访 问 磁 盘 的 工 具, 除 非 用 户 显 式 使 用 lock 命 令 将 磁 盘 加 锁 Windows 98 还 进 一 步 引 入 了 FAT32, 它 支 持 超 过 2GB 大 小 的 卷, 并 且 单 个 卷 上 的 簇 的 个 数 可 以 超 过 65536(2 的 16 次 方 ), 外 加 可 扩 展 长 度 的 根 目 录 Windows 95 也 支 持 高 级 的 磁 盘 缓 存 和 内 置 的 磁 盘 碎 片 整 理 程 序 另 外 也 有 许 多 第 三 方 的 磁 盘 碎 片 整 理 程 序, 如 Norton SpeedDisk Diskeeper 和 VOpt 等 虽 然 Windows 95 有 了 许 多 改 进, 但 它 还 是 有 很 多 不 足 之 处 首 先, 它 的 安 全 性 只 针 对 单 用 户 即 使 系 统 上 设 置 了 多 个 用 户, 仍 然 无 法 控 制 它 们 的 权 限 它 们 对 计 算 机 都 拥 有 完 全 的 管 理 权 限 其 次, 它 为 了 兼 容 老 的 DOS 程 序 和 Win16 程 序,Windows 95 保 留 了 一 些 硬 伤, 包 括 Win16 互 斥 量 USER/GDI 资 源 限 制 可 以 部 分 写 入 的 系 统 2GB 虚 拟 内 存 空 间 等, 导 致 它 不 稳 定, 易 出 错, 而 且 在 某 些 场 合 下 多 任 务 不 流 畅 例 如 在 多 设 备 I/O 的 情 况 下, 同 一 时 刻 只 有 一 个 设 备 可 以 读 写 它 不 支 持 多 CPU 另 外, 它 并 不 原 生 地 支 持 Unicode 这 些 问 题 在 NT 系 统 中 都 得 到 了 解 决 NT 系 统 的 特 点 下 面, 我 们 来 看 一 下 Windows NT 系 统 的 功 能 特 点 内 核 的 设 计 早 期 Windows NT 的 设 计 目 标 是 要 实 现 一 个 微 内 核 的 结 构, 后 来 由 于 性 能 问 题, 才 逐 渐 把 一 些 组 件 移 到 内 核 态 最 后, 在 它 的 正 式 发 布 版, 也 就 是 Windows NT 3.1 中, 才 把 窗 口 和 图 形 子 系 统 移 到 内 核 态 NT 的 设 计 之 初 就 是 针 对 不 同 的 CPU 架 构 的 通 用 设 计 一 开 始 NT 所 试 验 的 目 标 并 非 英 特 尔 i386 CPU, 而 是 英 特 尔 i860, 它 使 用 的 指 令 集 与 386 完 全 不 同, 而 是 5

6 深 入 解 析 Windows 操 作 系 统 翻 译 后 记 一 个 RISC( 精 简 指 令 集 )CPU 当 时 这 样 做 的 目 的 之 一, 就 是 不 让 系 统 过 分 依 赖 于 i386 平 台 绝 大 部 分 操 作 系 统 代 码 都 使 用 可 移 植 的 C 语 言 代 码 编 写, 少 量 与 CPU 或 硬 件 打 交 道, 无 法 用 C 语 言 编 写 的 代 码 采 用 平 台 相 关 的 汇 编 语 言 编 写 虽 然 i860 的 尝 试 由 于 市 场 的 原 因 而 被 放 弃 了, 但 NT 随 后 被 移 植 到 了 PowerPC MIPS Alpha 和 i386 这 四 个 平 台 上, 实 现 了 硬 件 层 面 上 的 一 次 编 写, 到 处 运 行 的 愿 望 有 关 这 段 历 史, 请 参 考 观 止 一 书 [6] 前 面 讲 到 的 图 形 子 系 统, 除 了 位 于 内 核 模 式 的 Win32k.sys 中 的 部 分 之 外,User32.dll( 窗 口 用 户 界 面 DLL) 和 Gdi32.dll( 图 形 设 备 接 口 DLL) 都 是 其 用 户 模 式 部 分 由 于 图 形 子 系 统 的 一 部 分 集 成 进 了 内 核,Windows 的 图 形 反 应 速 度 很 快, 用 户 感 觉 很 流 畅, 这 与 Linux 的 X Window 的 有 着 可 觉 察 延 迟 的 情 形 形 成 了 对 比 ( 当 然,Linux 的 X Window 的 性 能 更 多 地 是 受 到 其 客 户 端 / 服 务 器 模 式 的 通 信 速 度 所 限 ), 也 是 Windows 销 路 更 好 的 原 因 之 一 后 来 的 Windows Vista 系 统 才 将 图 形 子 系 统 ( 指 的 是 可 以 放 进 用 户 模 式 的 部 分, 如 UI 和 位 图 的 绘 制 等, 包 括 DWM 和 DirectX) 完 全 运 行 在 用 户 模 式 下, 以 提 高 系 统 的 稳 定 性 类 似 地,Android( 安 卓 ) 的 图 形 功 能 大 部 分 运 行 在 用 户 模 式 下, 也 有 一 部 分 运 行 在 内 核 模 式 下, 也 就 是 framebuffer 部 分 而 Windows Vista 和 安 卓 的 图 形 性 能 却 很 高, 这 说 明 用 户 模 式 的 图 形 模 块 并 非 性 能 降 低 的 关 键 因 素, 关 键 还 是 要 充 分 利 用 图 形 硬 件 的 加 速 特 性, 减 少 物 理 内 存 中 图 形 数 据 的 非 必 要 复 制 操 作 有 关 Windows 内 核 的 详 细 技 术 信 息, 请 参 考 深 入 解 析 Windows 操 作 系 统 ( 第 六 版 ) 第 3 章 系 统 机 制 程 序 的 调 度 前 面 说 过,Windows 支 持 线 程 调 度 进 程 是 定 义 地 址 空 间 的 单 元, 而 线 程 则 是 调 度 的 单 元 早 期 的 CPU, 单 个 CPU 只 有 一 个 核 心, 单 个 核 心 同 一 时 间 也 只 能 运 行 一 个 线 程, 所 以 调 度 多 个 线 程 的 手 段 是 把 CPU 时 间 切 片, 分 配 给 不 同 的 线 程 多 CPU 的 好 处 则 是 提 高 并 行 性 (parallelism), 以 增 加 计 算 的 速 度 和 容 量 Windows NT 的 第 一 个 版 本 就 已 经 支 持 多 CPU 如 今 随 着 硬 件 的 发 展, 已 经 出 现 了 多 核 CPU, 且 单 个 核 心 还 支 持 超 线 程, 即 在 同 一 个 核 心 上 可 以 同 时 跑 两 个 线 程 ( 其 原 理 是 利 用 CPU 流 水 线 上 不 同 运 算 部 件 的 并 行 性 ; 可 参 考 胡 越 明 著 计 算 机 组 成 原 理 与 系 统 结 构 ) 针 对 这 些,Windows 也 作 了 相 应 的 支 持 为 了 便 于 描 述 线 程 对 CPU 的 使 用, 我 们 把 最 多 能 跑 单 个 线 程 的 CPU 计 算 资 源 称 为 逻 辑 处 理 器 比 如, 在 一 台 双 核 超 线 程 的 机 器 上, 每 个 核 能 运 行 两 个 线 程, 我 们 就 把 它 看 作 有 4 个 逻 辑 处 理 器 当 线 程 在 一 个 抢 占 式 多 任 务 操 作 系 统 中 运 行 时, 从 编 程 者 的 角 度 来 看, 只 需 要 假 定 CPU 并 非 由 这 个 线 程 独 占, 因 此 线 程 随 时 可 能 被 挂 起 或 恢 复 执 行 即 可 至 于 线 程 是 什 么 时 候 被 挂 起 的, 挂 起 的 时 间 有 多 长, 以 及 什 么 时 候 恢 复 运 行 等, 都 由 操 作 系 统 来 决 定 Windows 操 作 系 统 是 怎 样 处 理 的 呢? 有 哪 些 规 则 来 保 证 线 程 调 度 的 公 平 性 呢? 优 先 级 是 怎 样 考 虑 的 呢? 这 些 内 容 已 经 超 出 了 这 篇 文 章 的 范 围, 请 参 考 深 入 解 析 Windows 操 作 系 统 ( 第 六 版 ) 和 Linux 比 较,Windows 调 度 器 有 它 自 己 的 特 点 Linux 一 度 以 来 都 用 它 的 O(1) 调 度 器, 无 论 有 多 少 线 程 在 运 行, 这 个 调 度 器 的 时 间 消 耗 都 不 会 超 过 一 个 常 数 后 来 在 等 内 核 版 本 中,Con Kolivas 的 Staircase Deadline(SD, 阶 梯 截 止 期 限 ) 调 度 器 是 一 个 他 自 己 改 写 的 版 6

7 本, 但 却 没 有 被 主 干 (main stream) 调 度 器 的 维 护 者 Ingo Molnar 接 受 后 来 Ingo Molnar 基 于 SD 调 度 器 的 思 想, 写 出 了 CFS( 完 全 公 平 调 度 器 ) 并 加 入 主 干 版 本 为 了 了 解 各 个 调 度 器 之 间 的 区 别, 需 要 了 解 线 程 运 行 的 特 点 线 程 在 运 行 时, 它 会 暂 时 独 占 逻 辑 处 理 器 一 段 时 间 调 度 程 序 的 关 键 目 标 是 要 让 各 个 线 程 得 到 公 平 的 调 度, 让 它 们 得 到 公 平 的 CPU 时 间 份 额 为 了 做 到 这 一 点, 各 个 调 度 程 序 的 实 现 方 式 是 不 同 的 O(1) 调 度 器 的 特 点 是, 它 会 优 先 考 虑 I/O 密 集 型 程 序 什 么 是 I/O 密 集 型 程 序 呢? 它 是 和 计 算 密 集 型 程 序 相 对 应 的 概 念 一 个 程 序 可 能 花 大 量 的 时 间 来 做 计 算, 那 么 这 样 的 程 序 只 要 有 机 会 得 到 CPU, 就 会 运 行 尽 可 能 长 的 时 间, 例 如 计 算 圆 周 率 的 程 序 ( 参 见 著 名 的 用 圆 周 率 计 算 来 测 量 CPU 性 能 的 程 序 Super PI) 一 个 程 序 也 有 可 能 花 费 大 量 的 时 间 来 等 待 I/O 这 并 不 一 定 指 那 些 往 磁 盘 或 网 络 上 读 写 大 量 数 据 的 程 序, 因 为 这 里 的 关 键 是, 它 等 待 I/O 所 花 费 的 时 间 多, 换 而 言 之 就 是 占 用 CPU 的 时 间 少 除 了 磁 盘 碎 片 整 理 程 序 网 络 浏 览 器 这 些 程 序 之 外, 还 有 文 本 编 辑 器 因 为 它 时 常 在 等 待 用 户 按 键, 以 及 时 钟 程 序 因 为 它 通 常 会 设 置 一 个 定 时 器 并 等 待 定 时 器 被 触 发 可 见,I/O 密 集 型 线 程 占 用 的 CPU 时 间 相 对 较 少 根 据 这 样 的 定 义, 调 度 程 序 首 先 判 断, 一 个 线 程 从 当 前 的 表 现 来 看 是 I/O 密 集 型 的? 还 是 计 算 密 集 型 的? 然 后 给 I/O 密 集 型 的 线 程 赋 以 较 高 的 动 态 优 先 级, 让 它 在 需 要 CPU 时 能 抢 占 计 算 密 集 型 线 程 手 中 的 CPU, 从 而 提 高 公 平 性 和 响 应 性 能 FreeBSD 调 度 器 的 做 法 是, 观 察 线 程 最 近 4 个 时 间 片 的 使 用 情 况, 如 果 都 没 有 用 完 就 开 始 等 待 了 ( 学 术 上 叫 做 被 阻 塞 ), 那 么 就 给 它 最 高 的 动 态 优 先 级, 如 果 还 有 3 个 没 用 完 则 次 之, 以 此 类 推 O(1) 调 度 器 的 原 理 也 类 似 而 Windows NT 的 调 度 器, 直 到 Windows Server 2003 为 止, 本 质 上 都 是 这 样 做 的 ( 详 细 请 参 见 深 入 解 析 Windows 操 作 系 统 ( 第 六 版 ) 第 5 章 ): 以 时 限 单 元 (quantum unit) 为 单 位, 来 对 线 程 的 时 间 使 用 情 况 做 计 数 一 个 时 限 默 认 是 2 个 时 钟 滴 答, 而 一 个 时 钟 滴 答 则 是 3 个 时 限 单 元 线 程 初 始 时 被 分 配 一 个 完 整 的 时 限 ( 即 6 个 时 限 单 元 ) 每 次 线 程 被 阻 塞 或 者 用 完 它 的 时 间 片 ( 即 时 限 ) 时, 扣 除 它 相 应 的 时 限 单 元 数 ( 不 足 一 个 时 限 单 元 的 情 况 也 算 作 一 个 时 限 单 元 ) 直 到 所 有 就 绪 线 程 的 时 限 单 元 用 完 之 前, 同 一 优 先 级 的 线 程 中 只 调 度 还 有 时 限 单 元 没 用 完 的 那 些 这 样 带 来 的 结 果 是, 假 设 有 一 个 线 程 与 另 一 个 线 程 互 相 通 信, 比 如 一 个 应 用 程 序 与 它 的 数 据 库 管 理 系 统 通 过 消 息 队 列 或 信 号 量 进 行 通 信 ; 第 三 个 线 程 则 一 直 在 做 计 算 那 么, 即 便 线 程 一 和 线 程 二 每 次 都 在 收 到 消 息 之 后 很 快 地 做 计 算, 再 发 消 息 并 等 待 对 方 的 回 应, 它 们 也 会 明 显 占 劣 势 假 设 时 限 单 元 是 3 毫 秒, 这 两 个 线 程 各 计 算 1 毫 秒 就 结 束, 那 么 它 们 各 被 调 度 1 毫 秒, 一 共 2 毫 秒 但 此 时 这 两 个 程 序 上 已 经 被 各 记 录 了 3 毫 秒 而 那 个 计 算 密 集 型 的 线 程 则 可 以 连 续 运 行 18 毫 秒, 之 后 前 两 个 线 程 会 被 再 调 度 4 次, 把 三 个 线 程 的 时 限 都 用 完 于 是 计 算 密 集 型 线 程 做 了 18 毫 秒 的 计 算, 另 两 个 才 分 别 计 算 了 6 毫 秒, 非 常 吃 亏 在 实 际 应 用 中, 这 一 特 点 造 成 的 影 响 表 现 在 多 个 方 面, 当 单 核 机 器 上 运 行 一 个 计 算 密 集 型 程 序 时, 出 现 的 情 况 有 启 动 新 进 程 特 别 慢 与 图 形 API 接 口 的 应 用 程 序 速 度 明 显 变 慢 等 等 因 此 使 得 在 这 些 场 景 下 Windows 的 响 应 速 度 很 慢 而 我 们 将 看 到, 从 Windows Vista 开 始, 线 程 的 时 间 计 算 不 再 通 过 时 限 单 元 来 表 示, 而 是 通 过 新 一 代 CPU 所 具 备 的 指 令 计 数 器, 来 做 完 全 精 确 的 计 算 [11] 这 样 一 来, 线 程 调 度 的 公 平 性 不 仅 更 高 了, 也 超 越 了 传 统 的 Linux O(1) 调 度 器 7

8 深 入 解 析 Windows 操 作 系 统 翻 译 后 记 而 Linux 的 SD 或 CFS 调 度 器, 则 实 现 了 另 外 一 种 特 点 从 SD 调 度 器 的 名 称 来 看, 即 阶 梯 截 止 期 限, 它 所 表 示 的 是, 高 优 先 级 的 线 程 将 不 再 是 简 单 地 优 先 于 低 优 先 级 的 线 程 而 是, 高 优 先 级 的 线 程 能 比 低 优 先 级 的 线 程 获 得 更 多 的 CPU 百 分 比 相 邻 优 先 级 的 线 程 可 以 获 得 的 CPU 百 分 比 从 低 往 高 是 阶 梯 上 升 的, 比 如 1:2:4 等 等 那 么 它 主 要 解 决 了 什 么 问 题 呢? 就 是 高 优 先 级 计 算 密 集 型 线 程 把 系 统 拖 死 的 情 况 所 以 从 这 些 角 度 来 说,SD 或 者 说 CFS 带 来 的 系 统 响 应 性 比 Windows Vista 会 更 好 Windows Vista 或 Windows 7 并 非 对 高 优 先 级 线 程 一 点 制 约 手 段 也 没 有 它 们 也 通 过 动 态 判 断 线 程 的 情 况 来 调 整 它 们 的 优 先 级, 以 提 高 系 统 的 响 应 性 能 这 一 概 念 称 为 优 先 级 提 升, 包 括 优 先 级 分 离 避 免 饥 饿 而 提 升 等 多 种 手 段 优 先 级 提 升 是 如 何 实 现 的 呢? 请 参 考 深 入 解 析 Windows 操 作 系 统 ( 第 六 版 ) 第 5 章 比 起 单 用 户 情 况 下 的 线 程 调 度, 多 用 户 情 况 下 的 线 程 调 度 更 为 复 杂 Windows 服 务 器 版 本 支 持 终 端 服 务 器 功 能, 也 就 是 远 程 桌 面 服 务 每 一 个 用 户 可 以 有 自 己 的 远 程 桌 面, 能 运 行 服 务 器 上 已 安 装 的 任 意 应 用 程 序 针 对 这 种 典 型 的 多 用 户 情 况,Windows Server 2008 R2( 也 就 是 Windows 7 的 服 务 器 版 本 ) 提 供 了 基 于 远 程 桌 面 会 话 的 分 布 式 公 平 份 额 调 度 器 (Distributed Fair Share Scheduler,DFSS), 来 显 著 提 高 多 用 户 情 况 下 的 线 程 调 度 公 平 性 详 细 信 息, 请 参 考 深 入 解 析 Windows 操 作 系 统 ( 第 六 版 ) 第 5 章 除 了 基 于 x86 CPU ring0/ring1 隔 离 机 制 ( 或 更 新 的 采 用 Intel VT/AMD-V 技 术 ) 实 现 的 能 运 行 一 个 完 整 32 位 或 64 位 操 作 系 统 的 现 代 虚 拟 机 ( 其 早 期 版 本, 如 VMware Virtual PC 等 是 [1] 在 2000 年 左 右 实 现 的 ) 之 外, 早 在 时 代, 已 存 在 为 了 兼 容 性 而 提 供 的 运 行 老 式 程 序 的 虚 拟 机 这 就 是 V86 模 式 V86 模 式 可 以 称 得 上 是 英 特 尔 i386 CPU 引 入 的 硬 件 虚 拟 化 支 持, 但 是, 它 虚 拟 化 的 只 是 16 位 的 8086 环 境, 而 不 是 本 身 当 操 作 系 统 引 导 进 入 386 特 有 的 保 护 模 式 以 后,DOS 和 Win16 程 序 就 无 法 运 行 在 实 模 式 下 面 此 时, 操 作 系 统 必 须 通 过 V86 模 式 来 虚 拟 出 一 个 DOS 和 Win16 环 境 通 过 这 样 的 虚 拟 化, 虽 然 单 个 DOS 程 序 仍 被 限 制 只 能 访 问 640KB 内 存, 但 多 个 命 令 行 窗 口 中 的 DOS 程 序 都 分 别 运 行 在 自 己 的 640KB 虚 拟 地 址 空 间 上, 因 而 能 够 被 动 态 映 射 到 物 理 内 存 中 的 任 意 页 面 上 另 外,DOS 环 境 中 的 扩 展 内 存 也 通 过 DPMI 接 口 得 到 了 支 持 支 持 V86 模 式 的 组 件 叫 做 NTVDM(NT 虚 拟 DOS 机 ), 支 持 Win16 环 境 的 组 件 叫 WOW(Windows on Windows), 因 此 有 时 在 任 务 管 理 器 里 能 看 见 ntvdm.exe 和 wowexec.exe 这 两 个 进 程 无 独 有 偶,64 位 Windows 为 32 位 应 用 程 序 虚 拟 一 个 运 行 环 境 的 时 候, 这 种 技 术 也 被 称 为 WOW 所 不 同 的 是, 它 的 具 体 名 称 叫 做 Wow6432 [22] Linux 上 用 V86 模 式 虚 拟 DOS 运 行 环 境 的 软 件 有 DOSEMU 由 于 利 用 了 硬 件 虚 拟 化 支 持 的 缘 故, 它 的 运 行 速 度 也 接 近 物 理 机 而 另 一 个 软 件 DosBox 则 类 似 于 Bochs 虚 拟 机, 是 将 DOS 程 序 的 机 器 指 令 解 释 执 行 来 模 拟 DOS 的, 所 以 速 度 比 较 慢 幸 运 的 是, 由 于 DOS 流 行 的 年 代 相 当 早, 大 多 数 DOS 程 序 都 是 为 或 更 老 的 CPU 设 计 的, 因 此 DosBox 在 绝 大 多 数 情 况 下 已 经 足 够 快 了 为 了 适 应 多 核 时 代 的 降 临,Windows 7 调 度 器 中 的 锁 已 经 做 了 很 大 的 优 化 详 细 内 容 可 以 参 考 MSDN Channel 9 上 Arun Kishan 的 视 频 Farewell to the Windows Kernel Dispatcher Lock [13] 8

9 这 使 得 Windows 7 在 超 过 4 核 的 情 况 下 比 Windows Vista 表 现 得 更 卓 越 而 且, 微 软 与 客 户 积 极 协 作, 改 进 Windows 7 在 特 定 应 用 场 景 下 的 性 能, 也 取 得 了 不 小 的 成 效 详 细 内 容, 可 以 参 考 深 入 解 析 Windows 操 作 系 统 ( 第 六 版 ) 第 5 章 第 5 章 远 不 止 提 供 了 我 这 里 讲 到 的 这 些 内 容, 它 还 包 含 进 程 和 线 程 的 内 核 数 据 结 构 进 程 的 启 动 过 程 线 程 的 入 口 地 址 线 程 池 NUMA 支 持 等 诸 多 技 术 方 面 相 当 翔 实 的 内 容, 是 很 好 的 技 术 参 考 内 存 管 理 器 顾 名 思 义, 内 存 管 理 器 负 责 管 理 应 用 程 序 的 内 存 使 用 [14] 作 为 一 个 多 任 务 操 作 系 统, Windows 需 要 管 理 系 统 中 同 时 运 行 的 多 个 进 程 的 内 存 使 用 由 于 i386 处 理 器 在 保 护 模 式 下 支 持 段 页 式 内 存 管 理 的 缘 故,Windows 也 充 分 利 用 了 这 一 特 性 绝 大 多 数 情 况 下,Windows 采 用 页 式 内 存 管 理 在 这 种 模 式 下, 应 用 程 序 和 系 统 的 大 部 分 代 码 通 过 线 性 地 址 来 访 问 内 存 线 性 地 址 指 的 是 2^32 字 节, 也 就 是 4GB 的 内 存 空 间 能 直 接 通 过 32 位 地 址 来 访 问, 而 相 对 于 8086 的 16 位 段 号 加 16 位 偏 移 量 这 种 非 线 性 编 址 而 言, 它 是 线 性 的, 所 以 称 为 线 性 地 址 对 于 应 用 程 序 来 说, 只 需 要 直 接 访 问 线 性 地 址 上 的 内 存 即 可, 但 对 于 操 作 系 统 而 言, 它 必 须 建 立 线 性 地 址 到 物 理 内 存 地 址 的 转 译 关 系 通 过 这 种 转 译, 不 同 应 用 程 序 以 及 系 统 本 身 的 内 存 可 以 被 互 相 隔 离 和 保 护, 而 且 还 可 以 实 现 用 磁 盘 来 虚 拟 内 存 的 效 果 在 这 里 要 科 普 一 下,x86 的 虚 拟 地 址 空 间 并 不 是 把 硬 盘 虚 拟 成 内 存, 不 是 什 么 所 有 进 程 加 上 系 统 及 空 闲 的 物 理 内 存 放 在 一 个 空 间 里 面, 然 后 再 跟 着 放 上 硬 盘 上 的 页 面 文 件 空 间 这 种 想 象 可 以 工 作, 但 完 全 和 x86 的 设 计 不 同 x86 里, 以 Windows 为 例, 进 程 和 它 所 有 的 dll 内 存 映 射 文 件 等 被 映 射 到 一 块 区 域 ( 比 如 2GB 以 下 的 空 间 ), 系 统 数 据 硬 件 I/O 地 址 等 被 映 射 到 另 一 块 区 域 ( 比 如 2GB 以 上 的 空 间 ) 换 一 个 进 程, 映 射 就 会 有 很 大 变 化 可 以 说 映 射 本 身 ( 页 目 录 页 表 ) 就 要 占 据 不 少 空 间 空 间 里 也 有 好 多 空 洞, 一 旦 访 问 就 会 让 进 程 崩 溃 ( 如 果 是 内 核 模 式 代 码 访 问, 则 会 引 起 系 统 蓝 屏 或 崩 溃 ) 详 细 信 息, 可 以 参 考 深 入 解 析 Windows 操 作 系 统 ( 第 六 版 ) 第 10 章 内 存 管 理 在 理 想 的 情 况 下, 应 用 程 序 所 需 要 访 问 的 内 存 完 全 位 于 物 理 内 存 中, 并 且 已 经 被 映 射 到 进 程 的 线 性 地 址 空 间 内 这 一 线 性 地 址 空 间 就 被 称 为 虚 拟 内 存, 而 被 映 射 的 物 理 页 面 集 合 叫 做 进 程 的 工 作 集 (working set) 简 单 地 来 说, 当 空 闲 的 物 理 内 存 低 于 某 一 阈 值 时, 内 存 管 理 器 将 会 查 询 各 个 进 程 被 映 射 的 页 面 中 最 近 没 有 被 访 问 过 的 页 面, 并 将 其 中 的 一 部 分 交 换 到 磁 盘 上, 以 便 腾 出 空 间 来 满 足 新 的 内 存 访 问 请 求 Windows 会 根 据 新 访 问 页 面 的 不 同 情 况, 创 建 它 们 或 从 磁 盘 上 读 取 它 们, 再 把 它 们 映 射 到 物 理 内 存 中 磁 盘 上 交 换 内 存 页 面 用 的 文 件 通 常 被 称 为 交 换 文 件 或 页 面 文 件 线 性 地 址 空 间 中 的 内 存 被 划 分 为 页 面, 在 i386 体 系 结 构 里, 它 的 大 小 是 4KB, 且 以 4KB 对 齐 为 了 将 物 理 内 存 空 间 与 线 性 地 址 空 间 加 以 区 分, 物 理 内 存 空 间 中 的 4KB 页 被 称 为 页 框 一 些 别 的 CPU 体 系 结 构 里, 内 存 页 面 是 8KB 大 小 后 期 的 x86 和 x64 还 支 持 2MB 的 大 页 面 这 些 在 深 入 解 析 Windows 操 作 系 统 ( 第 六 版 ) 第 10 章 中 都 有 介 绍 进 程 占 用 的 物 理 内 存 既 然 被 称 为 工 作 集, 那 么 它 所 占 用 的 虚 拟 内 存 被 称 为 什 么 呢? 在 Windows 任 务 管 理 器 的 性 能 标 签 页 里 面 有 一 项 提 交 用 量 (commit charge), 它 就 是 系 统 中 所 有 虚 拟 内 存 占 用 量 的 总 和 另 外, 一 个 进 程 的 私 有 字 节 数 (private bytes) 表 示 9

10 深 入 解 析 Windows 操 作 系 统 翻 译 后 记 它 的 线 性 地 址 空 间 里 不 和 其 他 进 程 共 享 的 内 存, 通 常 这 个 值 能 反 映 一 个 进 程 所 消 耗 的 内 存 数 量 我 个 人 的 一 个 经 验 是 : 如 果 私 有 字 节 数 无 法 精 确 表 示 出 一 个 进 程 实 际 消 耗 的 内 存 量, 比 如 由 于 它 有 很 多 共 享 的 内 存, 但 却 没 有 真 的 被 其 他 进 程 所 共 享 的 缘 故 那 么, 一 个 办 法 就 是 先 观 察 没 有 这 个 进 程 时 的 总 虚 拟 内 存 消 耗, 然 后 启 动 这 个 进 程, 并 把 新 的 虚 拟 内 存 消 耗 与 之 前 的 做 比 较 这 样 就 能 大 致 看 出 这 个 进 程 消 耗 的 虚 拟 内 存 数 量 了 操 作 系 统 内 核 代 码 和 驱 动 程 序 也 需 要 使 用 内 存 任 务 管 理 器 中 的 换 页 内 存 池 (paged pool) 和 非 换 页 内 存 池 (non-paged pool) 表 示 出 这 种 类 型 的 内 存 使 用, 两 者 都 位 于 内 核 的 线 性 地 址 空 间, 其 区 别 是 一 者 可 以 换 页 而 另 一 者 不 能 如 果 内 核 代 码 或 驱 动 程 序 需 要 使 用 的 某 些 内 存 总 是 在 DPC/Dispatch 这 个 中 断 请 求 级 别 (IRQL) 以 下 ( 不 包 含 该 级 别 ) 被 访 问, 那 么 就 可 以 从 换 页 内 存 池 中 分 配 与 别 的 操 作 系 统 不 同,Windows 的 缓 存 管 理 器 与 内 存 管 理 器 是 紧 密 结 合 的 [15] [9] Windows 中 进 程 的 内 存, 除 了 可 以 是 通 过 堆 管 理 器 (HeapAlloc GlobalAlloc VirtualAlloc 等 函 数 ) 分 配 出 来 的 匿 名 内 存 之 外, 也 可 以 是 对 文 件 的 某 一 部 分 进 行 映 射 来 得 到 的 内 存 映 射 文 件 (memory mapped files) 在 Windows 内 存 管 理 器 中 是 通 过 内 存 区 对 象 来 实 现 的 缓 存 管 理 器 缓 存 文 件 的 方 式 是, 把 文 件 要 被 访 问 的 那 一 部 分 映 射 到 系 统 地 址 空 间 里 面, 然 后 访 问 这 块 内 存 比 如 在 读 取 文 件 时, 内 存 管 理 器 会 检 查 这 块 文 件 内 容 是 否 已 经 在 物 理 内 存 中 了, 如 果 是, 那 就 不 必 从 磁 盘 上 读 取 了 这 样 就 自 然 成 为 了 读 取 缓 存 与 之 相 似 的 是, 普 通 应 用 程 序 的 内 存 映 射 文 件 也 可 以 被 看 作 是 带 缓 存 的, 只 不 过 因 为 文 件 是 被 程 序 直 接 映 射 的, 缓 存 管 理 器 将 不 会 参 与 到 这 个 过 程 中 已 访 问 的 文 件 数 据 被 缓 存 管 理 器 作 为 内 存 区 对 象 映 射 到 系 统 地 址 空 间 里, 那 么 必 然 这 部 分 系 统 地 址 空 间 也 有 其 虚 拟 大 小 和 工 作 集 在 32 位 Windows 上, 这 个 虚 拟 大 小 的 上 限 是 960MB 工 作 集 显 然 不 可 能 超 过 虚 拟 大 小, 但 是 这 并 不 表 示 缓 存 的 数 据 只 有 960MB 原 因 在 于, 内 存 管 理 器 有 另 外 两 个 页 面 列 表 : 备 用 列 表 (standby list) 和 已 修 改 列 表 (modified list) 备 用 列 表 里 保 存 了 这 样 的 物 理 页 面 : 那 些 已 经 从 进 程 工 作 集 中 去 除 的 页 面, 但 由 于 物 理 内 存 还 没 有 那 么 紧 张, 它 们 还 没 有 被 用 于 其 它 目 的, 所 以 暂 时 仍 保 存 着 进 程 工 作 集 之 前 的 数 据 已 修 改 页 面 则 是 那 些 不 在 进 程 工 作 集, 并 且 有 数 据 已 经 被 修 改 的 页 面 ; 其 中 的 数 据 会 被 平 衡 集 管 理 器 的 懒 惰 写 功 能 刷 新 到 磁 盘 上 备 用 列 表 和 已 修 改 列 表 合 起 来 成 为 转 换 列 表 (transition list) 正 因 为 这 个 列 表 的 存 在, 缓 存 的 实 际 大 小 是 可 能 超 过 系 统 缓 存 虚 拟 地 址 空 间 大 小 的 [10] 缓 存 管 理 器 这 样 的 特 性 会 带 来 一 些 不 方 便, 那 就 是 无 论 是 通 过 读 写 文 件 API 对 文 件 做 访 问 ( 考 虑 允 许 缓 存 的 情 况 ), 还 是 通 过 内 存 映 射 文 件 方 式 ( 比 如, 一 个 可 执 行 文 件 的 exe dll 等 文 件 就 是 被 映 射 到 虚 拟 内 存 中 的 ) 来 读 写 页 面, 在 性 能 监 视 器 里 这 些 操 作 都 被 显 示 为 虚 拟 内 存 的 换 页 操 作 这 样, 很 多 时 候 发 现 内 存 换 页 厉 害, 就 不 知 道 是 因 为 内 存 不 够 用 还 是 有 程 序 在 读 写 磁 盘 了 当 然, 缓 存 管 理 器 还 拥 有 显 式 预 读 智 能 预 读 延 迟 写 等 功 能 详 细 信 息 请 参 考 深 入 解 析 Windows 操 作 系 统 ( 第 六 版 ) 第 11 章 缓 存 管 理 器 从 Windows Vista 开 始, 磁 盘 缓 存 的 机 制 也 有 所 改 进 Windows XP 的 缓 存 管 理 器 有 一 个 不 够 10

11 理 想 的 特 性, 如 果 一 个 程 序 以 随 机 访 问 方 式 或 默 认 缓 存 方 式 打 开 一 个 几 百 兆 这 样 的 大 文 件, 并 将 这 个 文 件 从 头 到 底 读 一 遍, 那 么 缓 存 的 工 作 集 就 会 被 访 问 几 百 兆 的 数 据 而 这 些 缓 存 的 工 作 集 又 被 当 作 进 程 工 作 集 一 样 处 理 进 程 工 作 集 如 果 被 这 样 大 量 地 访 问, 自 然 有 必 要 把 它 大 范 围 扩 大, 原 因 是 进 程 的 数 据 往 往 会 被 再 次 访 问 但 对 于 磁 盘 缓 存 来 说, 往 往 数 据 只 是 被 连 续 读 取, 即 使 被 读 取 多 遍, 缓 存 在 物 理 内 存 中 也 不 会 使 性 能 提 高 太 多, 反 而 大 量 挤 占 了 其 他 进 程 的 工 作 集, 影 响 系 统 总 体 性 能 Windows Vista 已 不 再 有 这 个 性 能 问 题 而 且 Windows Vista 还 有 一 个 特 性, 那 就 是, 即 使 应 用 程 序 指 定 不 需 要 读 缓 存, 对 于 读 取 的 数 据, 它 还 是 会 以 不 影 响 缓 存 工 作 集 大 小 这 样 一 种 不 带 来 较 大 干 扰 的 方 式, 把 它 缓 存 起 来 [3] 这 种 现 象 在 使 用 Virtual PC 时 特 别 明 显, 因 为,Virtual PC 默 认 就 是 不 使 用 读 缓 存 的 前 面 说 过,Windows 内 存 管 理 器 采 用 工 作 集 机 制 来 替 换 不 经 常 使 用 的 页 面, 这 与 Linux 的 LRU ( 最 近 最 少 使 用 ) 不 同 而 且 早 期 的 NT 内 存 管 理 器 只 在 物 理 内 存 不 够 的 时 候 才 根 据 页 面 的 访 问 位, 修 剪 进 程 的 工 作 集 此 时 的 跟 踪 数 据 并 不 一 定 准 确, 因 为 它 是 进 程 积 累 了 相 当 长 一 段 时 间 之 后 使 用 过 的 页 面 所 以, 这 样 的 做 法 未 必 真 正 反 映 了 进 程 的 工 作 集 工 作 集 这 一 名 词 是 Peter J. Denning 在 1968 年 的 论 文 The Working Set Model for Program Behavior 中 提 出 的 工 作 集 是 一 段 时 间 里 面 进 程 访 问 过 的 页 面 问 题 是, 在 实 际 的 操 作 系 统 中, 这 个 时 间 应 该 怎 样 确 定 如 果 假 设 物 理 内 存 比 较 小, 只 能 放 得 下 一 部 分 页 面, 那 么 操 作 系 统 应 该 优 先 把 工 作 集 的 部 分 放 进 去 然 后, 随 着 时 间 的 推 移, 进 程 可 能 访 问 原 工 作 集 之 外 的 页 面 Denning 的 论 文 指 出, 一 般 来 说, 进 程 的 内 存 访 问 有 着 locality( 局 域 性 ) 特 性, 但 又 符 合 一 定 的 概 率 分 布, 就 是 工 作 集 随 着 时 间 的 增 长, 趋 向 于 整 个 进 程 在 其 生 命 周 期 中 所 有 要 用 到 的 页 面 但 这 根 曲 线 又 是 弯 曲 的 ( 见 Figure 1), 越 往 曲 线 开 端 ( 即 时 间 越 短 ) 越 陡 峭, 反 之 则 越 平 缓 11

12 深 入 解 析 Windows 操 作 系 统 翻 译 后 记 Figure 1 - Denning's Working Set Theory 因 此, 我 们 可 以 设 定 一 段 时 间, 让 这 段 时 间 所 对 应 的 进 程 工 作 集 之 外 的 所 有 页 面 在 它 们 将 来 被 访 问 时, 用 于 加 载 移 除 其 他 不 用 的 页 面 的 时 间 消 耗 总 和 小 于 这 段 指 定 的 时 间 这 样, 浪 费 在 换 页 上 的 时 间 不 会 太 多 如 果 按 上 面 这 样 定 义 的 进 程 工 作 集 能 被 放 入 物 理 内 存, 那 么 系 统 的 状 态 就 是 健 康 的 如 果 上 述 定 义 的 工 作 集 太 大, 无 法 被 放 进 物 理 内 存, 那 么 我 们 就 说 系 统 产 生 了 颠 簸 (thrashing) 此 时 系 统 的 性 能 将 会 特 别 差 Windows XP/Server 2003 中 的 工 作 集 概 念 虽 然 与 Denning 的 模 型 有 所 不 同, 但 在 实 践 中 其 效 果 也 还 不 错, 不 过, 一 旦 发 生 颠 簸, 整 个 工 作 集 的 修 剪 会 变 得 不 太 理 智 其 主 要 表 现 为, 当 进 程 的 页 面 按 访 问 位, 把 该 保 留 的 保 留 下, 能 移 除 的 移 除 掉 以 后, 如 果 物 内 存 还 是 不 够 用, 则 会 在 已 访 问 的 页 面 中 随 机 选 择 页 面 来 移 除 Linux 在 这 方 面 要 表 现 得 好 很 多 曾 有 一 台 Linux 机 器 有 64MB 内 存, 跑 得 比 较 慢 后 来 把 内 存 加 到 128MB, 用 vmstat 命 令 发 现 它 实 际 需 要 的 物 理 内 存 正 接 近 128MB 也 就 是 说, 当 物 理 内 存 为 系 统 中 所 有 进 程 工 作 集 一 半 大 小 的 时 候,Linux 还 能 用, 虽 然 比 较 慢 而 Windows 遇 到 这 种 情 况, 会 变 得 非 常 难 以 使 用 Linux 和 一 些 其 他 的 *nix 系 统 在 这 方 面 采 用 的 是 LRU 算 法 [16] 我 认 为, 比 LRU 更 强 大 的 缓 存 替 换 策 略 是 老 化 - 频 率 缓 存 [8] ; 再 进 一 步, 则 要 用 到 人 工 智 能 了 ( 马 尔 可 夫 链 是 其 初 级 形 式 ), 但 是, 无 论 用 什 么 方 法, 再 好 的 方 法 都 无 法 避 免 内 存 不 够 时 的 颠 簸 然 而, 对 于 内 存 足 够 情 况 下 的 磁 盘 缓 存 来 说, 一 个 好 的 替 换 策 略 是 会 带 来 一 定 改 善 的 前 面 提 到 过 聚 簇 换 页 它 是 Windows NT 用 来 提 高 换 页 性 能 的 一 种 方 法 它 在 概 念 上 有 点 类 12

13 似 于 预 读 缓 存, 利 用 的 是 磁 盘 连 续 读 写 的 性 能 需 要 指 出 它 和 文 件 缓 存 不 同 的 一 点 是, 文 件 中 的 页 面 是 由 文 件 系 统 分 配 内 存 管 理 器 无 法 移 动 的, 而 交 换 文 件 ( 页 面 文 件 ) 中 哪 些 页 面 对 应 哪 些 地 址 的 虚 拟 内 存 页 面 则 是 可 以 由 内 存 管 理 器 自 己 定 义 的 这 样 一 来, 写 入 页 面 时, 就 将 页 面 在 交 换 文 件 中 的 实 际 地 址 确 定 了 下 来, 所 以 聚 簇 写 是 比 较 有 效 的 优 化 反 过 来, 聚 簇 读 则 未 必 真 的 能 让 内 存 请 求 得 到 命 中, 特 别 是 当 应 用 程 序 的 数 据 访 问 比 较 随 机 的 时 候 因 此 换 入 操 作 往 往 还 是 比 较 慢 的 Windows Vista 引 入 了 Superfetch 技 术 Superfetch 并 不 是 内 存 管 理 器 的 一 部 分, 而 是 与 内 存 管 理 器 整 合 的 一 个 组 件 Superfetch 本 身 需 要 消 耗 一 定 的 内 存 在 我 的 一 台 1GB 内 存 的 机 器 上, 需 要 占 用 大 约 60MB 内 存 Superfetch 提 供 的 功 能 是, 它 会 在 后 台 以 较 低 的 执 行 优 先 级 把 它 预 测 到 将 有 较 大 概 率 会 被 用 到 的 内 存 页 面 放 到 物 内 存 中 去 它 的 预 测 机 制 涉 及 一 些 微 软 研 究 院 发 明 的 人 工 智 能 技 术, 比 如, 当 一 个 程 序 被 执 行 后, 将 有 多 大 概 率 读 取 某 一 个 文 件, 并 以 这 样 的 分 析 来 决 定 加 载 哪 些 页 面 它 也 针 对 某 些 特 定 场 合, 比 如 中 午 吃 完 饭 回 来 以 后 用 户 将 会 打 开 浏 览 器 看 看 网 页 等 情 形 做 了 优 化 参 见 Michael Fortin 的 访 谈 [20] Superfetch 在 实 现 上 还 会 区 分 页 面 的 优 先 级 这 样, 它 会 把 较 高 优 先 级 的 页 面 保 留 在 物 理 内 存 中, 而 把 低 优 先 级 的 物 理 内 存 无 法 容 纳 的 页 面 换 出 到 硬 盘 上 除 了 Superfetch 外, 用 户 还 可 以 手 动 启 用 ReadyBoost 来 提 升 性 能 ReadyBoost 使 用 一 个 存 储 介 质 为 闪 存 的 缓 存, 来 加 速 系 统 的 读 取 速 度 其 原 理 是 闪 存 的 随 机 读 取 速 度 比 硬 盘 要 快 得 多, 页 面 换 入 操 作 又 是 一 个 会 影 响 应 用 程 序 响 应 性 能 的 操 作, 所 以,ReadyBoost 可 以 很 好 地 缓 解 这 一 性 能 瓶 颈 此 外, 再 把 页 面 换 出 操 作 尽 可 能 做 成 聚 簇 换 出 页 面, 那 么 换 出 操 作 也 会 比 较 接 近 连 续 写, 机 械 硬 盘 的 性 能 优 势 也 将 得 到 发 挥, 从 而 从 整 体 上 提 高 了 系 统 的 性 能 ReadyBoost 一 旦 打 开,Superfetch 就 会 把 中 等 优 先 级 的 页 面 放 进 ReadyBoost 缓 存, 从 而 形 成 从 物 理 内 存 到 ReadyBoost 缓 存, 再 到 机 械 硬 盘 的 三 层 页 面 存 储 体 系 但 是,ReadyBoost 的 设 计 并 不 十 分 完 美 我 个 人 做 了 很 多 实 验, 结 果 表 明 ReadyBoost 要 提 高 性 能 是 有 先 决 条 件 的 : 空 闲 的 物 理 内 存 必 须 相 当 充 裕, 至 少 要 有 1/3 的 空 闲 物 理 内 存 如 果 做 不 到 这 一 点,ReadyBoost 默 认 带 来 的 性 能 提 升 将 会 非 常 有 限 不 过, 我 们 却 可 以 利 用 Superfetch 的 一 个 特 性 来 让 它 提 升 性 能 ReadyBoost 之 所 以 性 能 不 佳, 原 因 只 不 过 是 当 页 面 被 换 入 时, 缓 存 中 没 有 这 些 页 面, 从 而 造 成 缓 存 不 命 中 ( 记 得 吗,Superfetch 会 把 中 等 优 先 级 的 数 据 缓 存 在 ReadyBoost 中, 那 些 高 优 先 级 的 反 而 不 一 定 在 ) 要 解 决 这 个 问 题, 可 以 利 用 Superfetch 的 一 个 特 点 : 它 在 向 物 理 内 存 填 充 超 级 预 读 数 据 的 时 候, 同 时 也 会 向 ReadyBoost 缓 存 写 入 这 些 数 据 那 么 怎 么 办 呢? 很 简 单, 用 一 个 程 序, 一 下 子 占 用 大 量 物 理 内 存 ( 比 如 物 理 内 存 总 量 的 一 半 ), 然 后 释 放 这 必 然 会 带 来 大 量 的 页 面 换 出 操 作, 同 时 Superfetch 缓 存 也 会 被 清 空, 留 下 大 量 的 空 闲 内 存 接 下 来,Superfetch 就 会 努 力 填 充 空 闲 内 存, 同 时 把 这 些 页 面 也 存 入 ReadyBoost 缓 存 填 充 的 这 些 页 面 显 然 会 是 比 进 程 工 作 集 优 先 级 低, 但 却 比 硬 盘 上 的 页 面 优 先 级 高 的 页 面 这 样 一 来, 在 后 续 的 时 间 里 ReadyBoost 就 会 很 好 地 响 应 对 这 些 页 面 的 读 取 请 求 了, 即 使 后 来 物 理 内 存 的 使 用 量 上 升, 也 还 能 做 出 不 错 的 响 应, 况 且 优 先 级 更 低 的 页 面 也 早 已 缓 存 在 ReadyBoost 之 内 了 Android 系 统 不 支 持 用 闪 存 来 做 虚 拟 内 存, 这 使 得 它 的 内 存 空 间 被 严 重 地 限 制 在 物 理 内 存 之 中 不 过, 它 采 用 内 存 压 缩 技 术 ( 起 源 于 Linux 中 的 zram), 在 内 存 紧 张 的 时 候 为 应 用 程 序 13

14 深 入 解 析 Windows 操 作 系 统 翻 译 后 记 腾 出 内 存 空 间 如 果 内 存 还 是 不 够, 就 会 强 制 关 闭 应 用 程 序 的 界 面 部 分, 乃 至 杀 服 务 进 程 从 这 方 面 来 说,Android 对 物 理 内 存 容 量 的 要 求 更 高 这 也 就 是 为 什 么 应 用 程 序 比 Android 还 多 的 Windows 8 平 板 所 配 置 的 内 存 通 常 是 2GB, 不 比 流 行 的 Android 手 机 高, 却 也 能 流 畅 运 行 的 原 因 有 的 系 统 上, 提 交 的 虚 拟 内 存 用 量 甚 至 可 以 达 到 物 理 内 存 的 1.5 倍 之 多 比 如 说, 当 物 理 内 存 为 4G 时, 提 交 用 量 甚 至 可 以 达 到 6GB 左 右 这 对 于 Android 所 使 用 的 内 存 压 缩 技 术 而 言, 很 难 做 到 这 么 多 所 以 相 对 来 说, 同 样 大 小 物 理 内 存 的 设 备,Android 更 容 易 内 存 不 够 用 时 下, 有 人 担 心 平 板 或 超 级 本 所 采 用 的 SSD 固 态 硬 盘 的 闪 存 芯 片 的 写 入 次 数 有 限, 因 此 频 繁 换 页 对 它 们 的 寿 命 有 影 响, 所 以 把 虚 拟 内 存 ( 页 面 文 件 ) 关 闭 其 实 这 在 大 多 数 情 况 下 都 是 不 必 要 的 担 心 假 设 MLC 的 NAND 闪 存 能 写 入 10 万 次 数 据, 一 个 256GB 的 存 储 器, 每 天 写 入 256GB 的 数 据, 都 可 以 使 用 200 年 考 虑 到 写 放 大, 就 算 有 3 倍 吧, 也 能 用 70 年 到 时 候 电 脑 都 早 就 换 了 吧 如 果 实 在 不 放 心, 可 以 用 性 能 监 视 器 ( 运 行 perfmon 命 令, 或 者 进 入 控 制 面 板 -> 管 理 工 具 打 开 它 ), 观 察 页 面 换 出 (Pages Output/sec) 量, 再 做 区 处 而 且, 即 便 换 出 量 过 大, 应 有 的 解 决 方 案 也 是 加 大 物 理 内 存, 或 者 关 掉 些 应 用 程 序, 而 不 是 关 闭 交 换 文 件 因 为 如 果 那 样 做, 应 用 程 序 反 而 会 因 为 物 理 内 存 不 够 而 退 出, 影 响 日 常 使 用 一 个 进 程 在 启 动 时, 内 存 管 理 器 会 为 它 分 配 内 存 进 程 本 身 有 一 个 可 执 行 文 件 ( 通 常 扩 展 名 为 exe), 同 时 会 加 载 一 些 动 态 链 接 库 (dll) 可 执 行 文 件 中 的 代 码 会 调 用 动 态 链 接 库 中 的 函 数 而 一 个 exe 程 序 在 编 译 连 接 期 间 可 以 指 定 使 用 动 态 链 接 库 的 导 入 库 (import library), 这 样, 当 可 执 行 文 件 运 行 时, 它 就 间 接 地 能 知 道 它 所 调 用 的 动 态 链 接 库 函 数 的 内 存 地 址 但 是, 动 态 链 接 库 的 加 载 地 址 并 非 固 定 的 为 了 适 应 这 种 动 态 加 载 的 地 址 位 置, 操 作 系 统 会 根 据 exe 映 像 的 全 局 函 数 指 针 表, 根 据 dll 的 实 际 加 载 位 置 调 整 这 些 函 数 指 针 的 值, 这 一 过 程 叫 做 rebasing( 基 地 址 调 整 ) 进 程 在 启 动 后, 程 序 逻 辑 不 仅 需 要 用 到 全 局 变 量 和 栈 上 的 函 数 局 部 变 量, 时 常 还 需 要 在 堆 上 分 配 内 存 空 间 以 供 使 用 此 时, 系 统 的 堆 管 理 器 就 会 发 挥 作 用 堆 管 理 器 提 供 了 HeapAlloc 和 HeapFree 函 数 以 提 供 堆 内 存 分 配 和 释 放 的 功 能 许 多 C/C++ 开 发 环 境 的 malloc 函 数 都 最 终 调 用 了 HeapAlloc 函 数 堆 管 理 器 有 一 些 独 特 的 特 性, 使 得 它 能 胜 任 堆 管 理 的 任 务 首 先, 所 有 堆 内 存 的 分 配 和 释 放 都 只 需 要 简 单 地 调 用 HeapAlloc 和 HeapFree 即 可, 这 些 操 作 中 所 有 隐 含 的 虚 拟 内 存 的 分 配 和 释 放 操 作 ( 即 VirtualAlloc/VirtualFree) 都 由 堆 管 理 器 来 完 成, 应 用 程 序 不 需 要 担 心 第 二, 堆 管 理 器 支 持 多 个 堆, 应 用 程 序 可 以 创 建 自 己 的 堆 第 三, 对 于 小 于 一 定 大 小 的 内 存 分 配 ( 在 Windows XP SP2 上 是 1KB), 堆 管 理 器 能 以 O(1) 时 间 复 杂 度 来 分 配 其 具 体 实 现 使 用 了 十 字 链 表, 可 参 考 HeapAlloc 内 部 算 法 [17] 一 文 第 四,Windows Server 2003 开 始, 默 认 启 用 了 低 碎 片 堆 (Low Fragmentation Heap), 能 有 效 减 少 堆 的 内 部 碎 片, 节 省 虚 拟 内 存 第 五, 堆 管 理 器 拥 有 一 定 的 容 错 机 制, 对 于 行 为 异 常 的 应 用 程 序, 它 可 以 检 测 并 修 正 一 部 分 堆 内 存 使 用 上 的 错 误, 特 别 是 双 重 释 放, 以 及 继 续 使 用 已 释 放 的 内 存 块 等 于 2003 年, 微 软 首 席 软 件 架 构 师 Bill Gates 呼 吁 全 公 司 关 注 软 件 的 安 全 性 历 来 微 软 操 作 系 统 最 为 大 众 所 诟 病 的 一 点 就 是 它 的 安 全 性 无 论 是 天 生 不 安 全 的 Windows 95/98/ME, 还 是 集 成 了 安 全 性 控 制 的 Windows NT 系 列, 都 害 怕 真 正 被 用 作 互 联 网 上 的 服 务 器, 其 原 因 正 是 真 正 的 安 全 性 还 没 有 做 到 位 (2000 年 之 前, 微 软 自 己 microsoft.com 网 站 的 服 务 器 用 的 还 都 14

15 是 FreeBSD) 众 所 周 知,C/C++ 语 言 的 特 点 是 运 行 效 率 高, 但 它 们 天 生 是 不 安 全 的, 其 安 全 性 完 全 掌 控 在 程 序 员 的 手 里 一 个 C/C++ 程 序 如 果 设 计 编 写 得 不 好, 可 以 产 生 很 多 安 全 隐 患, 包 括 未 初 始 化 的 变 量 缓 冲 区 溢 出 空 指 针 访 问 野 指 针 访 问 访 问 已 经 释 放 的 内 存 块 重 复 释 放 内 存 泄 漏 释 放 原 本 就 不 是 在 堆 上 分 配 的 内 存 等 等 于 是,Windows XP SP2 中 引 入 了 数 据 执 行 保 护 (DEP,Data Execution Prevention), 用 于 保 护 最 典 型 的 缓 冲 区 溢 出 漏 洞 攻 击 者 可 能 期 望 将 一 个 过 长 的 字 符 串 通 过 网 络 协 议 传 递 给 Windows 服 务 器 上 的 服 务, 并 假 定 该 字 符 串 将 被 存 储 在 一 个 局 部 数 组 中, 该 局 部 数 组 位 于 函 数 的 栈 上 在 英 特 尔 x86 架 构 上, 栈 是 从 高 地 址 向 低 地 址 生 长 的 一 旦 缓 冲 区 溢 出, 靠 近 栈 底 的 内 容 将 被 覆 盖 函 数 的 返 回 地 址 又 恰 恰 在 局 部 变 量 之 前 被 压 栈 该 字 符 串 如 果 成 功 覆 盖 了 函 数 的 返 回 地 址, 就 能 够 改 写 该 返 回 地 址, 使 其 指 向 任 意 函 数 但 是, 光 让 服 务 器 进 程 执 行 一 个 现 有 函 数 是 很 难 达 到 攻 击 目 的 的, 因 为 多 数 现 有 函 数 对 攻 击 者 来 说 也 只 能 做 很 有 限 的 事 于 是, 更 进 一 步, 攻 击 者 在 另 一 个 ( 可 以 是 没 有 溢 出 的 ) 字 符 串 里 放 进 一 个 自 己 编 写 的 函 数 的 机 器 码, 然 后 让 返 回 地 址 指 向 这 个 函 数, 就 可 以 成 功 地 实 现 攻 击 数 据 执 行 保 护 正 是 针 对 这 种 类 型 的 攻 击 的 由 于 攻 击 者 必 须 把 他 想 执 行 的 代 码 放 进 一 段 数 据 中, 只 要 让 这 段 数 据 无 法 被 执 行, 就 能 解 除 威 胁 DEP 的 完 整 实 现 需 要 能 够 标 记 不 可 执 行 位 的 CPU( 基 本 上 Pentium 4 及 更 高 版 本 的 x86 CPU 都 支 持 ), 操 作 系 统 会 把 程 序 的 数 据 页 ( 包 括 局 部 变 量 全 局 变 量 和 堆 ) 标 记 为 不 可 执 行, 如 果 有 指 令 跳 转 到 这 样 的 页 面, 将 会 触 发 一 个 陷 阱, 操 作 系 统 将 处 理 这 一 事 件, 比 如 把 进 程 终 止 于 是 就 可 以 防 范 这 种 类 型 的 攻 击 虽 然 DEP 能 够 防 范 数 据 被 当 作 代 码 来 执 行, 但 它 不 能 防 止 函 数 返 回 值 被 篡 改 为 了 消 除 这 种 攻 击 带 来 的 危 害,Visual C++ 编 译 器 支 持 stack cookie( 栈 小 数 据 ) 的 编 译 选 项 (/GS) 当 函 数 被 调 用 时, 编 译 器 插 入 的 代 码 会 在 靠 近 栈 顶 且 邻 近 函 数 返 回 地 址 的 地 方 新 增 一 个 栈 小 数 据 这 样, 如 果 攻 击 者 要 修 改 函 数 返 回 地 址, 就 必 然 要 改 写 栈 小 数 据, 然 后, 编 译 器 插 入 的 代 码 在 函 数 返 回 的 时 候 检 查 这 个 小 数 据, 就 能 知 道 返 回 地 址 可 能 已 经 被 篡 改, 从 而 终 止 程 序 的 运 行 栈 小 数 据 还 被 用 于 加 密 返 回 地 址 ( 叫 做 指 针 编 码,pointer encoding), 使 得 这 种 攻 击 难 度 更 高 除 了 DEP 之 外,Windows Vista 还 支 持 地 址 空 间 布 局 随 机 化 (ASLR,Address Space Layout Randomization) 在 DEP 的 基 础 上,ASLR 进 一 步 把 dll 加 载 的 位 置 打 乱, 这 样 可 以 让 攻 击 者 更 难 以 找 到 系 统 函 数 的 地 址, 更 难 发 起 有 效 的 攻 击 关 于 这 些 技 术 的 细 节, 请 参 考 深 入 解 析 Windows 操 作 系 统 ( 第 六 版 ) 第 10 章 内 存 管 理 安 全 性 Windows NT 从 设 计 伊 始 就 引 入 了 对 象 管 理 器 文 件 系 统 和 注 册 表 的 安 全 性 概 念 对 象 管 理 器 负 责 管 理 所 有 已 创 建 或 打 开 的 对 象 的 安 全 性, 比 如 一 个 进 程 一 个 打 开 的 文 件 一 个 软 硬 件 设 备 等 等 文 件 系 统, 主 要 是 指 NTFS, 负 责 管 理 文 件 系 统 对 象 的 安 全 性, 如 文 件 目 录 等 注 册 表 则 实 现 了 注 册 表 键 上 的 安 全 性 Windows 内 核 对 象 和 执 行 体 对 象 都 由 对 象 管 理 器 负 责 管 理, 每 一 个 对 象 都 有 它 的 安 全 性 信 息 哪 些 用 户 可 以 访 问 它 们, 以 及 以 怎 样 的 方 式 访 问 它 们 读 取 写 入 执 行, 以 及 更 多 随 着 对 象 类 型 的 不 同 而 不 同 的 权 限 等 等 比 如, 新 建 一 个 进 程 时, 就 可 以 通 过 安 全 描 述 符 指 15

16 深 入 解 析 Windows 操 作 系 统 翻 译 后 记 定 哪 些 用 户 对 它 有 怎 样 的 访 问 权 限 NTFS 通 过 ACL(Access Control List, 访 问 控 制 列 表 ) 来 定 义 目 录 和 文 件 的 安 全 性 [5] Windows 2000 开 始 引 入 了 NTFS 3.0 之 前 Windows NT 4 所 使 用 的 版 本 叫 NTFS 1.2 NTFS 3.0 引 入 了 安 全 性 继 承 概 念, 这 样, 一 个 目 录 的 安 全 性 可 以 由 子 目 录 继 承 由 此 在 实 践 中 也 可 以 节 省 大 量 用 于 存 储 子 目 录 安 全 性 所 需 要 的 磁 盘 空 间 子 目 录 和 文 件 只 需 要 引 用 ( 而 不 是 拷 贝 ) 父 目 录 的 ACL 即 可 继 承 其 安 全 性, 只 有 当 自 己 需 要 定 义 额 外 的 安 全 性 时 才 需 要 记 录 ACL SE Linux 也 支 持 ACL 但 许 多 Linux 发 行 版 默 认 安 装 不 打 开 SE Linux 然 而, 即 便 这 样, 它 仍 能 实 现 与 ACL 接 近 的 安 全 性 设 置 怎 么 做 到 这 一 点 呢?ACL 指 定 了 一 组 而 不 是 单 个 用 户 / 组 对 一 个 文 件 系 统 对 象 的 访 问 权 限 Linux 上 一 个 文 件 系 统 对 象 可 以 属 于 一 个 用 户, 并 属 于 一 个 组 另 外, 一 个 用 户 又 可 以 属 于 多 个 组, 那 么 方 法 就 是 把 需 要 有 访 问 该 文 件 权 限 的 用 户 加 到 中 一 个 组, 让 文 件 属 于 这 个 组, 再 给 予 所 需 要 的 权 限 ( 读 写 执 行 ) 但 是, 这 样 做 的 权 限 设 置 仍 然 受 限 于 只 有 一 个 组 能 关 联 到 一 个 文 件 这 一 事 实, 无 法 实 现 两 个 组 两 种 权 限 的 设 置 Windows Vista 引 入 了 UAC 和 UIPI 这 两 种 新 的 安 全 特 性 UAC 是 User Account Control( 用 户 账 户 控 制 ) 的 缩 写 在 Windows Vista 里 面, 不 仅 普 通 用 户 ( 受 限 用 户, 通 常 属 于 Users 组 ) 运 行 于 受 限 的 权 限 下, 连 系 统 管 理 员 启 动 的 程 序 默 认 也 运 行 在 受 限 的 权 限 下 这 是 什 么 意 思 呢? 举 例 来 说,Windows XP 中 的 管 理 员 账 户 执 行 的 程 序 都 能 写 入 Windows Program Files 等 目 录, 而 Windows Vista 上, 默 认 启 动 的 程 序 是 不 允 许 这 样 做 的 那 么 怎 样 启 动 的 程 序 才 能 这 样 做 呢? 程 序 启 动 时, 它 本 身 或 者 它 的 启 动 者 必 须 显 式 请 求 权 限 提 升 比 如, 在 资 源 管 理 器 中 右 键 点 击 可 执 行 文 件 并 选 择 以 管 理 员 方 式 运 行 以 这 种 方 式 启 动 程 序 后, 如 果 当 前 账 户 是 管 理 员, 那 么 Windows 会 把 桌 面 切 换 到 Winlogon 安 全 桌 面, 并 提 示 用 户 确 认 如 果 当 前 用 户 不 是 管 理 员, 那 么 在 切 换 到 安 全 桌 面 以 后,Windows 会 提 示 用 户 选 择 一 个 管 理 员 账 户 并 输 入 密 码 以 作 确 认 这 种 形 式 的 确 认 之 后, 启 动 的 程 序 就 已 经 具 有 真 正 的 管 理 员 权 限 了 某 些 程 序, 如 安 装 程 序, 需 要 运 行 在 这 样 的 权 限 下 详 细 内 容 请 阅 读 深 入 解 析 Windows 操 作 系 统 ( 第 六 版 ) 第 6 章 安 全 性 UIPI(User Interface Privilege Isolation, 用 户 界 面 特 权 隔 离 ) 是 随 着 UAC 应 运 而 生 的 技 术 有 了 UAC 以 后 默 认 启 动 的 程 序 不 具 备 管 理 员 权 限, 而 要 让 程 序 得 到 权 限 提 升 来 取 得 管 理 员 权 限, 用 户 必 须 经 过 安 全 桌 面 来 确 认 该 行 为 到 此 为 止 一 切 都 是 安 全 的 ( 前 提 是 该 权 限 提 升 的 应 用 程 序 并 非 恶 意 软 件 ) 那 么, 接 下 来, 该 应 用 程 序 将 运 行 在 用 户 的 普 通 桌 面 上 万 一 用 户 桌 面 上 别 的 程 序 向 这 个 具 备 管 理 员 权 限 的 程 序 发 消 息, 岂 不 是 不 安 全 了?UIPI 正 是 用 来 解 决 这 个 问 题 的 UIPI 机 制 让 管 理 员 权 限 的 应 用 程 序 在 默 认 情 况 下 受 到 完 全 的 保 护 非 管 理 员 权 限 的 进 程 无 法 访 问 它 的 UI, 也 无 法 给 它 发 消 息 管 理 员 权 限 下 的 应 用 程 序 可 以 显 式 向 UIPI 指 定 它 需 要 处 理 来 自 非 管 理 员 进 程 的 怎 样 的 消 息 UAC 和 UIPI 这 种 类 型 的 保 护, 在 业 界 称 为 强 制 访 问 控 制 (Mandatory Access Control;MAC) 它 们 通 过 把 应 用 程 序 分 在 不 同 的 诚 信 级 别 (integrity level, 或 者 叫 完 整 性 级 别 ), 让 更 高 诚 信 的 进 程 不 被 更 低 诚 信 的 程 序 随 意 访 问, 从 而 降 低 了 更 低 诚 信 级 别 程 序 可 能 造 成 的 破 坏 除 了 Windows 系 统 提 供 了 这 种 保 护 之 外, 这 一 级 别 也 被 Internet Explorer(7 或 更 高 版 本 ) 用 在 了 保 护 模 式 IE 功 能 里 ( 当 时 由 Robert Gu 领 导 实 现 ) 在 IE 的 安 全 标 签 页, 我 们 能 看 到 启 用 保 护 模 式 选 项 这 个 模 式 下,IE 的 标 签 页 代 码 是 运 行 在 低 诚 信 级 别 16

17 的, 这 样, 一 旦 网 页 利 用 IE 的 漏 洞 攻 击 入 系 统, 也 只 有 很 低 的 权 限, 无 法 修 改 用 户 文 件, 也 无 法 修 改 系 统 继 Windows Vista 引 入 UAC 之 后, 为 了 兼 容 在 编 写 时 没 有 考 虑 Windows 安 全 模 型 的 老 的 应 用 程 序,UAC 提 供 了 虚 拟 化 支 持 有 些 老 版 本 的 应 用 程 序 不 仅 在 安 装 的 时 候 会 向 Windows Program Files 等 公 共 目 录 写 入 数 据, 而 且 在 用 户 使 用 的 过 程 中 也 会 做 这 些 事 情 而 在 企 业 环 境 里 面, 或 者 从 正 式 的 安 全 性 设 置 角 度 来 看, 普 通 用 户 是 没 有 权 限 写 入 这 些 公 共 目 录 的 于 是, 当 这 些 程 序 在 普 通 用 户 账 户 下 运 行 时, 就 访 问 不 了 这 些 目 录, 通 常 会 导 致 程 序 不 能 正 常 运 行 UAC 虚 拟 化 了 文 件 系 统 和 注 册 表 通 过 UAC 虚 拟 化, 向 这 些 公 共 目 录 中 的 写 入 会 被 重 定 向 到 用 户 配 置 文 件 目 录 下 的 AppData\Local\Microsoft\Windows\VirtualStore 子 目 录 中, 从 而 在 保 护 了 老 程 序 兼 容 性 的 前 提 下, 隔 离 了 不 同 用 户 的 数 据 与 UAC 虚 拟 化 有 点 类 似 但 功 能 强 大 许 多 的 一 个 产 品 是 现 时 流 行 的 Docker 其 概 念 是 容 器 这 个 容 器 包 装 的 内 容 有 CPU 内 存 管 理 文 件 系 统 运 行 中 的 进 程 树 用 户 ID 和 网 络, 提 供 这 个 环 境 让 进 程 和 线 程 运 行 这 个 环 境 里 的 名 字 空 间 隔 离 ( 如 进 程 树 和 文 件 系 统 ) 是 通 过 Linux 内 核 的 namespaces 功 能 来 实 现 的 资 源 分 配 则 是 通 过 内 核 的 cgroups 来 实 现 的 Wikipedia 上 的 Operating System-level Virtualization 列 举 了 包 括 Docker 在 内 的 多 种 操 作 系 统 级 别 的 虚 拟 化 技 术 Docker 这 种 级 别 的 虚 拟 化, 在 微 软 对 应 到 一 个 尚 未 发 布 的 产 品, 叫 Drawbridge MSDN Channel 9 上 有 关 于 Drawbridge 的 介 绍 [32] 另 外 值 得 一 提 的 是, 微 软 Application Virtualization(App-V, 应 用 虚 拟 化 ) 的 效 果, 也 是 为 应 用 程 序 提 供 了 一 个 虚 拟 的 文 件 系 统 和 注 册 表 环 境, 使 得 应 用 程 序 不 必 被 真 正 安 装 在 目 标 机 器 上, 就 可 以 使 用 默 认 的 设 置 来 运 行, 大 大 减 少 了 应 用 程 序 的 配 置 损 坏 或 不 同 应 用 程 序 互 相 之 间 配 置 冲 突 带 来 的 问 题 作 为 对 比, 我 们 来 看 一 下 Android 等 移 动 操 作 系 统 的 安 全 性 是 如 何 实 现 的 Android ios 都 不 允 许 全 局 的 键 盘 钩 子, 也 不 允 许 应 用 程 序 在 后 台 截 屏, 只 允 许 显 式 的 截 屏 和 拍 照, 应 用 在 没 有 得 到 授 权 的 情 况 下 也 不 能 拨 打 电 话 和 发 送 短 信 默 认 情 况 下,Android 不 允 许 一 个 应 用 访 问 别 的 应 用 的 数 据, 除 非 那 个 被 访 问 的 应 用 显 式 地 将 数 据 指 定 为 公 开 从 这 些 方 面 来 看, Android 和 ios 天 生 要 比 传 统 Windows 安 全 得 多, 和 新 的 WinRT 处 于 同 一 安 全 级 别 在 Android 系 统 上, 不 允 许 键 盘 钩 子 不 允 许 后 台 截 屏 等 功 能 都 是 通 过 Android Sandbox( 沙 箱 ) 来 实 现 的 每 个 应 用 都 运 行 在 它 自 己 独 立 的 Linux 用 户 账 户 下 ( 虽 然 Android 本 身 是 一 个 单 用 户 的 系 统, 但 却 使 用 了 多 个 Linux 用 户 账 户 来 运 行 应 用 ) 应 用 程 序 通 常 通 过 API 来 访 问 系 统 功 能, 而 这 些 功 能 最 终 都 将 转 换 为 系 统 调 用 系 统 调 用 会 被 内 核 代 码 处 理 某 些 操 作, 如 文 件 系 统 操 作 等, 是 简 单 的 系 统 调 用, 都 由 操 作 系 统 内 核 代 码 直 接 完 成 而 某 些 操 作, 如 拍 照 等 功 能, 需 要 用 到 IPC 之 类 的 系 统 调 用, 它 们 会 通 过 另 一 个 协 作 进 程 来 完 成 这 个 时 候 就 需 要 目 标 进 程 来 判 断, 是 否 允 许 源 进 程 做 这 样 的 操 作 源 进 程 如 果 没 有 相 应 权 限, 操 作 就 会 被 终 止 文 件 系 统 的 访 问 权 限, 则 是 通 过 SE Linux 机 制, 对 文 件 和 目 录 设 置 权 限, 以 避 免 文 件 对 所 有 应 用 的 用 户 账 户 公 开 Android 的 总 体 安 全 实 现 就 类 似 这 样, 它 的 沙 箱 对 Java [18] 和 原 生 (native) 的 应 用 程 序 都 有 效 详 细 信 息, 请 参 考 Android Security 一 文 17

18 深 入 解 析 Windows 操 作 系 统 翻 译 后 记 当 然, 除 了 在 上 述 方 面 的 安 全 性 的 大 大 加 强 之 外,Android 也 有 它 的 局 限 性 目 前 ( 以 安 卓 4.2 来 说 ), 它 还 缺 乏 ios 系 统 所 拥 有 的 程 序 允 许 访 问 哪 些 功 能 这 样 的 控 制 一 个 程 序 在 安 装 时 申 请 了 所 有 功 能 ; 安 装 时 和 安 装 后 都 无 法 更 改 或 取 消 访 问 这 些 功 能 的 权 限 另 一 方 面, 从 文 件 系 统 来 说,SD 卡 上 的 内 容 是 所 有 应 用 程 序 都 可 以 访 问 的, 所 以, 它 缺 乏 Windows 所 拥 有 的 自 主 访 问 控 制 (Discretionary Access Control,DAC) 它 也 缺 乏 安 全 审 核 机 制 (security auditing), 也 就 是 系 统 访 问 控 制 (System Access Control,SAC) 这 样, 我 们 既 无 法 限 制 应 用 程 序 读 写 某 些 文 件, 也 无 法 知 道 哪 些 应 用 程 序 读 取 了 哪 些 文 件 所 以, 我 们 还 是 要 在 Android 设 备 上 避 免 安 装 恶 意 软 件 ( 如 只 通 过 可 信 渠 道 下 载 软 件 ), 否 则, 如 果 有 软 件 把 我 们 的 敏 感 文 件 读 取 并 通 过 网 络 发 送 出 去, 我 们 也 不 知 道 从 我 个 人 的 角 度 来 看, 一 个 安 全 的 操 作 系 统 可 以 怎 样 设 计 呢? 以 前 我 读 书 时 候 接 触 了 Windows 95 和 Windows 98, 发 现 这 两 个 系 统 和 DOS 一 样, 对 计 算 机 病 毒 的 抵 御 能 力 很 弱 即 便 到 了 后 来 的 Windows XP 乃 至 Windows 8, 事 实 上 对 于 病 毒 的 抵 御 能 力 依 然 不 强 Android 系 统 要 好 很 多 而 我 在 Windows 98 时 代 的 想 法 是, 一 则 我 们 要 保 证 操 作 系 统 本 身 无 法 被 病 毒 感 染 就 好 比 现 在 的 Android 系 统, 其 本 身 是 不 会 被 病 毒 所 感 染 的, 除 非 系 统 被 root, 那 是 另 当 别 论 二 则 要 保 证, 不 同 的 应 用 程 序 访 问 同 一 个 用 户 的 数 据 的 时 候, 采 用 的 是 不 同 的 角 色, 从 而 我 们 可 以 精 确 地 控 制 哪 些 程 序 可 以 访 问 哪 些 文 件 或 目 录 ( 读 写 内 容, 删 除, 读 写 安 全 性 等 ), 并 可 以 对 这 些 访 问 做 审 核 ( 最 好 还 可 以 方 便 地 通 过 程 序 来 过 滤 审 核 日 志, 以 发 现 期 望 之 外 的 访 问 ) 对 于 一 些 特 别 敏 感 的 数 据, 还 要 求 应 用 程 序 向 用 户 询 问 密 码 才 能 得 到 访 问 权 这 个 密 码 询 问 对 话 框 需 要 通 过 系 统 来 呈 现, 以 避 免 应 用 程 序 伪 造 为 了 识 别 出 对 话 框 的 真 假, 用 户 可 以 通 过 一 些 手 段, 比 如 Ctrl+Alt+Delete 组 合 键 来 确 认 这 个 对 话 框 是 系 统 提 供 的 而 不 是 应 用 程 序 提 供 的 ( 有 点 类 似 于 Windows 的 UAC 权 限 提 升 对 话 框 ) 上 面 的 安 全 模 型 有 很 大 一 部 分 可 以 参 考 Android 和 Windows 此 外,Android 的 安 全 性 带 来 的 一 个 不 方 便 之 处 是, 应 用 程 序 本 身 的 目 录, 包 括 程 序 目 录 和 数 据 目 录, 都 无 法 被 用 户 查 看, 其 中 的 文 件 无 法 被 复 制 出 来 而 我 们 如 果 要 做 一 个 更 实 用 的 系 统, 可 以 允 许 应 用 程 序 的 目 录 被 用 户 以 只 读 方 式 查 看 和 读 取 但 用 户 必 须 通 过 一 个 系 统 内 置 的 程 序 来 做 到 这 件 事 这 样, 应 用 程 序 互 相 之 间 就 依 然 保 有 私 密 性, 而 用 户 则 拥 有 了 更 大 的 权 力 来 访 问 这 些 细 节 应 用 程 序 可 以 再 有 一 个 安 全 存 储 区, 用 于 存 放 一 些 不 希 望 被 用 户 直 接 看 到 的 数 据, 如 软 件 的 证 书 密 钥 等, 但 是, 系 统 最 好 能 让 用 户 看 见 这 些 文 件 占 据 了 多 少 磁 盘 空 间, 以 便 用 户 根 据 需 要 来 做 系 统 的 清 理 另 外 要 讨 论 一 个 话 题, 就 是 现 有 的 Windows 系 统 怎 样 改 变 可 以 变 得 更 安 全? 鉴 于 现 有 Windows 系 统 需 要 兼 容 所 有 传 统 的 桌 面 应 用 程 序, 同 时 又 要 运 行 最 新 的 WinRT 应 用, Windows 也 必 须 在 安 全 性 上 提 升 一 个 层 次, 才 能 与 Android 和 ios 相 竞 争 首 先, 驱 动 程 序 无 法 完 全 做 到 向 下 兼 容 一 些 内 核 ABI API 的 改 变 必 然 要 求 重 新 编 译 乃 至 重 新 编 写 设 备 驱 动 程 序 但 这 一 点 在 硬 件 厂 商 的 配 合 下, 应 该 还 是 不 难 做 到 的 其 次, 老 的 应 用 程 序 所 受 到 的 最 大 困 扰 无 非 是 病 毒 木 马 和 流 氓 软 件 等 恶 意 软 件 自 Windows Vista x64 起, 设 备 驱 动 程 序 的 数 字 签 名 已 经 成 为 安 装 驱 动 程 序 时 必 要 的 元 素, 因 此 通 过 驱 动 程 序 引 入 恶 意 软 件 已 经 变 得 不 那 么 容 易 但 从 应 用 层 面 引 入 恶 意 软 件 仍 然 是 比 较 容 易 的, 原 因 在 于 所 有 非 绿 色 软 件 都 要 求 在 管 理 员 权 限 下 运 行 安 装 程 序, 而 只 要 安 装 程 序 中 加 载 了 恶 意 软 件 的 成 分 并 加 以 运 行 ( 比 如 通 过 安 装 一 个 Windows 服 务, 或 通 过 计 划 任 务 ), 这 些 恶 意 软 件 就 可 以 侵 占 所 有 用 户 的 桌 面, 还 能 影 响 其 他 软 件 乃 至 系 统 本 身 的 稳 定 性 18

19 为 了 对 抗 恶 意 软 件,Windows 8 之 中 有 两 个 功 能 可 以 使 用 : 一 个 是 Refresh( 刷 新 ), 一 个 是 System Restore( 系 统 还 原 ) 系 统 还 原 能 将 系 统 还 原 到 之 前 一 个 时 间 点 的 状 态, 而 不 改 变 用 户 自 己 的 数 据, 但 它 最 大 的 不 方 便 之 处 是, 还 原 点 到 当 前 时 间 之 间 的 所 有 已 安 装 的 程 序, 一 经 还 原, 全 都 会 被 卸 载 刷 新 功 能 则 更 为 激 进, 它 是 在 保 留 数 据 的 前 提 下 把 系 统 重 装 所 有 WinRT 应 用 的 安 装 和 数 据 会 被 自 动 恢 复, 但 传 统 桌 面 程 序 将 会 是 全 部 没 有 安 装 的 状 态 所 以 这 两 种 手 段 并 非 确 保 Windows 安 全 性 的 理 想 手 段 而 且,Windows 桌 面 应 用 程 序 可 以 安 装 全 局 的 键 盘 钩 子, 从 而 可 以 截 获 用 户 在 浏 览 器 等 应 用 中 输 入 的 密 码 这 是 当 初 为 什 么 支 付 宝 要 推 出 安 全 支 付 控 件 的 原 因 通 过 它 特 制 的 驱 动 程 序 来 获 取 密 码, 而 不 会 被 键 盘 钩 子 截 获 Windows 桌 面 应 用 的 这 种 全 局 性 资 源 访 问 还 体 现 在 文 件 系 统 上 面, 比 如 前 面 说 到 的 UAC 虚 拟 化 就 是 为 了 避 免 部 分 这 种 全 局 性 访 问 的 副 作 用 我 个 人 的 想 法 是, 可 以 通 过 指 定 哪 些 应 用 可 以 进 行 这 些 全 局 性 访 问, 哪 些 程 序 不 能 进 行 这 些 全 局 性 访 问, 以 及 访 问 的 方 式 ( 比 如 某 些 应 用 可 以 全 局 读 局 部 写 ), 来 限 制 应 用 程 序 的 权 限 同 时, 必 须 对 所 有 没 有 全 局 访 问 权 限 的 应 用 程 序 进 行 虚 拟 化 当 它 们 访 问 全 局 资 源 时, 将 它 们 的 访 问 虚 拟 化, 让 它 们 不 至 于 失 败, 又 不 让 它 们 访 问 到 它 们 不 该 访 问 的 位 置 这 样 一 来, 即 使 是 需 要 全 局 安 装 的 程 序, 也 可 以 虚 拟 化 为 局 部 安 装 的 程 序 即 使 是 流 氓 软 件, 只 要 是 做 了 局 部 安 装, 一 旦 发 现 以 后, 也 只 需 要 将 其 强 行 卸 载 即 可 但 是 这 里 需 要 注 意 几 个 问 题 : 一 是 如 何 识 别 单 个 安 装 程 序 二 是 如 何 定 义 局 部 的 范 围 三 是 安 装 程 序 使 用 的 方 便 性 上 的 问 题 要 做 到 第 一 点, 可 以 在 沙 箱 中 先 安 装 一 下 这 个 程 序 安 装 过 程 中 可 能 有 用 户 交 互 根 据 程 序 的 安 装 目 录, 可 以 区 分 不 同 的 程 序 其 中 会 有 很 多 细 节 需 要 处 理 和 把 握, 比 如 有 的 程 序 会 直 接 安 装 在 Windows 目 录 下, 有 的 程 序 会 安 装 到 一 个 已 存 在 的 同 公 司 软 件 的 目 录 中 如 果 把 同 公 司 软 件 分 开 做 局 部 虚 拟 化, 虽 然 也 可 以 运 行, 但 使 用 体 验 上 可 能 会 有 所 不 同 所 以 这 个 问 题 是 个 复 杂 的 问 题 如 何 定 义 局 部 的 范 围 呢? 对 于 程 序 文 件 来 说, 局 部 可 以 是 单 个 程 序 的 目 录 ( 如 C:\Program Files\Tencent\QQ), 也 可 以 是 该 公 司 程 序 的 目 录 ( 如 C:\Program Files\Tencent), 而 对 于 一 些 直 接 安 装 在 公 共 目 录 如 Windows 目 录 的 程 序 来 说, 可 以 是 程 序 相 关 文 件 ( 如 所 有 安 装 时 被 安 装 到 C:\Windows 目 录 下 的 文 件 ) 但 具 体 如 何 定, 难 道 让 小 白 用 户 来 选 择 吗? 用 户 已 经 够 累 了, 不 希 望 再 为 这 些 选 择 所 困 扰 所 以 这 些 信 息, 一 种 方 式 是 通 过 Microsoft 公 司, 像 发 放 Smart Screen 不 安 全 站 点 列 表 一 样, 公 开 地 通 过 离 线 或 在 线 方 式 向 Windows 系 统 发 放 这 些 数 据 对 于 已 知 的 流 氓 软 件, 默 认 就 将 其 通 过 局 部 方 式 安 装 即 可 对 于 读 取 来 说, 除 了 上 述 程 序 文 件 之 外, 外 加 系 统 文 件 对 于 用 户 数 据 来 说, 局 部 的 含 义 可 以 是 让 程 序 写 入 所 需 要 存 储 的 非 跨 程 序 共 享 数 据 ( 叫 做 应 用 数 据,application data, 比 如 C:\Users\Robbie\AppData\Roaming\Microsoft\HTML Help, 就 是 HTML Help 这 个 程 序 的 应 用 数 据 ) 全 局 读 则 外 加 能 读 取 用 户 的 个 人 文 件 夹 数 据, 全 局 写 也 类 似 安 装 程 序 使 用 的 方 便 性 上 的 问 题, 前 面 略 有 提 及, 主 要 问 题 是, 用 户 可 能 需 要 判 断 是 局 部 安 装 一 个 程 序, 还 是 全 局 安 装 一 个 程 序 另 外, 最 好 能 把 安 装 好 以 后 的 程 序 连 同 程 序 和 数 据 打 个 包, 下 次 重 装 系 统 时, 只 要 一 解 包 就 行 但 这 样 做 有 着 很 严 格 的 前 提, 那 就 是 系 统 不 能 暴 露 任 何 会 随 着 系 统 安 装 的 不 同 而 不 同 的 全 局 信 息 给 应 用 程 序 否 则, 应 用 程 序 一 旦 换 了 一 个 系 统 环 境, 可 能 运 行 不 起 来 这 对 于 传 统 桌 面 程 序 来 说 可 能 比 较 困 难, 除 非 采 用 App-V 技 术 还 有 就 是 强 制 卸 载 一 个 程 序 如 果 一 个 程 序 是 局 部 安 装 的, 那 么 可 以 强 行 把 整 19

20 深 入 解 析 Windows 操 作 系 统 翻 译 后 记 个 局 部 都 卸 载 掉 这 应 该 不 难 做, 只 需 要 把 所 有 虚 拟 化 的 局 部 文 件 和 注 册 表 数 据 删 除 即 可 这 样, 无 论 是 病 毒 还 是 流 氓 软 件, 都 将 很 难 有 机 可 乘 最 后, 通 过 资 源 管 理 器, 应 该 能 够 访 问 所 有 数 据, 包 括 虚 拟 化 和 非 虚 拟 化 的 数 据 用 户 可 以 指 定 访 问 时 的 虚 拟 化 上 下 文, 来 指 定 通 过 哪 一 个 应 用 的 角 度 来 访 问 数 据 从 实 用 的 角 度 来 说, 这 些 设 计 无 疑 增 加 了 系 统 的 复 杂 度, 无 论 是 客 户, 还 是 技 术 支 持, 亦 或 是 开 发 者 本 人, 都 不 会 喜 欢 这 么 复 杂 的 设 计 所 以, 最 好 的 平 衡, 就 是 Windows 8 现 在 走 的 路 用 新 平 台 WinRT 运 行 新 的 安 全 模 式 下 的 程 序, 用 老 平 台 运 行 老 的 可 信 任 的 程 序 对 于 最 终 用 户 来 说, 最 好 还 能 方 便 地 安 装 上 一 个 安 卓 虚 拟 机, 运 行 安 卓 程 序 这 样 就 完 整 了 文 件 系 统 磁 盘 或 其 他 形 式 的 持 久 性 存 储 介 质 是 一 台 计 算 机 用 于 保 存 长 期 数 据 的 设 备 这 是 计 算 机 自 身 特 点 决 定 的 计 算 机 的 物 理 内 存 (RAM,Random Access Memory, 又 称 随 机 访 问 存 储 器 ) 无 法 在 断 电 后 保 留 数 据 另 一 方 面, 目 前 还 没 有 速 度 达 到 物 理 内 存 速 度, 又 能 在 断 电 后 持 久 保 留 数 据 的 存 储 器 (NVRAM) 在 这 些 持 久 性 存 储 介 质 上, 文 件 系 统 就 是 里 面 最 典 型 的 数 据 结 构 在 记 忆 中 可 追 溯 到 的 时 代,5.25 英 寸 软 盘 (5 寸 盘 ) 是 当 时 最 流 行 的 格 式 后 来 又 出 现 了 3.5 英 寸 软 盘 (3 寸 盘 ) 5 寸 盘 有 360KB 和 1200KB 两 种,3 寸 盘 有 720KB 和 1440KB 两 种 软 盘 上 使 用 的 文 件 系 统 是 FAT12 以 1440KB 的 3 寸 盘 为 例, 它 一 共 有 2880 个 扇 区, 分 别 由 2 个 面, 每 面 80 个 磁 道, 每 磁 道 18 个 扇 区 组 成 每 扇 区 有 512 字 节 FAT12 文 件 系 统 占 据 了 整 个 软 盘, 其 中 1 个 引 导 扇 区,9 个 FAT 扇 区,9 个 备 份 FAT 扇 区 ( 当 两 个 FAT 内 容 不 一 致 时, 可 以 用 其 中 较 新 的 一 个 恢 复 较 旧 的 那 个 ),14 个 根 目 录 扇 区 其 余 空 间 用 于 存 放 文 件 和 子 目 录 FAT12 的 元 数 据 信 息, 比 如 它 的 FAT 的 个 数 每 个 FAT 的 扇 区 数 等 信 息 都 保 存 在 引 导 扇 区 的 BPB(BIOS Parameter Block,BIOS 参 数 块 ) 中 FAT12 的 关 键 数 据 结 构 在 于 其 根 目 录 子 目 录 和 FAT FAT 的 内 容 就 是 一 个 链 表, 其 中 有 许 多 条 不 交 叉 的 链, 每 条 链 代 表 一 个 文 件 或 一 个 目 录 在 磁 盘 上 的 分 布 每 个 链 表 表 项 在 FAT 中 占 据 固 定 大 小 的 字 节 数, 如 FAT12 中, 每 个 表 项 占 据 1.5 个 字 节, 也 就 是 12 比 特, 因 此 这 种 FAT 被 称 为 FAT12 同 时, 每 个 表 项 又 对 应 磁 盘 相 应 位 置 的 簇 那 么, 有 了 文 件 的 链 之 后, 根 目 录 和 子 目 录 里 面 的 项 就 被 用 来 表 示 文 件 的 起 始 位 置 这 样 就 形 成 了 整 个 磁 盘 的 数 据 结 构 前 面 讲 了 整 个 软 盘 全 部 用 于 存 储 单 个 FAT 文 件 系 统 硬 盘 的 容 量 比 软 盘 大 得 多 为 了 让 硬 盘 的 使 用 更 有 灵 活 性, 特 别 是 为 了 多 重 启 动 便 于 系 统 重 装 隔 离 文 件 碎 片 等 目 的, 人 们 可 能 会 把 一 个 硬 盘 划 分 成 多 个 分 区 每 个 分 区 可 以 包 含 一 个 文 件 系 统 这 样, 一 个 硬 盘 上 就 可 能 有 多 个 不 同 的 文 件 系 统, 包 括 FAT NTFS ReFS ext2 ext3 ext4 reiser3 reiser4 zfs btrfs 等 等 前 面 讲 到 分 区 表 分 区 表 实 际 上 也 是 一 个 链 表 的 结 构 在 MBR(Master Boot Record, 主 引 导 记 录 ) 格 式 的 硬 盘 上 由 于 MBR 格 式 最 大 只 能 表 示 2TB 的 硬 盘, 所 以 后 来 又 有 了 GPT(GUID Partition Table,GUID 分 区 表 ) 硬 盘, 能 支 持 超 过 2TB 的 硬 盘 在 我 的 主 页 上, 我 针 对 MBR 20

21 的 格 式 做 了 一 些 简 介 和 讨 论 [19] Windows 通 常 使 用 NTFS 文 件 系 统 该 文 件 系 统 是 自 Windows NT 3.1 被 引 入 的 NTFS 自 设 计 伊 始 就 把 许 多 重 要 特 性 纳 入 考 虑 范 围, 因 此, 不 像 Linux 主 流 文 件 系 统 自 1991 年 到 2014 年 期 间 经 历 了 minixfs ext ext2 ext3 reiser3 ext4 zfs btrfs 这 样 繁 复 的 变 化,NTFS 自 1993 年 推 出 Windows NT 之 后, 直 到 最 近 的 Windows 8.1 为 止, 都 只 有 一 些 版 本 升 级 和 功 能 改 进, 在 设 计 上 没 有 本 质 的 变 化 当 然,2012 年 微 软 设 计 开 发 了 新 的 文 件 系 统 ReFS [21], 它 的 特 点 是, 能 用 于 特 大 容 量 的 存 储 器, 并 能 配 合 Storage Space 功 能, 将 许 多 磁 盘 组 合 成 存 储 池, 并 以 虚 拟 磁 盘 的 形 式 展 现 给 应 用 程 序 NTFS 具 有 以 下 特 点 : 1. 它 使 用 了 64 位 的 对 象 指 针, 因 此 具 有 高 度 的 可 伸 缩 性 它 的 1.0 版 本 是 随 着 1993 年 第 一 版 Windows NT(NT 3.1) 的 推 出 而 推 出 的 直 到 2013 年 Windows 8.1, 基 本 的 结 构 依 然 保 持 不 变 1993 年 的 时 候, 那 时 流 行 的 硬 盘 大 小 也 才 200~300MB, 而 NTFS 已 经 超 前 地 设 计 了 最 大 16TB 容 量 硬 盘 的 兼 容 性 ( 就 具 体 的 实 现 而 言, 在 Windows XP SP1 之 前 是 支 持 到 128GB, 自 那 个 版 本 往 后 则 支 持 16TB), 并 且 单 个 文 件 的 大 小 也 能 达 到 16TB( 在 簇 大 小 为 默 认 值, 即 4KB 的 情 况 下 ) 2. 可 恢 复 性 NTFS 通 过 记 录 日 志 ($LogFile) 来 实 现 断 电 或 系 统 崩 溃 时 文 件 系 统 元 数 据 的 恢 复, 确 保 文 件 系 统 的 一 致 性 ( 有 时 会 留 下 一 些 次 要 的 不 一 致, 但 不 再 需 要 每 次 断 电 都 运 行 chkdsk 来 检 查 和 修 复 文 件 系 统 ) 如 果 应 用 程 序 采 用 了 Windows Vista 及 更 高 版 本 中 的 事 务 型 文 件 系 统, 那 么 还 可 以 确 保 断 电 时 用 户 数 据 的 完 整 性 3. 安 全 性 前 面 已 经 说 过,NTFS 支 持 基 于 ACL 的 安 全 性 4. MFT(Master File Table, 主 文 件 表 ) 的 特 性 首 先, 它 具 备 冗 余 性 这 一 特 性 可 以 保 证 在 MFT 范 围 内 出 现 坏 块 的 情 况 下, 依 然 可 以 保 持 文 件 系 统 能 被 访 问 其 次,NTFS 为 MFT 预 先 保 留 了 尽 可 能 连 续 的 磁 盘 空 间, 这 样 当 MFT 扩 大 时, 可 以 避 免 磁 盘 碎 片 5. 长 达 个 Unicode 字 符 的 文 件 名 但 是 Windows API 的 ANSI 版 本 并 不 允 许 这 样 长 的 文 件 名, 而 在 Unicode 版 本 的 API 中, 必 须 采 用 \\?\ 表 示 法 显 式 使 用 长 路 径 ; 路 径 中 的 每 个 文 件 名 或 目 录 名 也 不 能 超 过 GetVolumeInformation 函 数 返 回 的 lpmaximumcomponentlength 所 指 示 的 长 度 ( 通 常 是 255 个 字 符 ) [33] 6. 性 能 NTFS 的 单 个 目 录 的 存 储 是 通 过 B 树 来 实 现 的 因 此, 目 录 里 的 文 件 在 按 名 称 查 找 时, 速 度 非 常 快, 时 间 复 杂 度 为 O(log n) 这 对 于 单 个 目 录 包 含 很 多 文 件 的 情 况 是 很 有 利 的 NTFS 所 有 的 元 数 据 文 件 和 目 录 都 通 过 两 种 存 储 方 式 之 一 来 存 储 : 一 MFT 记 录 ; 二 非 驻 留 存 储 库 (non-resident repository) MFT 记 录 位 于 MFT 之 中, 大 小 单 位 为 1KB( 随 着 4KB 扇 区 硬 盘 的 流 行, 这 个 大 小 也 可 以 是 4KB), 而 非 驻 留 存 储 库 则 位 于 MFT 之 外 的 簇 中, 大 小 [23] 单 位 为 簇 大 小 MFT 中 的 每 一 条 记 录, 可 能 单 独 表 示 一 个 广 义 的 文 件 ( 这 包 括 元 数 据 文 件 目 录, 以 及 普 通 文 件 ), 也 可 能 属 于 表 示 某 个 广 义 文 件 的 一 系 列 记 录 中 的 某 一 条 NTFS 有 很 多 元 数 据 文 件, 包 括 $MFT(MFT 本 身 ) $MFTMirr(MFT 前 4 条 记 录 的 备 份 ) $LogFile( 文 件 系 统 事 务 日 志 ) $Volume( 卷 信 息 ) $AttrDef( 映 射 属 性 类 型 的 数 字 标 识 到 文 字 ).( 根 目 录, 它 是 一 个 目 录, 不 是 普 通 的 元 数 据 文 件 ) $Bitmap(NTFS 卷 的 分 配 位 图 ) $Boot( 引 导 扇 区 ) $BadClus ( 坏 簇 ) $Secure(ACL [ 访 问 控 制 列 表 ] 安 全 描 述 符 等 安 全 信 息 ) $UpCase( 大 小 写 映 射 21

22 深 入 解 析 Windows 操 作 系 统 翻 译 后 记 表 ) $Extend( 扩 展 元 数 据 的 目 录 ) $Extend\$Quota( 磁 盘 配 额 ) $Extend\$ObjId( 链 接 跟 踪 信 息 ) $Extend\$Reparse( 重 解 析 点 ) MFT 记 录 有 一 个 记 录 头, 之 后 跟 着 各 个 属 性 记 录 头 里 保 存 了 一 些 信 息, 包 括 重 用 序 列 号 日 志 序 列 号 (LSN, 用 于 $LogFile 恢 复 机 制 ) 更 新 序 列 号 (USN) 更 新 序 列 基 本 文 件 记 录 的 文 件 引 用 ( 当 这 条 文 件 记 录 是 扩 展 记 录 的 时 候 会 用 到, 参 见 后 面 关 于 $ATTRIBUTE_LIST 的 解 释 ) 硬 链 接 的 数 量 在 文 件 系 统 元 数 据 中, 包 括 目 录 以 及 $ATTRIBUTE_LIST( 后 面 会 讲 ) 等, 会 用 到 一 种 叫 做 文 件 引 用 的 8 字 节 表 示 方 式 来 引 用 MFT 记 录 文 件 引 用 包 含 一 个 6 字 节 的 MFT 文 件 记 录 号 和 一 个 2 字 节 的 记 录 重 用 序 列 号 文 件 记 录 号 就 是 MFT 中 以 记 录 条 数 为 单 位 的 偏 移 量, 例 如,0 号 记 录 就 是 $MFT 记 录 重 用 序 列 号 是 在 每 条 记 录 被 弃 用 并 重 用 的 时 候, 递 增 的 一 个 序 列 号 它 的 目 的 是, 当 系 统 崩 溃 后 重 启 进 行 恢 复 时, 表 示 出 文 件 记 录 是 否 已 被 更 新, 以 便 验 证 指 向 已 删 除 文 件 的 文 件 引 用 ( 包 含 老 的 序 列 号 ) 是 否 指 向 一 个 已 经 被 重 用 的 ( 包 含 新 的 序 列 号 ) 文 件 记 录 MFT 记 录 中 的 属 性 都 有 一 个 属 性 头, 其 中 记 录 着 属 性 类 型 码, 另 外 可 以 有 一 个 属 性 名 注 意 区 别 属 性 类 型 名 和 属 性 名 属 性 类 型 名 是 在 $AttrDef 中 定 义 的, 与 属 性 类 型 码 相 对 应, 而 属 性 名 则 是 在 属 性 本 身 之 内 定 义 的, 比 如 文 件 的 可 选 数 据 流 (alternate data stream) 的 名 字 就 被 存 储 为 $DATA 属 性 的 属 性 名 属 性 头 还 包 含 : 属 性 大 小 属 性 是 否 驻 留 标 志 位 对 于 驻 留 属 性, 还 有 属 性 长 度 属 性 偏 移 量 对 于 非 驻 留 属 性, 则 包 含 : 起 始 VCN( 后 面 会 讲 ) 结 束 的 VCN 数 据 行 串 (data run) 列 表 的 偏 移 量 压 缩 单 元 的 大 小 属 性 分 配 的 总 大 小 ( MFT 之 外 分 配 的 簇 的 字 节 数 ) 属 性 的 值 则 可 以 被 抽 象 地 看 作 是 一 个 字 节 流 (byte stream) 驻 留 属 性 的 值 是 在 MFT 记 录 的 属 性 内 部 表 示 的 非 驻 留 属 性 是 在 MFT 外 分 配 的 簇 中 表 示 的 注 意, 有 些 类 型 的 属 性 是 既 能 驻 留 又 能 不 驻 留 的, 对 于 具 体 的 某 一 个 属 性, 它 是 驻 留 还 是 非 驻 留 则 需 要 从 非 驻 留 标 志 位 来 判 断 NTFS 的 目 录 是 一 个 B 树 索 引 在 表 示 目 录 的 MFT 记 录 中 有 一 个 $INDEX_ROOT 属 性 它 总 是 驻 留 的 当 目 录 中 的 项 比 较 少 时, 所 有 的 项 都 能 被 $INDEX_ROOT 容 纳 $INDEX_ROOT 由 一 个 根 (root) 信 息 和 一 个 索 引 头 (index header) 开 始, 后 面 跟 着 多 个 索 引 项 (index entry) 可 以 把 $INDEX_ROOT 看 作 一 个 B 树 结 点 每 个 索 引 项 能 表 示 索 引 值 ( 文 件 名, 以 及 一 个 指 向 MFT 记 录 的 文 件 引 用 ) 和 结 点 指 针 ( 后 面 会 讲 到 ) 当 目 录 中 的 项 多 到 无 法 在 $INDEX_ROOT 中 容 纳 时,NTFS 将 使 用 一 个 叫 做 $INDEX_ALLOCATION 的 非 驻 留 属 性, 并 在 磁 盘 簇 ( 也 就 是 在 MFT 之 外 ) 为 该 属 性 分 配 空 间 $INDEX_ALLOCATION 在 MFT 记 录 中 的 部 分 包 含 了 这 些 簇 的 VCN( 虚 拟 簇 号, 亦 即 这 些 簇 的 相 对 位 置 ) 到 LCN( 逻 辑 簇 号, 就 是 NTFS 卷 里 簇 的 位 置, 相 对 于 卷 起 始 位 置 的 偏 移 量, 例 如, 引 导 扇 区 对 应 的 LCN 为 0) 映 射 VCN 是 什 么 意 思 呢? 比 如 一 个 目 录 占 了 3 个 簇, 那 么 VCN 就 会 是 数 据 行 串 (run) 指 的 是 $INDEX_ALLOCATION 所 采 用 的 run length( 起 始 位 置 / 长 度 ) 编 码, 也 就 是 当 连 续 的 VCN 对 应 连 续 的 LCN 时, 只 需 要 一 条 记 录 就 可 以 表 示 了 比 如 VCN 为 0 时,LCN 为 256, 而 VCN 1 对 应 LCN 257, 一 直 到 VCN 9 对 应 LCN 265 $INDEX_ALLOCATION 就 会 记 录 VCN 0,LCN 22

23 256, 长 度 10 这 样 就 能 表 示 整 个 对 应 关 系 了 这 里 说 的 记 录 信 息 是 理 论 上 的, 实 际 上, 信 息 被 压 缩 成 了 : 头 部 (1 字 节 ) LCN 相 对 偏 移 量 ( 动 态 长 度, 长 度 在 头 部 指 定 ) VCN 个 数 ( 动 态 长 度, 长 度 在 头 部 指 定 ) 其 中 LCN 相 对 偏 移 量 在 第 一 条 记 录 中 是 绝 对 簇 号, 而 在 后 续 记 录 中 则 是 相 对 于 前 一 条 记 录 中 的 LCN 的 偏 移 量 目 录 的 另 一 个 属 性 $BITMAP 记 录 了 所 有 簇 的 使 用 情 况 可 能 为 一 个 目 录 分 配 了 簇, 用 来 存 放 B 树 的 结 点, 但 是 之 后 又 释 放 了 这 个 结 点 目 录 未 必 要 马 上 收 缩, 此 时 可 以 用 这 个 $BITMAP 来 表 示 哪 些 结 点 是 被 占 用 的, 哪 些 是 空 闲 的 那 么 这 些 $INDEX_ALLOCATION 簇, 每 一 个 簇 就 是 一 个 索 引 块, 也 就 是 B 树 中 的 结 点, 其 中 包 含 一 个 索 引 头, 后 面 跟 着 多 个 索 引 项 B 树 是 一 种 平 衡 搜 索 树 [28], 它 可 以 有 多 层, 除 了 根 结 点 之 外, 其 余 的 每 层 有 多 个 结 点 每 个 结 点 有 多 个 子 节 点, 父 子 结 点 间 用 指 针 链 接 根 据 一 个 结 点 是 否 有 子 结 点, 可 以 把 结 点 分 为 非 叶 结 点 和 叶 结 点 根 结 点 就 是 $INDEX_ROOT 通 过 分 析 NTFS 的 结 构 可 以 肯 定, 它 是 一 个 略 有 自 定 义 的 B 树 结 构, 因 为 $INDEX_ROOT 与 其 他 结 点 的 大 小 并 不 相 同, 它 可 能 会 小 一 点 除 此 之 外, 其 他 特 性 和 B 树 一 模 一 样 它 肯 定 不 是 B+ 树 欲 知 更 详 细 的 分 析, 请 参 见 我 的 ntfs_fact_analysis.txt 一 文 [31] 不 仅 是 目 录,$Secure 也 使 用 了 类 似 的 B 树 索 引 目 录 的 索 引 类 型 叫 做 $I30, 它 是 作 为 $INDEX_ROOT 和 $INDEX_ALLOCATION 的 属 性 名 出 现 的 有 一 次, 我 看 见 一 个 NTFS 卷 在 系 统 重 启 之 后,chkdsk 自 动 运 行, 检 查 出 了 一 些 目 录 数 据 的 不 一 致 性, 就 显 示 为 $I30 index 当 $INDEX_ROOT $INDEX_ALLOCATION $BITMAP 等 属 性 大 到 一 定 程 度 时, 一 条 MFT 记 录 将 无 法 保 存 这 些 信 息 类 似 的, 文 件 记 录 或 者 其 他 类 型 的 记 录 中, 属 性 总 和 也 可 能 大 到 在 一 条 记 录 里 存 放 不 下 此 时,NTFS 会 创 建 $ATTRIBUTE_LIST 属 性, 用 来 表 示 扩 展 记 录 (extension record, 相 对 于 基 本 记 录 [base record] 而 言 ) 该 属 性 保 存 了 每 条 属 性 : 类 型 码 本 条 记 录 的 长 度 属 性 名 起 始 VCN( 后 面 会 讲 ) 文 件 引 用 它 会 列 出 各 种 其 他 属 性, 但 不 包 括 标 准 信 息 ($STANDARD_INFORMATION) 如 果 $ATTRIBUTE_LIST 属 性 本 身 太 长 了, 使 得 标 准 信 息 加 上 它 超 出 了 一 条 记 录 的 总 长 度, 那 么 该 属 性 就 变 成 非 驻 留 属 性, 其 内 容 将 在 MFT 外 的 簇 中 分 配 该 非 驻 留 属 性 的 所 有 行 串 (run) 映 射 都 必 须 在 当 前 MFT 记 录 中 表 示 整 个 属 性 的 长 度 默 认 情 况 下 不 允 许 超 过 256KB, 即 64 个 簇, 因 此 完 全 可 以 在 一 条 MFT 记 录 中 表 示 $ATTRIBUTE_LIST 属 性 表 示 那 些 不 位 于 本 条 MFT 记 录 中 的 属 性 时, 它 会 为 目 标 属 性 每 次 在 不 同 记 录 中 的 出 现 都 保 存 一 个 表 项 对 于 非 驻 留 属 性, 起 始 VCN 值 会 保 存 该 属 性 在 那 条 MFT 记 录 中 所 记 录 的 行 串 的 起 始 VCN 比 如, 假 设 一 个 文 件 的 $DATA 属 性 非 驻 留 且 特 别 长, 它 的 第 二 段 分 配 在 记 录 1000 中, 里 面 保 存 了 VCN 2000 起 始 的 值, 那 么 就 会 有 两 条 $DATA 记 录 存 在 于 $ATTRIBUTE_LIST 中 第 一 条 的 文 件 引 用 指 向 $DATA 的 基 本 记 录, 起 始 VCN 为 0 第 二 条 的 文 件 引 用 指 向 $DATA 的 扩 展 记 录 1000, 起 始 VCN 为 2000 NTFS 的 恢 复 NTFS 利 用 日 志 文 件, 来 保 证 当 系 统 因 为 某 种 原 因 崩 溃 或 被 强 行 关 机 时, 文 件 系 统 在 下 次 启 动 时 能 够 自 动 修 复 前 面 讲 过, 日 志 文 件 的 名 称 叫 $LogFile 其 中 保 存 了 两 个 区 域 : 重 启 区 和 日 志 记 录 重 启 区 分 成 两 半, 内 容 一 样, 都 保 存 了 一 些 上 下 文 信 息, 它 们 描 述 了 一 旦 系 统 立 即 崩 溃, 下 次 重 启 时 需 要 从 哪 里 开 始 分 析 恢 复 动 作 日 志 记 录 有 三 种 : 重 做 记 录 撤 销 记 录 和 检 查 点 记 录 具 体 细 节 请 参 见 深 入 解 析 Windows 操 作 系 统 ( 第 六 版 ) 第 12 章 文 件 系 统 23

24 深 入 解 析 Windows 操 作 系 统 翻 译 后 记 关 于 NTFS 基 于 日 志 的 崩 溃 恢 复 功 能, 深 入 解 析 Windows 操 作 系 统 ( 第 六 版 ) 中 详 细 讲 述 了 整 整 十 页, 但 是 其 原 理 之 复 杂, 让 读 者 难 以 快 速 把 握 其 脉 络 为 了 容 易 理 解, 我 们 先 设 想 一 下, 如 果 我 们 自 己 来 设 计 这 样 一 个 文 件 系 统, 需 要 实 现 怎 样 的 机 制 我 们 从 需 求 出 发 来 考 虑 这 个 问 题 首 先, 我 们 的 需 求 是, 如 果 系 统 在 执 行 到 某 个 状 态 时 崩 溃 或 者 断 电, 下 次 重 新 启 动 时, 文 件 系 统 要 能 够 把 磁 盘 上 的 文 件 系 统 元 数 据 恢 复 到 一 个 一 致 状 态, 这 个 状 态 要 尽 可 能 接 近 最 新 的 状 态 然 后, 我 们 的 设 计 包 括 哪 些 数 据 : 一 个 循 环 使 用 的 日 志, 在 实 际 应 用 中 永 远 不 可 能 达 到 上 限 的 LSN(64 位, 在 通 常 NTFS 文 件 系 统 的 生 命 周 期 中 难 以 达 到 ; 比 如 说, 需 要 几 万 年 才 能 达 到 ) 日 志 中 有 一 个 重 启 区 域 ( 实 际 上 有 两 个, 但 至 少 得 有 一 个 ) 每 个 磁 盘 写 操 作 先 在 内 存 中 执 行, 同 时 在 内 存 中 追 加 相 应 的 成 对 出 现 的 重 做 和 撤 销 记 录 每 次 LFS( 日 志 文 件 服 务 ) 需 要 向 磁 盘 上 刷 新 数 据 时, 它 会 在 内 存 中 先 追 加 一 个 checkpoint ( 检 查 点 ) 记 录, 然 后 通 知 缓 存 管 理 器, 先 把 日 志 刷 新 到 磁 盘, 再 把 元 数 据 和 文 件 数 据 刷 新 到 磁 盘 最 后, 把 重 启 区 域 中 的 数 据 ( 包 含 检 查 点 的 LSN) 刷 新 到 磁 盘 在 这 个 基 础 上, 所 有 文 件 系 统 的 原 子 操 作 都 被 设 计 成 事 务 比 如 创 建 文 件 删 除 文 件 改 名 扩 展 文 件 长 度 缩 短 文 件 长 度 设 置 文 件 信 息 设 置 文 件 安 全 性 等 每 个 重 做 和 撤 销 记 录 都 关 联 到 一 个 具 体 的 事 务 在 我 们 的 假 想 设 计 中, 我 们 可 以 为 每 个 事 务 赋 予 一 个 永 不 重 复 的 编 号 ( 比 如 64 位 长 ; 这 是 除 了 LSN 之 外 的 另 一 个 编 号 ), 在 每 条 重 做 撤 销 记 录 中 包 含 这 个 编 号 同 时, 如 果 同 一 事 务 的 多 条 记 录 能 够 按 顺 序 串 起 来, 无 疑 也 会 对 恢 复 带 来 不 少 便 利, 因 此 可 以 用 两 个 指 针, 把 这 些 记 录 串 成 双 向 链 表 此 外, 为 了 进 一 步 确 保 数 据 准 确 性, 可 以 在 每 一 条 记 录 上 加 一 个 校 验 和, 在 重 启 区 域 中 也 加 一 个 校 验 和 恢 复 时, 先 扫 描 重 启 区 域 所 指 向 的 检 查 点 之 后 的 所 有 记 录, 形 成 一 个 内 存 中 的 事 务 表 可 能 后 面 还 有 检 查 点 ( 比 如 那 个 检 查 点 被 刷 新 以 后, 相 应 的 重 启 区 域 数 据 还 没 被 刷 新, 系 统 就 崩 溃 了 ), 但 重 启 区 域 中 的 记 录 显 然 是 更 准 确 的, 因 为 它 是 在 元 数 据 之 后 被 刷 新 到 磁 盘 的 然 后, 这 些 事 务 有 的 已 经 提 交, 有 的 还 没 有 提 交, 对 于 已 提 交 的 事 务, 按 照 检 查 点 之 后 的 重 做 记 录 来 依 次 重 做 这 些 事 务, 最 后 这 些 事 务 的 状 态 就 能 达 到 提 交 时 的 状 态 对 于 未 提 交 的 事 务, 按 照 这 些 事 务 的 撤 销 记 录 来 撤 销 修 改, 这 些 记 录 不 必 限 定 在 检 查 点 之 后, 因 为 整 个 事 务 都 需 要 被 撤 销 甚 至 可 以 在 重 启 区 域 中 专 门 记 录 最 早 的 尚 未 提 交 的 事 务 的 LSN, 以 加 速 这 一 查 找 过 程 可 以 画 一 张 图 来 帮 助 理 解 : 24

25 Figure 2 - NTFS recovery 和 数 据 库 事 务 一 样, 事 务 的 原 子 性 一 致 性 隔 离 性 和 持 久 性 (ACID) 都 需 要 被 保 证 持 久 性 和 一 致 性 已 经 通 过 上 述 日 志 方 式 得 到 了 保 证, 而 原 子 性 和 隔 离 性 则 需 要 更 加 深 入 地 在 运 行 时 加 以 保 证 作 为 文 件 系 统 来 说, 这 些 元 数 据 操 作 的 耗 时 并 不 长, 对 于 并 行 化 的 要 求 不 高, 我 们 可 以 通 过 在 共 享 的 数 据 结 构 上 加 锁 来 保 证 原 子 性 如 果 我 们 设 计 这 样 的 一 套 锁 机 制, 那 么 在 操 作 一 个 文 件 的 时 候, 比 如 扩 展 文 件 的 长 度 或 者 设 置 文 件 的 信 息 的 时 候, 我 们 就 在 文 件 上 加 一 个 独 占 锁 但 是, 光 这 样 还 不 够, 因 为, 如 果 在 操 作 过 程 中, 文 件 的 父 目 录 或 者 父 目 录 的 父 目 录 被 删 除 了, 这 是 会 引 起 问 题 的 所 以, 我 们 还 需 要 在 所 有 的 父 目 录 路 径 上 加 一 个 独 占 意 向 锁 ( 参 考 SQL Server 的 用 法 ) 这 样 就 可 以 实 现 原 子 性 和 隔 离 性 了 相 应 的, 元 数 据 在 被 读 取 时, 共 享 锁 和 共 享 意 向 锁 也 是 必 要 的 由 于 NTFS 只 在 日 志 中 记 录 了 文 件 系 统 元 数 据 的 修 改, 而 没 有 记 录 文 件 数 据 的 修 改, 其 实 在 恢 复 过 程 中, 如 果 不 加 以 判 断, 直 接 执 行 重 做 或 撤 销 记 录, 是 有 可 能 覆 盖 文 件 数 据 的 举 个 例 子, 比 如 在 系 统 运 行 的 状 态 A 中, 元 数 据 占 据 了 簇 02 03, 文 件 数 据 占 据 了 簇 01 04; 之 后 的 状 态 B 中, 元 数 据 占 据 了 簇 , 文 件 数 据 占 据 了 簇 04; 状 态 C 中, 元 数 据 占 据 了 簇 02 03, 文 件 数 据 占 据 了 簇 01 04; 状 态 D 中, 元 数 据 占 据 了 簇 , 文 件 数 据 占 据 了 簇 01 假 设 在 状 态 D 发 生 了 崩 溃 检 查 点 指 向 状 态 A 但 实 际 上, 可 能 缓 存 已 经 被 部 分 刷 新 为 状 态 D 如 果 直 接 重 做, 那 么 就 可 能 把 簇 01 改 写, 这 样, 文 件 数 据 可 能 被 覆 盖 解 决 方 法 之 一 是, 在 系 统 运 行 的 情 况 下, 每 次 都 在 所 有 数 据 ( 包 括 日 志 数 据 元 数 据 和 文 件 数 据 ) 被 完 全 刷 新 到 磁 盘 上 之 后, 才 告 诉 用 户 进 程 刷 新 完 毕 这 样, 用 户 进 程 将 不 能 假 设 在 数 据 被 部 分 刷 新 的 情 况 下, 磁 盘 上 的 数 据 仍 是 一 致 的, 从 而 保 证 了 文 件 系 统 对 用 户 进 程 的 约 定 不 过, 这 种 情 况 会 导 致 元 数 据 信 息 泄 露, 后 面 会 讲 一 个 具 体 的 例 子 25

26 深 入 解 析 Windows 操 作 系 统 翻 译 后 记 如 果 一 个 文 件 被 删 除, 然 后 该 文 件 被 删 除 前 所 占 据 的 空 间 被 重 新 分 配, 又 被 写 入 了 数 据, 此 时 系 统 崩 溃 了, 怎 么 办 呢? 这 种 情 况 对 于 应 用 程 序 来 说 也 没 有 问 题, 因 为 这 三 个 操 作 是 按 顺 序 执 行 的, 在 其 中 任 何 一 点 上 日 志 刷 新 都 是 没 问 题 的, 只 有 当 重 新 分 配 空 间 的 事 务 提 交 并 刷 新 到 磁 盘 上 之 后, 数 据 才 会 被 写 到 磁 盘 上 但 是, 有 另 一 个 问 题, 如 果 实 际 数 据 还 没 有 被 写 入 就 发 生 了 崩 溃, 那 么 所 分 配 的 磁 盘 块 将 包 含 原 有 位 置 的 旧 数 据, 如 果 这 些 数 据 属 于 另 一 个 用 户, 那 就 发 生 了 数 据 泄 露 这 将 导 致 安 全 性 问 题 于 是 还 必 须 保 证, 当 分 配 磁 盘 块 的 扩 展 文 件 事 务 的 提 交 记 录 被 写 入 日 志 前, 磁 盘 块 必 须 被 清 零 还 有 更 微 妙 的 一 种 情 形 : 有 一 个 目 录, 先 在 其 中 创 建 一 个 文 件 ( 于 是 有 条 日 志 记 录 写 入 它 的 目 录 项 ), 然 后, 删 除 这 两 者, 最 后 扩 展 另 一 个 文 件, 这 个 文 件 占 据 了 被 删 除 的 目 录 的 空 间 如 果 在 日 志 被 刷 新 到 磁 盘 上 之 后, 元 数 据 和 数 据 被 刷 新 到 磁 盘 上 之 前, 系 统 崩 溃 了, 那 么 重 启 之 后 将 会 重 做 元 数 据 操 作 问 题 是, 这 将 导 致 最 后 的 那 个 文 件 的 数 据 里 含 有 那 个 创 建 过 一 个 文 件 的 目 录 的 元 数 据, 这 无 疑 也 是 一 种 信 息 泄 露 想 一 想, 除 了 前 面 讲 的 分 配 空 间 之 前 必 须 清 零 的 方 法 外, 这 个 问 题 还 可 以 怎 样 解 决?( 提 示 : 答 案 在 Stephen Tweedie 的 演 讲 里 ) 其 他 文 件 系 统 的 实 现 可 能 不 同 比 如 Stephen Tweedie 设 计 开 发 的 ext3 [27], 它 只 实 现 重 做 日 志 记 录 这 是 因 为 它 只 把 已 完 成 的 事 务 ( 对 应 于 NTFS 中 的 已 提 交 事 务 ) 所 修 改 的 元 数 据 或 文 件 数 据 扇 区 刷 新 到 磁 盘 (NTFS 则 会 既 刷 新 已 提 交 事 务 的 数 据, 也 刷 新 尚 未 提 交 的 事 务 的 数 据 ) 需 要 注 意 的 是,ext3 的 提 交 指 的 是 批 量 事 务 更 新 到 磁 盘 的 过 程, 因 此 它 对 应 于 NTFS 的 刷 新 或 检 查 点, 而 ext3 的 事 务 句 柄 才 对 应 于 NTFS 的 事 务 ext3 的 删 除 操 作 非 常 tricky: 由 于 一 个 删 除 操 作 可 能 涉 及 大 量 磁 盘 块 上 的 元 数 据 ( 这 个 和 NTFS 的 数 据 行 串 不 同, 行 串 总 是 紧 密 地 存 储 在 连 续 的 空 间 里 的, 而 删 除 单 个 文 件 时, 文 件 碎 片 再 多, 涉 及 的 日 志 数 据 最 多 不 过 MB 级 别 ), 因 此 日 志 可 能 存 不 下 所 有 的 元 数 据 更 新 那 么 怎 么 办 呢?ext3 会 把 所 有 这 些 数 据 组 织 到 一 个 叫 做 孤 立 文 件 列 表 的 结 构, 并 把 这 种 复 杂 的 删 除 操 作 分 解 为 多 次 缩 短 文 件 长 度 和 最 后 一 次 删 除 文 件 的 事 务 日 志, 同 时 在 操 作 伊 始 就 把 该 文 件 加 到 孤 立 文 件 列 表 中 如 果 下 次 重 启 时, 发 现 孤 立 文 件 列 表 里 有 该 文 件, 就 继 续 把 它 删 除, 无 论 当 时 缩 短 到 什 么 程 度, 都 可 以 确 保 完 成 ext3 的 日 志 不 仅 支 持 文 件 系 统 元 数 据 的 恢 复, 也 可 选 地 支 持 文 件 数 据 的 恢 复 NTFS 支 持 透 明 压 缩, 也 就 是 文 件 可 以 被 直 接 压 缩, 压 缩 后 仍 然 能 和 普 通 文 件 一 样 被 程 序 直 接 读 写 它 所 使 用 的 压 缩 算 法 是 基 于 Lempel-Ziv 算 法 LZ77 的 变 种,LZNT1 然 而, 需 要 注 意 的 是,NTFS 的 单 个 文 件 的 碎 片 个 数 不 能 超 过 1.5M( 也 就 是 最 坏 情 况 下,150 万 个 4KB 的 簇, 就 是 5.7GB 左 右 ) 随 之 而 来 的 一 个 问 题 是, 透 明 压 缩 的 文 件 经 常 会 有 很 多 碎 片, 平 均 16~32KB 左 右 就 会 有 一 个 碎 片, 因 此 透 明 压 缩 的 单 个 文 件 超 过 10GB 的 时 候 就 要 小 心 了, 弄 不 好 就 会 达 到 文 件 系 统 限 制 值 这 是 我 有 一 次 把 一 个 服 务 器 共 享 目 录 上 的 10GB 的 VHD 文 件 压 缩 以 后, 一 位 微 软 总 部 的 工 程 师 告 诉 我 的 其 实,Linux 上 的 文 件 系 统 发 展 也 不 是 一 帆 风 顺 的 在 Linux 开 发 的 早 期, 于 1993 年,Linux 内 核 引 入 了 两 个 文 件 系 统 :Xia 和 Ext2 最 初 Linux 的 文 件 系 统 采 用 的 是 MinixFS Minix 文 件 系 统 是 Minix 操 作 系 统 附 带 的 文 件 系 统 它 有 很 多 限 制, 比 如 文 件 系 统 最 大 只 有 64MB, 文 件 名 最 多 14 个 字 符 等 等 ext 则 打 破 了 这 一 限 制, 文 件 系 统 最 大 可 达 2GB, 而 且 支 持

27 字 符 的 长 文 件 名 当 时 和 ext 竞 争 的 另 一 个 Linux 文 件 系 统 是 XiaFS, 后 者 在 MinixFS 的 基 础 上 予 以 扩 展, 但 仍 保 留 了 MinixFS 的 诸 多 限 制 结 果 就 是 ext 文 件 系 统 以 最 终 的 流 行 而 胜 出 后 来 的 ext2 文 件 系 统 进 一 步 打 破 了 ext 文 件 系 统 的 限 制, 最 大 的 分 区 大 小 支 持 到 4TB ext3 则 在 ext2 的 基 础 上 不 需 要 转 换 原 有 格 式 就 支 持 了 恢 复 日 志 ReiserFS 以 其 能 非 常 高 效 地 存 储 小 文 件 而 著 称, 但 又 由 于 它 比 较 容 易 将 磁 盘 上 的 文 件 碎 片 化 而 被 批 评 ReiserFS 的 设 计 师 Hans Reiser 是 美 籍 德 裔 2006 年 时, 他 原 本 已 经 在 开 发 ReiserFS 的 新 版 本 Reiser4 了, 里 面 将 会 用 到 一 种 叫 Dancing Tree 的 B 树 变 种, 能 更 有 效 地 处 理 小 文 件 的 存 储, 同 时 不 影 响 系 统 性 能 Reiser4 也 将 支 持 事 务 透 明 压 缩 插 件 等 多 种 高 级 功 能 但 是, 因 为 他 谋 杀 妻 子 Nina 的 事 情 东 窗 事 发, 于 2008 年 他 被 捕 入 狱 然 后,Reiser4 的 开 发 也 就 变 缓 许 多, 尽 管 仍 有 人 坚 持 在 做 这 个 项 目 不 过, 近 年 来 新 出 现 并 逐 渐 流 行 起 来 的 SSD 却 又 不 怕 文 件 碎 片, 因 为 它 本 身 就 是 能 够 被 随 机 访 问 的 半 导 体 集 成 电 路, 这 未 免 对 ReiserFS 是 一 种 鼓 舞 另 一 个 好 消 息 是, 比 Reiser4 更 晚 研 发 的 btrfs 文 件 系 统 从 Reiser4 的 设 计 中 吸 取 了 好 几 点 精 髓, 而 btrfs 已 经 被 纳 入 Linux 内 核 的 主 流 版 本 (main stream) 希 望 这 件 事 能 让 狱 中 的 Hans Reiser 开 心 点 吧 Windows 里 面, 如 果 要 编 写 第 三 方 文 件 系 统 驱 动 程 序, 可 以 通 过 Installable File System( 可 加 载 文 件 系 统,IFS) 来 实 现 这 些 驱 动 程 序 和 NTFS 一 样, 必 须 运 行 在 内 核 模 式 这 使 得 只 有 C 语 言 等 不 依 赖 于 用 户 模 式 运 行 环 境 的 编 程 平 台 才 能 被 用 来 编 写 这 些 驱 动 程 序 另 外, Linux 则 在 2005 年 的 内 核 引 入 了 FUSE(Filesystem in Userspace, 用 户 空 间 的 文 件 系 统 ) 有 了 FUSE 之 后, 就 可 以 编 写 用 户 模 式 下 的 文 件 系 统 驱 动 程 序 了 这 提 供 了 很 多 可 能 性, 比 如 编 写 者 可 以 不 需 要 懂 很 多 内 核 编 程 知 识, 文 件 系 统 可 以 与 用 户 模 式 的 其 他 程 序 交 互, 可 以 访 问 Web Service, 甚 至, 只 要 把 文 件 系 统 接 口 封 装 好 了, 就 能 用 Python 等 其 他 语 言 编 写 文 件 系 统 驱 动 程 序 了 NT 4.0 有 一 种 特 别 的 防 碎 片 文 件 分 配 策 略 在 Windows NT 4.0 等 早 期 版 本 的 NT 系 统 中 并 没 有 内 置 的 磁 盘 碎 片 整 理 程 序 在 Windows NT 4.0 的 开 发 过 程 中, 有 一 家 名 为 Executive Software 的 英 国 公 司 与 微 软 合 作, 为 NT 系 统 添 加 磁 盘 碎 片 整 理 的 支 持 说 来 有 趣, 做 磁 盘 碎 片 整 理 的 厂 商 很 多, 光 是 当 年 的 大 公 司 就 有 赛 门 铁 克 之 流, 更 何 况 如 今 还 有 VOpt PerfectDisk JKDefrag SmartDefrag Whitney Defrag Puran Defrag 等 多 家 竞 争 对 手, 为 什 么 唯 独 Execsoft 却 成 了 这 么 重 要 的 合 作 伙 伴 了 呢? 其 肯 定 有 一 些 其 他 的 历 史 背 景, 但 有 一 点 事 实 不 可 忽 略 :Execsoft 早 就 研 发 过 VAX/VMS 小 型 机 操 作 系 统 上 的 磁 盘 碎 片 整 理 程 序, 而 其 他 的 厂 商 大 都 不 是 这 一 路 的 而 NT 的 首 席 架 构 师 David Cutler 之 前 就 是 VMS 开 发 团 队 的 领 军 人 物 之 一, 而 且, 据 David Solomon 所 说,NT 和 VMS 有 着 很 大 的 相 似 性, 由 此 可 见 NT 和 VMS 是 有 着 深 厚 渊 源 的 于 是, 这 一 渊 源 促 成 了 Execsoft 和 Microsoft 的 合 作, 他 们 开 发 的 Diskeeper 就 成 了 一 个 重 要 的 磁 盘 碎 片 整 理 产 品 Windows 2000 自 带 的 磁 盘 碎 片 整 理 程 序 实 际 上 是 Diskeeper 的 精 简 版 后 来,Execsoft 总 部 前 往 美 国, 并 更 名 为 Diskeeper Corporation 再 后 来, 由 于 SSD 的 兴 起, 磁 盘 碎 片 整 理 的 市 场 需 求 变 少, 公 司 就 推 出 更 多 其 他 产 品, 如 Undelete HyperFast V-Locity 等, 同 时 公 司 也 更 名 为 Condusiv Technologies, 以 便 推 行 更 加 面 向 企 业 IT 的 产 品 战 略 而 NT 4.0 为 了 预 防 文 件 碎 片, 它 将 文 件 尽 可 能 均 匀 地 分 布 在 磁 盘 的 各 处, 让 每 个 文 件 的 尾 部 都 有 一 段 连 续 的 空 闲 磁 盘 空 间 可 以 观 察 下 面 两 张 图 片, 两 个 系 统 都 是 虚 拟 机 上 新 装 好 的 27

28 深 入 解 析 Windows 操 作 系 统 翻 译 后 记 系 统, 每 个 系 统 都 有 数 以 千 计 的 系 统 文 件, 其 中 有 许 多 几 十 到 几 百 KB 的 小 文 件 NT 4.0 的 帮 助 手 册 中 提 到 了 哪 些 DOS 命 令 有 NT 版 本, 哪 些 没 有, 而 这 里 面 就 说 明 了 defrag 命 令 是 不 存 在 于 NT 中 的 旁 边 写 了 一 句 附 注 : Windows NT 自 动 优 化 磁 盘 使 用 我 想, 这 句 话 也 许 就 是 指 的 这 个 预 分 布 特 性 吧 Figure 3 - Diskeeper showing a 4GB volume in Windows NT

29 Figure 4 - Diskeeper showing an 8GB volume in Windows NT 2000 文 件 系 统 的 功 能 方 面,Windows Vista 引 入 了 符 号 链 接 -- 终 于, 在 Windows 上 要 集 成 各 处 的 文 件 资 源 虚 拟 成 一 棵 目 录 树 不 再 是 难 于 上 青 天 的 事 了 另 外,Windows Vista 还 提 供 了 事 务 型 文 件 系 统 和 注 册 表, 只 要 应 用 程 序 有 需 求, 就 能 让 文 件 数 据 和 注 册 表 数 据 都 被 事 务 化 处 理, 以 保 证 数 据 操 作 的 ACID 特 性 Windows 和 Linux 风 格 上 的 差 异 所 有 的 软 件, 它 们 在 经 历 了 真 实 生 活 的 风 吹 雨 打 之 后, 都 会 逐 渐 成 长 起 来 作 为 一 个 操 作 系 统, 由 于 需 求 因 素, 诸 如 向 下 兼 容 有 无 相 关 编 程 需 要 等 原 因, 其 编 程 接 口 的 一 致 性 未 必 总 能 不 断 提 高, 但 灵 活 性 却 往 往 逐 渐 提 高 Windows 也 不 例 外 一 直 有 一 种 说 法, 就 是 Unix 操 作 系 统 有 一 个 统 一 理 念 所 有 对 象 都 是 文 件 Windows 不 具 备 这 一 理 念, 所 以 接 口 繁 多 其 实 虽 然 Unix 的 接 口 相 当 一 致, 但 实 际 做 操 作 的 时 候, 也 必 然 需 要 精 心 设 计 才 能 有 好 的 效 果 比 如 在 /proc 文 件 系 统 中, 可 以 把 进 程 的 信 息 直 接 像 读 文 本 文 件 一 样 读 出 来, 很 方 便, 但 是, 如 果 要 做 成 一 个 管 理 工 具, 则 必 须 把 这 些 文 本 好 好 地 存 到 一 个 结 构 体 中, 然 后 再 在 UI 上 妥 当 地 显 示 出 来 而 另 一 方 面,Windows 也 未 必 就 没 有 统 一 理 念 比 如,DeviceIOControl 就 是 与 所 有 设 备 驱 动 程 序 通 信 的 统 一 接 口, 包 括 与 文 件 系 统 通 信 都 用 它 当 然, 由 于 需 求 不 同, 灵 活 性 的 提 高 程 度 也 会 不 同 比 如,Linux 需 要 适 应 从 小 到 嵌 入 式 设 备, 大 到 大 型 机 的 所 有 规 模, 所 以 它 的 灵 活 性 要 求 必 然 会 比 较 高 Windows 的 策 略 有 所 不 同 29