使 用 Hitachi Adaptable Modular Storage 2000 系 列 上 的 VMware vsphere 4 实 现 Microsoft Office SharePoint Server 2007 的 虚 拟 化 参 考 架 构 指 南 作 者 :Steven Burns 和 Ken Ewers 2010 年 2 月
小 结 现 在, 许 多 公 司 都 倾 向 于 使 用 Microsoft Office SharePoint Server 2007 来 管 理 内 容, 创 建 协 作 的 工 作 环 境 但 是 随 着 内 容 和 用 户 增 多, 部 署 SharePoint 可 能 会 是 一 项 昂 贵 且 复 杂 的 工 作, 没 有 合 理 规 划, 缺 少 存 储 解 决 方 案 和 促 进 数 据 集 中 化 并 扩 展 基 础 架 构 的 计 算 基 础 架 构 Hitachi Adaptable Modular Storage 2000 系 列 可 针 对 SharePoint 的 部 署 提 供 可 靠 灵 活 可 扩 展 且 经 济 高 效 的 模 块 化 存 储 系 统 2000 系 列 是 满 足 较 为 苛 刻 应 用 需 求 的 理 想 选 择, 可 以 中 等 价 位 提 供 企 业 级 的 性 能 容 量 和 功 能 通 过 在 VMware 环 境 中 的 2000 系 列 上 部 署 SharePoint,IT 组 织 可 获 得 额 外 优 势, 如 服 务 器 利 用 率 的 提 升 促 使 成 本 降 低, 管 理 也 更 为 轻 松 本 书 提 供 利 用 Hitachi Adaptable Modular Storage 2000 系 列 上 的 VMware vsphere 4 配 置 在 服 务 器 虚 拟 化 的 环 境 中 成 功 部 署 SharePoint 2007 所 需 的 最 佳 做 法 该 解 决 方 案 专 供 负 责 Microsoft SharePoint 2007 Microsoft SQL Server 2008 服 务 器 虚 拟 化 和 存 储 的 IT 管 理 员 使 用 请 使 用 Acrobat Reader 8.0 以 达 到 最 佳 效 果
反 馈 日 立 数 据 系 统 公 司 欢 迎 您 提 供 反 馈 意 见 请 发 送 电 子 邮 件 至 SolutionLab@hds.com, 与 我 们 分 享 您 的 见 解 请 确 保 在 您 的 电 子 邮 件 信 息 中 包 含 此 白 皮 书 的 标 题
目 录 解 决 方 案 组 件... 1 Hitachi Adaptable Modular Storage 2000 系 列... 1 日 立 动 态 预 配 置 软 件... 2 VMware vsphere 4... 3 Microsoft Office SharePoint Server 2007... 3 Microsoft SQL Server 2008... 3 Storage Navigator Modular 2 软 件... 3 日 立 性 能 监 控 器 功 能... 4 Hitachi Device Manager 软 件... 4 Hitachi Tuning Manager 软 件... 4 参 考 架 构... 5 软 件... 6 硬 件... 6 存 储 架 构... 7 vsphere 4 基 础 架 构... 11 应 用 程 序 架 构... 14 SAN 架 构... 17 网 络 架 构... 18 总 结... 20
使 用 Hitachi Adaptable Modular Storage 2000 系 列 上 的 VMware vsphere 4 实 现 Microsoft Office SharePoint Server 2007 的 虚 拟 化 参 考 架 构 指 南 某 些 非 结 构 化 数 据 需 要 经 常 在 不 同 时 区 国 家 和 大 陆 运 营 的 众 多 员 工 部 门 和 分 公 司 之 间 分 享, 面 对 这 些 数 据 的 爆 炸 性 增 长, 许 多 公 司 都 倾 向 于 使 用 Microsoft Office SharePoint Server 2007 来 管 理 内 容, 创 建 协 作 的 工 作 环 境 但 是 随 着 内 容 和 用 户 增 多, 部 署 SharePoint 可 能 会 是 一 项 昂 贵 且 复 杂 的 工 作, 没 有 合 理 规 划, 缺 少 存 储 解 决 方 案 和 促 进 数 据 集 中 化 并 扩 展 基 础 架 构 的 计 算 基 础 架 构 Hitachi Adaptable Modular Storage 2000 系 列 可 针 对 SharePoint 的 部 署 提 供 可 靠 灵 活 可 扩 展 且 经 济 高 效 的 模 块 化 存 储 系 统 2000 系 列 是 满 足 较 为 苛 刻 应 用 需 求 的 理 想 选 择, 可 以 中 等 价 位 提 供 企 业 级 的 性 能 容 量 和 功 能 通 过 在 VMware 环 境 中 的 2000 系 列 上 部 署 SharePoint,IT 组 织 可 获 得 额 外 优 势, 如 服 务 器 利 用 率 的 提 升 促 使 成 本 降 低, 管 理 也 更 为 轻 松 本 书 提 供 利 用 Hitachi Adaptable Modular Storage 2000 系 列 上 的 VMware vsphere 4 配 置 在 服 务 器 虚 拟 化 的 环 境 中 成 功 部 署 SharePoint 2007 所 需 的 最 佳 做 法 该 解 决 方 案 专 供 负 责 Microsoft SharePoint 2007 Microsoft SQL Server 2008 服 务 器 虚 拟 化 和 存 储 的 IT 管 理 员 使 用 本 书 假 定 您 熟 悉 vsphere 4 和 vcenter Server Hitachi Storage Navigator Modular 2 软 件 Windows 2008 SharePoint 2007 和 SQL Server 2008 尽 管 本 书 中 记 录 的 解 决 方 案 使 用 Hitachi Adaptable Modular Storage 2100 进 行 测 试, 但 事 实 上,Hitachi Adaptable Modular Storage 2000 系 列 中 的 任 何 系 统 都 可 以 为 SharePoint 2007 等 要 求 较 高 的 企 业 应 用 程 序 提 供 可 靠 灵 活 和 经 济 高 效 的 存 储 支 持 平 台 解 决 方 案 组 件 本 章 节 描 述 该 解 方 案 的 关 键 组 件 Hitachi Adaptable Modular Storage 2000 系 列 Hitachi Adaptable Modular Storage 2000 系 列 是 唯 一 拥 有 对 称 式 双 活 控 制 器 的 中 端 存 储 产 品, 可 提 供 基 于 硬 件 的 集 成 式 自 动 化 前 端 到 后 端 I/O 负 载 均 衡 2000 系 列 存 储 系 统 的 两 台 控 制 器 均 可 动 态 且 自 动 地 从 控 制 器 后 端 向 逻 辑 单 元 分 配 访 问 路 径 无 论 通 过 物 理 存 储 前 端 端 口 还 是 请 求 访 问 的 服 务 器 均 可 实 现 对 所 有 逻 辑 单 元 的 访 问 每 台 控 制 器 的 利 用 率 均 得 到 监 控, 这 样 就 可 保 持 两 台 控 制 器 之 间 的 工 作 负 载 分 配 更 为 均 衡 当 与 VMware 循 环 负 载 均 衡 耦 合 时,2000 系 列 可 避 免 许 多 存 储 管 理 员 一 般 都 会 面 临 的 复 杂 且 耗 时 的 路 径 规 划 任 务 1
其 他 可 扩 展 至 100TB 以 上 的 中 端 存 储 产 品 均 无 串 行 附 加 式 SCSI (SAS) 驱 动 器 接 口 点 对 点 后 端 设 计 可 切 实 杜 绝 I/O 传 输 延 迟 和 有 关 光 纤 通 道 仲 裁 的 争 用 现 象, 并 可 提 供 显 然 更 大 的 带 宽 与 I/O 并 发 尽 管 该 解 决 方 案 中 使 用 的 是 Hitachi Adaptable Modular Storage 2100, 但 本 书 中 的 信 息 均 与 其 他 2000 系 列 系 统 相 关, 只 是 针 对 不 同 的 容 量 和 性 能 作 了 相 应 的 适 当 修 改 2000 系 列 是 面 向 SharePoint Server 2007 和 SQL Server 2008 等 关 键 任 务 业 务 应 用 程 序 的 一 种 易 于 使 用 可 扩 展 且 具 有 较 高 成 本 效 益 的 存 储 系 统 同 时, 它 也 是 分 层 和 独 立 存 储 整 合 业 务 连 续 性 数 据 复 制 备 份 和 归 档 的 最 佳 选 择 Adaptable Modular Storage 2100 提 供 的 模 型 功 能 强 大, 可 扩 展 至 159 个 磁 盘 驱 动 器, 并 可 以 模 块 化 的 价 格 实 现 企 业 级 性 能 与 功 能 表 1 列 出 了 2100 的 部 分 规 格 信 息 了 解 更 多 关 于 2000 系 列 的 其 他 信 息, 请 查 看 Hitachi Adaptable Modular Storage 2000 系 列 网 站 表 1. Hitachi Adaptable Modular Storage 2100 规 格 信 息 原 始 容 量 内 部 磁 盘 驱 动 器 ( 如 未 另 外 说 明 则 指 SAS) 156TB SATA 52TB SAS 300GB (15,000 RPM) 450GB (15,000 RPM) 1TB SATA II (7,200 RPM) 最 大 驱 动 器 数 量 159 磁 盘 驱 动 器 接 口 主 机 接 口 最 大 主 机 连 接 数 SAS 和 SATA 光 纤 通 道 :4Gb/ 秒 iscsi: GigE 4 个 光 纤 通 道 或 4 个 iscsi 通 过 虚 拟 端 口 最 多 可 以 附 加 主 机 数 量 512 SAS 链 路 16 最 大 逻 辑 单 元 数 量 2,048 最 大 逻 辑 单 元 容 量 控 制 器 高 速 缓 存 ( 每 个 系 统 ) 60TB 4GB 到 8GB 日 立 动 态 预 配 置 软 件 在 Hitachi Adaptable Modular Storage 2000 系 列 系 统 上, 日 立 动 态 预 配 置 软 件 可 使 用 能 够 提 供 虚 拟 存 储 容 量, 以 消 除 应 用 服 务 中 断 降 低 成 本 并 简 化 管 理 的 自 动 精 简 预 配 置 和 宽 条 带 化 组 件 实 现 动 态 预 配 置 功 能, 具 体 如 下 : 基 于 业 务 或 应 用 程 序 要 求, 优 化 或 提 供 适 当 规 模 的 存 储 性 能 和 容 量 支 持 延 迟 存 储 容 量 升 级 以 匹 配 实 际 业 务 利 用 率 简 化 存 储 管 理 流 程 并 为 之 增 加 灵 敏 性 通 过 存 储 池 内 全 部 可 用 磁 盘 上 数 据 自 动 优 化 的 宽 条 带 化, 提 高 性 能 2
了 解 更 多 信 息, 请 参 阅 日 立 动 态 预 配 置 软 件 产 品 资 料 作 为 日 立 数 据 预 配 置 软 件 的 基 础, 宽 条 带 化 技 术 可 显 著 改 善 性 能 容 量 利 用 率 和 环 境 管 理 存 储 作 为 虚 拟 卷 (V-VOL) 从 日 立 动 态 预 配 置 池 分 配 而 来 通 过 使 用 2000 系 列 上 日 立 动 态 预 配 置 池 中 的 虚 拟 卷 部 署 SharePoint 2007 和 SQL Server 2008, 您 可 获 得 以 下 优 势 : 在 高 峰 使 用 时 段 或 紧 张 的 维 护 活 动 ( 如 内 容 索 引 或 数 据 库 完 整 性 检 查 ) 可 以 利 用 的 改 良 I/O 缓 冲 区 对 SQL 服 务 器 工 作 负 载 产 生 平 滑 效 应, 消 除 不 同 RAID 组 热 点, 从 而 可 减 少 与 性 能 或 容 量 限 制 相 关 的 数 据 迁 移 移 动 通 过 利 用 组 成 存 储 池 的 全 部 磁 盘 整 合 后 的 功 能, 消 除 过 多 未 使 用 的 容 量 消 除 对 大 负 载 数 据 库 的 布 置 进 行 管 理 的 需 要 VMware vsphere 4 通 过 服 务 器 整 合,VMware vsphere 4 可 助 您 显 著 减 少 硬 件 占 地 空 间 和 资 金 花 费 利 用 VMware 产 品 和 例 如 ESX vcenter Server 高 可 用 性 (HA) 分 布 式 资 源 调 度 (DRS) 和 容 错 (FT) 等 特 点,vSphere 可 构 建 一 个 强 大 的 环 境, 实 现 集 中 管 理 并 使 管 理 员 获 得 对 主 要 功 能 的 控 制 权 VMware 可 提 供 能 够 帮 助 管 理 整 个 基 础 架 构 的 产 品 功 能 VMotion 允 许 虚 拟 机 和 存 储 的 不 中 断 迁 移 其 性 能 图 表 可 监 控 资 源 虚 拟 机 资 源 池 和 服 务 器 利 用 率 分 布 式 资 源 调 度 软 件 (DRS) 可 监 控 资 源 利 用 率 并 按 照 需 要 智 能 地 分 配 系 统 资 源 高 可 用 性 (HA) 可 监 控 硬 件 和 操 作 系 统 故 障, 并 可 自 动 重 新 启 动 虚 拟 机, 提 供 经 济 高 效 的 故 障 切 换 容 错 (FT) 可 创 建 与 主 实 例 保 持 锁 步 的 虚 拟 机 实 时 卷 影 实 例, 提 供 应 用 程 序 持 续 的 可 用 性 如 果 硬 件 出 现 故 障, 则 卷 影 实 例 立 即 接 管, 可 完 全 杜 绝 数 据 丢 失 Microsoft Office SharePoint Server 2007 SharePoint Server 2007 是 集 成 的 协 作 应 用 程 序, 使 用 它, 企 业 便 可 利 用 企 业 内 部 网 和 外 部 网 门 户 分 享 并 管 理 内 容, 满 足 易 于 创 建 和 管 理 工 作 空 间 的 标 准 SharePoint 可 与 众 多 微 软 应 用 程 序 集 成, 包 括 Word Project Server Excel 及 其 他 程 序 Microsoft SQL Server 2008 Microsoft SQL Server 2008 可 简 化 任 何 数 据 任 何 位 置 和 任 何 时 间 的 管 理 SQL Server 2008 与 2000 系 列 一 起 使 用, 可 为 任 何 需 要 高 级 别 可 用 性 和 安 全 性 的 中 等 至 企 业 级 应 用 程 序 提 供 可 扩 展 且 高 性 能 的 数 据 库 引 擎, 同 时 可 通 过 强 化 的 企 业 级 管 理 能 力, 降 低 总 体 拥 有 成 本 Storage Navigator Modular 2 软 件 Hitachi Storage Navigator Modular 2 软 件 可 为 各 个 日 立 存 储 系 统 的 管 理 和 优 化 提 供 重 要 功 能 该 软 件 可 提 供 可 通 过 网 络 访 问 的 图 形 管 理 界 面 和 命 令 行 界 面 (CLI), 以 便 实 现 存 储 管 理 的 简 化 3
Storage Navigator Modular 2 软 件 用 来 实 现 SAN 端 口 和 虚 拟 端 口 安 全 级 别 的 映 射 跨 系 统 路 径 映 射 RAID- 级 别 配 置 逻 辑 单 元 (LU) 创 建 和 扩 展 以 及 在 线 卷 迁 移 日 立 性 能 监 控 器 功 能 日 立 性 能 监 控 器 功 能 是 Storage Navigator Modular 2 软 件 包 的 一 部 分 它 可 在 对 磁 盘 驱 动 器 和 处 理 器 等 资 源 的 利 用 率 进 行 追 踪 的 同 时, 获 取 存 储 系 统 上 RAID 组 逻 辑 单 元 (LU) 及 其 他 组 件 的 性 能 信 息 信 息 会 以 线 形 图 的 方 式 显 示 在 Performance Monitor 窗 口, 亦 可 保 存 为.csv 文 件, 方 便 您 稍 后 进 行 分 析 使 用 Performance Monitor 验 证 SQL Server 环 境 未 对 底 层 存 储 系 统 造 成 压 力 Hitachi Device Manager 软 件 Hitachi Device Manager 软 件 可 实 现 包 括 Universal Storage Platform 系 列 在 内 的 所 有 日 立 存 储 系 统 的 集 中 管 理 为 了 使 管 理 更 加 高 效,Device Manager 软 件 可 链 接 到 Storage Navigator 软 件, 并 可 使 用 各 存 储 池 进 行 预 配 置, 管 理 存 储 系 统 和 逻 辑 组 资 源 之 间 的 复 制 还 可 为 异 构 Hitachi Storage Services Manager 软 件 及 其 他 第 三 方 存 储 管 理 工 具 在 日 立 存 储 系 统 中 提 供 设 备 接 口 使 用 Device Manager 软 件 中 的 Provisioning Assistant 功 能, 您 可 将 各 种 型 号 和 类 型 的 存 储 系 统 作 为 单 个 的 虚 拟 存 储 池 进 行 集 成 和 管 理, 可 使 您 以 更 低 的 投 入 获 得 更 高 的 价 值 Hitachi Tuning Manager 软 件 使 用 Hitachi Tuning Manager 软 件, 您 可 对 附 加 于 您 vsphere 服 务 器 上 的 日 立 模 块 化 存 储 的 性 能 和 容 量 实 现 主 动 的 监 控 管 理 和 规 划 Hitachi Tuning Manager 软 件 可 整 合 来 自 整 个 存 储 路 径 的 统 计 性 性 能 数 据 它 可 收 集 来 自 操 作 系 统 SQL Server 实 例 交 换 机 端 口 和 存 储 系 统 信 息 ( 如 RAID 组 和 逻 辑 单 元 IOPS 以 及 延 时 测 量 ) 的 性 能 和 容 量 数 据 Hitachi Tuning Manager 软 件 可 为 管 理 员 提 供 一 个 完 整 的 环 境 性 能 视 图 它 还 可 为 这 些 指 标 生 成 历 史 当 前 和 预 计 视 图 了 解 更 多 关 于 Hitachi Tuning Manager 软 件 的 信 息, 请 访 问 日 立 数 据 系 统 公 司 支 持 门 户 4
参 考 架 构 本 参 考 架 构 旨 在 支 持 存 储 于 SQL Server 2008 上 总 用 户 内 容 为 1TB 的 SharePoint 2007 群 组 10 个 100GB SharePoint 内 容 数 据 库 用 作 用 户 数 据 参 考 架 构 使 用 4 个 网 络 前 端 (WFE) 服 务 器 处 理 用 户 访 问 和 查 询, 使 用 3 个 应 用 服 务 器 处 理 所 有 的 SharePoint 角 色 ( 包 括 索 引 和 Excel 服 务 器 角 色 ), 使 用 1 个 安 装 有 SQL 2008 Server 的 服 务 器 处 理 环 境 的 数 据 库 要 求 图 1 展 示 了 参 考 架 构 环 境 的 物 理 布 局 图 1. 参 考 架 构 的 物 理 布 局 本 参 考 架 构 包 括 2 个 VMware ESX 4.0 主 机, 容 纳 了 10 台 虚 拟 机 所 有 服 务 器 均 运 行 Windows 2008 Service Pack 2 7 台 虚 拟 机 均 已 安 装 SharePoint Server 2007,1 台 已 安 装 SQL Server 2008 Service Pack 1,1 台 作 为 环 境 的 活 动 目 录 域 控 制 器 DC,1 台 托 管 用 于 管 理 vsphere 4 环 境 的 VMware vcenter 5
软 件 表 2 列 出 此 解 决 方 案 的 软 件 组 件 表 2. 软 件 资 源 软 件 版 本 VMware ESX 4.0.0 VMware vcenter 4.0 Windows Server 2008 企 业 版,Service Pack 2 SQL Server 2008 企 业 版,Service Pack 1 SharePoint Server 2007 企 业 版,Service Pack 2 Hitachi Storage Navigator Modular 2 8.3* * 注 : 要 使 用 本 解 决 方 案 中 的 日 立 动 态 预 配 置 软 件, 还 要 求 日 立 动 态 预 配 置 软 件 许 可 证 该 许 可 证 可 使 用 Hitachi Storage Navigator Modular 2 软 件 的 图 形 用 户 界 面 (GUI) 或 命 令 行 界 面 进 行 安 装 硬 件 表 3 列 出 本 解 决 方 案 的 硬 件 资 源 表 3. 硬 件 资 源 硬 件 配 置 Hitachi Adaptable Modular Storage 2100 微 码 0883A* 2 个 控 制 器 每 个 控 制 器 2 个 4Gb 光 纤 通 道 端 口 2 个 磁 盘 托 架 23 个 450GB/15,000 RPM/SAS 磁 盘 每 个 控 制 器 拥 有 2GB 的 高 速 缓 存 Brocade 48000 FC 控 制 器 12 个 4Gb 光 纤 通 道 端 口 FOS 5.3.1a 2 台 Dell R905 服 务 器 BIOS 固 件 4.0.3** 每 台 服 务 器 配 备 4 个 4 核 AMD Opteron 1.9GHz 处 理 器 每 台 服 务 器 内 存 为 64GB 每 台 服 务 器 配 备 2 台 Emulex LPe11002 4Gb 双 端 口 光 纤 通 道 HBA 每 台 服 务 器 配 备 4 个 GigE 网 络 接 口 端 口 * 使 用 最 新 或 最 近 期 的 支 持 日 立 的 微 码 和 FOS 级 别 某 些 功 能 要 求 最 低 微 码 等 级 ** 使 用 最 新 可 用 的 或 支 持 VMware 的 BIOS 固 件 级 别 在 实 验 室 环 境 中 使 用 额 外 的 服 务 器 托 管 例 如 Hitachi Storage Navigator Modular 2 和 vsphere 客 户 端 的 管 理 应 用 程 序 针 对 应 用 程 序 安 装 和 配 置 任 务, 此 服 务 器 也 用 于 将 桌 面 远 程 连 接 至 虚 拟 机 6
在 作 为 本 参 考 架 构 基 础 的 实 验 室 环 境 中, 虚 拟 机 上 运 行 运 行 有 Active Directory 域 控 制 器 在 生 产 环 境 中, 如 果 已 存 在 一 个 或 多 个 虚 拟 机, 则 可 能 不 要 求 域 控 制 器 作 为 虚 拟 机 来 运 行 存 储 架 构 该 参 考 架 构 使 用 的 存 储 设 计 含 有 2 个 用 于 SQL 和 SharePoint 数 据 的 日 立 动 态 预 配 置 池 每 个 动 态 预 配 置 池 包 含 2 个 使 用 450GB 15K 驱 动 器 的 RAID-1+0 (2D+2D) 组 一 个 RAID-5 (4D+1P) 组 处 理 虚 拟 机 文 件 和 引 导 磁 盘 针 对 SharePoint 2007 环 境 设 计 动 态 预 配 置 配 置 时, 日 立 数 据 系 统 公 司 建 议 使 用 2 个 存 储 池 一 个 用 于 SharePoint 所 需 的 SQL 数 据 库 ( 内 容 数 据 库 配 置 数 据 库 搜 索 数 据 库 和 其 他 ), 另 一 个 用 于 例 如 索 引 和 查 询 服 务 器 平 面 文 件 的 其 他 内 容 的 数 据 库 日 志 使 用 2 个 存 储 池, 而 不 是 单 个 的 结 合 存 储 池, 可 确 保 达 到 微 软 建 议 的 环 境 要 求, 即 数 据 库 和 其 对 应 的 日 志 文 件 存 储 在 独 立 的 磁 盘 上 该 环 境 使 用 日 立 动 态 预 配 置 软 件 建 立 为 该 环 境 创 建 了 2 个 存 储 池, 每 个 存 储 池 包 含 2 个 RAID-1+0 (2D+2D) 组 由 于 其 特 殊 细 粒 度, 池 中 的 专 用 卷 还 可 简 化 备 份 操 作, 并 可 为 每 种 类 型 卷 容 量 利 用 率 的 监 控 提 供 一 种 更 为 简 便 的 方 法 日 立 数 据 系 统 公 司 建 议 使 用 RAID-1+0 (2D+2D) 配 置 作 为 动 态 预 配 置 存 储 池 的 组 成 部 件, 因 为 它 可 为 您 的 存 储 池 提 供 良 好 的 可 靠 性 性 能 和 较 高 的 容 量 增 量 当 然, 也 可 创 建 包 含 其 他 2000 系 列 支 持 的 RAID 组 类 型 的 存 储 池,RAID-1+0 (2D+2D) 可 提 供 Microsoft 为 SQL Server 环 境 推 荐 的 保 护 级 别 图 3 显 示 本 解 决 方 案 中 所 用 Hitachi Adaptable Modular Storage 2100 的 物 理 布 局 图 3. 解 决 方 案 的 存 储 设 计 在 将 日 立 动 态 预 配 置 软 件 用 于 存 储 的 vsphere4 环 境 中 实 施 解 决 方 案 时, 了 解 下 列 组 件 之 间 的 关 系 十 分 重 要 : NTFS 卷 从 Windows 2008 的 角 度 来 看, 它 是 磁 盘 驱 动 器 上 的 一 个 分 区 在 动 态 预 配 置 环 境 中, 需 要 注 意 的 是 如 果 您 对 NTFS 卷 进 行 完 全 格 式 化, 则 2100 上 的 所 有 空 间 被 全 部 分 配 为 此, 日 立 数 据 系 统 公 司 建 议 在 NTFS 卷 上 执 行 快 速 格 式 化, 以 利 用 日 立 动 态 预 配 置 软 件 的 自 动 精 简 预 配 置 功 能 7
Windows 2008 磁 盘 驱 动 器 VMware 环 境 中 虚 拟 机 上 的 磁 盘 驱 动 器, 从 Windows 2008 的 角 度 来 看, 其 呈 现 和 运 行 方 式 与 本 地 物 理 硬 盘 驱 动 器 类 似 DiskPart 等 实 用 工 具 用 法 相 同 如 果 您 在 磁 盘 管 理 功 能 查 看 VMware 虚 拟 机 上 磁 盘 驱 动 器 的 属 性, 就 会 发 现, 它 们 显 示 为 VMware 虚 拟 磁 盘 SCSI 磁 盘 设 备 从 VMware 的 角 度 来 看, 虚 拟 机 的 虚 拟 磁 盘 是 作 为 VMware 数 据 存 储 库 上 的.vmdk 文 件 存 在 的 VMware.vmdk 文 件 这 些 文 件 创 建 且 存 储 于 虚 拟 机 硬 盘 驱 动 器 所 在 的 VMware 数 据 存 储 库 通 过 编 辑 虚 拟 机 的 设 置, 这 些 文 件 的 容 量 可 按 需 增 加.vmdk 文 件 的 格 式 可 能 为 以 下 三 种 中 的 一 种 : 精 简 格 式 厚 置 备 格 式 或 eagerzeroedthick 格 式 更 多 信 息, 请 参 阅 本 书 中 的 VMware 配 置 章 节 建 议 在 动 态 预 配 置 环 境 中 使 用 厚 置 备 ( 也 称 为 zeroedthick), 因 为 与 eagerzeroedthick 格 式 不 同 的 是, 在 创 建.vmdk 时, 并 不 会 写 入 到 所 有 分 配 的 空 间 VMware 数 据 存 储 库 VMware 数 据 中 心 中 的 托 管 对 象 代 表 虚 拟 机 文 件 的 存 储 位 置 数 据 存 储 库 可 以 是 VMFS 卷 NAS 设 备 上 的 目 录 或 本 地 文 件 系 统 路 径 本 解 决 方 案 中, 数 据 存 储 库 即 为 SAN 存 储 ( 放 置 在 2100 上 的 逻 辑 单 元 ) 上 的 VMFS 卷 因 为 数 据 存 储 库 的 作 用 域 在 数 据 中 心 级 别, 所 以 一 个 VMware 数 据 中 心 内 的 所 有 主 机 均 可 看 到 相 同 数 据 库 本 解 决 方 案 中 Hitachi Adaptable Modular Storage 2100 上 的 逻 辑 单 元 和 VMware 数 据 存 储 库 上 逻 辑 单 元 是 一 一 对 应 的 关 系 2100 上 创 建 的 逻 辑 单 元 此 解 决 方 案 中, 逻 辑 单 元 从 2100 上 的 动 态 预 配 置 存 储 池 分 配 而 来, 并 放 置 于 将 要 用 于 VMware 数 据 存 储 库 的 两 个 主 机 上 必 须 在 两 个 主 机 上 都 放 置 逻 辑 单 元, 这 样, 便 可 在 必 要 时 在 ESX 主 机 之 间 移 动 虚 拟 机 日 立 动 态 预 配 置 池 动 态 预 配 置 池 是 2100 一 项 许 可 的 功 能, 可 提 供 自 动 精 简 预 配 置 和 宽 条 带 化 的 优 点 针 对 SharePoint 2007 环 境, 请 至 少 使 用 两 个 动 态 预 配 置 池 这 样,SQL 数 据 库 及 其 相 关 的 日 志 文 件 就 可 以 根 据 Microsoft 的 推 荐 存 储 在 两 套 独 立 的 主 轴 上 需 要 注 意 的 是, 在 vsphere4 环 境 中 虚 拟 化 的 SharePoint 2007 中 包 含 各 种 方 案, 其 优 势 胜 过 自 动 精 简 预 配 置 的 优 点, 具 体 包 括 : NTFS 卷 的 完 全 格 式 化 因 为 NTFS 完 全 格 式 化 可 写 入 至 卷 上 的 所 有 程 序 块, 所 以 全 部 卷 空 间 都 从 动 态 预 配 置 池 分 配 而 来 在.vmdk 文 件 上 使 用 eagerzeroedthick 格 式 此 格 式 可 将 所 有 已 分 配 的 空 间 预 先 置 零 此 格 式 要 求 某 些 例 如 容 错 的 VMware 功 能 2100 的 逻 辑 单 元 被 分 配 至 ESX 主 机 并 作 为 创 建 虚 拟 磁 盘 所 用 的 虚 拟 机 文 件 系 统 (VMFS) 卷 进 行 格 式 化 虚 拟 磁 盘 (vdisk) 被 放 置 到 Windows Server 2008 客 户 操 作 系 统 中, 还 可 以 分 区 并 用 作 NTFS 文 件 系 统 中 SharePoint 环 境 要 求 的 SQL Server 2008 数 据 库 tempdb 和 事 务 日 志, 还 可 用 作 SharePoint 索 引 和 查 询 文 件 根 据 设 计, 该 解 决 方 案 可 支 持 10 个 100GB 的 SharePoint 内 容 数 据 库, 可 使 数 据 库 总 容 量 达 到 1TB 虽 然 Microsoft 建 议 将 SharePoint 2007 的 内 容 数 据 库 容 量 限 制 在 100GB, 但 这 并 非 硬 性 限 制 为 运 行 于 虚 拟 环 境 中 的 SharePoint 规 划 存 储 配 置 时, 请 注 意 以 下 几 类 数 据 : SQL 数 据 库 文 件 包 括 SharePoint 内 容 数 据 库 搜 索 数 据 库 SSP 数 据 库 配 置 数 据 库 和 其 他 数 据 库 将 所 有 SQL 数 据 库 置 于 一 个 动 态 预 配 置 存 储 池 内 8
SQL 日 志 文 件 每 个 数 据 库 都 有 一 个 相 应 的 日 志 文 件 将 这 些 文 件 存 储 于 第 二 个 动 态 预 配 置 存 储 池, 以 便 将 日 志 从 相 关 数 据 库 分 离 到 另 一 组 磁 盘 上 对 大 小 的 调 整 取 决 于 数 据 库 上 的 活 动 和 备 份 步 骤 考 虑 要 存 储 多 少 天 的 日 志, 根 据 每 天 产 生 的 日 志 数 量 的 计 算 或 测 定 值 调 整 SQL 日 志 卷 的 大 小 这 取 决 于 备 份 的 步 骤 和 计 划, 以 及 环 境 中 备 份 流 程 的 历 史 可 靠 性 SQL tempdb 将 此 文 件 与 日 志 置 于 相 同 的 动 态 预 配 置 池 内 此 文 件 非 常 关 键, 要 求 适 当 配 置 内 容 索 引 平 面 文 件 ( 针 对 运 行 索 引 或 查 询 服 务 的 SharePoint 服 务 器 ) 这 些 文 件 不 是 SQL 相 关 文 件, 驻 留 在 SharePoint 2007 群 组 中 运 行 索 引 或 查 询 服 务 的 服 务 器 上 在 下 面 调 整 大 小 章 节 会 进 一 步 讨 论 此 类 文 件 的 存 储 要 求 虚 拟 机 的 引 导 逻 辑 单 元 每 个 虚 拟 机 所 需 存 储 因 已 安 装 的 应 用 程 序 而 异 VMware 建 议 每 个 虚 拟 机 分 配 16GB 到 32GB 可 通 过 编 辑 虚 拟 机 设 置 的 方 式, 将 磁 盘 容 量 增 加 至 任 意 大 该 解 决 方 案 将 这 些 文 件 存 储 于 专 用 的 RAID-5 (4D+1P) 组 调 整 逻 辑 单 元 和 动 态 预 配 置 池 的 大 小 SharePoint 内 容 数 据 库 此 解 决 方 案 使 用 10 个 100GB 内 容 数 据 库 您 环 境 中 的 内 容 数 据 库 实 际 数 量 和 容 量 因 您 环 境 中 内 容 的 数 量 环 境 结 构 和 层 次 而 异 Microsoft 建 议 内 容 数 据 库 容 量 应 限 制 在 100GB 以 内, 但 这 并 非 硬 限 制, 许 多 SharePoint 生 产 环 境 都 存 在 大 于 100GB 的 内 容 数 据 库 Microsoft 还 建 议 应 额 外 分 配 20% 的 容 量, 以 避 免 由 突 发 增 长 引 起 的 空 间 不 足 问 题 基 于 这 些 建 议, 每 个 内 容 数 据 库 的 基 础 容 量 应 为 84GB 如 需 额 外 空 间,Microsoft 建 议 添 加 SharePoint 站 点 集 和 内 容 数 据 库 SharePoint 搜 索 数 据 库 搜 索 数 据 库 的 容 量 可 能 会 因 被 索 引 文 件 的 数 量 和 平 均 容 量 而 产 生 较 大 差 异 Microsoft 针 对 搜 索 数 据 库 容 量 的 计 算 如 下 : 要 求 的 磁 盘 空 间 GB = 总 _ 内 容 _ 大 小 ( 以 GB 计 )x 文 件 _ 大 小 _ 修 改 量 x 4 根 据 存 储 在 内 容 数 据 库 中 文 件 的 不 同 平 均 容 量, 文 件 _ 大 小 _ 修 改 量 是 以 下 其 中 之 一 : 如 果 内 容 的 平 均 文 件 大 小 为 1KB, 则 为 1.0 如 果 内 容 的 平 均 文 件 大 小 为 10KB, 则 为 0.12 如 果 内 容 的 平 均 文 件 大 小 为 100KB 或 更 大, 则 为 0.05 根 据 内 容 数 据 库 中 文 件 的 平 均 大 小, 总 内 容 大 小 可 至 1TB, 这 种 情 况 下, 该 计 算 结 果 的 范 围 在 200GB 至 4TB 之 间 其 他 SharePoint 数 据 库 当 您 安 装 并 配 置 SharePoint 时, 会 创 建 许 多 其 他 数 据 库 通 常 情 况 下, 这 些 数 据 库 可 存 储 在 单 个.vmdk 文 件 中 数 据 库 日 志 文 件 将 日 志 所 需 存 储 容 量 预 估 为 数 据 库 大 小 的 20% 需 考 虑 备 份 步 骤 和 备 份 的 历 史 可 靠 性 9
SQL tempdb 将 tempdb 文 件 所 需 存 储 容 量 预 估 为 数 据 库 总 大 小 的 10% 内 容 索 引 文 件 内 容 索 引 是 存 储 于 索 引 服 务 器 上 的 平 面 文 件 使 用 下 列 公 式 计 算 此 类 文 件 所 需 要 的 存 储 容 量 : 要 求 的 磁 盘 空 间 GB = 总 _ 内 容 _ 大 小 ( 以 GB 计 )x 文 件 _ 大 小 _ 修 改 量 x 2.85 根 据 存 储 在 内 容 数 据 库 中 文 件 的 不 同 平 均 容 量, 文 件 _ 大 小 _ 修 改 量 是 以 下 其 中 之 一 : 如 果 内 容 的 平 均 文 件 大 小 为 1KB, 则 为 1.0 如 果 内 容 的 平 均 文 件 大 小 为 10KB, 则 为 0.12 如 果 内 容 的 平 均 文 件 大 小 为 100KB 或 更 大, 则 为 0.05 查 询 目 录 文 件 查 询 目 录 文 件 副 本 存 储 于 每 个 托 管 查 询 角 色 的 服 务 器 上 查 询 目 录 文 件 是 一 个 平 面 文 件, 是 传 播 到 每 个 查 询 服 务 器 的 内 容 索 引 的 副 本 此 文 件 需 要 的 存 储 容 量 与 内 容 索 引 文 件 所 需 容 量 大 致 相 同 引 导 逻 辑 单 元 除 了 SQL 2008 服 务 器 上 使 用 的 80GB 的 虚 拟 磁 盘 外, 此 参 考 架 构 中 虚 拟 机 的 引 导 逻 辑 单 元 配 置 为 40GB 的 虚 拟 磁 盘 逻 辑 单 元 布 局 图 表 4 显 示 参 考 架 构 的 逻 辑 单 元 的 布 局 情 况 表 4. 逻 辑 单 元 布 局 图 动 态 预 配 置 池 逻 辑 单 元 数 量 目 的 容 量 服 务 器 分 配 存 储 池 000 0000 SharePoint 搜 索 数 据 库 500GB SQL 存 储 池 000 0001 SharePoint 内 容 数 据 库 1 100GB SQL 存 储 池 000 0002 SharePoint 内 容 数 据 库 2 100GB SQL 存 储 池 000 0003 SharePoint 内 容 数 据 库 3 100GB SQL 存 储 池 000 0004 SharePoint 内 容 数 据 库 4 100GB SQL 存 储 池 000 0005 SharePoint 内 容 数 据 库 5 100GB SQL 存 储 池 000 0006 SharePoint 内 容 数 据 库 6 100GB SQL 存 储 池 000 0007 SharePoint 内 容 数 据 库 7 100GB SQL 存 储 池 000 0008 SharePoint 内 容 数 据 库 8 100GB SQL 存 储 池 000 0009 SharePoint 内 容 数 据 库 9 100GB SQL 存 储 池 000 0010 SharePoint 内 容 数 据 库 10 100GB SQL 存 储 池 000 0011 其 他 SharePoint 数 据 库 * 150GB SQL 存 储 池 000 0012 tempdb 125GB SQL 存 储 池 001 0013 日 志 ** 250GB SQL 存 储 池 001 0014 SharePoint 内 容 索 引 300GB 索 引 存 储 池 001 0015 WFE1 查 询 目 录 150GB WFE1 10
存 储 池 001 0016 WFE2 查 询 目 录 150GB WFE2 存 储 池 001 0017 WFE3 查 询 目 录 150GB WFE3 存 储 池 001 0018 WFE4 查 询 目 录 150GB WFE4 * 注 : 逻 辑 单 元 11 用 于 所 有 SharePoint 数 据 库, 而 非 内 容 数 据 库 SharePoint 搜 索 数 据 库 和 tempdb 其 中 包 括 SharePoint 配 置 数 据 库 SharePoint 管 理 内 容 数 据 库 SSP 管 理 ( 站 点 集 合 ) 内 容 数 据 库 SSP 数 据 库 和 WSS 搜 索 数 据 库 某 些 环 境 可 能 包 括 其 他 数 据 库 ** 注 : 逻 辑 单 元 13 用 于 存 储 所 有 数 据 库 事 务 日 志 扩 展 存 储 配 置 无 论 某 环 境 最 初 要 求 更 大 的 存 储 量, 还 是 迫 于 数 据 增 长, 都 可 轻 松 为 现 有 的 动 态 预 配 置 池 添 加 额 外 容 量 由 依 赖 存 储 池 底 层 RAID 结 构 和 驱 动 器 大 小 的 增 量 添 加 现 有 存 储 池 的 容 量 对 于 该 解 决 方 案 中 记 录 的 配 置,RAID-1+0 (2D+2D) 配 置 中 驱 动 器 大 小 为 450GB, 所 以 增 量 约 为 900GB 其 他 RAID 类 型 和 SATA 磁 盘 虽 然, 该 白 皮 书 记 录 了 在 RAID-1+0 (2D+2D) 配 置 中 使 用 SAS 驱 动 器 的 存 储 布 局, 但 在 某 些 方 案 中, 其 他 类 型 的 RAID 配 置 或 SATA 驱 动 器 的 使 用 可 能 也 是 可 行 的 正 如 该 解 决 方 案 中 的 做 法, 大 部 分 情 况 下,RAID-5 可 用 于 分 配 给 容 纳 虚 拟 机 操 作 系 统 虚 拟 磁 盘 的 存 储 根 据 Microsoft 所 述, 您 也 可 将 RAID-5 用 于 带 有 静 态 Web 内 容 的 数 据 库, 此 时, 随 机 读 取 性 能 就 尤 为 重 要 ; 但 是, 对 于 任 何 用 于 协 作 的 数 据 库 请 采 用 RAID-1+0 根 据 特 定 环 境, 您 可 以 使 用 两 个 以 上 的 动 态 预 配 置 池, 例 如, 在 下 列 情 况 下 : 为 了 特 定 的 目 标 使 用 RAID-5 I/O 要 求 必 须 采 用 额 外 存 储 池 多 种 磁 盘 大 小 的 使 用 和 其 他 应 用 程 序 共 享 2000 系 列 存 储 SharePoint 容 量 规 划 工 具 使 用 SharePoint Capacity Planning Tool, 帮 助 您 规 划 存 储 配 置 使 用 可 用 于 模 拟 SharePoint 和 WSS 环 境 的 工 具 要 获 得 并 使 用 该 工 具, 请 先 下 载 System Center Capacity Planner 2007 (SCCP 2007), 然 后 下 载 SharePoint Capacity Tool 该 工 具 专 为 独 立 服 务 器 环 境 设 计, 但 也 可 帮 助 规 划 已 实 现 虚 拟 化 的 SharePoint 2007 群 组 有 关 更 多 信 息, 请 参 阅 Microsoft TechNet 文 章 SharePoint 容 量 规 划 工 具 总 览 vsphere 4 基 础 架 构 该 参 考 架 构 中 的 vsphere 4 环 境 由 两 个 ESX 4.0 服 务 器 组 成, 托 管 着 10 个 虚 拟 机 有 关 更 多 信 息, 请 参 阅 Scott Lowe 编 著 的 Mastering VMware vsphere 4 (ISBN:978-0-470-48138-7) 11
调 整 ESX 主 机 大 小 在 您 可 为 ESX 主 机 建 立 规 格 前, 您 必 须 首 先 决 定 将 在 每 台 ESX 主 机 上 运 行 多 少 虚 拟 机 您 还 必 须 决 定 虚 拟 机 的 虚 拟 CPU 内 存 和 容 量 要 求, 并 考 虑 ESX 主 机 是 否 将 是 集 群 的 一 部 分, 以 及 是 否 使 用 VMotion 等 功 能 如 果 您 正 在 针 对 故 障 切 换 或 HA 方 案 为 您 的 环 境 分 配 容 量, 请 验 证 每 台 主 机 是 否 有 足 够 的 资 源 以 支 持 环 境 中 的 所 有 虚 拟 机 虚 拟 CPU 虚 拟 环 境 包 含 虚 拟 CPU (vcpu) 和 物 理 CPU 虚 拟 CPU 是 虚 拟 机 内 的 处 理 器, 等 同 于 一 个 物 理 处 理 器 核 心 虚 拟 机 监 控 器 程 序 负 责 CPU 的 虚 拟 化 VMware 建 议 确 保 分 配 至 所 有 虚 拟 机 的 vcpu 总 数 等 于 或 小 于 物 理 ESX 主 机 上 核 心 的 总 数 请 注 意,ESX 服 务 控 制 台 要 求 一 个 CPU 和 至 少 400MB 的 内 存 vsphere 内 存 配 置 指 南 vsphere 可 管 理 程 序 级 别 管 理 内 存, 进 而 可 激 活 多 种 功 能, 例 如 在 拥 有 相 同 客 户 操 作 系 统 的 虚 拟 机 之 间 共 享 内 存 内 存 过 量 使 用 和 内 存 膨 胀 技 术, 通 过 使 用 这 些 功 能, 未 使 用 所 有 已 分 配 内 存 的 虚 拟 机 可 为 需 要 更 多 内 存 的 虚 拟 机 提 供 内 存 在 调 整 ESX 主 机 内 存 大 小 时, 请 在 虚 拟 机 考 虑 需 要 的 考 虑 因 素 以 外 注 意 两 点 : ESX 主 机 内 存 开 销 服 务 控 制 台 VMkernel 和 每 台 虚 拟 机 的 开 销 虚 拟 机 内 存 设 置 ESX 主 机 开 销, 亦 称 客 户 机 内 存, 可 分 解 为 以 下 各 部 分 : 已 配 置 内 存 分 配 给 虚 拟 机 的 内 存 大 小 实 得 内 存 虚 拟 机 正 在 使 用 的 实 际 已 分 配 内 存 量 预 留 内 存 vsphere 将 开 销 考 虑 在 内, 为 虚 拟 机 预 留 的 已 配 置 内 存 可 交 换 内 存 预 留 内 存 以 外 的 已 配 置 内 存 部 分, 可 由 气 球 驱 动 或 vsphere 对 换 进 行 回 收 图 4 详 细 说 明 了 虚 拟 机 内 存 设 置 图 4 虚 拟 机 内 存 设 置 12
在 vsphere 4 环 境 中,2100 中 的 逻 辑 单 元 被 当 做 数 据 存 储 库 上 以.vmdk 文 件 的 形 式 创 建 的 虚 拟 磁 盘 或 已 映 射 的 原 始 逻 辑 单 元, 放 置 到 运 行 在 ESX 主 机 上 的 虚 拟 机 VMware 磁 盘 管 理 ESX 主 机 可 通 过 两 种 途 径 访 问 逻 辑 单 元, 通 过 VMware 虚 拟 机 文 件 系 统 (VMFS) 数 据 存 储 库 或 通 过 原 始 设 备 映 射 (RDM) 虚 拟 磁 盘 是 存 储 在 数 据 存 储 库 中 的 文 件, 该 数 据 存 储 库 是 一 种 逻 辑 容 器, 以 多 个.vmdk 文 件 的 形 式 存 在 以 VMFS 格 式 将 VMFS 数 据 存 储 库 部 署 在 存 储 设 备 上 VMFS 针 对 虚 拟 机 进 行 了 优 化, 并 可 隐 藏 底 层 存 储 的 细 节 VMFS 数 据 存 储 库 可 以 通 过 几 个 ESX 主 机 访 问, 集 群 功 能 包 括 虚 拟 机 的 分 布 式 文 件 锁 定 VMFS 数 据 存 储 库 可 在 客 户 端 运 行 时 得 到 扩 展, 也 可 在 跨 多 个 逻 辑 单 元 间 进 行 扩 展 使 用 Storage vmotion,.vmdk 文 件 可 在 不 停 机 的 情 况 下 移 动 至 另 一 个 数 据 存 储 库 作 为 备 用 选 择, 逻 辑 单 元 可 作 为 原 始 设 备 映 射 (RDM) 进 行 映 射 该 特 点 允 许 将 逻 辑 单 元 直 接 映 射 至 虚 拟 机 对 命 令 设 备 和 其 他 任 何 需 要 直 接 与 存 储 处 理 器 通 信 的 设 备 而 言,RDM 很 有 用 日 立 数 据 系 统 公 司 不 推 荐 对 SQL Server 使 用 RDM, 因 为 VMFS 的 强 化 性 能 和 特 点 不 可 用 但 是, 请 注 意, 使 用 微 软 集 群 服 务 (MSCS) 时, 您 必 须 在 物 理 兼 容 模 式 使 用 RDM 更 多 有 关 VMFS 和 RDM 的 信 息, 请 参 阅 VMware 光 纤 通 道 SAN 配 置 指 南 了 解 VMware 环 境 中 可 能 存 在 的 多 种 磁 盘 设 备 类 型 非 常 重 要 : 虚 拟 磁 盘 指 的 是 创 建 在 VMFS 数 据 存 储 库 上 并 以.vmdk 文 件 的 形 式 存 储 的 虚 拟 磁 盘 这 些 磁 盘 也 被 称 为 vdisk 虚 拟 磁 盘 可 以 以 下 格 式 出 现 : 精 简 格 式 可 根 据 需 要 分 配 空 间, 因 此 数 据 存 储 库 上 的.vmdk 文 件 大 小 仅 为 实 际 使 用 的 大 小 日 立 数 据 系 统 公 司 不 推 荐 在 2100 上 使 用 日 立 动 态 预 配 置 软 件 时 使 用 精 简 格 式, 因 为 自 动 精 简 配 置 是 在 存 储 系 统 上 处 理 的 厚 格 式 ( 厚 置 备 zeroedthick) 可 在 数 据 存 储 库 上 创 建 和 已 创 建 的 虚 拟 磁 盘 大 小 相 等 的 vmdk 文 件, 但 不 对 空 间 进 行 预 置 零 使 用 该 格 式, 如 果 您 创 建 300GB 的 虚 拟 磁 盘 并 将 100GB 的 数 据 置 于 其 中, 数 据 存 储 库 上 的 vmdk 文 件 将 为 300GB, 但 是 在 2100 上 使 用 的 实 际 空 间 将 为 100GB 在 2100 上 使 用 日 立 动 态 预 配 置 软 件 时 推 荐 此 格 式 Eagerzeroedthick 格 式 预 置 零 已 分 配 的 所 有 空 间 使 用 该 格 式,500GB 的 虚 拟 磁 盘 在 数 据 存 储 库 上 拥 有 500GB 的.vmdk 文 件, 而 且 也 可 使 用 2100 上 的 这 500GB 空 间, 即 使 使 用 日 立 动 态 预 配 置 软 件 时 也 是 如 此 然 而 该 格 式 非 精 简 友 好 型, 只 有 在 特 定 条 件 下 才 要 求 例 如, 如 果 在 精 简 或 厚 格 式 虚 拟 磁 盘 上 启 用 VMware 容 错, 这 些 虚 拟 磁 盘 就 会 转 换 为 eagerzeroedthick 格 式, 因 为 VMFS 上 的 容 错 要 求 该 格 式 已 映 射 原 始 逻 辑 单 元 号 原 始 设 备 映 射 (RDM) 存 储 设 备 这 些 设 备 可 在 两 种 模 式 下 进 行 配 置, 即 物 理 兼 容 模 式 (prdm) 或 虚 拟 模 式 (vrdm) RDM 详 细 解 释 不 在 本 白 皮 书 的 讨 论 范 围 之 内 值 得 注 意 的 一 点 是, 如 果 使 13
用 微 软 集 群 功 能 对 SharePoint 群 组 环 境 进 行 集 群, 则 在 此 环 境 中 要 求 的 是 RDM, 而 不 是 SQL 服 务 器 的 虚 拟 磁 盘 应 用 程 序 架 构 该 解 决 方 案 的 SharePoint 2007 群 组 环 境 架 构 由 两 台 VMware ESX 4.0 主 机 上 的 8 台 虚 拟 机 组 成 这 8 台 虚 拟 机 中 的 7 台 安 装 有 SharePoint Server 2007, 第 8 台 虚 拟 机 安 装 有 SQL Server 2008 SP1 SharePoint 环 境 总 是 由 如 下 三 层 组 成 : Web 应 用 程 序 数 据 库 任 何 该 环 境 中 给 定 的 服 务 器 均 可 支 持 这 三 个 层 中 的 一 层 或 多 层 为 该 解 决 方 案 测 试 的 环 境 使 用 4 个 配 置 有 Windows 网 络 负 载 均 衡 服 务 (NLBS) 的 Web 前 端 (WFE) 服 务 器 这 4 个 WFE 还 启 用 了 查 询 服 务 并 可 保 存 查 询 目 录 的 副 本 应 用 程 序 层 由 应 用 服 务 器 Excel 服 务 服 务 器 和 索 引 服 务 器 组 成 数 据 库 层 由 托 管 SQL 服 务 器 2008 SP1 的 第 8 台 服 务 器 组 成 表 4 所 示 为 虚 拟 机 及 其 托 管 的 ESX 主 机 表 4. ESX 主 机 和 虚 拟 机 ESX 主 机 虚 拟 机 资 料 操 作 系 统 应 用 程 序 和 服 务 ESX1 WFE1 2 个 vcpu 4GB 内 存 ESX1 WFE2 2 个 vcpu 4GB 内 存 Windows 2008 Service Pack 2 64- 位 Windows 2008 Service Pack 2 64- 位 SharePoint 2007 Service Pack 2 Web 应 用 程 序 服 务 搜 索 查 询 服 务 Windows NLBS SharePoint 2007 Service Pack 2 Web 应 用 程 序 服 务 搜 索 查 询 服 务 Windows NLBS ESX1 应 用 程 序 服 务 器 2 个 vcpu 4GB 内 存 Windows 2008 Service Pack 2 64- 位 SharePoint 2007 Service Pack 2 Web 应 用 程 序 服 务 ESX1 Excel 服 务 器 2 个 vcpu 4GB 内 存 Windows 2008 Service Pack 2 64- 位 SharePoint 2007 Service Pack 2 Web 应 用 程 序 服 务 Excel 计 算 服 务 ESX2 WFE3 2 个 vcpu 4GB 内 存 Windows 2008 Service Pack 2 64- 位 SharePoint 2007 Service Pack 2 Web 应 用 程 序 服 务 搜 索 查 询 服 务 Windows NLBS 14
ESX2 WFE4 2 个 vcpu 4GB 内 存 Windows 2008 Service Pack 2 64- 位 SharePoint 2007 Service Pack 2 Web 应 用 程 序 服 务 搜 索 查 询 服 务 Windows NLBS ESX2 SQL 服 务 器 4 个 vcpu 16GB 内 存 Windows 2008 Service Pack 2 64- 位 SQL Server 2008 Service Pack 1 ESX2 索 引 服 务 器 4 个 vcpu 8GB 内 存 Windows 2008 Service Pack 2 64- 位 SharePoint 2007 Service Pack 2 Web Application Service Search Indexing Service 实 验 室 环 境 还 包 括 两 个 额 外 的 虚 拟 机 用 于 该 环 境 的 Windows Domain Controller 托 管 在 ESX1 上, 而 vcenter 服 务 器 则 托 管 在 ESX2 上 有 的 生 产 环 境 可 能 已 经 包 含 这 些 组 件 和 其 他 基 础 架 构 以 及 管 理 服 务 器, 因 此, 实 施 该 解 决 方 案 可 能 不 再 需 要 额 外 的 实 例 调 整 虚 拟 机 大 小 为 了 将 构 建 SharePoint 环 境 的 时 间 缩 至 最 短, 请 尽 可 能 使 用 模 板 创 建 虚 拟 机 该 解 决 方 案 环 境 中, 除 了 托 管 VMware vcenter 的 虚 拟 机 外, 所 有 虚 拟 机 均 为 Windows 2008 Server 64 位 创 建 具 有 2 个 vcpu 和 2GB 内 存 的 虚 拟 机 模 板 在 模 板 上 安 装 Windows 2008 Server 64 位, 并 安 装 SharePoint 2007 要 求 的 所 有 Windows 角 色 和 功 能 为 引 导 逻 辑 单 元 的 虚 拟 磁 盘 分 配 40GB 内 存 从 模 板 创 建 SharePoint 虚 拟 机 时, 请 遵 循 这 些 初 步 大 小 调 整 指 南 : WFE (Web 前 端 ) 虚 拟 机 从 虚 拟 机 模 板 上 创 建 这 些 虚 拟 机 开 始 时 创 建 为 2 个 vcpu 和 4GB 内 存 的 虚 拟 机 即 可, 并 在 需 要 时 进 行 纵 向 扩 展 由 于 WFE 和 查 询 角 色 为 CPU 密 集 型, 因 此 可 能 要 求 额 外 的 vcpu 如 果 WFE 也 运 行 查 询 服 务, 则 创 建 独 立 的 虚 拟 磁 盘 来 保 存 查 询 目 录, 该 目 录 是 从 索 引 服 务 器 传 播 而 来 的 内 容 索 引 的 复 本 通 过 独 立 的 vscsi 适 配 器 附 加 该 虚 拟 磁 盘 索 引 服 务 器 从 模 板 上 创 建 该 服 务 器 开 始 时 创 建 为 2 个 vcpu 和 6GB 内 存 即 可, 并 在 需 要 时 进 行 纵 向 扩 展 为 内 容 索 引 再 分 配 一 个 附 加 在 另 一 个 vscsi 适 配 器 上 的 虚 拟 磁 盘 鉴 于 索 引 服 务 使 用 的 数 据 合 并 步 骤, 虚 拟 磁 盘 的 容 量 需 大 于 实 际 内 容 索 引 大 小 的 两 倍 内 容 索 引 的 大 小 同 样 也 视 被 索 引 文 件 的 平 均 大 小 而 定 对 于 较 小 的 文 件 ( 每 GB 内 容 中 含 有 更 多 文 件 ), 内 容 索 引 较 大, 相 反, 对 于 较 大 的 文 件 ( 每 GB 内 容 中 含 较 少 的 文 件 ), 内 容 索 引 较 小 Microsoft 建 议 将 内 容 索 引 的 估 算 大 小 增 加 2.85 倍 应 用 服 务 器 包 括 运 行 Excel 服 务 的 服 务 器 从 虚 拟 机 模 板 上 创 建 此 类 服 务 器 开 始 时 创 建 为 2 个 vcpu 和 2GB 内 存 即 可, 可 在 需 要 时 进 行 纵 向 扩 展 这 些 角 色 通 常 不 再 要 求 任 何 额 外 资 源 SQL 服 务 器 从 虚 拟 机 模 板 上 创 建 该 服 务 器 虽 然 VMware 建 议 分 配 2 个 vcpu 和 6GB 的 内 存, 并 可 在 必 要 时 进 行 拓 展, 但 额 外 的 内 存 可 提 升 SQL 服 务 器 的 缓 存 效 率, 进 而 可 降 低 存 储 IOPs 的 数 量 并 可 提 升 性 能 基 于 这 种 原 因, 日 立 数 据 系 统 公 司 建 议 您 将 内 存 分 配 为 12-16GB 如 果 将 微 软 集 群 用 作 SQL 服 务 器, 请 参 阅 15
VMware 故 障 切 换 集 群 和 微 软 集 群 服 务 设 置 指 南 请 注 意, 使 用 微 软 集 群 时, 您 必 须 使 用 RDM 而 非 虚 拟 磁 盘, 作 为 共 享 存 储 具 体 要 求 视 集 群 设 计 和 操 作 系 统 版 本 而 定 内 存 和 vcpu 这 些 要 求 根 据 具 体 环 境 而 有 所 不 同 扩 展 应 用 程 序 架 构 对 于 该 解 决 方 案, 在 扩 展 应 用 程 序 架 构, 或 为 了 实 现 高 可 用 性 而 对 架 构 进 行 修 改 时, 请 注 意 以 下 几 点 : WFE 服 务 器 可 对 Web 前 端 服 务 器 进 行 纵 向 扩 展 或 横 向 扩 展 要 进 行 横 向 扩 展, 可 将 额 外 的 vcpus, 内 存 或 二 者 一 起 分 配 至 虚 拟 机 由 于 WFE 和 查 询 角 色 均 为 CPU 密 集 型, 所 以 在 通 常 情 况 下,vCPUs 为 更 好 的 投 资 要 进 行 横 向 扩 展, 可 添 加 额 外 的 WFE 服 务 器, 但 是 Microsoft 和 VMware 测 试 显 示, WFE 达 到 一 定 数 量 时, 会 出 现 收 益 递 减 Microsoft 对 查 询 服 务 器 性 能 的 测 试 结 果 显 示, 添 加 的 服 务 器 总 数 超 过 7 台 时, 每 秒 查 询 总 量 会 有 所 下 降 WFE 服 务 器 的 负 载 是 均 衡 的, 所 以 如 果 其 中 一 个 服 务 器 出 现 故 障, 用 户 可 被 转 接 至 另 一 个 在 线 的 服 务 器 应 用 服 务 器 通 常, 这 些 服 务 器 对 资 源 的 要 求 相 对 较 低, 且 可 容 易 地 进 行 横 向 扩 展 或 纵 向 扩 展 以 处 理 任 何 额 外 负 载 可 在 需 要 时, 将 应 用 服 务 器 添 加 到 SharePoint 环 境 中, 以 履 行 各 种 角 色 几 乎 应 用 服 务 器 上 启 用 的 所 有 角 色 都 可 实 现 冗 余 和 负 载 均 衡 Excel 服 务 器 应 用 服 务 器 上 的 Excel 计 算 服 务 已 启 用, 且 通 常 不 需 要 进 行 纵 向 扩 展 可 在 多 种 应 用 服 务 器 上 启 用 Excel 服 务, 以 实 现 高 可 用 性 索 引 服 务 器 应 用 服 务 器 上 也 启 用 了 搜 索 索 引 服 务, 但 是 您 只 能 将 一 个 索 引 服 务 器 作 为 共 享 服 务 提 供 程 序 (SSP) 有 关 提 高 索 引 服 务 器 性 能 的 更 多 信 息, 请 参 阅 Microsoft TechNet 文 章 更 改 索 引 器 性 能 设 置 数 据 库 服 务 器 添 加 内 存 可 提 高 SQL 服 务 器 的 性 能, 这 主 要 是 通 过 增 加 缓 存 SharePoint 数 据 的 有 效 性 实 现 的 为 实 现 生 产 环 境 的 高 可 用 性, 请 将 SQL 服 务 器 进 行 集 群 化 处 理 16
SAN 架 构 图 4 显 示 本 参 考 架 构 使 用 的 光 纤 通 道 连 接 图 4. 光 纤 通 道 连 接 17
表 5 列 出 ESX 主 机 上 HBA 端 口 和 2100 上 的 存 储 端 口 之 间 的 路 径 配 置 对 于 此 参 考 架 构, 该 表 中 的 每 一 行 均 被 配 置 为 一 个 独 立 的 区 域 表 5. ESX 主 机 路 径 配 置 ESX 主 机 主 机 HBA 编 号 控 制 器 分 区 名 称 存 储 系 统 端 口 存 储 系 统 主 机 组 ESX 1 vmhba 1 ESX_1_HBA1_AMS2100_0A 0A ESX_1_vmHBA_1 ESX 1 vmhba 2 ESX_1_HBA2_AMS2100_1A 1A ESX_1_vmHBA_2 ESX 1 vmhba 3 ESX_1_HBA3_AMS2100_0B 0B ESX_1_vmHBA_3 ESX 1 vmhba 4 ESX_1_HBA4_AMS2100_1B 1B ESX_1_vmHBA_4 ESX 2 vmhba 1 ESX_2_HBA1_AMS2100_0A 0A ESX_2_vmHBA_1 ESX 2 vmhba 2 ESX_2_HBA2_AMS2100_1A 1A ESX_2_vmHBA_2 ESX 2 vmhba 3 ESX_2_HBA3_AMS2100_0B 0B ESX_2_vmHBA_3 ESX 2 vmhba 4 ESX_2_HBA4_AMS2100_1B 1B ESX_2_vmHBA_4 ESX 主 机 上 的 多 路 径 为 保 持 ESX 主 机 与 存 储 之 间 的 不 间 断 连 接,ESX 支 持 多 路 径 多 路 径 允 许 主 机 到 存 储 之 间 的 多 个 物 理 或 逻 辑 连 接 为 支 持 多 路 径, 日 立 数 据 系 统 公 司 建 议 物 理 主 机 至 少 包 含 2 个 HBA, 而 且 这 些 HBA 至 少 要 与 每 台 存 储 系 统 控 制 器 上 的 一 个 光 纤 通 道 端 口 保 持 连 接 在 该 参 考 架 构 中, 每 台 ESX 主 机 使 用 了 4 个 HBA 端 口 在 ESX 中, 通 过 VMware Native Multipathing Plugin (NMP), 实 现 了 几 种 类 型 的 多 路 径 政 策 : 固 定 ( 默 认 ) 如 果 已 配 置, 使 用 指 定 的 首 选 路 径 否 则, 会 使 用 系 统 引 导 时 发 现 的 第 一 个 工 作 路 径 如 果 主 机 不 能 使 用 首 选 路 径, 则 会 随 机 选 择 可 用 的 备 用 路 径 一 旦 首 选 路 径 可 用, 主 机 可 自 动 恢 复 到 首 选 路 径 这 是 ESX 上 的 默 认 设 置, 需 要 在 不 通 SAN 光 纤 网 络 和 存 储 控 制 器 内 进 行 手 动 负 载 均 衡 和 路 径 分 配 循 环 ( 推 荐 ) 使 用 可 在 所 有 可 用 路 径 中 进 行 轮 换 调 度 的 路 径 选 择 算 法, 所 以 可 在 不 同 路 径 进 行 负 载 分 配 由 于 其 对 称 式 双 活 控 制 器 的 设 计, 循 环 是 Adaptable Modular Storage 2000 系 列 存 储 系 统 的 最 佳 选 择 它 可 在 保 持 环 境 路 径 故 障 切 换 功 能 和 简 化 设 置 的 同 时, 确 保 存 储 系 统 内 的 所 有 资 源 可 以 得 到 利 用, 因 为 所 有 逻 辑 单 元 均 被 映 射 至 分 配 给 ESX 主 机 的 所 有 端 口 最 近 使 用 (MRU) 选 择 ESX 主 机 最 近 使 用 过 的 路 径 访 问 给 定 的 设 备 如 果 此 路 径 不 可 用, 主 机 则 转 换 至 其 他 路 径, 并 在 该 新 路 径 可 用 时 继 续 使 用 网 络 架 构 在 该 参 考 架 构 中, 每 台 ESX 主 机 使 用 了 4 张 网 卡 (NIC) 具 体 环 境 中 需 要 的 网 卡 数 量 由 多 种 因 素 决 定 以 下 章 节 说 明 了 物 理 和 虚 拟 联 网 的 一 些 设 计 考 虑 因 素 18
物 理 网 络 配 置 ESX 服 务 器 要 求 并 可 支 持 的 物 理 网 卡 数 量 由 多 种 因 素 决 定, 包 括 以 下 几 点 : 物 理 服 务 器 的 限 制 您 的 物 理 服 务 器 可 支 持 的 最 大 网 络 端 口 数 量 是 有 限 的 Sphere 4 配 置 最 大 值 指 南 中 的 联 网 最 大 值 部 分 列 出 了 VMware 支 持 的 接 口 速 度 和 网 络 端 口 配 置 使 用 的 vsphere 功 能 容 错 和 vmotion 等 特 定 VMware 功 能 要 求 专 用 网 卡 支 持 虚 拟 机 要 求 的 带 宽 支 持 计 划 内 虚 拟 机 数 量 和 预 期 的 流 量 需 要 足 够 多 的 网 卡 冗 余 要 求 在 一 些 环 境 中, 可 能 需 要 额 外 的 网 卡 达 到 冗 余 目 的 VLAN 的 使 用 和 配 置 VLAN 的 使 用 可 减 少 vsphere 4 环 境 要 求 的 网 卡 数 量 在 生 产 环 境 中, 最 佳 做 法 是, 每 个 ESX 主 机 至 少 使 用 6 个 千 兆 网 卡 (Giganet Ethernet NIC), 但 是 每 个 主 机 使 用 8 到 12 个 网 卡 的 情 况 也 很 常 见, 尤 其 是 在 使 用 配 备 大 量 CPU 和 内 存 资 源 的 物 理 服 务 器 的 复 杂 环 境 中 以 下 情 况 下 要 求 使 用 网 卡 : 服 务 控 制 台 需 要 1 张 网 卡,2 张 可 达 冗 余 虚 拟 机 流 量 为 虚 拟 机 至 少 分 配 2 张 网 卡 建 议 使 用 千 兆 位 或 更 快 的 以 太 网 卡 VMotion 至 少 需 要 1 张 网 卡, 冗 余 需 要 2 张 建 议 使 用 千 兆 位 或 更 快 的 以 太 网 卡 VMware 容 错 如 果 使 用 该 功 能, 至 少 需 要 1 张 网 卡, 冗 余 需 要 2 张 建 议 使 用 千 兆 位 或 更 快 的 以 太 网 卡 VMware 网 络 配 置 vsphere 4 环 境 中 可 使 用 两 种 虚 拟 交 换 机 类 型 通 常 将 这 些 交 换 机 称 为 vnetwork 标 准 交 换 机 和 vnetwork 分 布 式 交 换 机 在 vcenter GUI 内 部, 将 这 些 称 为 虚 拟 交 换 机 和 分 布 式 虚 拟 交 换 机 (vds) 标 准 交 换 机 是 在 主 机 级 别 配 置 的 虚 拟 交 换 机, 而 在 分 布 式 虚 拟 交 换 机 则 在 vcenter 级 别 进 行 配 置 分 布 式 虚 拟 交 换 机 作 为 单 独 交 换 机 在 多 个 主 机 间 进 行 操 作, 并 允 许 在 主 机 间 对 虚 拟 机 进 行 更 为 便 捷 的 迁 移 如 果 使 用 标 准 交 换 机, 每 台 主 机 上 的 交 换 机 配 置 必 须 相 同, 以 支 持 虚 拟 机 在 主 机 间 的 移 动 虚 拟 交 换 机 配 置 的 深 入 描 述 不 在 本 白 皮 书 的 讨 论 范 围 之 内 您 可 根 据 物 理 服 务 器 网 络 资 源 带 宽 和 冗 余 要 求 进 行 具 体 配 置 更 多 关 于 vsphere 4 联 网 功 能 的 信 息, 请 参 阅 VMware vsphere 4: 虚 拟 联 网 最 新 内 容 白 皮 书 您 至 少 需 要 3 个 分 布 式 虚 拟 交 换 机 来 支 持 已 经 实 现 虚 拟 化 的 SharePoint, 一 个 用 于 服 务 控 制 台 流 量, 一 台 用 于 VMotion 流 量, 最 后 一 台 用 于 虚 拟 机 流 量 请 注 意, 虽 然 该 配 置 可 用 于 较 小 的 生 产 环 境 和 测 试 环 境, 但 它 没 有 为 虚 拟 机 流 量 提 供 冗 余 带 宽 和 限 制 带 宽 测 试 该 解 决 方 案 使 用 的 日 立 数 据 系 统 中, 每 台 ESX 主 机 使 用 了 四 张 网 卡 第 一 张 网 卡 分 配 给 默 认 虚 拟 交 换 机, 用 于 服 务 控 制 台 流 量 第 二 张 网 卡 分 配 给 分 布 式 虚 拟 交 换 机, 用 于 vmotion 流 量 第 三 和 第 四 张 网 卡 分 配 给 两 台 独 立 的 分 布 式 虚 拟 交 换 机, 用 于 虚 拟 机 流 量 在 大 多 数 情 况 下, 生 产 环 境 可 根 据 冗 余 要 求 或 带 宽 要 求 使 用 额 外 网 卡, 也 可 能 使 用 包 括 虚 拟 LAN (VLAN) 或 网 卡 聚 合 在 内 的 VMware 功 能 19
总 结 本 白 皮 书 记 述 的 解 决 方 案, 可 帮 助 各 公 司 简 化 在 虚 拟 化 环 境 中 部 署 Microsoft Office SharePoint Server 2007 的 步 骤 它 描 述 了 一 种 强 大 的 解 决 方 案 和 计 算 基 础 架 构, 可 在 内 容 和 用 户 增 加 时, 简 化 数 据 的 集 中 和 基 础 架 构 的 扩 展 Hitachi Adaptable Modular Storage 2000 系 列 可 针 对 SharePoint 的 部 署 提 供 可 靠 灵 活 可 扩 展 且 经 济 高 效 的 模 块 化 存 储 系 统 2000 系 列 是 满 足 较 为 苛 刻 应 用 需 求 的 理 想 选 择, 可 以 中 等 价 位 提 供 企 业 级 的 性 能 容 量 和 功 能 通 过 在 VMware 环 境 中 的 2000 系 列 上 部 署 SharePoint,IT 组 织 可 获 得 额 外 优 势, 如 服 务 器 利 用 率 的 提 升 促 使 成 本 降 低, 管 理 也 更 为 轻 松 有 关 Hitachi Adaptable Modular Storage 2000 的 更 多 信 息, 请 参 阅 日 立 数 据 系 统 公 司 网 站 或 联 系 您 的 日 立 销 售 代 表 或 渠 道 合 作 伙 伴 20
公 司 总 部 750 Central Expressway, Santa Clara, California 95050-2627 USA 联 系 方 式 :+ 1 408 970 1000 www.hds.com / info@hds.com 亚 太 地 区 和 美 洲 750 Central Expressway, Santa Clara, California 95050-2627 USA 联 系 方 式 :+ 1 408 970 1000 www.hds.com / info@hds.com 欧 洲 总 部 Sefton Park, Stoke Poges, Buckinghamshire SL2 4HD United Kingdom 联 系 方 式 :+ 44 (0) 1753 618000 www.hds.com / info.uk@hds.com Hitachi 为 Hitachi, Ltd. 在 美 国 及 其 他 国 家 / 地 区 的 注 册 商 标 Hitachi Data Systems 为 Hitachi, Ltd. 在 美 国 和 其 他 国 家 的 注 册 商 标 和 服 务 标 记 本 文 件 或 网 站 中 其 他 所 有 商 标 服 务 标 记 和 公 司 名 称 皆 为 其 各 自 所 有 者 所 有 注 : 本 文 件 仅 以 提 供 信 息 为 目 的, 不 对 任 何 日 立 数 据 系 统 公 司 已 提 供 或 将 要 提 供 的 设 备 或 服 务 构 成 任 何 明 示 或 暗 含 的 保 证 本 文 件 描 述 的 功 能 包 括 一 些 日 立 数 据 系 统 公 司 有 效 维 修 协 议 中 所 限 定 的 某 些 功 能 可 能 因 配 置 不 同 而 有 差 异 的 功 能 和 当 前 可 能 不 可 用 的 功 能 关 于 产 品 功 能 和 可 用 性 的 信 息, 请 联 系 当 地 日 立 数 据 系 统 公 司 销 售 办 事 处 版 权 所 有 日 立 数 据 系 统 公 司 2010 保 留 所 有 权 利 AS-036-00 2010 年 2 月 21