互联网数据中心交换网络技术白皮书

互 联 网 数 据 中 心 交 换 网 络 的 设 计 1 引 言 互 联 网 数 据 中 心 (internet data center,idc) 是 指 拥 有 包 括 高 速 宽 带 互 联 网 接 入 高 性 能 局 域 网 络 提 供 安 全 可 靠 的 机 房 环 境 的 设 备 系 统 专 业 化 管 理 和 完 善 的 应 用 级 服 务 的 服 务 平 台 在 这 个 平 台 上,IDC 服 务 商 为 企 业 ISP ICP 和 ASP 等 客 户 提 供 互 联 网 基 础 平 台 服 务 以 及 各 种 增 值 服 务 作 为 业 务 承 载 与 分 发 的 基 础 网 络 系 统, 就 成 为 IDC 平 台 的 动 脉 随 着 中 国 IDC 产 业 不 断 发 展 和 业 务 需 求 多 样 化, 基 础 网 络 逐 步 发 展 出 一 套 相 对 比 较 通 用 和 开 放 的 方 案 架 构 2 当 前 主 要 的 IDC 基 础 网 络 架 构 虽 然 各 IDC 机 房 各 有 度 身 定 制 的 业 务 需 求, 网 络 设 计 也 有 各 自 的 关 于 带 宽 规 模 安 全 和 投 资 的 考 虑 因 素, 但 最 基 本 的 关 注 点 仍 然 集 中 在 高 可 靠 高 性 能 高 安 全 和 可 扩 展 性 上 2.1 通 用 的 IDC 架 构 在 整 体 设 计 上, 层 次 化 和 模 块 化 是 IDC 架 构 的 特 征, 如 图 1, 这 种 架 构 设 计 带 来 了 整 体 网 络 安 全 和 服 务 部 署 的 灵 活 性, 给 上 层 应 用 系 统 的 部 署 也 提 供 了 良 好 的 支 撑 图 1 IDC 层 次 化 & 模 块 化 设 计 架 构 分 区 结 构 采 用 模 块 化 的 设 计 方 法, 它 将 数 据 中 心 划 分 为 不 同 的 功 能 区 域, 用 于 部 署 不 同 的 应 用, 使 得 整 个 数 据 中 心 的 架 构 具 备 可 伸 缩 性 灵 活 性 和 高 可 用 性 数 据 中 心 的 服 务 器 根 据 用 户 的 访 问 特 性 和 核 心 应 用 功 能, 分 成 不 同 组, 并 部 署 在 不 同 的 区 域 中 由 于 整 个 数 据 中 心 的 很 多 服 务 是 统 一 提 供 的, 例 如 数 据 备 份 和 系 统 管 理, 因 此 为 保 持 架 构 的 统 一 性, 避 免 不 必 要 的 资 源 浪 费, 功 能 相 似 的 服 务 将 统 一 部 署 在 特 定 的 功 能 区 域 内, 例 如 与 管 理 相 关 的 服 务 器 将 被 部 署 在 管 理 区 分 区 结 构 另 一 个 特 点 是 以 IDC 的 客 户 群 为 单 位 进 行 划 分, 将 具 体 客 户 应 用 集 中 在 一 个 物 理 或 逻 辑 范 围 内, 便 于 以 区 域 模 块 为 单 位, 提 供 管 理 和 其 它 增 值 服 务 层 次 化 是 将 IDC 具 体 功 能 分 布 到 相 应 网 络 层 计 算 层 和 存 储 层, 分 为 数 据 中 心 前 端 网 络 和 后 端 管 理 等 网 络 本 身 根 据 不 同 的 IDC 规 模, 可 以 有 接 入 层 汇 聚 层 和 核 心 层 一 般 情 况 下, 数 据 中 心 网 络 分 成 标 准 的 核 心 层 汇 聚 层 和 接 入 层 三 层 结 构 1) 核 心 层 : 提 供 多 个 数 据 中 心 汇 聚 模 块 互 联, 并 连 接 园 区 网 核 心 ; 要 求 其 具 有 高 交 换 能 力 和 突 发 流 量 适 应 能 力 ; 大 型 数 据 中 心 核 心 要 求 多 汇 聚 模 块 扩 展 能 力, 中 小 型 数 据 中 心 共 用 园 区 核 心 ; 当 前 以 10G 接 口 为 主, 高 性 能 的 将 要 求 4 到 8 个 10GE 端 口 捆 绑 2) 汇 聚 层 : 为 服 务 器 群 (server farm) 提 供 高 带 宽 出 口 ; 要 求 提 供 大 密 度 GE/10GE 端 口, 实 现 接 入 层 互 联 ; 具 有 较 多 槽 位 数 提 供 增 值 业 务 模 块 部 署 3) 接 入 层 : 支 持 高 密 度 千 兆 接 入 和 万 兆 接 入 ; 接 入 总 带 宽 和 上 行 带 宽 存 在 收 敛 比 和 线 速 两 种 模 式 ; 基 于 机 架 考 虑,1RU 更 具 灵 活 部 署 能 力 ; 支 持 堆 叠, 更 具 扩 展 能 力 ; 上 行 双 链 路 冗 余 能 力

图 2 IDC 整 体 架 构 图 2 注 解 :FW---fire wall 防 火 墙 ASE---Application Speed-up Engine 应 用 加 速 引 擎 IPS---Intrusion Prevention System 入 侵 防 御 系 统 AFC---Anomaly Flow Cleaner 异 常 流 量 清 洗 层 次 化 和 模 块 化 的 方 式 较 好 地 解 决 了 IDC 的 灵 活 扩 展 要 求, 在 整 体 设 计 上 的 关 键 节 点 采 用 双 机 冗 余 和 链 路 冗 余 的 方 案, 如 图 2, 也 可 以 极 大 提 高 系 统 可 靠 性 冗 余 链 路 : 在 骨 干 网 设 备 连 接 中, 单 一 链 路 的 连 接 很 容 易 实 现, 但 一 个 简 单 的 故 障 就 会 造 成 网 络 的 中 断, 因 此 在 实 际 网 络 组 建 的 过 程 中, 为 了 保 持 网 络 的 稳 定 性, 在 多 台 交 换 机 组 成 的 网 络 环 境 中, 通 常 都 使 用 一 些 备 份 连 接, 以 提 高 网 络 的 健 壮 性 和 稳 定 性 备 份 连 接 也 称 为 备 份 链 路 或 者 冗 余 链 路. 备 份 链 路 之 间 的 交 换 机 经 常 互 相 连 接, 形 成 一 个 环 路, 通 过 环 路 在 一 定 程 度 上 实 现 冗 余 此 种 设 计 对 于 IDC 的 增 值 服 务 带 来 了 可 操 作 性 当 前 IDC 增 值 业 务 发 展 迅 速, 包 括 安 全 防 护 流 量 清 洗 内 容 监 控 和 应 用 计 费 等, 具 体 实 施 部 署 则 可 依 据 主 机 单 元 和 分 区 模 块 单 元 进 行 业 务 提 供 2.2 IDC 内 部 的 基 础 网 络 设 计 基 本 的 网 络 模 型 是 三 层 组 网, 通 常 情 况 下, 以 汇 聚 层 为 单 位, 划 分 IDC 的 区 域 和 模 块, 安 全 防 护 地 部 署 在 每 个 分 区 模 块 内, 按 需 部 署

图 3 IDC 单 分 区 模 块 内 部 网 络 图 3 注 解 LB---Load Balancer 负 载 均 衡 器 常 用 的 设 计 是 以 网 络 核 心 为 全 路 由 层, 而 各 分 区 服 务 器 的 二 层 终 结 在 汇 聚 层 交 换 机 上, 汇 聚 层 交 换 机 与 核 心 通 过 路 由 三 层 互 联, 因 此 在 IDC 各 个 模 块 内, 以 多 生 成 树 协 议 MSTP(Multiple Spanning Tree Protocol) + 虚 拟 路 由 器 冗 余 协 议 (virtual router redundancy protocol, VRRP) 的 方 案, 形 成 了 服 务 器 群 的 高 可 靠 接 入 除 了 产 品 高 可 用 设 计 外,H3C 作 为 领 先 的 网 络 解 决 方 案 提 供 商, 对 数 据 中 心 高 可 用 方 案 设 计 上 进 行 了 全 面 的 验 证, 具 体 可 分 为 服 务 器 接 入 高 可 用 设 计, 接 入 层 到 汇 聚 的 高 可 用 设 计, 汇 聚 层 的 高 可 用 设 计 2.2.1 服 务 器 接 入 高 可 用 设 计 就 是 所 谓 的 服 务 器 多 网 卡 接 入 为 了 实 现 接 入 高 可 用, 服 务 器 通 常 采 用 多 链 路 上 行, 即 服 务 器 采 用 两 块 或 两 块 以 上 的 多 网 卡 接 入, 服 务 器 中 的 网 络 驱 动 程 序 将 两 块 或 者 多 块 网 卡 捆 绑 成 一 个 虚 拟 的 网 卡, 如 果 一 个 网 卡 失 效, 另 一 个 网 卡 会 接 管 它 的 MAC 地 址, 两 块 网 卡 使 用 同 一 个 IP 地 址, 而 且 必 须 位 于 同 一 广 播 域, 即 同 一 子 网 下 服 务 器 和 接 入 交 换 机 之 间 的 连 接 方 式 有 4 种 方 式 : 网 络 可 用 性 从 右 至 左 依 次 升 高 因 此 H3C 推 荐 采 用 第 一 种 接 入 方 式, 这 种 连 接 方 式 的 服 务 器 采 用 交 换 机 容 错 模 式 分 别 接 入 到 两 台 机 柜 式 交 换 机 上, 并 且 将 VLAN Trunk 到 两 台 设 备 上, 实 现 服 务 器 的 高 可 靠 接 入 2.2.2 接 入 到 汇 聚 层 高 可 用 设 计 接 入 到 汇 聚 层 共 有 4 种 连 接 方 式, 分 别 为 倒 U 型 接 法 U 型 接 法 三 角 型 接 法 和 矩 形 接 法, 这 里 所 谓 不 同 类 型 的 接 法 是 以 二 层 链 路 作 为 评 判 依 据, 比 如 说 矩 形 接 法, 从 接 入 到 接 入, 接 入 到 汇 聚 汇 聚 到 汇 聚 均 为 二 层 链 路 连 接, 因 此 形 成 了 矩 形 的 二 层 链 路 接 法

H3C 推 荐 三 角 型 接 法 : 因 为 1) 链 路 冗 余, 路 径 冗 余, 故 障 收 敛 时 间 最 短 2)VLAN 可 以 跨 汇 聚 层 交 换 机, 服 务 器 部 署 灵 活 在 实 际 部 署 中, 还 可 以 根 据 实 际 情 况 选 择 如 下 方 案 : 1)H3C IRF(intelligent resilient framework),h3c IRF 能 够 实 现 分 布 式 设 备 管 理 分 布 式 路 由 和 跨 设 备 链 路 聚 合 部 署 H3C IRF, 除 了 提 高 网 络 的 可 用 性, 减 少 单 点 故 障 影 响, 还 可 以 :1 分 布 式 处 理 二 三 层 协 议, 极 大 提 高 网 络 高 性 能 2 多 台 交 换 机 组 成 一 个 逻 辑 Fabric, 配 置 管 理 更 高 效 3 堆 叠 组 内 设 备 软 件 版 本 同 步 升 级 容 易 4 整 个 堆 叠 组 的 设 备 支 持 热 插 拔, 灵 活 管 理 2) 接 入 与 汇 聚 采 用 MSTP+VRRP: 提 高 可 用 性, 还 可 以 做 到 链 路 的 负 载 均 衡 2.2.3 汇 聚 高 可 用 性 设 计 1) 汇 聚 交 换 设 备 之 间 的 VRRP; 2) 安 全 应 用 优 化 设 备 之 间 的 VRRP: 可 以 内 置 或 者 旁 挂 到 汇 聚 交 换 机 上 ( 推 荐 旁 挂, 而 不 是 串 连 到 网 络 中, 消 除 性 能 瓶 颈 ) 利 用 HRP 协 议 实 现 在 Master 和 Backup 防 火 墙 设 备 之 间 备 份 关 键 配 置 命 令 和 会 话 表 状 态 信 息 的 备 份 HRP 协 议 承 载 在 VGMP 报 文 上 通 过 指 定 的 负 载 均 衡 算 法, 对 指 向 服 务 器 的 流 量 做 负 载 均 衡, 保 证 服 务 器 群 能 够 尽 最 大 努 力 向 外 提 供 服 务, 提 升 服 务 器 的 可 用 性, 提 升 服 务 器 群 的 处 理 性 能 2.3 当 前 网 络 架 构 的 不 足 为 了 提 高 IDC 基 础 网 络 适 应 性, 各 方 案 提 供 商 针 对 STP/VRRP 的 快 速 收 敛 与 可 靠 计 算, 不 断 进 行 技 术 优 化, 对 于 故 障 恢 复 速 度 不 断 加 快 但 是 本 方 案 架 构 的 不 足 也 是 明 显 的 : 2.3.1 设 计 复 杂 性 对 于 大 型 IDC 来 说, 每 个 汇 聚 模 块 下 都 将 作 MSTP 的 环 路 设 计 当 实 例 数 增 多 时, 链 路 故 障 及 切 换 计 算 分 析 的 复 杂 性 增 加, 网 络 设 备 为 解 决 潜 在 的 安 全 隐 患 需 要 增 强 的 手 段 也 要 加 强, 除 了 服 务 器 NIC(Network interface card) Teaming 的 兼 容 性 设 计,BFD(Bidirectional Forwarding Detection 双 向 转 发 检 测 ) For VRRP Root Guard Loop Guard BPDU(Bridge Protocol Data Unit 桥 协 议 数 据 单 元 ) Guard Port fast Uplink-fast Backbone-fast Dispute Mechanism Bridge Assurance 等 诸 多 复 杂 特 性 将 在 网 络 配 置 额 外 的 功 能 目 标 是 为 增 强 网 络 健 壮 性, 但 是 它 们 相 互 耦 合, 使 组 网 环 境 复 杂 化, 并 消 耗 各 个 网 络 设 备 自 身 的 计 算 与 通 信 资 源 ; 过 多 的 状 态 机 制 通 信 量 与 计 算 量, 又 引 入 了 系 统 的 不 稳 定 因 素 由 于 局 部 设 计 已 经 带 来 IDC 的 架 构 复 杂 化, 在 当 前 IDC 虚 拟 化 趋 势 下, 难 以 将 服 务 器 虚 拟 化 后 再 将 整 个 IDC 资 源 的 调 配 扩 展 到 数 据 中 心

图 4 复 杂 的 接 入 与 汇 聚 架 构 2.3.2 带 宽 利 用 不 足 在 当 前 网 络 架 构 下,MSTP 环 路 防 止 能 力 将 使 得 接 入 交 换 机 的 上 行 链 路 只 有 一 半 处 于 工 作 状 态, 即 双 归 属 的 其 中 一 条 链 路 被 阻 塞 了, 使 链 路 利 用 率 低 下 了 ; 当 活 动 链 路 的 流 量 接 近 设 计 门 限 时, 带 宽 升 级 成 本 是 两 倍 关 系, 即 对 于 双 归 属 的 两 边 需 要 同 质 地 进 行 升 级 当 前 网 络 技 术 也 部 分 支 持 在 VRRP 的 两 个 网 关 上 进 行 流 量 负 载 分 担 的 架 构 设 计, 但 是 这 同 样 使 得 设 计 复 杂 性, 使 IDC 故 障 定 位 引 入 了 更 复 杂 的 网 络 环 境, 由 于 这 与 服 务 器 群 的 流 量 有 关 系, 负 载 分 担 的 效 果 基 本 无 法 描 述 图 5 VRRP&MSTP 负 载 分 担 的 架 构 2.3.3 虚 拟 化 支 持 有 限 为 提 升 大 量 闲 置 服 务 器 的 资 源 利 用 率, 计 算 虚 拟 化 技 术 已 经 逐 步 在 IDC 进 行 应 用 形 成 计 算 池, 并 能 在 IDC 范 围 内 进 行 计 算 调 配 计 算 虚 拟 化 能 够 极 大 提 高 IDC 服 务 器 利 用 率, 大 幅 降 低 IDC 能 耗 及 TCO(Total cost of ownership 总 体 拥 有 成 本 ) 但 MSTP&VRRP 的 架 构 对 虚 拟 机 的 迁 移, 使 之 只 能 限 制 在 一 定 的 模 块 内, 即 模 块 级 的 虚 拟 化 能 力, 在 IDC 虚 拟 化 应 用 初 期, 具 有 一 定 空 间 但 伴 随 模 块 内 部 计 算 密 度 的 不 断 增 强, 业 务 流 量 不 断 增 大, 现 有 的 架 构 仍 将 带 来 带 宽 利 用 率 不 充 分 的 问 题

图 6 服 务 器 虚 拟 化 要 求 虚 拟 机 在 二 层 连 通 网 络 迁 移 3 下 一 代 IDC 的 架 构 设 计 3.1 关 键 的 驱 动 力 虚 拟 化 当 前 IDC 普 遍 存 在 的 问 题 是 : 规 模 越 来 越 大, 服 务 器 数 量 不 断 增 加, 但 是 单 台 服 务 器 利 用 率 低 下, 总 体 IDC 的 计 算 资 源 利 用 不 充 分 虚 拟 化 技 术 面 向 IDC, 将 计 算 资 源 池 化, 按 照 IDC 应 用 需 要 进 行 资 源 分 配, 使 得 服 务 器 上 闲 置 的 计 算 资 源 得 以 充 分 利 用 图 7 计 算 虚 拟 化 3.1.1 计 算 虚 拟 化 的 直 接 效 果 单 位 计 算 密 度 极 大 提 升 据 统 计, 服 务 器 利 用 率 从 虚 拟 化 前 平 均 15% 可 提 升 到 50%-60%, 甚 至 可 以 更 高 某 些 拥 有 主 流 虚 拟 化 技 术 的 厂 家 可 达 到 的 物 理 服 务 器 整 合 比 为 8:1~20:1 物 理 服 务 器 吞 吐 量 增 加 一 台 物 理 服 务 器 被 虚 拟 化 成 多 台 虚 拟 机 (Virtual Machine VM) 后, 各 VM 对 外 吞 吐 量 总 和 将 比 虚 拟 化 前 成 数 倍 提 升 3.1.2 对 基 础 网 络 的 影 响 虚 拟 化 后, 相 同 网 络 单 元 接 入 的 逻 辑 服 务 器 密 度 增 加, 业 务 流 量 增 加, 相 当 于 将 一 个 原 来 大 规 模 的 网 络 业 务, 合 并 到 一 个 较 小 的 网 络 单 元 进 行 承 载, 网 络 本 身 的 承 载 业 务 被 扩 展 了, 网 络 服 务 器 密 度 大 量 增 加, 吞 吐 量 极 大 增 加, 局 部 网 络 故 障 带 来 的 业 务 影 响 也 扩 大 了 范 围 和 增 加 了 严 重 性

图 8 计 算 虚 拟 化 逻 辑 网 络 密 度 增 加 3.2 网 络 虚 拟 化 N:1 的 技 术 架 构 N:1 即 将 多 台 网 络 设 备 虚 拟 化 成 一 台 设 备 使 用 智 能 弹 性 架 构 (intelligent resilient framework, IRF) 技 术, 用 户 可 以 将 多 台 设 备 连 接 起 来 组 成 一 个 联 合 设 备, 并 将 这 些 设 备 看 作 单 一 设 备 进 行 管 理 和 使 用 我 们 称 联 合 设 备 为 Fabric, 组 成 Fabric 的 每 台 设 备 为 一 个 Unit IRF 特 性 是 一 项 构 建 智 能 弹 性 架 构 的 技 术, 包 含 分 布 式 设 备 管 理 (distributed device management,ddm) 分 布 式 弹 性 路 由 (distributed resilient routing, DRR) 和 分 布 式 链 路 聚 合 (distributed link aggregation, DLA) 功 能 1) DDM: 用 户 可 以 将 整 个 Fabric 作 为 一 台 整 体 设 备 进 行 管 理 用 户 可 以 通 过 连 接 到 Fabric 中 任 何 一 个 端 口 任 何 一 个 IP 地 址 来 管 理 整 个 Fabric, 而 不 需 要 关 心 自 己 具 体 连 接 到 了 哪 个 Unit 上, 降 低 了 管 理 成 本 2) DRR:Fabric 的 多 个 Unit 在 外 界 看 来 是 一 台 单 独 的 三 层 交 换 机 整 个 Fabric 作 为 一 台 设 备 进 行 路 由 功 能 和 报 文 转 发 功 能, 具 有 统 一 的 VLAN 接 口 路 由 表 和 三 层 转 发 表 在 某 一 个 Unit 发 生 故 障 时, 路 由 协 议 和 数 据 转 发 不 受 影 响, 可 以 减 少 业 务 中 断 3) DLA: 用 户 可 以 将 Fabric 中 不 同 Unit 的 多 个 端 口 进 行 聚 合, 实 现 了 对 Fabric 内 统 一 的 聚 合 管 理 这 不 仅 可 以 使 聚 合 的 设 置 更 加 方 便, 而 且 跨 越 设 备 的 链 路 聚 合 也 有 效 地 避 免 了 单 点 故 障 的 发 生 使 用 IRF 的 主 要 优 点 是 :1) 可 以 对 多 台 设 备 统 一 管 理, 降 低 了 管 理 成 本 2) 可 以 通 过 增 加 设 备 来 扩 展 端 口 数 量 和 交 换 能 力, 可 使 用 户 按 需 购 买 和 平 滑 扩 容, 在 网 络 升 级 时 最 大 限 度 地 保 护 已 有 投 资 3) 通 过 多 台 设 备 之 间 的 互 相 备 份, 增 强 了 设 备 的 可 靠 性, 避 免 了 单 点 故 障, 减 少 了 业 务 中 断 3.3 下 一 代 IDC 总 体 架 构 网 络 虚 拟 交 换 技 术 为 IDC 建 设 提 供 了 一 个 新 标 准, 定 义 了 新 一 代 网 络 架 构, 能 够 帮 助 SP 在 构 建 永 续 和 高 度 可 用 的 状 态 化 网 络 的 同 时, 优 化 网 络 资 源 的 使 用 网 络 虚 拟 化 技 术 将 在 数 据 中 心 端 到 端 总 体 设 计 中 发 挥 重 要 作 用 图 9 IDC 单 分 区 架 构 变 迁 3.3.1 接 入 层 虚 拟 化 传 统 IDC 接 入 层 网 络 架 构 一 种 是 以 机 架 为 单 位, 提 供 单 台 交 换 机 Top of rack (TOR 机 架 顶 部 ) 接 入, 由 于 多 数 服 务 器 的 双 归 属 设 计, 一 般 以 两 台 交 换 机 为 一 组, 共 同 接 入 一 个 机 架 的 服 务 器 采 用 接 入 层 虚 拟 化 架 构, 以 服 务 器 群 接 入 的 交 换 机 组 为 单 位 进 行 网 络 IRF 虚 拟 化, 将 多 台 接 入 交 换 机 虚 拟 化 为 一 个 接 入 单 元, 逻 辑 上 就 将 多 个 物 理 网 络 节 点 虚 拟 化 成 了 一 台 交 换 机, 如 图 10 所 示 :

图 10 IDC Top of rack 接 入 此 种 拓 扑 传 统 架 构 多 作 二 层 接 入, 并 与 汇 聚 交 换 机 运 行 MSTP+VRRP 协 议 ; 虚 拟 化 架 构 下, 多 台 交 换 机 虚 拟 化 组 为 一 台 逻 辑 设 备, 直 接 与 汇 聚 层 交 换 机 通 过 链 路 捆 绑 互 联, 虽 然 仍 是 二 层, 但 是 已 经 不 需 要 生 成 树 协 议 另 一 种 接 入 架 构 是 通 过 高 密 框 式 交 换 机 将 一 排 机 架 的 服 务 器 高 密 汇 集 接 入, 称 end of row ( 排 侧 ), 此 种 情 况 下 有 交 换 机 二 层 接 入 (MSTP+VRRP) 交 换 机 三 层 接 入 不 同 情 况 (VRRP), 使 用 虚 拟 化 网 络 架 构 后, 将 多 台 ( 一 般 是 两 台 左 右 ) 框 式 设 备 虚 拟 化 成 一 台, 简 化 了 网 络 设 计 图 11 IDC end of row 接 入 3.3.2 汇 聚 核 心 层 虚 拟 化 IDC 的 汇 聚 核 心 虚 拟 化 不 仅 使 多 台 物 理 设 备 简 化 成 一 台 逻 辑 设 备, 同 时 网 络 各 层 之 间 的 多 条 链 路 连 接 也 将 变 成 两 台 逻 辑 设 备 之 间 的 直 连, 因 此 可 以 采 用 链 路 捆 绑 的 方 式, 将 多 条 物 理 链 路 进 行 跨 设 备 的 链 路 聚 合 (DLA), 从 而 变 成 了 一 条 逻 辑 链 路, 增 加 带 宽 的 同 时 也 提 高 了 可 靠 性, 并 使 得 IDC 的 网 络 设 计 中 需 要 的 设 备 三 层 接 口 数 大 大 减 少 ; 两 层 网 络 之 间 由 一 般 的 4 个 三 层 接 口 互 联, 变 成 一 对 三 层 接 口 互 联, 使 得 路 由 设 计 极 大 简 化 图 12 IDC 汇 聚 核 心 互 联 3.3.3 虚 拟 化 基 础 网 络 的 数 据 中 心 网 络 设 计 在 2.2.2 节 的 传 统 设 计 中, 由 于 技 术 实 现 的 选 择,HA 的 具 体 设 计 出 现 了 多 种 网 络 设 备 连 接 方 案 这 些 方 案 虽 然 增 加 了 实 施 的 灵 活 性, 但 总 体 上 是 复 杂 的 而 基 于 虚 拟 交 换 的 端 到 端 IRF 设 计 中, 在 网 络 架 构 上 拓 扑 上 开 始 体 现 设 计 的 一 致 性 和 简 捷 性 如 图 13 所 示

图 13 IDC 统 一 的 IDC 虚 拟 化 架 构 设 计 在 每 个 业 务 分 区 的 接 入 层, 逻 辑 上 已 经 不 存 在 多 台 设 备, 不 考 虑 环 路 设 计 了 基 本 设 计 思 路 是 考 虑 二 层 接 入 还 是 三 层 接 入, 而 在 基 本 拓 扑 一 致 情 况 时 在 设 计 工 作 量 上 无 明 显 差 异 将 多 台 接 入 交 换 机 进 行 IRF 虚 拟 化 连 接, 使 能 IRF 功 能 H3C 的 IRF 具 有 简 单 配 置 管 理 方 式, 只 要 在 连 接 端 口 使 能 此 功 能 即 可 ; 而 采 用 特 殊 堆 叠 电 缆 连 接 的 接 口, 则 能 自 动 进 行 IRF 智 能 互 联 服 务 器 接 入 方 式, 在 IRF 方 式 下, 基 本 原 则 是 服 务 器 的 双 网 卡 接 在 不 同 交 换 机 上, 从 而 实 现 高 可 用 性 接 入, 如 图 14 所 示 图 14 IDC 统 一 的 IDC 虚 拟 化 网 络 接 入 由 于 服 务 器 网 卡 的 互 备 份 特 性, 可 按 照 一 定 接 入 负 载 分 担 特 点, 将 服 务 器 Acitve 的 网 卡 分 别 接 入 IRF 交 换 机 组 中 的 不 同 成 员, 充 分 利 用 各 设 备 的 性 能 对 于 汇 聚 层 交 换 机 来 说, 设 计 方 式 与 接 入 IRF 是 一 致 的, 进 行 汇 聚 层 交 换 机 堆 叠 后, 将 两 层 交 换 机 用 多 条 链 路 进 行 捆 绑 连 接, 一 般 原 则 建 议 为 偶 数 链 路 数, 有 利 于 将 数 据 流 量 均 衡 到 各 链 路

图 15 虚 拟 化 网 络 二 层 接 入 的 HA 设 计 图 15 给 出 了 二 层 接 入 设 计 下 的 HA 考 虑 基 于 虚 拟 化 网 络 交 换 结 构, 服 务 器 流 量 经 过 网 络 接 入 与 汇 聚 层 路 径 十 分 清 晰, 单 逻 辑 链 路 的 转 发 情 况 B 当 接 入 IRF 一 台 交 换 机 出 现 故 障, 服 务 器 网 卡 进 行 切 换, 通 过 IRF 另 一 台 交 换 机 即 可 恢 复 网 络 通 信, 而 汇 聚 层 设 备 无 需 任 何 变 化, 数 据 流 仍 从 同 一 聚 合 链 路 进 入 网 络 对 C 的 情 况, 汇 聚 层 设 备 出 现 单 台 故 障, 服 务 器 不 感 知, 只 由 接 入 交 换 机 将 流 量 转 发 到 聚 合 链 路, 汇 聚 层 存 活 的 交 换 机 感 知 的 仍 是 从 现 有 聚 合 链 路 接 收 数 据 流 对 于 D 情 况, 发 生 捆 绑 链 路 故 障, 交 换 机 会 将 数 据 流 转 发 到 捆 绑 组 存 活 链 路 上, 对 于 IRF 交 换 机 组 来 说, 数 据 流 转 的 逻 辑 接 口 并 未 改 变 3.3.3 跨 数 据 中 心 服 务 器 集 群 网 络 设 计 数 据 中 心 容 灾 是 当 前 企 业 IT 建 设 的 热 门 话 题, 其 中 很 关 注 的 是 服 务 器 如 何 实 现 异 地 集 群, 即 不 同 IDC 之 间 的 服 务 器 集 群 技 术

图 16 虚 拟 化 双 数 据 中 心 服 务 器 集 群 网 络 设 计 参 考 图 16 所 示 互 联 设 计 架 构, 两 个 IDC A 和 B 之 间 提 供 两 种 应 用 服 务 器 集 群 互 联,A1 与 B1 两 个 模 块 为 一 个 跨 越 IDC 集 群,A2 与 B2 形 成 另 一 个 集 群 当 前 主 要 的 集 群 技 术 要 求 服 务 器 之 间 二 层 连 通, 本 设 计 中 采 用 IRF 架 构 设 计 IDC 各 层 网 络, 同 时 在 IDC-A 和 IDC-B 各 设 计 一 个 IRF 堆 叠 作 为 集 群 的 连 通 模 块, 此 两 个 IRF 模 块 只 工 作 在 二 层 模 式 A 中 心 的 集 群 连 通 模 块 与 A1 A2 两 个 业 务 分 区 分 别 通 过 捆 绑 链 路 连 接, 并 将 A1 和 A2 要 求 连 同 的 集 群 VLAN 在 集 群 连 通 模 块 上 创 建 ; 同 理, 在 IDC-B 进 行 同 样 设 计, 要 求 两 个 IDC 的 集 群 VLAN ID 一 致 两 个 集 群 连 通 模 块 之 间 的 连 接 可 以 是 长 距 光 纤 直 连 WDM 传 输 连 接 等 运 营 商 提 供 的 透 明 传 输 此 方 式 极 大 简 化 了 多 个 中 心 之 间 服 务 器 群 二 层 连 接 设 计 方 案, 总 体 架 构 结 构 明 显 设 计 的 基 本 原 则 是 不 改 变 原 数 据 中 心 的 网 络 架 构, 并 要 求 模 块 化 如 果 是 基 于 HA 的 集 群 连 接, 以 A1 和 B1 为 例, 网 络 设 计 上 可 以 将 A1 和 B1 的 各 自 汇 聚 IRF 交 换 机 作 为 两 台 独 立 逻 辑 交 换 机, 在 这 两 台 逻 辑 交 换 机 之 间 实 际 是 可 靠 的 多 链 路 二 层 ( 实 际 上 是 基 于 多 链 路 捆 绑 的 单 条 逻 辑 链 路 ) 连 接, 因 此 A1 和 B1 的 汇 聚 交 换 机 是 可 以 运 行 跨 数 据 中 心 的 VRRP 协 议 的, 如 同 A1 和 B1 在 同 一 个 数 据 中 心 内 部 一 样, 而 网 络 内 部 并 未 形 成 环 路, 也 消 除 了 STP 的 复 杂 性 3.4 虚 拟 化 IDC 架 构 的 优 势 端 到 端 虚 拟 化 IDC 网 络 架 构 传 统 的 L2/L3 网 络 设 计 相 比,IRF 提 供 了 多 项 显 著 优 势 大 体 说 来, 其 优 势 可 归 纳 为 以 下 3 个 主 要 方 面 : 1) 运 营 管 理 简 化 IDC 全 局 网 络 虚 拟 化 能 够 提 高 运 营 效 率, 虚 拟 化 的 每 一 层 交 换 机 组 被 逻 辑 化 为 单 管 理 点, 包 括 配 置 文 件 和 单 一 网 关 IP 地 址, 无 需 VRRP 2) 整 体 无 环 设 计 跨 设 备 的 链 路 聚 合 DLA 创 建 了 简 单 的 无 环 路 拓 扑 结 构, 不 再 依 靠 生 成 树 协 议 (STP) 虚 拟 交 换 组 内 部 经 由 标 准 万 兆 以 太 网 接 口 相 连, 无 需 特 殊 电 缆, 在 总 体 设 计 方 面 提 供 了 灵 活 的 部 署 能 力 3) 进 一 步 提 高 可 靠 性 虚 拟 化 能 够 优 化 不 间 断 通 信, 在 一 个 虚 拟 交 换 机 成 员 发 生 故 障 时, 不 再 需 要 进 行 L2/L3 重 收 敛, 能 快 速 实 现 确 定 性 虚 拟 交 换 机 的 恢 复

与 MSTP+VRRP 设 计 收 敛 不 同, 使 用 虚 拟 化 能 在 更 短 时 间 内 完 成 确 定 性 L2 链 路 恢 复, 同 时 不 影 响 L3 链 路 虚 拟 化 能 够 在 网 络 各 层 横 向 扩 展, 有 利 于 IDC 的 规 模 增 大, 设 计 更 简 单, 完 全 不 影 响 网 络 管 理 拓 扑 各 层 之 间 通 过 增 加 捆 绑 链 路 单 元 即 可 平 滑 增 加 带 宽, 灵 活 性 极 强 整 个 IDC 几 乎 可 以 做 到 全 局 大 二 层 互 联, 对 于 部 署 需 要 二 层 互 通 的 大 型 虚 拟 化 计 算 技 术 提 供 了 便 利 图 17 IDC 端 到 端 虚 拟 化 架 构 优 势 4 虚 拟 化 网 络 对 绿 色 机 房 的 适 应 性 对 于 数 据 中 心 而 言, 能 耗 是 后 续 运 维 过 程 中 极 大 投 入 的 成 本 焦 点, 当 前 绿 色 数 据 中 心 机 房 建 设 诸 多 方 面 努 力 也 都 体 现 在 从 各 个 角 度 对 总 体 能 耗 提 供 有 效 的 降 低 手 段 基 础 网 络 设 备 的 能 耗, 占 整 个 数 据 中 心 能 耗 的 不 到 10%, 同 时 随 着 硬 件 技 术 和 工 艺 发 展, 网 络 设 备 性 能 与 端 口 密 度 不 断 提 高, 而 基 本 功 耗 则 上 升 与 性 能 上 升 相 比 则 显 得 不 足 道 对 于 一 般 网 络 设 备 而 言, 可 工 作 的 环 境 温 度 在 0-45 ( ) 范 围 内, 运 行 环 境 湿 度 要 求 为 :10%~90% 当 前 主 流 厂 家 的 小 型 机 工 作 温 度 环 境 要 求 0-35 ( ), 工 作 湿 度 要 求 :8%-80% 存 储 系 统 工 作 环 境 温 度 要 求 范 围 0-40( ), 工 作 湿 度 范 围 10%-80% 当 前 机 房 设 计 主 流 意 见, 一 般 将 机 房 内 温 度 参 考 值 定 在 22±2( ) 附 近, 机 房 湿 度 参 考 值 定 在 50% ±10% ( 不 同 季 节 地 区 略 有 差 异 ) 一 般 企 业 的 服 务 器 仅 能 达 到 15%~30% 系 统 利 用 率, 大 部 分 的 服 务 器 能 力 并 没 有 得 到 利 用,IT 投 资 回 报 率 偏 低 这 样 的 企 业 数 据 中 心, 相 对 来 说, 计 算 性 能 密 度 并 不 高, 甚 至 可 以 认 为 是 过 低 了, 然 而 能 耗 却 并 不 因 为 性 能 利 用 率 低 而 同 比 例 的 低 服 务 器 即 使 是 空 转, 也 要 消 耗 基 础 能 耗, 作 者 了 解 到 某 次 测 试 一 款 服 务 器 空 载 下 的 功 率 为 满 负 荷 功 率 的 56% 对 于 企 业 自 建 数 据 中 心 来 说, 一 般 都 十 分 重 视 基 础 设 施, 因 此 具 有 较 好 的 IT 设 备 运 行 环 境, 从 而 在 正 常 情 况 下 很 少 存 在 局 部 热 点 为 提 高 利 用 率 降 低 能 耗, 最 佳 方 式 就 是 服 务 器 整 合 与 虚 拟 化 将 多 台 服 务 器 的 应 用 整 合 到 一 起, 必 然 使 得 单 台 服 务 器 利 用 率 提 高, 同 时 也 带 来 了 能 耗 的 提 高 而 研 究 表 明, 服 务 器 的 利 用 率 提 高 到 50% 时, 能 耗 只 会 增 加 不 到 5% 在 当 前 数 据 中 心 环 境 下, 适 当 减 少 物 理 服 务 器 台 数, 并 利 用 虚 拟 化 技 术 进 行 整 合, 提 高 整 体 数 据 中 心 服 务 器 利 用 率, 是 现 有 数 据 中 心 向 绿 色 迈 进 的 低 成 本 优 选 方 案 在 适 度 保 持 机 房 总 体 温 度 上 限 24 度 左 右, 允 许 局 部 温 度 低 于 设 备 标 称 正 常 高 温 限 5-10( ), 是 现 有 数 据 中 心 可 以 探 索 的 途 径 服 务 器 虚 拟 化 后 带 来 的 几 个 思 考 问 题 : 服 务 器 的 虚 拟 机 存 在 网 络 内 迁 移 的 需 求, 从 而 要 求 数 据 中 心 的 网 络 技 术 能 够 提 供 便 于 迁 移 的 架 构, 如 大 范 围 的 网 络 二 层 连 接, 当 前 可 通 过 IRF 堆 叠 技 术 来 解 决 了 服 务 器 的 整 合, 必 然 引 起 业 务 访 问 的 集 中, 使 得 网 络 承 载 的 流 量 大 大 增 加, 因 此 要 求 网 络 有 更 强 的

基 础 性 能 支 持 跨 设 备 的 链 路 捆 绑, 是 基 础 网 络 适 应 虚 拟 化 趋 势 的 技 术 提 升 软 件 license 一 般 是 与 硬 件 关 联 的, 服 务 器 整 合 能 否 同 时 带 来 软 件 投 资 的 有 效 节 省, 或 许 也 会 成 为 TCO 研 究 的 一 个 内 容 5 结 束 语 当 前 数 据 中 心 建 设 不 断 发 展, 新 的 技 术 不 断 产 生, 对 于 支 撑 数 据 中 心 的 基 础 网 络 来 说, 提 升 整 体 IT 设 计 的 灵 活 性, 简 化 IT 运 维 管, 是 基 础 网 络 演 进 的 目 标 之 一 底 层 网 络 的 虚 拟 化 架 构 支 持 上 层 应 用 的 不 断 发 展 要 求, 在 H3C 的 虚 拟 化 IDC 目 标 中, 将 不 断 提 供 整 体 基 础 网 络 虚 拟 化 架 构 方 案 的 最 佳 实 践, 实 现 H3C 将 ITOIP 在 虚 拟 化 IDC 的 价 值 创 新