RYU 控 制 器 性 能 测 试 报 告 全 球 SDN 测 试 认 证 中 心 SDNCTC 2016.3.8
一 引 言 当 软 件 定 义 网 络 (Software Defined Network, SDN) 逐 渐 成 为 网 络 世 界 新 的 范 式, 转 发 与 控 制 的 分 离 使 得 数 据 平 面 只 作 为 单 纯 的 数 据 收 发 引 擎, 而 控 制 平 面 则 承 担 了 全 部 的 逻 辑 与 运 算 任 务 作 为 控 制 平 面 的 核 心 组 件,SDN 控 制 器 的 性 能 关 乎 整 个 SDN 网 络 的 性 能 表 现 随 着 SDN 商 业 部 署 速 度 地 加 快,SDN 控 制 器 性 能 也 必 将 越 来 越 多 地 成 为 网 络 用 户 关 心 的 焦 点 OFsuite_performance 是 全 球 SDN 测 试 认 证 中 心 (SDNCTC) 独 立 开 发 的 OFsuite 系 列 测 试 工 具 之 一, 此 测 试 工 具 致 力 于 OpenFlow 控 制 器 性 能 测 试 能 够 在 通 用 Linux 服 务 器 上 模 拟 大 量 OpenFlow 1.3 交 换 机, 并 且 能 够 模 拟 不 同 的 网 络 拓 扑 以 及 全 部 的 OpenFlow 事 件 该 测 试 工 具 能 够 在 真 实 的 SDN 网 络 环 境 中 运 行, 从 而 有 效 地 衡 量 控 制 器 对 OpenFlow 消 息 的 处 理 能 力 其 测 试 结 果 能 够 在 网 络 用 户 进 行 SDN 网 络 性 能 评 估, 测 试 及 商 业 部 署 时 提 供 可 靠 的 数 据 支 撑 除 此 之 外, 还 可 以 提 供 多 控 制 器 连 接,TLS 加 密 通 道 连 接, 测 试 结 果 可 视 化 等 附 加 功 能 该 测 试 工 具 简 洁 高 效 易 于 使 用, 并 将 持 续 更 新 以 便 为 用 户 提 供 更 丰 富 的 性 能 测 试 案 例 及 测 试 场 景 本 报 告 以 开 源 控 制 器 RYU 作 为 被 测 控 制 器, 使 用 OFsuite_performance 执 行 测 试, 汇 总 结 果 得 出 性 能 测 试 报 告 全 部 测 试 例 均 为 OFsuite_performance 自 动 化 测 试 完 成, 报 告 中 所 展 示 的 结 果 图 表 均 为 测 试 工 具 自 动 生 成 二 测 试 环 境 配 置 2.1 待 测 控 制 器 待 测 控 制 器 为 目 下 流 行 的 开 源 控 制 器 RYU, 版 本 为 v3.28, 该 版 本 的 RYU 控 制 器 完 全 支 持 OpenFlow v1.3 南 向 协 议 2.2 服 务 器 配 置 待 测 控 制 器 RYU 运 行 于 一 台 单 独 的 服 务 器 上, 其 配 置 如 下 : 处 理 器 :Intel(R) Xeon(R) E3-1230 @ 3.20GHz 4 核 内 存 :8GB 1333MHz 操 作 系 统 :Ubuntu server 12.04 LTS 64 位 网 卡 :1Gbps 2.3 测 试 工 具 1
测 试 工 具 为 OFsuite_performance, 执 行 测 试 时,OFsuite_performance 运 行 于 一 台 与 RYU 控 制 器 所 在 服 务 器 直 连 的 服 务 器 上, 服 务 器 配 置 如 下 : 服 务 器 型 号 :Dell PowerEdge R720 处 理 器 :Intel(R) Xeon(R) E5-2609 v2 @ 2.50GHz 4 核 内 存 :8GB 1600MHz 操 作 系 统 :Ubuntu server 14.04.1 LTS 64 位 网 卡 :1Gbps 三 测 试 项 目 及 测 试 结 果 3.1 控 制 信 道 容 量 测 试 测 试 目 的 测 试 控 制 器 OpenFlow 1.3 控 制 通 道 能 够 维 持 的 最 大 连 接 数 测 试 方 法 1 本 测 试 中, 测 试 工 具 模 拟 一 定 数 量 的 OpenFlow 1.3 交 换 机 并 连 接 到 待 测 控 制 器, 测 试 待 测 控 制 器 所 能 维 持 的 最 大 交 换 机 数 量, 具 体 测 试 步 骤 如 下 : 1. 开 启 待 测 控 制 器 并 同 时 开 启 simple_switch_13 应 用 ; 2. 开 启 测 试 工 具 OFsuite_performance, 使 用 switches=[n] 选 项 设 定 一 定 数 量 的 OpenFlow 1.3 交 换 机 连 接 到 待 测 控 制 器 ; 3. 使 用 set-topo 命 令 设 置 一 种 拓 扑 结 构 ( 支 持 预 先 定 义 的 linear/ring/full-mesh/leaf-spine 结 构, 也 可 自 定 义 拓 扑 结 构 ), 待 连 接 稳 定 后 记 录 控 制 器 的 内 存 占 用 情 况 ; 4. 使 用 add-sw 命 令 增 加 交 换 机 数 量 并 待 连 接 稳 定 后 记 录 控 制 器 的 内 存 占 用 情 况 ; 5. 以 不 同 的 交 换 机 数 量 和 拓 扑 结 构 迭 代 执 行 测 试, 得 到 最 终 结 果 测 试 工 具 要 求 1. 测 试 工 具 可 以 模 拟 大 量 OpenFlow 1.3 交 换 机, 并 与 控 制 器 建 立 连 接 ; 2. 测 试 工 具 可 以 响 应 全 部 相 关 OpenFlow 1.3 协 议 消 息 (Hello,Echo,feature_request, etc); 3. 测 试 工 具 可 以 随 时 监 测 控 制 通 道 活 性 ; 4. 测 试 工 具 可 以 灵 活 调 整 连 接 交 换 机 数 量 ; 5. 测 试 工 具 具 有 详 尽 的 Log 功 能 测 试 结 果 1 全 部 测 试 例 的 详 细 测 试 拓 扑 及 测 试 方 法 请 参 考 全 球 SDN 测 试 认 证 中 心 发 布 的 SDN 控 制 器 性 能 测 试 白 皮 书 2
在 上 述 测 试 结 果 中 可 以 看 到, 在 相 同 网 络 拓 扑 结 构 下, 随 着 交 换 机 数 量 的 增 加, 控 制 器 处 理 交 换 机 各 种 请 求 时 所 占 用 的 系 统 内 存 资 源 也 随 之 增 加 ; 另 外, 在 相 同 交 换 机 数 量 下, 控 制 器 处 理 不 同 复 杂 程 度 的 网 络 拓 扑 结 构 所 占 用 的 系 统 内 存 资 源 也 不 同, 拓 扑 结 构 越 复 杂, 内 存 占 用 越 高 OFsuite_performance 最 多 可 支 持 模 拟 10K+ 数 量 的 OpenFlow 1.3 交 换 机 与 控 制 器 建 立 连 接 在 本 例 中, 当 交 换 机 数 量 超 过 1K 时, 被 测 控 制 器 即 出 现 通 道 连 接 断 开,Feature Request 消 息 不 发 送 等 问 题, 故 不 作 为 有 效 结 果 计 入 统 计 3.2 拓 扑 发 现 时 间 测 试 测 试 目 的 测 试 控 制 器 对 不 同 交 换 机 数 量 不 同 类 型 的 拓 扑 结 构 发 现 时 间 测 试 方 法 本 测 试 中, 测 试 工 具 将 模 拟 一 定 数 量 的 交 换 机, 并 且 交 换 机 之 间 互 相 连 接 形 成 一 定 的 网 络 拓 扑 结 构, 测 试 待 测 控 制 器 完 全 发 现 此 拓 扑 结 构 所 用 的 时 间, 具 体 测 试 步 骤 如 下 : 1. 启 动 待 测 控 制 器 ; 2. 启 动 测 试 工 具, 启 动 时 只 设 置 交 换 机 数 量 而 不 设 置 拓 扑 结 构 ; 3. 待 交 换 机 与 控 制 器 的 连 接 稳 定 后 使 用 set-topo 命 令 设 定 拓 扑 结 构 ; 4. 测 试 工 具 记 录 控 制 器 下 发 的 第 一 个 LLDP 消 息 的 时 间, 并 依 照 流 表 内 容 响 应 该 消 息 ; 5. 测 试 工 具 记 录 最 后 一 条 LLDP 消 息 上 送 控 制 器 的 时 间 ; 6. 使 用 show-result 命 令 查 看 测 试 结 果 ; 7. 改 变 交 换 机 数 量 并 设 置 相 同 的 拓 扑 结 构 进 行 迭 代 测 试 ; 8. 不 改 变 交 换 机 数 量 但 改 变 拓 扑 结 构 进 行 迭 代 测 试 ; 9. 反 复 进 行 测 试 以 得 到 平 均 测 试 结 果 测 试 工 具 要 求 1. 测 试 工 具 可 以 模 拟 大 量 OpenFlow 1.3 交 换 机, 并 与 控 制 器 建 立 连 接 ; 3
2. 测 试 工 具 可 以 响 应 全 部 相 关 OpenFlow 1.3 协 议 消 息 (Hello,Echo,feature_request etc); 3. 测 试 工 具 可 以 随 时 监 测 控 制 通 道 活 性 ; 4. 测 试 工 具 可 以 创 建 不 同 的 网 络 拓 扑 结 构 ; 5. 测 试 工 具 可 以 解 析 Packet_out 消 息, 以 便 提 取 其 中 的 LLDP 消 息 ; 6. 测 试 工 具 可 以 解 析 LLDP 拓 扑 发 现 消 息, 以 便 给 出 对 应 的 响 应 ; 7. 测 试 工 具 具 有 详 尽 的 Log 功 能 测 试 结 果 从 上 图 测 试 结 果 中 可 以 看 到, 相 同 网 络 拓 扑 结 构 下, 交 换 机 数 量 越 多, 待 测 控 制 器 完 成 拓 扑 发 现 所 用 的 时 间 越 长 ; 而 相 同 的 交 换 机 数 量 下, 网 络 拓 扑 结 构 复 杂 程 度 不 同, 控 制 器 完 成 拓 扑 发 现 所 用 的 时 间 也 不 同, 网 络 拓 扑 结 构 越 复 杂, 拓 扑 发 现 所 用 的 时 间 越 高 在 图 中 显 示 的 结 果 看 来,Linear 和 Ring 拓 扑 所 需 时 间 相 似, 而 Leaf-spine 拓 扑 所 需 时 间 则 显 著 增 加 同 时 当 交 换 机 数 量 大 于 300 时,RYU 控 制 器 不 能 有 效 完 成 Leaf-spine 拓 扑 的 发 现 过 程 3.3 PACKET_OUT 下 发 速 率 测 试 测 试 目 的 测 试 待 测 控 制 器 下 发 Packet_out 消 息 的 时 延 和 最 大 速 率 测 试 方 法 本 测 试 中, 测 试 工 具 将 模 拟 一 个 交 换 机 连 接 到 控 制 器, 测 试 工 具 将 以 一 定 的 速 率 恒 速 上 发 Packet_in 消 息, 记 录 上 发 Packet_in 消 息 的 时 间,Packet_in 消 息 中 包 含 了 ARP_request 请 求, 控 制 器 收 到 此 Packet_in 后 会 下 发 Packet_out 消 息, 测 试 工 具 收 到 待 测 控 制 器 下 发 的 Packet_out 消 息 之 后 记 录 4
Packet_out 的 下 发 时 间, 通 过 所 有 的 Packet_in 和 Packet_out 记 录 计 算 待 测 控 制 器 对 Packet_in 消 息 的 响 应 速 度 (latency) 以 及 Packet_out 的 下 发 速 率 (throughput) OFsuite_performance 能 够 在 低 端 服 务 器 上 达 到 每 秒 500K 级 的 恒 速 Packet_in 上 发 速 率 具 体 测 试 步 骤 如 下 : 1. 启 动 待 测 控 制 器 ; 2. 启 动 测 试 工 具, 设 置 一 个 交 换 机, 不 设 置 拓 扑 结 构, 等 待 交 换 机 连 接 到 控 制 器 ; 3. 在 测 试 工 具 的 命 令 行 接 口 使 用 set-arp-rate 命 令 设 置 交 换 机 上 发 Packet_in 的 速 率 ; 4. 等 待 测 试 工 具 完 成 测 试 ; 5. 使 用 show-result 命 令 查 看 测 试 结 果 ; 6. 改 变 Packet_in 上 发 的 速 率 再 次 进 行 测 试 ; 7. 反 复 进 行 迭 代 测 试 以 得 到 平 均 测 试 结 果 测 试 工 具 要 求 1. 测 试 工 具 可 以 模 拟 OpenFlow 1.3 交 换 机, 并 与 控 制 器 建 立 连 接 ; 2. 测 试 工 具 可 以 响 应 全 部 相 关 OpenFlow1.3 协 议 消 息 (Hello,Echo,feature_request etc); 3. 测 试 工 具 可 以 上 发 包 含 ARP_request 的 Packet_in 消 息 从 而 触 发 待 测 控 制 器 下 发 Packet_out 消 息 ; 4. 测 试 工 具 可 以 自 定 义 Packet_in 消 息 Data field 的 内 容 ; 5. 测 试 工 具 可 以 恒 速 上 发 Packet_in 消 息 ; 6. 测 试 工 具 可 以 解 析 Packet_out 消 息, 以 便 确 认 该 消 息 为 对 应 Packet_in 消 息 所 触 发 ; 7. 测 试 工 具 具 有 详 尽 的 Log 功 能 测 试 结 果 5
在 上 图 的 测 试 结 果 中 可 以 看 到, 当 测 试 工 具 设 置 的 Packet_in 上 发 速 率 低 于 5000 packets/s 时, 待 测 控 制 器 能 够 很 好 地 处 理 上 发 的 Packet_in 消 息,Packet_out 下 发 的 速 度 能 够 与 Packet_in 的 速 度 保 持 一 致, 但 是 当 Packet_in 的 速 率 大 于 5000 packets/s, 例 如 6000 packets/s 时, 待 测 控 制 器 已 无 法 完 全 处 理 收 到 的 Packet_in, 下 发 Packet_out 的 速 率 也 低 于 Packet_in 的 速 率, 由 此 看 来, 测 试 已 达 到 被 测 控 制 器 的 最 大 Packet_out 下 发 速 率 上 图 所 示 为 待 测 控 制 器 发 送 Packet_out 消 息 的 时 延, 此 时 间 为 测 试 工 具 上 发 Packet_in 消 息 与 控 制 器 回 发 对 应 Packet_out 消 息 之 间 的 时 延, 从 图 上 可 以 看 到, 随 着 Packet_in 消 息 上 发 速 度 得 增 加, Packet_out 消 息 的 时 延 也 越 来 越 大 详 细 的 测 试 结 果 数 据 如 下 表 所 示 Packet_in Minimum latency (ms) Maximum latency Average latency (ms) Rate (ms) 1000 0.70996 1.85693 0.73175 2000 0.01807 8.448 0.60239 3000 0.35498 11.55786 0.51537 4000 0.63306 11.22705 0.9621 5000 1.83276 35.69214 6.26612 6000 4.44605 249.78613 137.5306 3.4 FLOW MOD 下 发 速 率 测 试 测 试 目 的 测 试 待 测 控 制 器 下 发 流 表 的 时 延 和 最 大 速 率 6
测 试 方 法 本 测 试 中, 测 试 工 具 将 模 拟 一 个 交 换 机 连 接 到 控 制 器, 测 试 工 具 将 以 一 定 的 速 率 上 发 包 含 ARP_request 的 Packet_in 消 息, 测 试 工 具 在 收 到 待 测 控 制 器 下 发 的 Packet_out 之 后 再 上 发 包 含 对 应 ARP_reply 的 Packet_in 消 息, 此 时 待 测 控 制 器 会 下 发 flow mod 消 息, 然 后 根 据 Packet_in 消 息 和 flow mod 消 息 的 记 录, 计 算 待 测 控 制 器 下 发 流 表 的 时 延 和 速 率, 具 体 测 试 步 骤 如 下 : 1. 启 动 待 测 控 制 器 2. 启 动 测 试 工 具, 设 置 一 个 交 换 机, 不 设 置 拓 扑 结 构, 等 待 交 换 机 连 接 到 控 制 器 ; 3. 在 测 试 工 具 上 使 用 set-arp-rate 命 令 设 置 交 换 机 上 发 packet in 消 息 的 速 率 ; 4. 等 待 测 试 工 具 完 成 测 试 ; 5. 使 用 show-result 命 令 查 看 测 试 结 果 ; 6. 改 变 Packet_in 上 发 的 速 率 再 次 进 行 测 试 ; 7. 反 复 进 行 测 试 以 得 到 平 均 测 试 结 果 测 试 工 具 要 求 1. 测 试 工 具 可 以 模 拟 OpenFlow 1.3 交 换 机, 并 与 控 制 器 建 立 连 接 ; 2. 测 试 工 具 可 以 响 应 全 部 相 关 OpenFlow 1.3 协 议 消 息 (Hello,Echo,feature_request etc); 3. 测 试 工 具 可 以 上 发 包 含 ARP_ request 的 Packet_in 消 息 从 而 触 发 待 测 控 制 器 下 发 Packet_out; 4. 测 试 工 具 可 以 上 发 包 含 ARP_reply 的 Packet_in 消 息 从 而 触 发 待 测 控 制 器 下 发 flow mod 添 加 流 表 ; 5. 测 试 工 具 可 以 解 析 flow mod 消 息, 确 保 该 消 息 为 测 试 工 具 所 触 发 ; 6. 测 试 工 具 可 以 自 定 义 恒 速 上 发 Packet_in 消 息 ; 7. 测 试 工 具 具 有 详 尽 的 Log 功 能 测 试 结 果 7
在 上 图 的 测 试 结 果 中 可 以 看 到, 当 测 试 工 具 设 置 的 Packet_in 上 发 速 度 较 低 时, 待 测 控 制 器 能 够 很 好 地 处 理 Packet_in 消 息, 下 发 的 flow mod 速 率 能 够 与 Packet_in 的 速 率 保 持 一 致, 但 是 当 Packet_in 的 速 度 大 于 2000 packets/s 时, 待 测 控 制 器 已 无 法 完 全 处 理 收 到 的 Packet_in, 下 发 flow mod 的 速 率 也 低 于 Packet_in 的 速 率, 由 此 看 来, 此 速 率 及 为 在 该 硬 件 配 置 下 被 测 控 制 器 的 最 大 流 表 安 装 速 率 上 图 所 示 为 待 测 控 制 器 下 发 流 表 的 时 延, 从 图 上 可 以 看 出, 测 试 工 具 发 送 Packet_in 消 息 速 率 较 低 8
时, 待 测 控 制 器 下 发 流 表 的 时 延 相 对 较 低, 当 测 试 工 具 上 发 Packet_in 消 息 速 率 变 高 之 后, 待 测 控 制 器 下 发 流 表 的 时 延 相 应 增 高 详 细 测 试 结 果 列 于 下 表 中 Packet_in Minimum latency Maximum latency Average latency (ms) Rate (ms) (ms) 1000 0.58521 15.56201 0.85142 2000 3.3999 170.104 93.37974 3000 4.82495 769.93799 480.76921 4000 6.71118 1309.08301 834.09681 3.5 端 到 端 链 路 建 立 时 间 测 试 测 试 目 的 测 试 待 测 控 制 器 在 不 同 的 网 络 拓 扑 下 建 立 端 到 端 路 径 的 时 间 测 试 方 法 本 测 试 中, 测 试 工 具 将 模 拟 一 定 数 量 的 交 换 机, 交 换 机 之 间 以 特 定 的 拓 扑 结 构 连 接 到 控 制 器, 此 外, 测 试 工 具 还 将 模 拟 两 个 主 机, 分 别 连 接 到 两 个 交 换 机 上, 在 改 变 拓 扑 结 构 和 交 换 机 数 量 时, 两 个 主 机 连 接 到 的 交 换 机 不 变, 通 过 ARP_request reply 以 及 PING_request reply 过 程 测 试 待 测 控 制 器 能 否 建 立 两 个 主 机 互 相 连 通 的 端 到 端 路 径, 以 及 具 体 的 链 路 建 立 时 间 具 体 测 试 步 骤 如 下 : 1. 启 动 待 测 控 制 器 ; 2. 启 动 测 试 工 具, 设 置 好 交 换 机 数 量 ; 3. 待 交 换 机 与 控 制 器 的 连 接 稳 定 之 后 设 置 好 网 络 拓 扑 结 构 ; 4. 等 待 控 制 器 完 成 拓 扑 发 现 过 程 ; 5. 使 用 set-host 命 令 设 置 主 机 连 接 到 一 个 特 定 的 交 换 机 ; 6. 等 待 测 试 工 具 完 成 测 试 ; 7. 使 用 show-result 命 令 查 看 测 试 结 果 ; 8. 改 变 交 换 机 数 量 或 者 拓 扑 结 构 再 次 进 行 测 试 ; 9. 反 复 进 行 迭 代 测 试 以 得 到 平 均 测 试 结 果 测 试 工 具 要 求 1. 测 试 工 具 可 以 模 拟 OpenFlow 1.3 交 换 机, 并 与 控 制 器 建 立 连 接 ; 2. 测 试 工 具 可 以 响 应 全 部 相 关 OpenFlow 1.3 协 议 消 息 (Hello,Echo,feature_request etc); 3. 测 试 工 具 可 以 上 发 包 含 ARP_request 的 Packet_in 消 息 从 而 触 发 待 测 控 制 器 下 发 Packet_out; 4. 测 试 工 具 可 以 上 发 包 含 ARP_reply 的 Packet_in 消 息 从 而 触 发 待 测 控 制 器 下 发 flow mod 添 加 流 表 ; 5. 测 试 工 具 可 以 解 析 flow mod 消 息, 以 确 认 链 路 是 否 建 立 成 功 ; 6. 测 试 工 具 可 以 模 拟 主 机 连 接 到 交 换 机 上 ; 7. 测 试 工 具 可 以 模 拟 主 机 间 的 通 信 测 试 结 果 9
在 上 图 的 测 试 结 果 中 可 以 看 到, 在 相 同 的 网 络 拓 扑 结 构 下, 交 换 机 数 量 越 多, 待 测 控 制 器 建 立 主 机 之 间 的 通 信 路 径 的 时 间 越 长 ; 而 相 同 交 换 机 数 量 下, 网 络 结 构 不 同, 建 立 主 机 之 间 路 径 的 时 间 也 不 同, 建 立 此 路 径 的 时 间 与 主 机 之 间 的 跳 数 有 关, 当 100 个 交 换 机 时,leaf-spine 网 络 拓 扑 的 主 机 间 跳 数 要 更 少, 所 以 建 立 路 径 的 时 间 也 较 短 但 当 交 换 机 数 量 大 于 300 个 时, 控 制 器 对 leaf-spine 网 络 拓 扑 的 发 现 出 现 问 题 ( 如 测 试 例 3.1, 测 试 例 3.2 所 示 ), 故 无 法 建 立 端 到 端 的 连 接 四 全 球 SDN 测 试 认 证 中 心 全 球 SDN 测 试 认 证 中 心 是 第 三 方 中 立 的 SDNFV 测 试 认 证 实 验 室, 致 力 于 SDN/NFV 技 术 研 发, 测 试 认 证 和 部 署 推 广 全 球 SDN 测 试 认 证 中 心 是 ONF 成 员, 同 时 也 是 ONF 授 权 全 球 除 美 国 外 第 一 家 SDN 测 试 认 证 中 心 全 球 SDN 测 试 认 证 中 心 积 极 参 与 ONF 测 试 领 导 委 员 会 和 互 操 作 性 测 试 工 作 组 关 于 测 试 规 范 制 订, 测 试 认 证 体 系 建 设, 测 试 工 具 研 发 等 工 作, 推 动 SDN 技 术 标 准 和 商 业 部 署 作 为 独 立 的 第 三 方 中 立 的 评 测 机 构, 全 球 SND 测 试 认 证 中 心 为 各 种 网 络 / 终 端 设 备 云 计 算 数 据 中 心 运 营 商 企 业 等 提 供 第 三 方 测 试 服 务 根 据 客 户 实 际 的 需 求, 制 定 详 细 的 测 试 方 案 和 验 证 计 划, 并 进 行 严 格 独 立 的 测 试, 最 终 交 付 详 细 和 权 威 的 测 试 报 告 10