主动TCP连接复制及高性能高可靠数据库集群

Transcription

1 基 于 主 动 TCP 连 接 复 制 的 高 性 能 高 可 用 MySQL 数 据 库 集 群 邵 志 远 金 海 唐 小 辉 华 中 科 技 大 学 计 算 机 学 院, 湖 北, 武 汉, SHAO Zhi-Yuan, JIN Hai and TANG Xiao-Hui Huazhong University of Science and Technology, Wuhan, 地 址 摘 要 本 文 提 出 了 一 种 基 于 主 动 TCP 连 接 复 制 的 高 性 能 高 可 用 MySQL 数 据 库 集 群 解 决 方 案 该 方 案 采 用 集 群 技 术 对 同 时 存 在 的 多 个 TCP 连 接 进 行 原 子 多 播 转 换 和 复 制 以 达 到 连 接 容 错 的 效 果, 同 时, 对 连 接 流 中 的 只 读 操 作 进 行 分 流 以 达 到 主 动 复 制 的 目 的 该 解 决 方 案 将 主 动 TCP 连 接 复 制 的 技 术 应 用 到 MySQL 数 据 库 集 群 中, 从 而 实 现 了 数 据 库 集 群 整 体 的 高 可 用 性 和 高 性 能 经 过 原 型 系 统 的 实 现 和 测 试, 证 明 了 该 方 案 在 复 制 过 程 中 对 数 据 库 写 操 作 造 成 了 比 较 小 的 性 能 损 耗 的 同 时 极 大 地 提 高 了 数 据 库 集 群 的 只 读 查 询 性 能, 从 而 更 加 贴 近 实 际 的 数 据 库 应 用 需 求 关 键 字 容 错 计 算 ; 高 可 用 性 ;TCP 协 议 堆 栈 ; 集 群 计 算 ; 数 据 库 Abstract In this paper, we present a proposal of building high performance and high availability database clusters by using actively replicated TCP connections. We actively replicate a set of TCP connections by converting them into atomic multicasting and distributing read-only requests to different processing units. The technique is further used on MySQL database clusters and results in high performance and high availability. With the experiments conducted on the prototype systems, we found that the cluster exhibits high performance on read-only database queries with little sacrifice on the update operations. And this justified the practical value of our proposal. Keywords Fault-tolerant Computing, High Availability, TCP; Cluster Computing; Database Systems 1 引 言 随 着 计 算 机 应 用 的 普 及, 数 据 库 已 经 成 为 构 建 电 子 商 务 的 关 键 服 务 之 一 人 们 对 数 据 库 服 务 提 出 了 更 快 更 可 靠 的 要 求 特 别 是 对 于 商 务 网 站, 虽 然 集 群 技 术 很 好 地 解 决 了 提 高 访 问 容 量 的 问 题 ( 如 google 等 搜 索 门 户 网 站 ), 但 数 据 库 却 成 为 网 站 的 瓶 颈, 因 为 为 了 避 免 数 据 一 致 性 问 题, 网 站 多 采 用 单 一 的 数 据 库 服 务 器 为 所 有 网 页 服 务 提 供 数 据, 当 访 问 量 提 高 的 时 候, 每 秒 钟 查 询 数 目 增 多, 单 个 的 数 据 库 服 务 器 往 往 不 堪 重 负 而 人 工 维 护 的 多 副 本 数 据 库 又 往 往 导 致 工 作 量 和 维 护 成 本 的 增 加 数 据 库 访 问 的 另 一 个 问 题 是 可 靠 性 问 题 对 于 数 据 的 访 问 往 往 是 系 统 中 的 关 键 任 务, 这 一 问 题 在 网 站 技 术 的 应 用 中 也 有 体 现 如 大 多 数 人 在 浏 览 网 站 的 时 候 都 碰 到 过 网 页 无 法 打

2 开 的 错 误, 这 种 错 误 一 旦 出 现 在 网 上 交 易 的 过 程 中 ( 如 在 网 上 买 书 ), 浏 览 者 往 往 无 法 判 断 自 己 提 交 的 交 易 是 否 成 功 造 成 这 种 错 误 的 可 能 的 原 因 很 多, 其 中 一 个 就 是 网 站 的 后 台 数 据 库 崩 溃 或 由 于 过 于 繁 忙 而 将 接 收 到 的 请 求 丢 弃 为 了 提 高 数 据 库 系 统 的 性 能 和 可 靠 性, 分 布 式 数 据 库 技 术 被 提 出 并 广 为 研 究, 但 是 可 惜 的 是 这 一 技 术 仍 然 处 于 研 究 阶 段, 市 场 上 几 乎 没 有 现 成 的 产 品, 无 法 解 决 目 前 的 紧 迫 的 应 用 问 题 同 时, 提 高 数 据 库 访 问 性 能 的 另 一 个 重 要 问 题 是 兼 顾 其 向 后 兼 容 性, 即 兼 容 现 有 的 一 些 程 序, 如 ODBC 接 口 TCP 通 讯 等, 否 则 会 导 致 系 统 缺 乏 其 易 用 性 和 可 用 性 在 这 TCP 通 讯 容 错 一 方 面, 近 几 年 来 人 们 纷 纷 提 出 了 很 多 方 案 但 是 这 些 方 案 都 有 各 自 的 缺 点 如 方 法 [3][2] 的 可 扩 展 性 很 差 ; 另 一 些 方 案 [7][8] 的 网 络 带 宽 利 用 率 很 底, 而 且 造 成 的 单 点 的 负 载 很 高 ; 还 有 一 些 必 须 针 对 特 定 的 应 用 [10] 本 文 针 对 上 述 问 题, 提 出 了 一 种 新 的 基 于 主 动 TCP 连 接 复 制 的 高 可 用 方 案, 并 将 该 方 案 与 数 据 库 系 统 ( 在 本 文 中, 我 们 采 用 被 广 泛 使 用 的 MySQL) 相 结 合, 从 而 形 成 了 一 个 集 高 性 能 和 高 可 用 性 于 一 体 的 数 据 库 服 务 集 群, 以 提 高 数 据 库 系 统 的 读 性 能 和 连 接 容 错 性 能 此 系 统 不 需 要 对 连 接 状 态 作 日 志 及 修 改 客 户 端 的 软 件 (ODBC), 集 群 中 的 结 点 越 多, 数 据 库 的 读 性 能 提 高 得 越 多 在 容 错 方 面, 只 要 有 一 台 服 务 结 点 没 有 失 效, 集 群 就 仍 然 能 够 向 外 提 供 数 据 库 的 访 问 功 能 本 文 提 出 的 方 案 采 用 了 主 服 务 器 - 备 份 服 务 器 的 架 构, 主 服 务 器 负 责 接 收 用 户 连 接 请 求 和 数 据 库 操 作 请 求, 并 将 这 些 连 接 报 文 进 行 分 类 对 于 连 接 请 求 报 文 和 写 请 求 报 文 需 通 过 UDP 多 播 隧 道 转 送 到 多 个 备 份 服 务 器, 主 服 务 器 还 需 要 负 责 收 集 备 份 备 份 服 务 器 的 应 答 信 号 以 形 成 最 终 应 答 结 果 并 将 其 反 馈 给 客 户 机 对 于 只 读 请 求, 主 服 务 器 的 责 任 是 在 集 群 中 选 择 一 个 结 点 ( 可 能 是 他 自 己 ), 并 将 其 通 过 隧 道 转 发 给 该 结 点, 该 结 点 执 行 请 求 后 直 接 将 应 答 反 馈 给 客 户 机 2 系 统 结 构 基 于 主 动 TCP 连 接 复 制 的 高 性 能 高 可 用 数 据 库 集 群 的 系 统 结 构 示 意 图 如 图 1 所 示 该 结 构 是 典 型 的 非 共 享 (share-nothing) 分 布 式 系 统 结 构, 在 该 结 构 中, 任 何 时 候 只 会 有 一 个 主 服 务 器 存 在, 其 它 处 于 激 活 状 态 的 服 务 器 都 作 为 备 份 服 务 器 存 在 需 要 说 明 的 是, 所 有 结 点 机 的 IP 地 址 (IP1,IP2,,IP n) 以 及 主 服 务 器 绑 定 的 虚 拟 IP 地 址 (VIP) 都 处 于 同 一 子 网 这 样 的 配 置 会 导 致 整 个 集 群 作 为 机 群 服 务 器 向 Internet 提 供 服 务 时 会 占 用 过 多 的 IP 地 址, 但 是, 由 于 我 们 的 方 案 一 般 都 会 作 为 一 个 数 据 服 务 子 系 统 存 在 于 更 大 的 系 统 中 ( 如 网 站 ), 所 以 这 样 的 设 计 并 不 会 导 致 占 用 太 多 的 Internet 资 源 Internet 客 户 机 交 换 机 / 路 由 器 虚 拟 IP IP1 IP2 IP3 IPn... 主 服 务 器 备 份 服 务 器 1 备 份 服 务 器 2 备 份 服 务 器 n 数 据 库 数 据 库 数 据 库 数 据 库 图 1 系 统 结 构 在 系 统 运 行 的 过 程 中, 一 旦 当 前 的 主 服 务 器 因 故 失 效, 系 统 会 自 动 通 过 一 个 选 举 算 法 从

3 备 份 服 务 器 中 选 出 一 个 新 的 服 务 器 作 为 新 的 主 服 务 器, 继 续 提 供 服 务 这 期 间, 原 有 的 TCP 连 接 将 通 过 同 步 信 息 恢 复, 不 会 被 中 断, 这 也 意 味 着 数 据 库 的 服 务 不 会 因 为 个 别 结 点 的 崩 溃 而 失 效 在 该 系 统 中, 主 服 务 器 和 备 份 服 务 器 都 运 行 着 相 同 的 数 据 库 服 务 程 序 且 拥 有 自 己 独 立 的 数 据 库 其 中, 主 服 务 器 和 备 份 服 务 器 分 担 着 不 同 的 工 作 : 主 服 务 器 : 他 绑 定 整 个 集 群 系 统 对 外 的 虚 拟 IP 地 址, 客 户 机 通 过 访 问 该 虚 拟 IP 地 址 访 问 整 个 数 据 库 集 群 以 取 得 需 要 的 服 务 主 服 务 器 负 责 接 收 用 户 连 接 请 求 和 数 据 库 操 作 请 求, 并 将 这 些 连 接 报 文 进 行 分 类 : 将 其 中 的 连 接 请 求 报 文 和 写 请 求 报 文 转 送 到 多 个 备 份 服 务 器, 收 集 备 份 机 的 应 答 信 号 以 形 成 最 终 应 答 结 果 并 将 其 反 馈 给 客 户 机 对 于 只 读 请 求, 主 服 务 器 的 责 任 是 在 集 群 中 选 择 一 个 结 点 ( 可 能 是 他 自 己 ), 并 将 其 通 过 隧 道 转 发 给 该 结 点, 该 结 点 执 行 请 求 后 直 接 将 应 答 反 馈 给 客 户 机 备 份 服 务 器 : 记 录 并 处 理 从 主 服 务 器 转 过 来 的 各 种 报 文 如 果 该 报 文 是 连 接 请 求 或 写 操 作 请 求 则 将 对 应 的 响 应 发 到 主 服 务 器 ; 如 果 该 报 文 是 只 读 请 求 则 将 对 应 的 响 应 直 接 回 给 发 起 该 请 求 的 客 户 机 本 文 提 出 的 方 案 采 用 主 动 (Active-active) 的 复 制 和 强 数 据 备 份 的 办 法, 数 据 的 一 致 性 应 该 要 求 底 层 的 原 子 多 播 进 行 保 证 所 以, 该 方 案 只 适 用 非 阻 塞 式 服 务 的 应 用 程 序 ( 创 建 一 个 SOCKET 连 接 池, 按 顺 序 接 收 从 连 接 池 上 来 的 所 有 报 文 ) 而 对 于 采 用 阻 塞 式 服 务 的 应 用 程 序 ( 为 每 一 个 服 务 创 建 一 个 系 统 线 程, 并 等 待 接 收 请 求 报 文 以 处 理 ) 并 不 适 用 所 幸 的 是, 出 于 效 率 的 考 虑, 几 乎 所 有 面 向 大 用 户 流 的 应 用 程 序 都 采 用 非 阻 塞 式 服 务 的 方 法, 如 服 务 器 和 本 文 讨 论 的 数 据 库 管 理 系 统 等 为 了 便 于 本 文 的 讨 论, 我 们 做 如 下 假 设 首 先, 我 们 假 设 图 1 中 用 于 连 接 集 群 各 个 结 点 机 的 网 络 支 持 UDP 多 播 这 一 假 设 对 于 目 前 主 流 的 以 太 网 环 境 来 说 都 是 合 理 的 另 外, 我 们 假 设 在 本 文 中 讨 论 的 建 立 在 TCP 连 接 基 础 上 的 上 层 应 用 通 讯 是 具 有 交 互 性 的 也 就 是 说, 他 们 采 用 的 是 请 求 / 应 答 的 模 式, 在 没 有 收 到 上 一 请 求 的 前 提 下 不 会 发 出 下 一 请 求 这 一 假 设 实 际 上 就 是 传 统 客 户 机 / 服 务 器 应 用 模 式 所 通 常 采 用 的 方 式, 并 拥 有 很 多 使 用 者 ( 如 本 文 提 到 的 数 据 库 系 统 ) 3 主 动 TCP 连 接 复 制 众 所 周 知,TCP 是 Internet 上 使 用 最 为 广 泛 的 点 对 点 通 讯 流 量 控 制 协 议 协 议, 经 过 多 年 的 完 善 和 实 践, 该 协 议 本 身 已 经 非 常 稳 定 和 可 靠 但 是 并 没 有 任 何 一 个 RFC 文 档 能 够 提 供 TCP 的 容 错 规 范, 对 TCP 连 接 进 行 容 错 是 一 项 非 常 困 难 的 工 作 在 我 们 的 方 案 中, 为 了 达 到 连 接 容 错 的 效 果, 我 们 采 用 了 将 一 组 这 样 的 TCP 连 接 进 行 复 制 的 办 法 为 了 实 现 连 接 的 复 制, 就 必 须 将 TCP 点 对 点 通 讯 的 方 式 进 行 改 造, 使 其 成 为 点 对 多 点 的 通 讯, 并 在 连 接 的 多 点 端 实 现 通 讯 状 态 的 复 制 另 外, 为 了 最 大 限 度 地 保 持 了 TCP 协 议 本 身 具 有 的 可 靠 性 的 特 点 和 保 证 多 点 端 的 数 据 一 致 性 ( 这 一 点 在 本 文 提 到 的 数 据 库 应 用 中 具 有 非 常 重 要 的 意 义 ), 就 必 须 保 证 通 讯 在 该 端 的 原 子 性, 即 通 讯 的 可 靠 性 和 有 序 性 实 际 上, 实 现 TCP 通 讯 连 接 的 全 复 制 仅 仅 达 到 了 容 错 的 效 果, 但 除 此 之 外, 这 样 的 复 制 达 到 的 数 据 一 致 的 多 副 本 本 身 就 具 有 提 高 系 统 只 读 性 能 的 能 力 所 以, 我 们 在 设 计 和 实 现 这 一 复 制 的 同 时 充 分 考 虑 到 了 这 一 特 点, 将 连 接 中 的 只 读 请 求 流 分 配 到 不 同 的 处 理 器 上 进 行 处 理, 这 样 就 达 到 了 对 TCP 连 接 进 行 主 动 复 制 的 效 果 在 工 程 上, 要 求 投 入 使 用 的 系 统 尽 可 能 地 达 到 最 大 可 能 的 处 理 能 力 (best effort), 为 了 实 现 通 讯 原 子 性 的 效 果, 同 时 尽 量 提 高 处 理 能 力, 我 们 在 设 计 系 统 时 采 用 了 类 似 于 [5] 的 响 应 控 制 办 法, 并 在 下 文 中 予 以 说 明

4 3.1 通 讯 的 可 靠 性 有 序 性 实 现 TCP 的 点 对 多 点 通 讯 和 复 制, 就 必 须 保 证 从 单 点 出 发 的 一 些 重 要 的 TCP 协 议 报 文 ( 在 本 文 中 称 问 连 接 报 文 ) 能 够 可 靠 地 到 达 另 一 端 的 多 个 处 理 结 点 另 外, 为 了 保 证 上 层 应 用 的 数 据 一 致 性, 也 必 须 保 证 从 单 点 出 发 的 通 讯 流 中 的 写 操 作 报 文 到 达 的 可 靠 性 和 有 序 性 在 本 方 案 中, 我 们 对 TCP 通 讯 的 服 务 端 进 行 如 图 2 的 改 造, 并 实 现 了 一 个 原 子 多 播 系 统 客 户 机 进 入 TCP 流 ( 请 求 报 文 ) 响 应 报 文 P1 P8 P4 P5 B4 B5 连 接 管 理 模 块 连 接 管 理 模 块 主 服 务 器 P4 P2 消 息 排 序 模 块 P3 P6 P7 应 答 控 制 模 块 P5 B1 B2 消 息 排 序 模 块 B3 B6 B7 应 答 控 制 模 块 B8 备 份 服 务 器 转 发 报 文 响 应 报 文 转 发 报 文 响 应 报 文 UDP 多 播 隧 道 图 2 原 子 多 播 通 讯 系 统 在 该 图 中,P1 代 表 主 服 务 器 处 理 报 文 的 第 1 步 ;P2 代 表 主 服 务 器 处 理 报 文 的 第 2 步, 并 依 此 类 推 相 应 地,B1 代 表 备 份 服 务 器 处 理 报 文 的 第 1 步 ;B2 代 表 备 份 服 务 器 处 理 报 文 的 第 2 步, 并 依 此 类 推 序 号 相 同 意 味 着 两 步 的 发 生 不 分 先 后 在 该 原 子 多 播 系 统 中, 集 群 的 每 一 个 结 点 都 包 含 了 三 个 子 模 块 : 连 接 管 理 模 块 消 息 排 序 模 块 应 答 控 制 模 块 结 点 之 间 为 了 实 现 高 效 率 的 报 文 转 发, 采 用 了 一 个 UDP 多 播 隧 道 相 连 接 对 于 主 服 务 器 而 言, 当 他 接 收 到 连 接 控 制 报 文 ( 包 括 TCP 的 SYN FIN 等 报 文 ) 或 上 层 应 用 写 操 作 请 求 报 文 后, 这 些 报 文 必 须 先 经 过 连 接 管 理 模 块 来 验 证 他 们 的 连 接 有 效 性 ( 判 断 他 们 是 否 属 于 某 已 存 在 的 连 接, 或 是 新 建 的 连 接 ), 如 果 他 们 的 合 法 性 成 立, 则 将 他 们 用 消 息 排 序 模 块 进 行 写 操 作 排 序 并 附 加 上 一 个 排 序 头 写 操 作 排 序 数 是 单 增 的, 就 象 TCP 的 序 号 那 样, 到 了 某 个 上 界 后 归 零, 然 后 重 复 这 个 单 增 过 程 值 得 指 出 的 是, 排 序 的 过 程 是 全 局 性 的, 而 不 是 只 限 于 某 个 特 别 的 连 接 排 序 完 毕 后, 该 报 文 就 会 通 过 UDP 多 播 隧 道 转 发 到 集 群 中 其 他 的 备 份 服 务 器 结 点 同 时 提 交 给 上 层 的 应 用 程 序 备 份 服 务 器 从 UDP 多 播 隧 道 接 收 到 从 主 服 务 器 转 发 过 来 的 通 讯 报 文 后, 需 要 首 先 对 该 报 文 的 写 操 作 排 序 序 号 进 行 合 法 性 检 查, 这 一 操 作 由 备 份 服 务 器 的 消 息 排 序 模 块 完 成 若 检 查 通 过, 报 文 被 提 交 给 连 接 管 理 模 块 来 检 查 连 接 的 合 法 性 检 查 再 次 通 过 后, 报 文 就 被 提 交 给 上 层 的 应 用 程 序 在 这 一 流 程 中, 系 统 可 能 会 由 于 网 络 连 接 的 故 障 或 错 误 导 致 丢 包 的 情 况 如 果 主 服 务 器 到 备 份 服 务 器 的 转 发 包 丢 失, 备 份 服 务 器 在 接 收 到 以 后 的 转 发 报 文 时, 通 过 对 排 序 序 号 的 检 查, 他 就 能 发 现 接 收 序 列 中 存 在 报 文 丢 失 的 问 题 ( 因 为 缺 序 ) 在 这 种 情 况 下, 备 份 服 务 器 就 会 发 起 一 个 NAK 报 文 到 UDP 多 播 隧 道, 来 请 求 拥 有 其 缺 失 报 文 的 服 务 器 向 其 重 传 被 丢 失 的 报 文 由 于 主 服 务 器 会 记 录 没 有 被 处 理 完 的 请 求 报 文, 所 以 集 群 中 至 少 会 有 一 台 服 务 器 拥 有 该 报 文 如 果 丢 失 的 报 文 是 从 备 份 服 务 器 到 主 服 务 器 的 应 答 报 文, 由 于 TCP 协 议 有 重 传 机 制, 该 丢 失 的 报 文 能 够 通 过 TCP 的 重 传 最 终 到 达 主 服 务 器 在 现 代 计 算 机 集 群 系 统 结 构 中, 由 于 多 采 用 的 是 专 用 的 内 部 网 络, 其 可 靠 性 是 比 较 高 的, 这 种 缺 失 报 文 的 情 况 发 生 的

5 几 率 并 不 是 很 高, 所 以 在 重 传 算 法 上 本 文 并 未 做 过 多 探 讨 3.2 应 答 控 制 与 日 志 管 理 在 保 证 通 讯 可 靠 性 方 面, 仍 然 存 在 一 个 问 题 : 如 果 通 讯 终 止 在 某 个 点, 怎 么 保 证 最 后 转 发 的 报 文 到 达 的 可 靠 性, 和 各 个 参 与 服 务 的 结 点 最 后 的 数 据 一 致 性? 解 决 这 个 问 题 的 办 法 是 保 证 各 结 点 机 接 收 (deliver) 报 文 的 安 全 性 (safe) 保 证 安 全 性 的 办 法 是 等 接 收 的 消 息 稳 定 (stable) 后 再 将 其 接 收, 而 使 得 一 个 消 息 稳 定 的 办 法 是 参 与 服 务 的 各 个 结 点 机 在 接 收 到 某 消 息 后 发 出 确 认 报 文 这 样 做 的 直 接 后 果 是 在 正 常 情 况 下 系 统 性 能 的 下 降 在 本 文 的 方 案 中, 我 们 采 用 的 是 利 用 应 用 层 的 应 答 来 作 为 解 决 这 一 问 题 的 方 法 在 图 2 显 示 的 系 统 中, 备 份 服 务 器 在 得 到 应 用 程 序 的 应 答 消 息 后, 该 应 答 报 文 将 交 给 应 答 控 制 模 块, 该 模 块 的 功 能 是 通 过 比 较 报 文 的 应 答 号 和 以 前 接 收 报 文 的 历 史 信 息 得 到 该 应 答 报 文 的 应 答 号 应 答 号 其 实 就 是 该 应 答 对 应 的 以 前 请 求 报 文 的 写 操 作 排 序 号 ( 备 份 服 务 器 的 应 答 控 制 模 块 在 得 到 应 答 报 文 的 应 答 号 后 给 该 应 答 报 文 加 上 一 个 应 答 排 序 头, 并 将 其 通 过 UDP 多 播 隧 道 反 馈 给 主 服 务 器 ) 主 服 务 器 在 收 集 到 所 有 备 份 服 务 器 的 应 答 并 和 自 己 的 应 答 进 行 比 较 后 将 形 成 最 终 的 应 答 信 息, 将 其 反 馈 给 发 起 请 求 的 客 户 机 这 样 就 保 证 了 对 于 连 接 请 求 操 作 和 写 请 求 操 作, 整 个 集 群 系 统 应 该 只 回 应 客 户 机 唯 一 的 应 答 这 样 做 的 根 据 是 : 如 果 发 现 一 个 服 务 器 的 应 答, 则 该 服 务 器 必 然 已 经 接 收 到 了 该 应 答 对 应 的 请 求, 从 而 保 证 了 请 求 消 息 接 收 的 可 靠 性 另 外 由 于 TCP 协 议 有 重 传 机 制, 如 果 主 服 务 器 在 一 定 的 时 间 间 隔 后 仍 然 没 有 收 到 某 备 份 服 务 器 的 应 答 报 文, 且 故 障 检 测 模 块 并 没 发 现 该 备 份 服 务 器 的 崩 溃, 则 主 服 务 器 在 收 到 来 自 客 户 端 的 重 发 报 文 时 将 该 报 文 进 行 重 传, 这 样 就 能 使 我 们 的 系 统 继 承 TCP 的 可 靠 性, 从 而 解 决 了 通 讯 终 止 点 处 的 通 讯 可 靠 性 问 题 对 于 通 讯 的 原 子 性, 本 文 在 将 第 5 节 结 合 系 统 的 故 障 检 测 对 其 再 次 进 行 证 明 有 了 原 子 通 讯 保 证 的 系 统, 为 了 保 证 多 个 副 本 的 数 据 一 致 性, 还 必 须 假 设 状 态 完 全 相 同 的 副 本 在 处 理 相 同 的 写 操 作 后, 仍 然 处 于 相 同 的 状 态 虽 然 这 一 假 设 在 实 际 应 用 中 的 大 多 数 情 况 是 合 理 的, 但 也 会 有 例 外 如 在 一 些 极 限 情 况 下, 参 与 服 务 的 结 点 机 的 硬 盘 空 间 或 内 存 空 间 耗 尽 的 情 况 在 这 些 极 限 情 况 下, 他 们 的 响 应 就 会 与 别 的 服 务 器 不 同 我 们 的 方 案 中 采 用 的 是 大 多 数 决 定 的 方 法, 即 当 主 服 务 器 收 集 到 所 有 结 点 机 的 响 应 后, 如 果 发 现 不 同 情 况 则 将 他 们 进 行 比 较, 认 为 大 多 数 结 点 赞 同 的 结 果 是 正 确 的, 并 将 不 同 结 果 的 结 点 排 除 出 该 服 务 组 与 应 答 控 制 相 关 的 一 个 问 题 是 消 息 的 日 志 管 理 问 题 由 于 服 务 器 结 点 的 存 储 资 源 是 有 限 的, 这 就 要 求 该 服 务 器 结 点 在 认 为 接 收 到 的 请 求 消 息 不 再 需 要 的 情 况 将 其 丢 弃 但 是 这 些 被 丢 弃 的 报 文 同 时 也 必 须 是 稳 定 的 ( 即 已 经 确 认 被 所 有 结 点 接 收 ), 因 为 这 些 报 文 可 能 需 要 进 行 重 传 由 于 有 应 答 控 制 的 存 在, 而 且 通 讯 被 认 为 是 交 互 性 的, 所 以, 参 与 服 务 的 结 点 机 只 需 要 保 存 最 近 没 有 被 处 理 的 报 文 即 可 这 样, 如 果 一 个 集 群 在 某 时 刻 同 时 服 务 的 连 接 有 M 个, 则 各 个 服 务 器 结 点 的 日 志 缓 存 大 小 既 为 M 个 请 求 消 息 的 大 小 3.3 只 读 请 求 的 分 流 和 TCP 序 号 的 翻 译 和 转 换 由 前 文 所 述 的 原 子 多 播 系 统 实 现 了 通 讯 的 可 靠 性 和 有 序 性, 从 而 实 现 了 多 个 副 本 的 数 据 一 致 性 如 果 这 种 一 致 性 得 到 充 分 的 利 用, 就 可 以 提 高 整 个 集 群 系 统 的 只 读 性 能, 但 是 其 前 提 是 必 须 对 TCP 请 求 流 中 的 只 读 操 作 进 行 分 流 而 这 一 分 流 动 作 必 须 以 不 破 坏 TCP 通 讯 语 意 为 前 提, 因 为 否 则 的 话, 会 导 致 服 务 器 接 收 到 的 报 文 被 他 自 己 的 TCP 协 议 栈 丢 弃 对 于 进 入 集 群 的 只 读 操 作, 我 们 采 用 图 3 所 示 的 方 法 将 其 分 配 给 集 群 中 的 一 台 服 务 器 处 理

6 客 户 机 进 入 TCP 流 ( 请 求 报 文 ) 主 服 务 器 备 份 服 务 器 1 Socket Re-Write 响 应 报 文 备 份 服 务 器 2 P1 B6 B4 B5 连 接 管 理 模 块 连 接 管 理 模 块 连 接 管 理 模 块 P2 P3 B2 B3 B2 B3 P4 消 息 排 序 模 块 B1 消 息 排 序 模 块 B1 消 息 排 序 模 块 转 发 报 文 转 发 报 文 转 发 报 文 UDP 多 播 隧 道 图 3 只 读 操 作 的 分 流 在 该 图 中, 主 服 务 器 对 他 接 收 到 的 请 求 报 文 进 行 分 析 和 判 断, 如 果 发 现 该 请 求 是 只 读 操 作, 则 使 用 他 的 消 息 排 序 模 块 对 其 进 行 只 读 操 作 排 序 在 这 里, 只 读 操 作 排 序 和 前 文 所 述 的 写 操 作 排 序 的 方 法 是 一 致 的, 但 是 他 们 是 互 相 独 立 的 两 套 排 序 机 制 在 对 只 读 请 求 进 行 排 序 的 同 时, 主 服 务 器 还 负 责 为 该 操 作 分 配 一 个 处 理 器 ( 在 图 3 中 是 备 份 服 务 器 1) 在 为 该 请 求 消 息 加 上 一 个 只 读 消 息 头 ( 包 含 处 理 器 ID 号 ) 后 将 整 个 消 息 从 UDP 多 播 隧 道 发 送 给 组 内 其 他 的 结 点 备 份 服 务 器 1 接 收 到 该 请 求 消 息 后, 通 过 分 析 只 读 消 息 头 发 现 该 消 息 应 该 由 自 己 处 理, 则 将 该 消 息 提 交 给 对 于 该 请 求 消 息 的 应 答, 备 份 服 务 器 1 将 采 用 套 接 字 重 写 的 方 法 [1] 将 其 直 接 回 应 给 发 起 该 请 求 的 客 户 机, 这 样 即 做 到 了 操 作 的 并 行, 又 节 约 了 主 服 务 器 的 网 络 带 宽 组 内 的 其 他 的 备 份 服 务 器 接 收 到 该 请 求 消 息 后, 仅 是 记 录 该 请 求 的 一 些 信 息, 而 不 对 其 进 行 任 何 处 理 读 操 作 分 流 的 采 用, 导 致 了 不 同 结 点 对 于 不 同 操 作 的 处 理 方 法 的 不 同, 而 这 种 不 同 就 导 致 了 不 同 结 点 在 TCP 序 列 号 上 的 推 进 速 度 的 不 同 这 种 不 同 如 果 不 加 以 处 理 就 会 破 坏 TCP 通 讯 协 议 原 有 的 语 意 为 了 不 破 坏 TCP 的 原 有 语 意, 我 们 采 用 了 两 层 TCP 协 议 架 构 和 序 号 翻 译 转 换 的 办 法 来 解 决 这 个 问 题 图 4 中 分 别 显 示 了 主 服 务 器 和 备 份 服 务 器 的 TCP 序 列 号 转 换 流 程, 我 们 把 服 务 器 结 点 的 TCP 协 议 栈 分 为 全 局 栈 和 本 地 栈 两 层 消 息 接 收 消 息 接 收 消 息 排 序 消 息 排 序 消 息 转 发 应 答 消 息 应 答 消 息 本 地 栈 本 地 栈 P2 P3 P4 B2 B3 全 局 栈 全 局 栈 到 达 报 文 P1 P5 到 达 报 文 B1 B4 (a) 主 服 务 器 的 TCP 序 列 号 转 换 (b) 备 份 服 务 器 的 TCP 序 列 号 转 换 图 4 TCP 序 列 号 转 换 为 了 讨 论 的 方 便, 我 们 称 服 务 器 接 收 到 的 报 文 称 为 ( 对 于 主 服 务 器 是 从 客 户 机 来 的 报 文 ; 对 于 备 份 服 务 器 则 是 通 过 UDP 隧 道 转 发 并 被 解 包 后 的 报 文 ) 到 达 报 文, 到 达 报 文 以 及 该 服 务 器 结 点 的 出 口 报 文 所 处 的 协 议 栈 为 全 局 栈 该 协 议 栈 的 特 点 是 处 于 该 栈 的 TCP 报 文 的 序

7 列 号 应 该 是 能 被 客 户 机 所 识 别 和 接 收 的 全 局 协 议 栈 的 报 文 并 不 一 定 能 为 服 务 器 结 点 所 直 接 接 受 我 们 在 全 局 协 议 栈 之 上 定 义 了 另 一 层 协 议 栈, 该 协 议 栈 主 要 为 接 收 和 处 理 报 文 的 服 务 器 结 点 而 设 计, 所 以 称 他 为 本 地 协 议 栈 全 局 协 议 栈 和 本 地 协 议 栈 面 临 的 是 不 同 的 处 理 单 元, 所 以 在 将 到 达 报 文 向 上 层 传 递 的 过 程 中, 必 须 将 这 些 报 文 的 TCP 协 议 序 号 和 应 答 序 号 进 行 转 换, 使 其 能 够 被 服 务 器 结 点 所 接 收 和 处 理 ; 同 时, 服 务 器 的 响 应 报 文 必 须 先 经 过 序 列 号 和 应 答 号 的 转 换 才 能 够 返 回 给 客 户 机 以 便 其 接 收 为 了 讨 论 的 方 便, 我 们 将 客 户 机 的 TCP 序 号 简 写 成 CSN(Client Sequence Number), 他 的 应 答 号 称 为 CAN(Client Acknowledgement Number); 本 地 服 务 器 的 TCP 序 号 简 写 成 LSN(Local Sequence Number), 他 的 应 答 号 称 为 LAN(Local Acknowledgement Number) 当 达 到 报 文 到 达 服 务 器 的 全 局 协 议 栈 后, 服 务 器 将 记 录 该 达 到 报 文 的 TCP 序 列 号 和 应 答 号, 记 为 CSN1 和 CAN1( 图 4 的 P1 和 B1), 并 将 该 报 文 的 序 列 号 和 应 答 号 进 行 转 换 转 换 的 过 程 如 下 : 假 设 当 前 记 录 的 最 新 的 本 地 TCP 序 列 号 为 LSN1, 应 答 号 为 LAN1 那 么 新 的 TCP 报 文 的 序 列 号 就 应 该 为 LAN1, 其 应 答 号 为 LSN1, 经 过 这 样 改 造 后 的 报 文 就 能 为 本 地 协 议 栈 所 接 收 了 ( 图 4 中 的 P2 和 B2) 本 地 接 收 的 报 文 本 身 还 有 一 个 排 序 和 可 靠 性 保 证 的 过 程, 所 以 本 地 协 议 栈 接 收 的 报 文 还 需 要 经 过 排 序 模 块 的 排 序 或 序 号 校 验 ; 对 于 主 服 务 器 来 说, 他 需 要 将 经 过 排 序 后 的 报 文 再 次 转 发 给 在 集 群 中 的 其 他 备 份 服 务 器, 如 果 转 发 报 文 的 TCP 序 列 号 和 应 答 号 不 加 以 改 变 而 是 保 持 为 主 服 务 器 的 本 地 协 议 栈 所 接 收 的 报 文, 将 造 成 备 份 服 务 器 无 法 辨 认 被 转 发 的 报 文 的 问 题 所 以, 主 服 务 器 为 了 将 从 客 户 机 接 收 到 的 报 文 正 确 地 转 发 到 其 他 备 份 服 务 器 上, 必 须 将 报 文 的 TCP 序 号 和 应 答 号 进 行 再 一 次 还 原 成 达 到 报 文 ( 图 4 中 的 P3) 当 上 层 的 应 用 程 序, 接 收 到 经 过 序 号 转 换 的 到 达 报 文 并 产 生 了 该 报 文 的 应 答 后, 产 生 的 应 答 报 文 到 达 本 地 协 议 栈 后 需 要 记 录 新 的 本 地 序 列 号 LSN2 和 应 答 号 LAN2( 图 4 中 的 P4 和 B3) 得 到 这 些 数 据 后, 我 们 可 以 得 到 该 应 答 报 文 的 相 对 位 移 量 : Offset = LSN2 LSN1 为 了 让 应 答 报 文 可 以 被 客 户 机 所 识 别, 报 文 的 TCP 序 列 号 同 样 必 须 经 过 转 换 转 换 的 结 果 为 : 新 应 答 的 TCP 序 列 号 = CAN1 + Offset 新 应 答 的 TCP 确 认 号 = CSN1 就 单 个 的 到 达 报 文 来 说, 经 过 这 样 的 转 换, 就 能 够 达 到 顺 利 通 过 服 务 器 以 及 客 户 机 的 TCP 协 议 栈 的 目 的 但 是 实 际 使 用 上, 客 户 机 往 往 会 在 前 一 个 请 求 未 处 理 完 毕 之 前 向 服 务 器 发 出 部 分 应 答 信 息 ( 纯 应 答 报 文 ); 另 外, 有 些 报 文 ( 只 读 操 作 ) 并 不 需 要 集 群 中 所 有 的 服 务 器 一 起 来 处 理 所 以 服 务 器 结 点 必 须 对 他 收 到 的 到 达 报 文 进 行 分 类 处 理 本 地 协 议 栈 写 操 作 报 文 只 读 操 作 报 文 ( 不 处 理 ) 接 收 并 处 理 接 收 并 处 理 接 收 只 读 操 作 报 文 ( 处 理 ) 全 局 协 议 栈 丢 弃 纯 应 答 报 文 图 5 消 息 分 类 和 处 理 如 图 5 所 示, 我 们 将 达 到 报 文 分 为 4 类, 对 应 3 种 处 理 办 法 : 写 操 作 报 文 / 只 读 操 作 报 文 ( 处 理 ) 接 收 并 处 理 ; 只 读 操 作 报 文 ( 不 处 理 ) 丢 弃 ;

8 纯 应 答 报 文 接 收 但 并 不 处 理 ; 其 中 接 收 并 处 理 的 方 法 就 是 如 前 所 述 的 TCP 序 列 号 转 换 办 法 ; 丢 弃 方 法 是 指 不 做 任 何 处 理 ; 而 接 收 但 并 不 处 理 的 方 法 是 指 通 过 TCP 序 列 号 转 换 进 行 接 收, 但 并 不 记 录 该 报 文 的 序 列 号 CSN 和 应 答 号 CAN 当 然 对 于 纯 应 答 报 文 的 接 收 需 要 在 他 的 应 答 号 上 做 更 多 的 工 作, 其 方 法 是 仍 然 采 用 位 移 定 位 法 ( 假 设 该 纯 应 答 的 应 答 号 为 CAN pa ): 新 的 TCP 应 答 号 = LSN1 +(CAN pa CAN1) 并 且 在 该 应 答 提 交 给 本 地 服 务 器 前 还 需 要 比 较 (CAN pa CAN1) 和 Offset 的 大 小, 如 果 他 大 于 Offset 显 然 不 合 理, 应 该 将 其 丢 弃 4 高 性 能 高 可 用 MySQL 数 据 库 集 群 在 前 文 所 述 的 主 动 TCP 连 接 容 错 的 基 础 上, 我 们 构 建 了 一 个 能 够 向 外 提 供 MySQL 数 据 库 服 务 的 集 群, 在 该 集 群 中 的 每 台 服 务 器 结 点 机 上 都 运 行 着 相 同 的 Linux 操 作 系 统 和 版 本 号 相 同 的 MySQL 服 务 程 序 MySQL 被 公 认 为 目 前 在 Linux 操 作 系 统 上 运 行 速 度 最 快 的 数 据 库 管 理 系 统 [4], 早 期 的 MySQL( 在 4.0 版 本 以 前 ) 在 严 格 意 义 上 来 讲 并 不 是 真 正 的 数 据 库 管 理 系 统, 因 为 那 时 他 不 支 持 事 务 处 理, 但 是 即 便 如 此, 他 还 是 赢 得 了 很 高 的 关 注 和 用 户 群 使 用 他 的 主 要 用 户 是 一 些 网 站 ( 如 一 些 论 坛 网 站 ) 事 务 处 理 对 这 些 网 站 来 说 并 不 重 要, 重 要 的 是 执 行 查 询 的 速 度 由 于 Linux 和 MySQL 系 统 作 为 开 源 软 件 包 都 没 有 公 司 保 证 其 可 靠 性, 将 他 们 实 用 化 的 最 重 要 的 问 题 就 是 使 他 们 具 有 容 错 的 能 力, 特 别 是 当 发 生 故 障 时, 数 据 不 会 被 丢 失 同 时, 要 尽 可 能 地 提 高 他 们 的 处 理 响 应 速 度 由 于 MySQL 数 据 库 系 统 对 外 提 供 一 个 ODBC 驱 动 程 序 以 实 现 客 户 端 到 服 务 器 的 互 连, 而 该 ODBC 为 了 实 现 通 讯 的 可 靠 性 采 纳 了 TCP 作 为 到 服 务 器 互 连 的 协 议, 所 以 采 用 在 上 文 所 述 的 主 动 TCP 连 接 容 错 就 能 很 自 然 地 实 现 MySQL 数 据 库 服 务 的 容 错 性 同 时, 通 过 对 上 层 的 应 用 层 协 议 进 行 分 析, 可 以 很 容 易 的 达 到 对 请 求 进 行 分 类 的 目 的 我 们 的 方 案 采 用 了 读 一 写 多 (Read-One-Write-All) 的 策 略, 在 发 现 只 读 操 作 的 时 候 采 用 简 单 的 循 环 轮 转 方 法 (Round-Robin) 将 该 操 作 进 行 分 流, 从 而 使 整 体 的 集 群 系 统 达 到 更 高 的 只 读 操 作 执 行 性 能 在 本 文 的 第 6 节, 我 们 展 示 了 本 方 案 的 原 型 系 统 的 性 能, 通 过 观 察, 我 们 发 现 当 集 群 内 结 点 机 增 加 时, 只 读 操 作 的 性 能 几 乎 是 呈 线 性 增 加 的 5 容 错 对 于 系 统 容 错 问 题 的 讨 论, 可 以 分 为 两 个 部 分, 一 个 是 如 何 判 断 故 障 的 发 生, 当 故 障 发 生 的 时 候, 如 何 将 确 定 发 生 故 障 的 服 务 结 点 排 除 出 去 ; 另 一 个 问 题 是 如 何 将 TCP 连 接 的 信 息 进 行 保 存 和 必 要 的 迁 移 我 们 将 在 本 节 讨 论 这 两 个 问 题 同 时, 在 正 确 的 故 障 检 测 前 提 下, 我 们 对 将 第 3 节 中 的 通 讯 的 原 子 性 进 行 证 明 5.1 故 障 的 检 测 在 实 践 中, 为 了 检 测 机 群 中 结 点 机 的 故 障, 通 常 的 做 法 是 采 用 心 跳 线 (Heartbeat) 技 术 [6] 这 一 技 术 的 原 理 是, 加 入 服 务 的 计 算 机 周 期 性 地 定 时 地 向 外 广 播 一 个 比 较 小 的 报 文 ( 心 跳 报 文 ) 来 告 诉 别 人 自 己 的 状 态 如 果 该 计 算 机 发 生 故 障 时, 他 的 心 跳 报 文 中 会 包 含 这 一 错 误 信 息, 或 者 根 本 就 无 法 发 出 报 文 了 当 这 一 组 的 其 他 的 服 务 器 发 现 这 一 状 况 或 者 在 一 段 时 间 间 隔 内 ( 故 障 检 测 时 间 ) 没 有 收 到 从 该 服 务 器 来 的 心 跳 报 文, 就 发 起 一 轮 新 的 选 举 ( 如 果 失 效 的 是 主 服 务 器 的 话 ), 或 者 将 这 一 发 生 故 障 的 服 务 器 在 其 服 务 器 列 表 中 除 去 ( 如 果 失 效 的 是 备 份 服 务 器 )

9 当 主 服 务 器 失 效 后, 从 剩 余 的 健 康 结 点 中 选 举 一 台 做 为 新 的 主 服 务 器, 选 举 的 算 法 可 以 简 单 也 可 以 复 杂 [2] 但 是 由 于 该 问 题 不 是 本 文 讨 论 的 重 点, 在 这 里 我 们 不 做 重 点 的 阐 述 在 我 们 实 现 的 原 型 系 统 中 采 用 了 一 个 很 简 单 的 选 举 方 法, 那 就 是 当 主 服 务 器 失 效 后 系 统 选 取 在 剩 下 的 从 服 务 器 中 具 有 最 大 写 操 作 序 号 的 备 份 服 务 器 作 为 新 的 主 服 务 器 5.2 TCP 连 接 容 错 由 于 对 备 份 服 务 器 发 生 的 故 障 的 处 理 相 对 简 单, 在 这 里 我 们 只 讨 论 当 主 服 务 器 崩 溃 时 系 统 的 故 障 处 理 当 主 服 务 器 失 效 后, 系 统 从 剩 下 的 备 份 服 务 器 中 会 选 择 出 新 的 主 服 务 新 的 主 服 务 器 要 做 的 第 一 件 事 情 就 是 通 过 IP 抢 占 的 办 法 将 集 群 的 入 口 虚 IP 绑 定 在 自 己 的 网 络 接 口 (NIC) 上 同 时, 通 过 在 3.3 节 中 我 们 对 两 层 的 TCP 协 议 栈 架 构 的 讨 论, 可 以 得 到 在 通 讯 交 互 性 的 前 提 下, 全 局 协 议 栈 的 一 致 性 可 以 由 报 文 的 转 发 和 重 传 机 制 得 到 保 证 因 为 被 选 举 出 来 的 新 主 服 务 器 具 有 系 统 中 最 高 的 写 操 作 排 序 序 号, 所 以 就 保 证 了 系 统 中 剩 余 的 结 点 机 不 会 缺 失 应 有 的 更 新 操 作, 从 而 避 免 了 不 同 数 据 副 本 的 不 一 致 性 由 于 TCP 协 议 本 身 具 有 的 超 时 重 传 机 制, 主 服 务 器 失 效 可 能 导 致 的 接 收 到 但 来 不 及 转 发 的 报 文 会 由 客 户 机 超 时 重 发, 这 样 被 丢 失 的 报 文 最 终 会 到 达 新 选 举 出 来 的 主 服 务 器, 从 而 保 证 了 通 讯 的 连 续 性 和 健 壮 性, 也 就 是 说 实 现 了 TCP 连 接 的 容 错 通 讯 的 连 续 性 带 来 的 直 接 好 处 是 上 层 应 用 服 务 的 连 续 性, 这 样 也 就 实 现 了 整 个 数 据 库 集 群 的 服 务 高 可 用 性 5.3 原 子 多 播 的 证 明 一 个 通 讯 协 议 是 否 为 原 子 多 播, 主 要 是 看 该 协 议 是 否 满 足 原 子 多 播 的 两 个 属 性 : 可 靠 性 (All-or-Nothing) 以 及 消 息 的 有 序 性 (Message Ordering) 为 了 讨 论 的 方 便, 我 们 假 设 故 障 检 测 模 块 提 供 的 检 测 结 果 是 正 确 的, 并 分 别 证 明 本 文 在 第 3 节 中 讨 论 的 通 讯 协 议 满 足 这 两 个 属 性 在 这 里 我 们 只 考 虑 系 统 中 连 接 操 作 和 写 操 作 的 原 子 性, 因 为 只 有 他 们 才 是 和 不 同 数 据 副 本 的 数 据 一 致 性 相 关 联 的 至 于 系 统 中 的 只 读 操 作, 由 于 他 不 影 响 数 据 副 本 的 一 致 性, 且 可 由 TCP 的 连 接 重 传 机 制 保 证 其 可 靠 性, 所 以 不 予 讨 论 1) 可 靠 性 (All-or-Nothing) 证 明 : 首 先, 在 实 际 数 据 库 应 用 中, 对 于 单 TCP 连 接 请 求 来 说, 其 消 息 通 讯 是 交 互 式 的, 即 一 个 请 求 的 发 出 必 须 等 到 上 一 个 请 求 的 结 束 在 本 文 提 及 的 通 讯 方 案 中, 主 服 务 器 必 须 等 到 他 得 到 所 有 备 份 服 务 器 的 应 答 后 才 将 最 终 的 应 答 报 文 发 回 给 发 起 请 求 的 客 户 机 这 样 就 保 证 了 : 如 果 一 个 消 息 被 处 理, 那 么 它 将 被 集 群 被 所 有 的 服 务 器 处 理 如 果 对 于 某 请 求 消 息 来 说, 集 群 内 存 在 某 一 个 服 务 器 没 有 收 到 该 报 文, 而 这 时 主 接 点 失 效, 怎 样 保 证 该 服 务 器 最 终 仍 然 会 收 到 该 报 文 呢? 我 们 将 这 一 问 题 分 为 两 种 情 况 : 1 所 有 备 份 服 务 器 都 没 有 收 到 此 消 息 如 果 系 统 中 所 有 备 份 服 务 器 都 没 收 到 该 消 息 而 主 服 务 器 崩 溃, 通 过 我 们 在 5.1 和 5.2 小 节 的 论 述 可 知, 该 消 息 最 终 会 再 次 到 达 集 群 中 新 选 举 出 来 的 主 服 务 器, 主 服 务 器 会 进 行 再 次 的 转 发, 最 终 会 保 证 该 消 息 到 达 丢 失 消 息 的 备 份 服 务 器 2 只 有 一 个 或 一 个 以 上 的 备 份 服 务 器 中 接 收 到 此 消 息 若 集 群 中 有 一 个 或 一 个 以 上 的 备 份 服 务 器 接 收 到 该 消 息, 则 当 主 服 务 器 崩 溃 后, 拥 有 该 消 息 的 备 份 服 务 器 会 被 选 举 成 为 新 的 主 服 务 器 ( 因 为 他 将 具 有 更 高 的 写 操 作 排 序 序 号 ) 通 过 NAK 和 消 息 重 传, 丢 失 该 消 息 的 备 份 服 务 器 最 终 也 会 得 到 该 丢 失 的 消 息 综 上 所 述, 本 发 明 中 论 述 的 通 讯 协 议 满 足 可 靠 性 2) 消 息 的 有 序 性 (Message Ordering) 证 明 : 由 于 本 文 提 及 的 方 案 采 用 了 单 一 的 通 讯 入 口 点, 所 有 进 入 集 群 系 统 的 请 求 报 文 都 通 过

10 该 入 口 点 进 行 排 序 操 作, 也 就 是 说 具 有 FIFO 排 序 的 保 证, 这 样 也 就 保 证 了 相 互 关 联 (Casually Related) 的 消 息 的 有 序 性 6 性 能 测 试 为 了 验 证 在 本 文 中 提 到 的 思 想, 我 们 在 一 个 拥 有 3 个 结 点 组 成 的 集 群 上 实 现 了 一 个 原 型 系 统 在 实 验 中, 集 群 的 所 有 结 点 机 以 及 用 于 测 试 的 客 户 机 的 配 置 :CPU 为 Intel PentiumIII CPU 主 频 为 1GHz, 配 置 256MB 的 内 存 和 3COM3c59x 的 双 网 卡 网 络 互 联 采 用 100Mbps 的 3COM 交 换 机 集 群 结 点 机 的 操 作 系 统 为 RedHat Linux, 内 核 版 本 号 为 ,MySQL 数 据 库 服 务 器 端 的 版 本 号 为 , 客 户 端 和 服 务 器 端 的 互 联 采 用 的 是 MySQL 的 ODBC 接 口, 版 本 号 为 客 户 端 测 试 程 序 在 Windows 2000 专 业 版 下 运 行 测 试 分 为 两 大 部 分 : 网 络 性 能 测 试 和 数 据 库 集 群 性 能 测 试, 其 中 前 一 部 分 采 用 的 网 络 性 能 测 试 工 具 为 Netpipe-2.4[9] 后 一 部 分 则 采 用 在 客 户 端 编 写 的 程 序 进 行 实 际 的 测 试 下 面 分 别 展 示 这 两 部 分 测 试 的 结 果 和 分 析 6.1 网 络 性 能 测 试 为 了 对 TCP 连 接 复 制 方 案 的 可 行 性 和 这 一 方 案 对 通 讯 性 能 的 损 耗 进 行 评 价, 我 们 测 试 并 取 得 了 采 用 该 方 案 时 在 双 机 和 三 机 情 况 下 的 网 络 通 讯 性 能 情 况, 并 将 结 果 与 正 常 的 客 户 端 到 单 个 服 务 器 的 TCP 通 讯 性 能 进 行 了 对 比, 如 图 6 所 示 单 机 通 讯 时 延 双 机 通 讯 时 延 三 机 通 讯 时 延 通 讯 时 延 ( 毫 秒 ) 通 讯 报 文 大 小 ( 字 节 ) 图 6 采 用 主 动 TCP 通 讯 机 制 的 通 讯 时 延 在 该 图 中, 通 讯 时 间 延 迟 实 际 上 是 用 通 讯 的 平 均 往 返 时 间 来 代 表 的 通 过 阅 读 该 图, 我 们 发 现, 当 集 群 中 存 在 两 个 结 点 时, 通 讯 的 时 延 相 比 较 于 正 常 的 TCP 通 讯 时 延 平 均 增 加 了 20% 左 右, 这 是 因 为 主 服 务 器 的 应 答 必 须 等 到 备 份 机 的 应 答 到 达 主 服 务 器 后 才 将 最 终 的 应 答 发 送 回 客 户 机, 这 样 就 增 加 了 通 讯 的 开 销 当 集 群 中 存 在 三 个 结 点 时, 相 比 较 于 两 个 结 点 的 情 况, 通 讯 时 延 的 增 加 幅 度 是 很 小 的, 这 是 因 为 UDP 多 播 隧 道 的 存 在, 不 同 的 备 份 服 务 器 能 够 几 乎 同 时 得 到 主 服 务 器 转 发 过 来 的 消 息 并 加 以 处 理, 而 在 我 们 的 实 验 中, 所 有 服 务 器 的 配 置 情 况 又 是 相 同 的, 所 以 通 讯 开 销 相 比 较 于 双 机 的 来 增 加 的 并 不 多 依 次 类 推, 当 集 群 内 拥 有 更 多 的 结 点 机 时, 通 讯 时 延 的 增 加 速 度 不 会 很 快 6.2 MySQL 数 据 库 集 群 的 性 能 在 这 一 小 节 里, 我 们 主 要 讨 论 采 用 本 文 所 提 到 的 方 案 对 集 群 整 体 性 能 所 产 生 的 影 响 由 于 读 一 写 多 策 略 的 采 用, 数 据 库 的 写 操 作 性 能 必 然 会 有 所 下 降, 因 为 集 群 的 写 操 作 必 须 要 等 到 所 有 服 务 结 点 的 写 操 作 的 结 束, 问 题 是 会 下 降 多 少 这 一 问 题 将 在 本 小 节 的 第 一 部 分 加 以

11 分 析 和 解 答 另 外, 由 于 采 用 了 读 操 作 分 流 技 术, 当 要 求 服 务 的 连 接 比 较 多 时, 集 群 系 统 的 读 操 作 性 能 应 该 得 到 一 定 的 提 升, 原 型 系 统 的 实 际 测 量 数 据 将 在 本 小 节 的 第 二 部 分 加 以 展 示 和 分 析 1) 写 性 能 为 了 评 估 由 于 复 制 导 致 的 数 据 库 写 操 作 性 能 的 损 耗 情 况, 我 们 将 数 据 库 的 写 操 作 进 行 分 类 为 : 建 表 操 作 (Create Table) 删 除 表 操 作 (Drop Table) 插 入 数 据 行 操 作 (Insert) 和 更 新 数 据 行 操 作 (Update) 在 我 们 的 原 型 系 统 上 对 这 些 操 作 进 行 了 独 立 的 实 验, 实 验 中 考 虑 的 主 要 性 能 指 标 是 操 作 的 响 应 时 间, 因 为 该 响 应 时 间 间 接 地 反 映 了 操 作 的 执 行 时 间 并 将 在 双 机 上 进 行 的 实 验 和 三 机 上 进 行 的 实 验 结 果 和 正 常 的 单 机 实 验 结 果 进 行 比 较, 如 图 7 所 示 实 验 的 结 果 是 通 过 多 次 循 环 得 到 的, 并 将 结 果 除 以 循 环 的 次 数 得 到 的 平 均 值 在 测 试 的 过 程 中, 我 们 考 虑 的 仅 是 单 表 的 情 况, 因 为 这 样 做 一 方 面 是 因 为 简 单, 另 一 方 面 是 因 为 这 样 做 对 于 服 务 器 产 生 的 性 能 负 载 最 小, 更 能 反 映 由 于 复 制 所 产 生 的 额 外 损 耗 另 外, 在 测 试 中, 仅 有 一 个 测 试 线 程 存 在, 因 为 对 于 写 操 作, 系 统 没 有 实 现 分 流, 所 以 多 线 程 测 试 的 意 义 并 不 大 平 均 响 应 时 间 ( 毫 秒 ) 单 服 务 器 双 服 务 器 三 服 务 器 0 建 表 (Create Table) 删 除 表 (Drop Table) 插 入 数 据 (Insert) 更 新 数 据 (Update) 图 7 MySQL 数 据 库 集 群 的 写 性 能 比 较 在 该 图 中, 我 们 不 难 发 现, 当 集 群 内 服 务 器 的 数 目 增 多 时 导 致 的 写 性 能 的 损 耗 也 就 越 大, 但 是 不 同 的 操 作 所 产 生 的 性 能 损 失 是 不 同 的 其 中 对 于 建 表 操 作, 当 集 群 有 两 台 服 务 器 时 性 能 损 耗 达 到 了 50%, 而 当 有 三 台 服 务 器 时, 跟 双 服 务 器 性 能 相 比, 损 耗 并 没 有 继 续 上 升 这 是 因 为 MySQL 采 用 的 是 文 件 级 数 据 库 管 理 方 式, 创 建 一 个 表, 对 于 MySQL 来 说 就 是 创 建 一 个 文 件, 这 样 做 是 需 要 很 多 时 间 的, 而 且 表 的 结 构 越 复 杂, 所 需 要 的 时 间 也 就 越 多, 这 样 当 服 务 器 的 数 目 增 多 时, 在 通 讯 中 导 致 的 性 能 损 耗 就 会 被 屏 蔽 掉 很 多, 总 的 性 能 损 耗 增 加 速 度 也 就 不 会 太 快 这 个 规 律 我 们 在 插 入 数 据 和 更 新 数 据 操 作 上 也 能 看 到 而 删 除 表 操 作 则 是 另 一 个 情 况 : 因 为 删 除 一 个 表 ( 文 件 ) 的 操 作 所 需 要 时 间 总 是 比 较 少 的, 而 且 不 会 随 着 表 本 身 复 杂 程 度 的 增 加 而 增 加, 所 以 当 集 群 内 服 务 器 结 点 增 多 时, 由 于 不 同 结 点 删 除 表 时 磁 盘 I/O 性 能 的 随 机 性 所 导 致 的 总 体 负 载 就 会 增 加 2) 多 线 程 读 性 能 我 们 设 计 在 本 文 中 提 到 的 方 案 的 一 个 重 要 目 的 就 是 提 高 在 数 据 库 系 统 比 较 繁 忙 时 的 只 读 查 询 操 作 的 响 应 时 间 为 此, 我 们 在 实 现 了 原 型 系 统 后 对 数 据 库 比 较 繁 忙 时 所 发 生 的 情 况 做 了 一 个 模 拟 测 试, 并 将 不 同 服 务 器 结 点 数 的 配 置 情 况 所 产 生 的 不 同 性 能 加 速 情 况 与 单 服 务 器 时 的 数 据 进 行 了 对 比, 如 图 8 所 示 为 了 模 拟 多 用 户 使 用 数 据 库 的 情 况, 我 们 采 用 了 多 线 程 的 方 法, 每 个 线 程 模 拟 一 个 用 户 连 接 在 实 验 中, 测 试 线 程 由 客 户 机 几 乎 同 时 产 生 并 几 乎 同 时 结 束, 每 个 线 程 开 始 后 都 会 建 立 一 个 连 接 到 数 据 库, 并 循 环 执 行 只 读 查 询 操 作 ( 如 Select 或 Show Tables 等 ), 在 所 有 线 程 结 束 后, 将 线 程 执 行 的 平 均 时 间 除 以 在 这 段 时 间 内 执 行 的

12 所 有 只 读 查 询 操 作 的 个 数 得 到 他 们 的 平 均 响 应 时 间 只 读 查 询 平 均 响 应 时 间 ( 毫 秒 ) 单 服 务 器 双 服 务 器 三 服 务 器 并 发 线 程 个 数 图 8 多 线 程 测 试 下 MySQL 数 据 库 集 群 的 读 性 能 比 较 在 该 图 中, 我 们 发 现 当 同 时 存 在 多 个 测 试 连 接 时, 单 服 务 器 的 MySQL 数 据 库 只 读 服 务 性 能 下 降 很 快, 这 也 就 是 我 们 在 使 用 数 据 库 时 所 观 察 到 的 数 据 库 越 忙, 用 户 提 交 的 查 询 操 作 响 应 也 就 越 慢 的 现 象 当 集 群 内 的 服 务 器 结 点 数 增 加 后, 我 们 从 图 8 的 数 据 中 可 以 发 现 只 读 查 询 操 作 的 响 应 速 度 有 了 明 显 的 提 高, 双 机 配 置 时 的 响 应 速 度 在 不 同 数 目 的 线 程 测 试 下 跟 单 服 务 器 的 相 比, 几 乎 提 高 了 一 倍 而 在 三 机 的 配 置 下, 响 应 的 时 间 继 续 减 少, 但 减 少 的 幅 度 没 有 从 单 机 到 双 机 的 快, 这 是 因 为 结 点 越 多, 集 群 用 于 协 调 各 个 结 点 的 开 销 也 相 应 地 增 加 7 结 语 本 文 提 出 了 一 种 基 于 主 动 TCP 连 接 复 制 的 高 性 能 高 可 用 MySQL 数 据 库 集 群 方 案 该 方 案 通 过 连 接 管 理 消 息 排 序 应 答 控 制 和 UDP 多 播 隧 道 等 技 术 共 同 实 现 了 主 动 TCP 连 接 的 复 制, 并 联 合 心 跳 监 测 IP 抢 占 共 同 实 现 了 TCP 连 接 的 容 错 并 且 将 主 动 TCP 连 接 复 制 的 技 术 应 用 到 MySQL 数 据 库 集 群 中, 从 而 实 现 了 数 据 库 集 群 整 体 的 高 可 用 性 和 高 性 能 经 过 原 型 系 统 测 试, 说 明 该 方 案 在 复 制 过 程 中 对 数 据 库 写 操 作 造 成 了 比 较 小 的 性 能 损 耗 的 同 时 极 大 地 提 高 了 数 据 库 集 群 的 只 读 查 询 性 能, 从 而 更 加 贴 近 实 际 的 数 据 库 应 用 需 求 参 考 文 献 [1] A. Bestavros, M. Crovella, J. Liu, D. Martin. Distributed Packet Rewriting and its Application to Scalable Server Architectures. In Proc. of the Sixth International Conference on Network Protocols (ICNP), pp [2] Y. Huang and P. K. McKinley, Group leader election under link-state routing, Proceedings of the IEEE Internation Conference on Network Protocols, Atlanta, Georgia, October [3] M. Marwah, S. Mishra, C. Fezer. TCP Server Fault Tolerance Using Connection Migration to a Backup Server. In Proc. DSN, [4] [5] R. van Renesse, K. Birman, and S. Maffeis. A framework for protocol composition in Horus. Communications of the ACM, 39(4):76-83, April 1996.

13 [6] A. Robertson, Linux-HA Heartbeat System Design, In Proceedings of 2000 ALS conference. [7] Z. Shao, H. Jin, HARTS: High Availability Cluster Architecture with Redundant TCP Stacks. In Proceedings of the International Performance Computing and Communication Conference(IPCCC), [8] G. Shenoy, S. Satapati, and R. Bettati. HYDRANET-FT: Network support for dependable services. In Proceedings of the 20th IEEE International Conference on Distributed Computing Systems, Taipei, Taiwan, April [9] Q. O. Snell, A. Mikler, and J. L. Gustafson, Netpipe: A Network Protocol Independent Performace Evaluator, Proceedings of IASTED International Conference on Intelligent Information Management and Systems, June [10] F. Sultan, K. Srinivasan, et. al, Migratory TCP: Connection migration for service continuity over the internet. In Proceedings of the 22th IEEE International Conference on Distributed Computing Systems, Vienna, Austria, July 2002.