Microsoft Word - kangqiang.doc

Transcription

1 TPC-C 基 准 测 试 系 统 的 设 计 与 实 现 学 院 软 件 学 院 专 业 软 件 工 程 年 级 2004 级 姓 名 康 强 指 导 教 师 张 坤 龙 2008 年 6 月 15 日

2 摘 要 随 着 数 据 库 管 理 系 统 的 高 速 发 展, 其 技 术 日 趋 成 熟, 产 业 规 模 也 已 十 分 庞 大 而 在 国 内, 也 对 数 据 库 的 发 展 给 予 了 高 度 的 重 视 在 这 种 情 况 下, 无 论 是 开 发 数 据 库, 还 是 选 择 采 购 数 据 库, 都 需 要 有 一 个 参 考 来 衡 量 各 个 DBMS 的 性 能 所 以, 对 DBMS 的 系 统 性 能 测 试 是 十 分 必 要 的, 同 时 也 具 有 重 大 的 意 义 本 论 文 选 择 了 由 TPC 组 织 提 出 一 个 针 对 OLTP 应 用 环 境 的 基 准 :TPC-C 基 准 通 过 对 TPC-C 测 试 模 型 的 详 细 分 析, 以 及 对 其 TPC-C 规 范 内 容 的 深 入 了 解, 得 出 TPC-C 基 准 测 试 的 基 本 方 法 和 流 程 在 此 基 础 上 对 TPC-C 基 准 测 试 系 统 TpccTesting 进 行 设 计, 重 点 阐 述 了 基 本 TPC-C 模 型 的 设 计 思 路 实 现 方 法 以 及 TpccTesting 测 试 程 序 的 体 系 结 构 然 后 使 用 C# 语 言 实 现 了 基 于 TPC-C 测 试 模 型 的 测 试 工 具 TpccTesting 在 整 个 过 程 中, 主 要 工 作 如 下 : 1. 介 绍 DBMS 的 相 关 内 容, 然 后 阐 述 了 系 统 性 能 测 试 的 内 容 和 方 法, 从 而 引 出 论 文 的 选 题 背 景 和 意 义 2. 重 点 的 学 习 了 TPC-C 基 准 性 能 测 试 的 规 范, 对 TPC-C 的 测 试 模 型 进 行 了 详 细 的 分 析, 从 中 得 出 TPC-C 测 试 的 基 本 方 法 和 流 程, 并 依 此 进 行 设 计 3. 对 系 统 进 行 设 计 实 现 时, 详 细 说 明 事 务 的 一 些 细 节, 重 点 解 决 了 3 个 TPC-C 模 型 的 关 键 点 : 数 据 库 连 接 池 管 理, 维 护 连 接 资 源 ;OLTP 应 用 环 境 的 模 拟 ; 多 用 户 并 发 访 问 的 模 拟 关 键 字 :TPC-C;C#;OLTP;TpccTesting

3 ABSTRACT With the rapid development of the database management system, its technology become more mature, and the industrial scale has been huge. In China, the development of the database also gave high attention. In this case, both the development of the database and choose the procurement database need to have a reference to measure the performance of various DBMS. Therefore, the DBMS system performance testing is necessary, at the same time also of great significance. This paper selected TPC-C benchmark which supported by the TPC organizations OLTP application for an environmental baseline. Through the detailed analysis for the TPC-C test model of TPC-C and its norms in-depth understanding of the content, that TPC-C benchmark tests the basic methods and processes. Base on these, the TPC-C benchmark TpccTesting system is designed, focusing on the basic TPC-C model of the design, implementation method and test procedures TpccTesting architecture. Then use the C # language based on the TPC-C test model of the test tools TpccTesting. Throughout the process, the main work is as follows: 1. Introduce the content of the DBMS, and then we show content and methods for the performance testing of the system. Among these topics we leads to the background and significance. 2. Focusing on the study of the TPC-C benchmark norm. the TPC-C test model carried out a detailed analysis, drawn from the TPC-C test the basic methods and processes, and so on the design 3. For the system design and implementation, detailed descript the details of the services, focused on solving the three key points of the TPC-C model: the database connection pool management, maintenance of connecting resources; OLTP application environment simulation, multi-user access with the simulated Key words: TPC-C;C#;OLTP;TpccTesting

4 目 录 第 一 章 绪 论 数 据 库 管 理 系 统 主 流 数 据 库 管 理 系 统 发 展 现 状 我 国 数 据 库 管 理 系 统 发 展 现 状 系 统 性 能 测 试 性 能 测 试 的 概 念 数 据 库 系 统 测 试 体 系 论 文 的 组 织 结 构...4 第 二 章 TPC-C 基 准 测 试 规 范 TPC 及 其 制 定 的 性 能 测 试 规 范 TPC-C 性 能 测 试 基 准 规 范 概 要 测 试 模 型 五 种 事 务 说 明 测 试 指 标 测 试 工 具 方 法 以 及 结 果...10 第 三 章 TpccTesting 的 设 计 数 据 库 设 计 体 系 结 构 设 计 模 块 设 计

5 3.2.1 模 块 划 分 数 据 库 连 接 池 管 理 用 户 事 务 管 理 测 试 过 程 的 监 控 和 统 计...19 第 四 章 TpccTesting 的 实 现 测 试 系 统 的 实 现 测 试 系 统 的 执 行 流 程 测 试 系 统 的 用 户 界 面 测 试 数 据 的 加 载 事 务 处 理 细 节 实 现 中 的 关 键 技 术 数 据 库 连 接 管 理 多 用 户 并 发 访 问 模 拟 OLTP 应 用 环 境 模 拟...31 第 五 章 总 结 和 展 望 总 结 展 望...35 参 考 资 料 外 文 资 料 中 文 译 文 致 谢 2

6 第 一 章 绪 论 1.1 数 据 库 管 理 系 统 数 据 库 管 理 系 统 (database management system) 是 一 种 操 纵 和 管 理 数 据 库 的 大 型 软 件, 是 用 于 建 立 使 用 和 维 护 数 据 库, 简 称 DBMS 它 对 数 据 库 进 行 统 一 的 管 理 和 控 制, 以 保 证 数 据 库 的 安 全 性 和 完 整 性 用 户 通 过 DBMS 访 问 数 据 库 中 的 数 据, 数 据 库 管 理 员 也 通 过 DBMS 进 行 数 据 库 的 维 护 工 作 它 提 供 多 种 功 能, 可 使 多 个 应 用 程 序 和 用 户 用 不 同 的 方 法 在 同 时 或 不 同 时 刻 去 建 立, 修 改 和 询 问 数 据 库 它 使 用 户 能 方 便 地 定 义 和 操 纵 数 据, 维 护 数 据 的 安 全 性 和 完 整 性, 以 及 进 行 多 用 户 下 的 并 发 控 制 和 恢 复 数 据 库 按 功 能 划 分, 数 据 库 管 理 系 统 大 致 可 分 为 6 个 部 分 : (1) 模 式 翻 译 : 提 供 数 据 定 义 语 言 (DDL) 用 它 书 写 的 数 据 库 模 式 被 翻 译 为 内 部 表 示 数 据 库 的 逻 辑 结 构 完 整 性 约 束 和 物 理 储 存 结 构 保 存 在 内 部 的 数 据 字 典 中 数 据 库 的 各 种 数 据 操 作 ( 如 查 找 修 改 插 入 和 删 除 等 ) 和 数 据 库 的 维 护 管 理 都 是 以 数 据 库 模 式 为 依 据 的 (2) 应 用 程 序 的 编 译 : 把 包 含 着 访 问 数 据 库 语 句 的 应 用 程 序, 编 译 成 在 DBMS 支 持 下 可 运 行 的 目 标 程 序 (3) 交 互 式 查 询 : 提 供 易 使 用 的 交 互 式 查 询 语 言, 如 SQL DBMS 负 责 执 行 查 询 命 令, 并 将 查 询 结 果 显 示 在 屏 幕 上 (4) 数 据 的 组 织 与 存 取 : 提 供 数 据 在 外 围 储 存 设 备 上 的 物 理 组 织 与 存 取 方 法 (5) 事 务 运 行 管 理 : 提 供 事 务 运 行 管 理 及 运 行 日 志, 事 务 运 行 的 安 全 性 监 控 和 数 据 完 整 性 检 查, 事 务 的 并 发 控 制 及 系 统 恢 复 等 功 能 (6) 数 据 库 的 维 护 : 为 数 据 库 管 理 员 提 供 软 件 支 持, 包 括 数 据 安 全 控 制 完 整 性 保 障 数 据 库 备 份 数 据 库 重 组 以 及 性 能 监 控 等 维 护 工 具 基 于 关 系 模 型 的 数 据 库 管 理 系 统 已 日 臻 完 善, 并 已 作 为 商 品 化 软 件 广 泛 应 用 于 各 行 各 业 它 在 各 户 服 务 器 结 构 的 分 布 式 多 用 户 环 境 中 的 应 用, 使 数 据 库 系 统 的 应 用 进 一 步 扩 展 随 着 新 型 数 据 模 型 及 数 据 管 理 的 实 现 技 术 的 推 进, 可 以 预 期 DBMS 软 件 的 性 能 还 将 更 新 和 完 善, 应 用 领 域 也 将 进 一 步 地 拓 宽 数 据 库 管 理 系 统 是 随 数 据 库 系 统 发 展 而 发 展 的 自 数 据 管 理 进 入 数 据 库 管 理 系 统 后, 上 世 纪 六 七 十 年 代, 先 后 发 展 了 产 生 了 层 次 数 据 库 系 统 网 状 数 据 库 系 统 和 关 系 数 据 库 系 统 这 三 个 系 统 都 是 建 立 在 相 应 的 数 据 库 模 型 理 论 上 的, 数 据 模 型 是 一 种 限 制 世 界 数 据 特 性 的 抽 象, 分 别 在 现 实 世 界 信 息 世 界 和 机 器 世 界 表 达 描 述, 分 别 以 数 据 信 息 或 记 录 等 表 示 的 数 据 模 型 主 要 是 数 据 结 构 1

7 数 据 操 作 和 数 据 约 束 等 随 着 面 向 对 象 概 念 的 产 生 以 及 发 展 进 而 出 现 了 面 向 对 象 数 据 库 目 前 市 场 技 术 上 占 主 流 的 数 据 库 系 统 是 关 系 数 据 库, 其 产 品 种 类 多 门 类 齐 参 与 开 发 的 公 司 多, 并 且 应 用 十 分 广 泛 主 流 数 据 库 管 理 系 统 发 展 现 状 数 据 库 管 理 系 统 经 历 了 30 多 年 的 发 展 演 变, 已 经 取 得 了 辉 煌 的 成 就, 发 展 成 了 一 门 内 容 丰 富 的 学 科, 形 成 了 总 量 达 数 百 亿 美 元 的 一 个 软 件 产 业, 并 且 已 经 发 展 成 为 一 个 规 模 巨 大 增 长 迅 速 的 市 场 目 前, 市 场 上 具 有 代 表 性 的 数 据 库 产 品 包 括 Oracle 公 司 的 Oracle IBM 公 司 的 DB2 以 及 微 软 的 SQL Server 等 在 一 定 意 义 上, 这 些 产 品 的 特 征 反 映 了 当 前 数 据 库 产 业 界 的 最 高 水 平 和 发 展 趋 势 因 此, 分 析 这 些 主 流 产 品 的 发 展 现 状, 是 我 们 了 解 数 据 库 技 术 发 展 的 一 个 重 要 方 面 : 关 系 数 据 库 技 术 仍 然 是 主 流 产 品 形 成 系 列 化 支 持 各 种 互 联 网 应 用 向 智 能 化 集 成 化 方 向 扩 展 我 国 数 据 库 管 理 系 统 发 展 现 状 国 外 数 据 库 发 展 较 早, 并 且 经 历 了 十 几 年 的 技 术 拓 展 和 实 践 应 用, 已 经 变 的 十 分 成 熟, 其 生 产 的 数 据 库 也 作 为 主 流 数 据 库 产 品, 代 表 了 现 在 数 据 库 产 业 的 发 展 相 对 而 言, 国 内 数 据 库 起 步 晚, 市 场 拓 展 也 刚 刚 起 步 随 着 国 内 信 息 化 产 业 的 加 速 发 展, 数 据 量 越 来 越 大, 使 得 我 国 开 始 重 视 数 据 库 管 理 系 统 的 发 展, 并 将 其 作 为 国 家 信 息 基 础 建 设 设 施 的 重 要 组 成 部 分, 是 民 族 IT 产 业 以 及 软 件 产 业 发 展 的 支 撑 技 术 多 年 来 我 国 一 直 注 重 开 发 自 主 知 识 产 权 的 数 据 库 产 品, 并 取 得 了 长 足 的 进 步, 已 经 具 备 普 遍 应 用 所 需 的 基 本 数 据 库 管 理 功 能, 也 具 有 一 定 的 扩 展 性, 如 DM4 和 Kingbase ES 等 产 品, 已 得 到 了 很 好 应 用 但 相 比 国 外 的 主 流 数 据 库 仍 有 一 定 的 差 距 : 易 用 性 可 管 理 性 系 统 的 稳 定 性 执 行 效 率 等 方 面 还 有 很 大 不 足 并 且, 国 内 数 据 库 起 步 晚, 其 技 术 领 域 涉 及 面 比 较 窄, 从 中 国 的 数 据 库 市 场 来 看, 大 部 分 数 据 库 系 统 的 建 立 是 用 来 进 行 传 统 的 OLTP 业 务 也 有 一 些 企 业 建 立 了 数 据 仓 库 系 统, 但 真 正 发 挥 效 用 的 却 不 多 见 和 TCP/IP, SMTP, Java 等 相 比, 尚 不 存 在 可 靠 的 完 善 的 被 广 泛 接 受 的 数 据 仓 库 标 准, 影 响 了 数 据 仓 库 项 目 的 实 施 针 对 数 据 库 的 发 展 现 状, 国 内 对 数 据 库 产 业 的 重 视, 这 就 在 需 要 对 数 据 库 管 理 系 统 进 行 相 应 的 性 能 测 试, 以 次 来 为 我 们 发 展 数 据 库 选 择 数 据 库 和 采 购 数 据 库 提 供 参 考 2

8 1.2 系 统 性 能 测 试 性 能 测 试 的 概 念 由 于 在 发 展 数 据 库 产 业 的 过 程 中, 以 及 之 后 对 其 进 行 选 择 的 时 候, 我 们 需 要 衡 量 其 性 能, 为 此 进 行 软 件 系 统 的 性 能 测 试 性 能 测 试 是 通 过 自 动 化 的 测 试 工 具 模 拟 多 种 正 常 峰 值 以 及 异 常 负 载 条 件 来 对 系 统 的 各 项 性 能 指 标 进 行 测 试 负 载 测 试 和 压 力 测 试 都 属 于 性 能 测 试, 两 者 可 以 结 合 进 行 通 过 负 载 测 试, 确 定 在 各 种 工 作 负 载 下 系 统 的 性 能, 目 标 是 测 试 当 负 载 逐 渐 增 加 时, 系 统 各 项 性 能 指 标 的 变 化 情 况 压 力 测 试 是 通 过 确 定 一 个 系 统 的 瓶 颈 或 者 不 能 接 收 的 性 能 点, 来 获 得 系 统 能 提 供 的 最 大 服 务 级 别 的 测 试 性 能 测 试 在 软 件 的 质 量 保 证 中 起 着 重 要 的 作 用, 它 包 括 的 测 试 内 容 丰 富 多 样 中 国 软 件 评 测 中 心 将 性 能 测 试 概 括 为 三 个 方 面 : 应 用 在 客 户 端 性 能 的 测 试 应 用 在 网 络 上 性 能 的 测 试 和 应 用 在 服 务 器 端 性 能 的 测 试 : 1. 应 用 在 客 户 端 性 能 测 试 的 目 的 是 考 察 客 户 端 应 用 的 性 能, 测 试 的 入 口 是 客 户 端 它 主 要 包 括 并 发 性 能 测 试 疲 劳 强 度 测 试 大 数 据 量 测 试 和 速 度 测 试 等 其 中 并 发 性 能 测 试 是 重 点, 过 程 是 一 个 负 载 测 试 和 压 力 测 试 的 过 程, 即 逐 渐 增 加 负 载, 直 到 系 统 的 瓶 颈 或 者 不 能 接 收 的 性 能 点, 通 过 综 合 分 析 交 易 执 行 指 标 和 资 源 监 控 指 标 来 确 定 系 统 并 发 性 能 的 过 程 主 要 目 的 是 评 价 系 统 的 当 前 性 能 预 测 系 统 的 未 来 性 能 和 确 认 性 能 瓶 颈 并 优 化 和 调 整 应 用 2. 应 用 在 网 络 上 性 能 的 测 试 重 点 是 利 用 成 熟 先 进 的 自 动 化 技 术 进 行 网 络 应 用 性 能 监 控 网 络 应 用 性 能 分 析 和 网 络 预 测 网 络 应 用 性 能 分 析 的 目 的 是 准 确 展 示 网 络 带 宽 延 迟 负 载 和 TCP 端 口 的 变 化 是 如 何 影 响 用 户 的 响 应 时 间 的 网 络 应 用 性 能 监 控 的 目 的 是 了 解 系 统 在 网 络 上 的 运 行 情 况 访 问 量 大 小 和 系 统 性 能 等 网 络 预 测 则 是 考 虑 到 系 统 未 来 发 展 的 扩 展 性, 预 测 网 络 流 量 的 变 化 网 络 结 构 的 变 化 对 用 户 系 统 的 影 响 3. 应 用 在 服 务 器 上 性 能 的 测 试 目 的 则 是 实 现 服 务 器 设 备 服 务 器 操 作 系 统 数 据 库 系 统 应 用 在 服 务 器 上 性 能 的 全 面 监 控 而 进 行 性 能 测 试 的 目 的 是 验 证 软 件 系 统 是 否 能 够 达 到 用 户 提 出 的 性 能 指 标, 同 时 发 现 软 件 系 统 中 存 在 的 性 能 瓶 颈, 优 化 软 件, 最 后 起 到 优 化 系 统 的 目 的 其 目 的 包 括 : 评 估 系 统 能 力 识 别 体 系 中 的 弱 点 系 统 调 优 以 及 验 证 稳 定 性 和 可 靠 性 对 于 性 能 测 试 的 方 法, 取 决 于 想 要 达 到 的 结 果 一 般 包 括 : 基 准 测 试 性 能 规 划 测 试 渗 入 测 试 和 峰 谷 测 试 等 在 这 里 面 基 准 测 试 较 为 常 见, 其 最 好 的 方 法 是 : 每 次 测 试 改 变 一 个 且 只 改 变 一 个 参 数, 然 后 通 过 测 试 在 一 个 3

9 相 对 短 时 间 内 获 得 一 致 的 可 再 现 的 结 果 可 再 现 的 结 果 有 两 个 好 处 : 减 少 重 新 运 行 测 试 的 次 数 ; 对 测 试 的 产 品 和 产 生 的 数 字 更 为 确 信 这 样 在 分 析 测 试 结 果 时 我 们 就 有 迹 可 循, 同 时 也 降 低 成 本, 提 高 了 可 靠 度 数 据 库 系 统 测 试 体 系 由 于 现 在 数 据 库 管 理 系 统 的 广 泛 应 用 和 高 速 发 展, 市 场 出 现 了 很 多 数 据 库 产 品, 并 且 随 着 这 些 产 品 的 不 断 成 熟, 不 仅 是 厂 商 在 开 发 升 级 数 据 库 管 理 系 统 十, 还 是 我 们 在 选 择 适 用 的 数 据 库 管 理 系 统 时, 都 需 要 系 统 性 能 测 试 的 结 果 作 为 依 据 从 2002 年 开 始, 中 国 软 件 评 测 中 心 与 清 华 大 学 软 件 学 院 共 同 承 担 了 国 家 863 计 划 数 据 库 管 理 系 统 测 试 及 其 工 具 研 发 课 题, 深 入 地 研 究 了 国 内 外 软 件 测 试 技 术 的 最 新 前 沿, 针 对 我 国 数 据 库 管 理 系 统 的 发 展 现 状 进 行 了 深 入 的 调 查 研 究, 恰 当 地 选 择 相 关 的 国 际 标 准, 通 过 详 细 地 各 项 研 究, 形 成 了 一 套 相 对 完 整 的 数 据 库 管 理 系 统 评 测 体 系 该 体 系 参 照 了 数 据 库 相 关 国 际 标 准 和 有 关 软 件 系 统 测 试 规 范, 配 合 国 产 数 据 库 管 理 系 统 的 开 发 进 程, 将 数 据 库 管 理 系 统 测 试 分 成 四 个 方 面 : 产 品 确 认 测 试 标 准 符 合 性 测 试 基 准 性 能 测 试 和 应 用 综 合 测 试 具 体 包 括 : 产 品 确 认 测 试 标 准 符 合 性 测 试 三 个 标 准 :SQL 标 准 符 合 性 测 试 ODBC 标 准 符 合 性 测 试 和 JDBC 标 准 符 合 性 测 试 基 准 测 试 2 个 标 准 :TPC-C 测 试 和 TPC-W 测 试 1.3 论 文 的 组 织 结 构 在 国 家 软 件 评 测 中 心 提 出 的 数 据 库 管 理 系 统 测 试 的 四 个 方 面 中, 选 择 了 TPC-C 基 准 作 为 国 家 对 DBMS 测 试 的 重 要 基 准 之 一 而 根 据 我 国 数 据 库 系 统 主 要 是 用 来 进 行 传 统 的 OLTP 业 务 的 状 况, 选 择 专 门 为 OLTP 应 用 环 境 提 出 的 TPC-C 基 准 进 行 分 析, 并 设 计 实 现 TPC-C 测 试 系 统, 这 是 十 分 必 要 的 对 以 后 了 解 数 据 库 的 发 展 趋 势 以 及 国 内 数 据 库 的 发 展 都 有 重 大 意 义 本 文 主 要 内 容 是 对 设 计 和 实 现 一 个 TPC-C 基 准 测 试 系 统 TpccTesting 为 此, 我 们 将 完 成 以 下 工 作 : 第 2 章 对 TPC-C 基 准 进 行 阐 述 和 分 析 第 3 章 基 于 TPC-C 基 准 的 分 析, 对 TpccTesting 进 行 设 计 第 4 章 则 是 介 绍 在 实 现 过 程 中 的 细 节 和 3 个 解 决 TPC-C 模 型 的 关 键 : 数 据 库 连 接 池 管 理, 多 用 户 并 发 访 问 的 模 拟,OLTP 应 用 环 境 的 模 拟 4

10 第 二 章 TPC-C 基 准 测 试 规 范 2.1 TPC 及 其 制 定 的 性 能 测 试 规 范 就 数 据 库 测 试 而 言, 国 际 上 TPC- 组 织 提 出 的 性 能 测 试 标 准 和 规 范 是 大 家 最 为 熟 悉 的 数 据 库 测 试 规 范 TPC 是 事 务 处 理 委 员 会 (Transaction Processing Council) 的 缩 写, 该 组 织 最 早 成 立 于 1988 年, 是 由 一 些 在 计 算 机 领 域 提 供 软 硬 件 系 统 或 者 相 关 解 决 方 案 的 厂 家 组 成, 总 部 设 在 美 国 该 组 织 对 全 世 界 开 放, 但 迄 今 为 止, 决 大 多 数 会 员 都 是 美 日 西 欧 的 大 公 司, 比 如 :IBM NCR HP Oracle Microsoft 等 它 的 职 责 是 制 定 商 务 应 用 基 准 程 序 (Benchmark) 的 标 准 规 范 性 能 和 价 格 度 量, 并 依 据 这 些 基 准 测 试 项 目 发 布 客 观 性 能 数 据 TPC 是 一 家 非 盈 利 公 司, 主 要 致 力 于 定 义 事 务 处 理 和 数 据 库 基 准 测 试, 并 为 行 业 提 供 客 观 可 验 证 的 TPC 性 能 数 据 事 务 处 理 一 词 经 常 用 于 描 述 很 多 业 务 和 计 算 机 功 能 [11] 从 计 算 机 功 能 的 角 度 看, 事 务 处 理 指 的 是 一 系 列 操 作 或 运 行, 包 括 磁 盘 读 / 写 操 作 系 统 调 用 或 某 种 形 式 的 从 一 个 子 系 统 到 另 一 个 子 系 统 的 数 据 传 输 其 目 的 则 主 要 是 为 了 针 对 特 定 的 领 域, 如 联 机 交 易 处 理 系 统 (On Line Transaction Processing, OLTP) 数 据 仓 库 或 决 策 支 持 系 统 (Decision Support System, DSS) 电 子 商 务 解 决 方 案 等, 制 定 相 应 的 性 能 测 试 规 范, 从 而 为 用 户 在 选 择 相 应 解 决 方 案 的 平 台 时 提 供 参 考 标 准 TPC 系 列 基 准 测 试 可 用 于 评 估 多 种 应 用 的 性 能, 例 如 借 记 / 贷 记 交 易 部 件 批 发 供 应 商 应 用 销 售 趋 势 和 金 融 分 析 ( 特 殊 业 务 分 析 ) [6] TPC 按 照 商 业 世 界 的 公 共 理 解 将 事 务 处 理 定 义 为 商 品 服 务 或 资 金 的 商 业 交 换 根 据 TPC 的 定 义, 一 个 典 型 的 事 务 处 理 将 包 括 对 数 据 库 进 行 更 新, 以 支 持 存 货 控 制 ( 商 品 ) 航 班 预 订 ( 服 务 ) 或 银 行 ( 资 金 ) 这 样 的 功 能 在 这 些 环 境 中, 客 户 或 服 务 代 表 通 过 连 接 到 一 个 数 据 库 的 终 端 或 桌 面 计 算 机 输 入 和 管 理 自 己 的 事 务 处 理 在 典 型 情 况 下,TPC 基 准 测 试 的 内 容 包 括 对 事 务 处 理 (TP) 和 数 据 库 性 能 进 行 评 估, 计 算 在 每 一 时 间 单 位 中 某 一 给 定 系 统 或 数 据 库 能 够 完 成 多 少 次 事 务 处 理 ( 例 如 每 秒 钟 完 成 的 事 务 处 理 数 量 或 每 分 钟 完 成 的 事 务 处 理 数 量 ) TPC 组 织 制 定 的 数 据 库 测 试 规 范 包 括 TPC-A TPC-B TPC-C TPC-D TPC-E TPC-H/TPC-R 和 TPC-W 等, 其 中 主 要 应 用 的 是 TPC-C TPC-H/TPC-R 和 TPC-W, 而 TPC-W 已 停 止 使 用, 而 TPC-C 也 被 TPC-E 所 代 替, 相 关 比 较 如 表 2-1: 5

11 表 2-1 TPC-C TPC-H 和 TPC-W 比 较 TPC-C TPC-H TPC-W 类 型 联 机 事 务 处 理 OLTP 联 机 分 析 处 理 OLAP 电 子 商 务 应 用 模 拟 环 境 批 发 商 销 售 货 物 零 售 商 市 场 分 析 网 上 订 购 书 籍 事 务 类 型 三 个 更 新 事 务 : 订 购 付 款 发 货 两 个 查 询 事 务 : 订 单 查 询, 库 存 查 询 测 试 方 法 五 种 事 务 并 发 执 行 的 情 况 下, 测 试 出 所 产 生 的 新 订 单 的 数 量 二 十 二 个 复 杂 查 询 事 务 和 两 个 更 新 事 务 查 询 与 更 新 事 务 并 发 时 处 理 的 复 杂 查 询 数 量 十 三 种 示 同 类 型 的 网 络 交 互 事 务, 包 括 订 单 输 入 查 询 等 多 种 事 务 井 发 时 测 试 web 交 互 次 数 量 度 单 位 TpmC: 每 分 钟 发 生 的 订 QphH/R@Size: 当 数 据 WIPS: 每 秒 钟 产 生 的 购 事 务 库 大 小 为 Size 时 每 小 时 web 交 互 次 数 $/tpmc: 每 个 订 购 的 代 处 理 的 查 询 数 $/WIPs: 每 个 Web 交 互 价 $/QphH/R@Size : 每 个 的 代 价 查 询 的 代 价 TPC 并 不 给 出 基 准 程 序 的 代 码, 而 只 给 出 基 准 程 序 的 标 准 规 范, 测 试 者 需 要 严 格 根 据 标 准 其 规 范 的 内 容 来 完 成 测 试 工 具 代 码 的 编 写 2.2 TPC-C 性 能 测 试 基 准 本 论 文 的 重 点 是 研 究 TPC-C 性 能 测 试 基 准 的 测 试 模 型, 分 析 测 试 规 范, 然 后 完 成 对 数 据 库 的 测 试 系 统 的 设 计 与 实 现 本 节 将 阐 述 TPC-C 基 准 的 主 要 内 容 规 范 概 要 TPC-C 测 试 规 范 是 在 1992 年 7 月 发 布 的, 它 是 专 门 针 对 联 机 交 易 处 理 系 统 (OLTP) 工 作 量 的 一 个 衡 量 标 准,OLTP 是 一 种 读 操 作 和 更 新 事 务 操 作 剧 烈 交 互 执 行 的 处 理, 也 被 称 为 业 务 处 理 系 统 TPC-C 模 拟 了 被 复 杂 的 联 机 事 务 处 理 应 用 环 境 创 建 的 活 动, 它 是 通 过 把 很 多 的 系 统 组 成 部 件 和 特 定 环 境 相 关 联 来 实 现 的, 这 种 特 定 环 境 的 表 现 是 : 6

12 多 种 事 务 处 理 并 发 执 行, 充 分 体 现 了 事 务 处 理 的 复 杂 性 ; 在 线 与 离 线 的 事 务 执 行 模 式 ; 多 个 在 线 会 话 终 端 ; 始 终 的 系 统 运 行 时 间 和 应 用 程 序 运 行 时 间 ; 大 量 的 磁 盘 I/O 数 据 流 ; 强 调 事 务 的 完 整 性 要 求 ( 即 ACID 特 性 ); 对 于 非 一 致 的 数 据 分 布, 使 用 主 键 和 从 键 进 行 访 问 ; 数 据 库 有 许 多 大 小 不 一 属 性 多 样, 而 又 相 关 联 的 数 据 表 组 成 ; 存 放 在 脚 多 数 据 访 问 和 更 新 之 件 的 资 源 争 夺 为 此,TPC-C 测 试 规 范 中 模 拟 了 一 个 比 较 复 杂, 并 且 具 有 代 表 意 义 的 OLTP 应 用 环 境, 来 对 数 据 库 管 理 系 统 的 联 机 事 务 处 理 性 能 进 行 测 试 测 试 模 型 TPC-C 测 试 规 范 中 模 拟 了 一 个 比 较 复 杂 并 具 有 代 表 意 义 的 OLTP 应 用 环 境 : 假 设 有 一 个 大 型 商 品 批 发 商, 它 拥 有 若 干 个 分 布 在 不 同 区 域 的 商 品 库 ; 每 个 仓 库 负 责 为 10 个 销 售 点 供 货 ; 每 个 销 售 点 为 3000 个 客 户 提 供 服 务 ; 平 均 每 个 客 户 的 一 个 订 单 有 10 项 产 品 ; 所 有 订 单 中 约 1% 的 产 品 在 其 直 接 所 属 的 仓 库 中 没 有 存 货, 需 要 由 其 他 区 域 的 仓 库 来 供 货 TPC-C 的 事 务 处 理 在 一 个 以 9 张 表 为 基 础 的 数 据 库 上 实 现 处 理 过 程, 执 行 的 事 务 包 括 : 更 新 插 入 删 除 终 止, 以 及 对 主 键 和 外 键 的 访 问 对 于 前 四 类 交 易 事 务, 要 求 90% 的 事 务 执 行 的 响 应 时 间 应 在 5 秒 以 内 ; 对 于 库 存 水 平 查 询 交 易, 则 要 求 响 应 时 间 在 20 秒 以 内 同 时, 测 试 过 程 中 还 要 求 被 测 试 系 统 保 证 数 据 库 事 务 的 ACID 特 性 数 据 库 逻 辑 结 构 以 及 表 数 据 量 关 系 如 图 2-1 和 表 2-2: Company Warehouse-1 Warehouse-W District-1 District-2 District k 30k 图 2-1 Customers 数 据 库 逻 辑 结 构 图 7

13 表 张 表 的 数 据 量 及 对 应 关 系 Table Name Cardinality (in rows) Typical Row Length(in bytes) Typical Table Size(in 1,000bytes) WAREHOUSE DISTRICT CUSTOMER 30k ,650 HISTORY 30k 46 1,380 ORDER 30k NEW-ORDER 9k 8 72 ORDER-LINE 300k 54 16,200 STOCK 100k ,600 ITEM 100k 82 8, 五 种 事 务 说 明 TPC-C 测 试 包 括 5 个 典 型 的 OLTP 事 务, 它 们 是 New-Order( 新 订 单 事 务 ): 客 户 输 入 一 笔 新 的 订 货 交 易 ; Payment( 支 付 事 务 ): 更 新 客 户 账 户 余 额 以 反 映 其 支 付 状 况 ; Delivery( 发 货 事 务 ): 发 货 ( 模 拟 批 处 理 交 易 ); Order-Status( 订 单 状 态 查 询 事 务 ): 查 询 客 户 最 近 交 易 的 状 态 Stock-Level( 库 存 水 平 查 询 事 务 ): 查 询 仓 库 库 存 状 况, 及 时 补 货 有 关 事 务 的 具 体 描 述 如 下 : 新 订 单 : 其 主 要 事 务 内 容 为 对 与 任 意 一 个 客 户 端, 从 固 定 的 仓 库 中 随 即 选 取 5-15 件 商 品, 创 建 新 订 单 其 中 1% 的 订 单, 要 由 于 假 想 的 用 户 操 作 失 败 而 回 滚 该 事 务 的 主 要 特 点 为 读 写 频 繁 要 求 响 应 快, 是 系 统 中 最 典 型 的 操 作, 也 是 系 统 处 理 中 的 主 要 工 作 量, 最 终 也 是 以 数 据 库 系 统 每 分 钟 能 够 处 理 的 新 订 单 数 来 对 数 据 库 系 统 的 性 能 进 行 评 价 支 付 操 作 : 其 主 要 事 务 内 容 是 对 于 任 意 一 个 客 户 端, 从 固 定 的 仓 库 中 随 即 选 取 一 个 辖 区 及 其 内 的 用 户, 采 用 随 机 的 金 额 支 付 一 笔 订 单, 并 且 同 时 将 该 订 单 记 录 为 相 应 历 史 订 单 该 事 务 的 主 要 特 点 为 10 个 批 量 读 写 较 少 较 宽 松 的 响 应 时 间 订 单 状 态 查 询 : 其 主 要 事 务 内 容 为 对 于 任 意 一 个 客 户 端, 从 固 定 的 仓 库 中 随 机 选 取 辖 区 及 其 内 的 用 户, 读 取 该 用 户 的 最 后 一 条 订 单, 显 示 8

14 订 单 内 每 件 商 品 的 状 态 该 事 务 的 主 要 特 点 为 只 读 较 少 要 求 响 应 快 发 货 : 其 主 要 事 务 内 容 是 对 于 任 意 一 个 客 户 端, 随 机 选 取 一 个 发 货 包, 更 新 被 处 理 订 单 的 用 户 账 户 余 额, 并 把 修 改 后 的 订 单 从 新 订 单 中 删 除 该 事 务 的 主 要 特 点 为 读 写 频 繁 响 应 快 库 存 状 态 查 询 : 其 主 要 事 务 内 容 是 对 仪 任 意 一 个 客 户 端, 从 固 定 的 仓 库 和 辖 区 选 取 最 后 的 20 条 订 单, 检 查 订 单 中 所 有 货 物 的 库 存 计 算 并 显 示 所 有 库 存 低 与 随 机 生 成 的 商 品 数 量 该 事 务 的 主 要 特 点 为 只 读 较 少 较 为 宽 松 的 响 应 时 间 对 于 以 上 这 5 种 类 型 的 事 务 交 易, 前 4 种 类 型 的 交 易 要 求 响 应 时 间 在 5 秒 以 内 ; 对 于 库 存 状 态 查 询 交 易, 要 求 响 应 时 间 在 20 秒 以 内 这 5 种 交 易 最 终 的 状 态 查 询 的 比 例 分 别 不 得 少 于 4%,5 种 事 务 所 要 满 足 的 时 间 比 例 以 及 隔 离 级 别 如 表 2-3: 表 2-3 事 务 比 例 事 务 类 型 事 务 最 小 百 分 比 最 小 键 盘 输 入 时 间 ( 秒 ) 90% 事 务 响 应 时 间 要 求 ( 秒 ) 最 小 平 均 思 考 时 间 分 布 ( 秒 ) 新 订 单 n/a 支 付 订 单 状 态 查 询 发 货 库 存 状 态 查 询 测 试 指 标 TPC-C 测 试 的 结 果 主 要 有 两 个 指 标 即 流 量 指 标 (Throughput, 简 称 tpmc) 和 性 价 比 (Price/Performance, 简 称 Price/tpmC): 流 量 指 标 (Throughput)tpmC. 按 照 TPC 组 织 的 定 义, 流 量 指 标 描 述 了 系 统 在 执 行 支 付 操 作 订 单 状 态 更 新 发 货 和 库 存 状 态 查 询 这 4 种 交 易 的 同 时, 每 分 钟 可 以 处 理 多 少 个 新 订 单 交 易 所 有 交 易 的 响 应 时 间 必 须 满 足 TPC-C 测 试 规 范 的 要 求, 并 且 各 种 交 易 数 量 所 占 的 比 例 也 应 该 满 足 TPC-C 测 试 规 范 的 要 求 在 这 种 情 况 下, 流 量 指 标 值 越 大 说 明 系 统 的 联 机 处 理 能 力 越 高 目 前 TPC 组 织 发 布 的 最 高 tpmc 值 可 以 达 到 1,000,000 以 上 ( 通 常 由 IBM HP 等 主 要 硬 件 厂 商 发 布, 大 都 采 用 昂 贵 的 集 群 服 务 器 高 速 的 磁 盘 阵 列 设 备, 并 配 合 快 速 的 事 务 / 消 息 中 间 9

15 件 系 统 ), 即 每 分 钟 处 理 超 过 一 百 万 个 NewOrder 事 务 性 价 比 (Price/Performance, 简 称 Price/tpmC): 即 测 试 系 统 的 价 格 与 流 量 指 标 的 比 值 价 格 指 的 是 系 统 的 总 价 格, 单 位 是 美 元, 而 价 格 性 能 比 为 总 价 格 / 性 能, 单 位 是 $/tpmc 显 然 性 价 比 最 小 越 说 明 该 测 试 系 统 的 市 场 竞 争 力 越 强 目 前 TPC 组 发 布 的 最 高 tpmc 的 系 统, 其 性 价 比 一 般 为 5-6US$/tpmC, 而 最 好 的 性 价 比 为 US$/tpmC, 其 tpmc 一 般 为 100, ,000tpmC 由 此 可 见, 这 个 指 标 的 大 小 主 要 考 察 的 是 应 用 系 统 的 商 业 价 值, 将 更 多 的 注 意 力 集 中 于 被 测 试 系 统 的 软 硬 件 综 合 价 格 的 合 理 配 置 测 试 工 具 方 法 以 及 结 果 按 照 TPC-C 测 试 规 范 要 求, 测 试 工 具 和 模 型 可 以 由 厂 商 自 行 实 现 在 本 文 中, 我 们 按 照 TPC-C 标 准 规 范 自 行 开 发 了 测 试 工 具 TpccTesting 常 规 情 况 下, 一 个 实 现 了 基 本 TPC-C 测 试 模 型 的 测 试 程 序 应 该 具 有 如 下 体 系 结 构 : 即 客 户 端 模 拟 大 量 并 发 用 户, 由 一 个 任 务 分 发 进 程 对 用 户 的 任 务 进 行 管 理, 按 照 某 种 方 法, 发 送 到 DBMS 执 行, 同 时 统 计 测 试 过 程 中 各 个 事 务 的 响 应 时 间 并 计 算 TPC-C 的 吞 吐 量 指 标 tpmc 而 TPC-C 的 测 试 结 果 按 照 TPC 组 织 的 规 定, 有 两 种 形 式 发 布 : 测 试 结 果 概 要 (Executive Summary) 和 详 细 测 试 报 告 (Full Disclosure Report) [6] 测 试 结 果 概 要 中 描 述 了 主 要 的 测 试 指 标 测 试 环 境 意 图 以 及 完 整 的 系 统 配 置 与 报 价, 而 详 细 测 试 报 告 中 除 了 包 含 上 述 内 容 外, 还 详 细 说 明 了 整 个 测 试 环 境 的 设 置 与 测 试 过 程 10

16 第 三 章 TpccTesting 的 设 计 3.1 数 据 库 设 计 从 TPC-C 基 准 规 范 的 测 试 模 型 的 描 述 中, 可 以 TPC-C 事 务 处 理 所 需 要 的 9 张 表 分 别 为 :Warehouse, District, Customer, History, Order, New-Order, Order-Line, Stock, Item 根 据 图 2-1 以 及 图 2-2 所 示 的 数 据 库 逻 辑 关 系 以 及 9 张 表 数 据 量 的 对 应 关 系, 我 们 可 以 得 到 这 9 张 表 的 实 体 联 系 图, 如 图 3-3 所 示 Warehouse 10 District W W*10 History 100k 3k W*30k+ 1+ Stock W*100k W 3+ New-Order W*9k+ 0-1 Customer W*30k 1+ Item Order-Line Order 100k W*300k W*30k+ 图 3-3 数 据 库 表 的 E-R 图 下 面 给 出 TPC-C 基 准 测 试 程 序 所 涉 及 的 表 的 详 细 设 计, 如 表 3-1 到 表 3-9 所 示, 表 中 深 色 填 充 的 为 主 键, 浅 色 为 外 键 : 1. 商 品 仓 库 表 表 3-1 WAREHOUSE 属 性 名 属 性 定 义 描 述 W_ID 2*W 不 同 的 ID 建 立 W 个 仓 库 W_NAME variable text, size 10 W_STREET_1 variable text, size 20 W_STREET_2 variable text, size 20 W_CITY variable text, size 20 W_STATE fixed text, size 2 W_ZIP fixed text, size 9 W_TAX signed numeric(4,4) 销 售 税 W_YTD signed numeric(12,2) 进 行 数 据 平 衡 的 年 份 主 键 :W_ID 11

17 2. 销 售 地 区 表 表 3-2 DISTRICT 属 性 名 属 性 定 义 描 述 D_ID 20 不 同 的 ID 每 个 仓 库 对 应 10 个 地 区 D_W_ID 2*W 不 同 的 ID D_NAME variable text, size 10 D_STREET_1 variable text, size 20 D_STREET_2 variable text, size 20 D_CITY variable text, size 20 D_STATE fixed text, size 2 D_ZIP fixed text, size 9 D_TAX signed numeric(4,4) 销 售 税 D_YTD signed numeric(12,2) 进 行 数 据 平 衡 的 年 份 D_NEXT_O_ID 10,000,000 unique IDs 下 一 次 订 购 数 量 主 键 : (D_W_ID, D_ID) 外 键 :D_W_ID 对 应 W_ID 3. 消 费 者 表 表 3-3 CUSTOMER 属 性 名 属 性 定 义 描 述 C_ID 96,000 不 同 的 ID 每 个 地 区 供 应 3000 个 消 费 者 C_D_ID 20 不 同 的 ID C_W_ID 2*W 不 同 的 ID C_FIRST variable text, size 16 C_MIDDLE fixed text, size 2 C_LAST variable text, size 16 C_STREET_1 variable text, size 20 C_STREET_2 variable text, size 20 C_CITY variable text, size 20 C_STATE fixed text, size 2 C_ZIP fixed text, size 9 C_PHONE fixed text, size 16 C_SINCE date and time C_CREDIT fixed text, size 2 "GC"=good, "BC"=bad 12

18 C_CREDIT_LIM signed numeric(12, 2) C_DISCOUNT signed numeric(4, 4) C_BALANCE signed numeric(12, 2) C_YTD_PAYMENT signed numeric(12, 2) C_PAYMENT_CNT numeric(4) C_DELIVERY_CNT numeric(4) C_DATA variable text, size 500 杂 项 信 息 主 键 : (C_W_ID, C_D_ID, C_ID) 外 键 :C_W_ID 对 应 D_W_ID C_D_ID 对 应 D_ID 4. 历 史 记 录 表 表 3-4 HISTORY 属 性 名 属 性 定 义 描 述 H_C_ID 96,000 不 同 的 ID H_C_D_ID 20 不 同 的 ID H_C_W_ID 2*W 不 同 的 ID H_D_ID 20 不 同 的 ID H_W_ID 2*W 不 同 的 ID H_DATE date and time H_AMOUNT signed numeric(6, 2) H_DATA variable text, size 24 Miscellaneous information 主 键 : 无 外 键 :H_C_W_ID 对 应 C_W_ID H_C_D_ID 对 应 C_D_ID H_C_ID 对 应 C_ID H_W_ID 对 应 D_W_ID H_D_ID 对 应 D_ID 5. 新 定 单 表 表 3-5 NEW-ORDER 属 性 名 属 性 定 义 描 述 NO_O_ID NO_D_ID 10,000,000 不 同 的 ID 20 不 同 的 ID 13

19 NO_W_ID 2*W 不 同 的 ID 主 键 : (NO_W_ID, NO_D_ID, NO_O_ID) 外 键 :NO_W_ID 对 应 O_W_ID NO_D_ID 对 应 O_D_ID NO_O_ID 对 应 O_ID 6. 订 单 表 表 3-6 ORDER 属 性 名 属 性 定 义 描 述 O_ID 10,000,000 不 同 的 ID O_D_ID 20 不 同 的 ID O_W_ID 2*W 不 同 的 ID O_C_ID 96,000 不 同 的 ID O_ENTRY_D date and time O_CARRIER_ID 10 unique IDs, or null O_OL_CNT numeric(2) Count of Order-Lines O_ALL_LOCAL numeric(1) Primary Key: (O_W_ID, O_D_ID, O_ID) (O_W_ID, O_D_ID, O_C_ID) Foreign Key, references (C_W_ID, C_D_ID, C_ID) 7. 订 购 商 品 表 表 3-7 ORDER-LINE 属 性 名 属 性 定 义 描 述 OL_O_ID 10,000,000 不 同 的 ID OL_D_ID 20 不 同 的 ID OL_W_ID 2*W 不 同 的 ID OL_NUMBER 15 不 同 的 ID OL_I_ID 200,000 不 同 的 D OL_SUPPLY_W_ID 2*W 不 同 的 ID OL_DELIVERY_D date and time, or null OL_QUANTITY numeric(2) OL_AMOUNT signed numeric(6, 2) OL_DIST_INFO fixed text, size 24 主 键 : (OL_W_ID, OL_D_ID, OL_O_ID, OL_NUMBER) 14

20 外 键 :OL_W_ID 对 应 O_W_ID OL_D_ID 对 应 O_D_ID OL_O_ID 对 应 O_ID OL_SUPPLY_W_ID 对 应 S_W_ID OL_I_ID 对 应 S_I_ID 8. 商 品 信 息 表 表 3-8 ITEM 属 性 名 属 性 定 义 描 述 I_ID 200,000 不 同 的 ID 100,000 items are populated I_IM_ID 200,000 不 同 的 ID Image ID associated to Item I_NAME variable text, size 24 I_PRICE numeric(5, 2) I_DATA variable text, size 50 Brand information 主 键 : I_ID 9. 库 存 表 表 3-9 STOCK 属 性 名 属 性 定 义 描 述 S_I_ID 200,000 不 同 的 ID 一 个 仓 库 存 有 100,000 件 商 品 S_W_ID 2*W 不 同 的 ID S_QUANTITY signed numeric(4) S_DIST_01 fixed text, size 24 S_DIST_02 fixed text, size 24 S_DIST_03 fixed text, size 24 S_DIST_04 fixed text, size 24 S_DIST_05 fixed text, size 24 S_DIST_06 fixed text, size 24 S_DIST_07 fixed text, size 24 S_DIST_08 fixed text, size 24 S_DIST_09 fixed text, size 24 S_DIST_10 fixed text, size 24 S_YTD numeric(8) S_ORDER_CNT numeric(4) 15

21 S_REMOTE_CNT numeric(4) S_DATA variable text, size 50 制 造 信 息 主 键 : (S_W_ID, S_I_ID) 外 键 :S_W_ID 对 应 W_ID S_I_ID 对 应 I_ID 3.2 体 系 结 构 设 计 一 般 程 序 设 计 结 构 分 B/S 结 构 和 C/S 结 构, 针 对 TPC-C 测 试 程 序 而 言, 由 于 其 规 范 要 求 的 内 容 以 及 TPC-C 模 型 所 模 拟 的 处 理 环 境, 有 不 同 的 设 计 方 法 在 B/S 结 构 下, 大 都 采 用 3 层 软 件 体 系 结 构, 即 是 : 安 装 数 据 库 和 数 据 库 管 理 系 统, 实 现 数 据 层 ; 服 务 器 端 使 用 Web 服 务 器 和 相 关 中 间 件, 实 现 业 务 逻 辑 层 ; 最 后 使 用 远 程 终 端 模 拟 器 模 拟 大 量 访 问 仓 库 的 用 户, 实 现 表 示 层 测 试 系 统 结 构 如 图 3-1 所 示 虚 拟 客 户 Web 服 务 器 中 间 件 服 务 器 虚 拟 客 户 侦 听 逻 辑 socket 中 间 件 客 户 端 数 据 库 服 务 虚 拟 客 户 图 3-1 三 层 软 件 体 系 结 构 在 C/S 结 构 下, 不 需 要 使 用 Web 服 务 器 以 及 相 关 中 间 件, 只 需 要 采 用 网 络 编 程 技 术 创 建 在 本 机 创 建 服 务 器 端 和 客 户 端 进 行 事 务 处 理 的 模 拟 这 时 客 户 端 模 拟 大 量 并 发 用 户, 由 一 个 任 务 分 发 进 程 对 用 户 任 务 进 行 管 理, 按 照 某 种 方 法 发 送 到 DBMS 执 行, 同 时 统 计 测 试 过 程 中 各 个 事 务 的 响 应 时 间 并 计 算 TPC-C 的 吞 吐 量 即 可 由 于 C/S 的 配 置 环 境 和 要 求 较 少, 并 且 易 于 安 装 和 更 新 测 试 程 序, 所 以 在 本 文 中 将 采 用 了 C/S 结 构 实 现 TpccTesting 其 体 系 结 构 如 图

22 图 3-2 TpccTesting 的 体 系 结 构 3.3 模 块 设 计 模 块 划 分 除 了 TPC-C 的 基 准 测 试 之 外, 许 多 其 它 的 基 准 测 试 规 范 所 建 立 的 模 型 与 TPC-C 模 型 的 调 用 结 构 都 相 似 之 处, 都 需 要 在 其 相 应 模 型 下 所 有 模 拟 的 连 接 池 用 户 事 务 管 理 以 及 并 发 调 度 等 模 块 这 样, 我 们 充 分 使 用 面 向 对 象 设 计 相 关 技 术 以 及 软 件 工 程 中 的 相 关 开 发 方 法, 对 TpccTesting 进 行 模 块 化 的 设 计 这 样 也 就 为 其 他 需 要 未 来 需 要 测 试 的 基 准 测 试 标 准 建 立 了 一 个 基 本 的 体 系 结 构, 其 他 的 基 准 测 试 可 以 重 用 现 有 的 许 多 模 块 和 源 码, 然 后 改 写 自 身 标 准 中 所 说 明 的 事 务 / 任 务 的 语 句 实 现 和 其 他 功 能 需 求, 这 样 就 可 以 在 我 们 所 设 计 的 模 块 基 础 上 构 建 其 他 测 试 工 具 的 模 型, 帮 助 测 试 人 员 迅 速 构 建 所 需 要 的 测 试 程 序 和 平 台 基 于 以 上 的 目 的, 论 文 采 用 了 基 于 C# 语 言 的 面 向 对 象 设 计 方 法 和 软 件 工 程 中 的 开 发 方 法 和 技 术, 将 各 个 模 块 和 对 象 封 装 在 各 个 类 中 对 于 测 试 程 序 的 更 新 修 改, 只 需 要 添 加 新 的 子 模 块, 或 者 扩 充 所 要 更 改 的 类 的 方 法 即 可 这 也 是 C/S 结 构 下 模 块 化 设 计 的 一 大 优 点 主 要 设 计 模 块 包 括 : 客 户 端 服 务 器 模 块 : 用 于 创 建 客 户 端 和 服 务 器 端, 进 行 相 关 的 通 信 交 互 模 拟, 并 对 客 户 提 交 的 任 务 进 行 相 关 操 作 数 据 库 模 块 : 建 立 数 据 库, 建 立 数 据 库 表, 并 按 输 入 向 表 内 添 加 数 据 ; 进 行 数 据 库 连 接 操 作, 并 且 创 建 数 据 库 连 接 池, 对 连 接 池 进 行 管 理 事 务 处 理 模 块 : 主 要 是 封 装 TPC-C 规 范 中 要 求 测 试 的 5 大 事 务 信 息 收 集 统 计 模 块 : 对 测 试 过 程 进 行 监 控, 收 集 并 统 计 事 务 的 执 行 状 态, 根 据 TPC-C 规 范 要 求 的 事 务 分 配 比 例 进 行 控 制 根 据 系 统 的 模 块 化 设 计 以 及 C/S 结 构 下 测 试 程 序 的 大 致 体 系 结 构, 从 总 体 框 架 上 将 测 试 程 序 分 为 以 下 五 个 部 分 : 被 测 试 系 统 (DBMS) TPC-C 测 试 客 户 端 17

23 主 从 机 端 并 发 调 度 / 管 理 进 行 系 统 监 控 与 统 计 信 息 收 集 它 们 之 间 的 信 息 传 递 关 系 如 图 3-3 所 示 : 图 3-3 结 构 框 架 信 息 传 递 示 意 图 测 试 程 序 的 各 大 部 分 分 别 对 应 C# 类 中 的 若 干 对 象 类, 通 过 它 们 提 供 的 方 法 借 口, 实 现 各 个 对 象 之 间 的 信 息 传 递 与 通 讯 数 据 库 连 接 池 管 理 TPC-C 模 型 所 描 述 的 并 发 模 型 是 大 量 用 户 对 于 数 据 库 服 务 器 的 高 负 载 并 发 访 问 而 数 据 库 服 务 器 所 能 够 维 护 的 连 接 数 目 是 有 限 的, 如 果 为 每 个 并 发 用 户 都 维 护 一 个 专 有 的 连 接, 很 明 显 地, 在 用 户 并 发 数 量 达 到 数 百 个 之 后, 服 务 器 就 会 因 为 需 要 维 护 数 量 巨 大 的 用 户 连 接 而 将 系 统 资 源 耗 尽 此 时, 对 于 连 接 的 维 护 和 管 理 就 会 成 为 基 准 测 试 的 瓶 颈, 相 对 于 真 正 的 OLTP 处 理, 显 然 这 样 测 试 所 得 到 的 结 果 不 能 真 实 反 映 数 据 库 服 务 器 的 OLTP 处 理 能 力 因 此, 在 这 里 我 们 需 要 建 立 数 据 库 连 接 池 来 对 数 据 库 连 接 进 行 管 理, 让 测 试 程 序 维 护 全 部 与 数 据 库 服 务 器 建 立 的 连 接, 将 连 接 的 管 理 与 维 护 工 作 转 移 到 测 试 程 序 一 方 处 理, 解 决 了 服 务 器 的 连 接 维 护 瓶 颈 [6] 用 户 事 务 管 理 对 TPC-C 规 范 所 要 求 测 试 的 五 种 事 务 处 理, 由 TPC-C 模 型 的 高 并 发 负 载 的 特 点 可 以 了 解, 在 用 户 增 加 到 比 较 庞 大 数 量 时, 如 上 千 个 用 户 并 发 访 问, 那 么 在 某 一 时 刻 就 会 有 数 百 个 甚 至 更 多 的 事 务 执 行 请 求, 这 时 如 何 配 合 连 接 池 的 管 理, 来 处 理 大 量 的 用 户 任 务, 这 就 需 要 一 个 有 效 的 调 度 方 法 因 为,TPC-C 在 最 终 的 结 果 输 出 时 需 要 统 计 每 个 用 户 请 求 的 响 应 时 间 与 事 务 的 执 行 数 量 比 18

24 例 成 功 与 否 等 情 况 这 时 如 果 由 每 个 用 户 单 独 从 连 接 池 中 等 待 可 用 的 连 接, 用 户 往 往 会 无 法 精 确 统 计 一 个 用 户 请 求 从 发 出 到 接 收 执 行 的 响 应 时 间, 而 且 可 能 发 生 一 个 用 户 长 期 占 用 一 个 连 接, 而 其 用 户 却 一 直 处 于 等 待 状 态 的 情 况 根 据 以 上 特 点, 在 程 序 中, 我 们 通 过 多 线 程 技 术 来 实 现 多 用 户 的 并 发 访 问, 每 一 个 线 程 代 表 一 个 用 户 同 时, 如 果 对 线 程 ( 用 户 ) 进 行 直 接 调 度, 无 论 采 用 哪 种 调 度 方 法 都 有 可 能 出 现 某 一 个 用 户 请 求 等 待 过 长 的 时 间 才 能 获 取 可 用 的 数 据 库 连 接, 即 等 待 时 间 超 过 了 TPC-C 规 范 所 要 求 的 KeyTime 和 ThinkTime 之 和 在 这 里 我 们 采 用 将 用 户 与 用 户 行 为 分 离 的 方 法 来 解 决 这 个 问 题, 即 每 个 用 户 与 TPC-C 说 明 的 每 个 用 户 的 行 为 是 分 别 实 现 的 用 户 发 出 请 求, 我 们 把 用 户 任 务 添 加 到 任 务 队 列 中 去, 实 现 对 任 务 执 行 的 调 度 而 并 非 直 接 对 用 户 进 行 调 度, 这 样 用 户 发 出 任 务 后 就 可 以 开 始 响 应 时 间 的 统 计, 而 无 需 等 待 连 接 池 的 反 馈 [11] 这 样 可 以 保 证 用 户 响 应 时 间 统 计 的 准 确 性, 也 可 以 保 证 用 户 任 务 执 行 的 公 平 性 不 会 出 现 某 个 用 户 迟 迟 等 不 到 其 任 务 被 执 行 的 情 况, 也 避 免 了 大 量 用 户 并 发 访 问 连 接 池 可 能 带 来 的 访 问 冲 突 测 试 过 程 的 监 控 和 统 计 基 于 本 程 序 的 设 计 目 的 和 功 能 需 求, 我 们 还 应 该 在 程 序 中 加 入 系 统 运 行 状 态 监 控 测 试 过 程 中 的 信 息 统 计 功 能 系 统 中 应 该 存 在 一 个 监 控 进 程, 对 系 统 运 行 中 的 统 计 信 息 进 行 收 集 和 计 算 对 于 操 作 系 统 级 上 的 统 计 信 息, 操 作 系 统 一 般 都 提 供 了 相 应 的 统 计 工 具 和 获 取 这 些 统 计 信 息 的 编 程 接 口 对 数 据 库 级 别 上 的 统 计 信 息,DBMS 都 提 供 了 相 应 的 系 统 视 图 通 过 对 这 些 统 计 信 息 的 收 集, 我 们 就 可 以 充 分 了 解 基 准 测 试 的 执 行 状 况, 以 便 于 优 化 测 试 方 式 19

25 第 四 章 TpccTesting 的 实 现 4.1 测 试 系 统 的 实 现 测 试 系 统 TpccTesting 编 程 语 言 使 用 C#.NET, 编 译 环 境 为 Visual Studio 2005, 数 据 选 用 SQL Server 2000, 操 作 系 统 为 Windows XP 本 节 主 要 阐 述 该 测 试 系 统 的 执 行 流 程, 以 及 实 现 上 的 一 些 细 节 测 试 系 统 的 执 行 流 程 从 TPC-C 测 试 规 范 可 以 看 出, 在 一 次 测 试 开 始 时, 测 试 系 统 开 始 测 试 时 需 要 一 些 准 备 操 作, 即 调 用 测 试 程 序 的 数 据 加 载 模 块, 创 建 数 据 库 并 加 载 一 定 数 量 的 数 据, 然 后 将 这 些 数 据 备 份 起 来 以 备 测 试 失 败 或 数 据 错 误 时 能 够 再 次 利 用 此 次 数 据 加 载 的 基 础 进 行 DBMS 参 数 调 整 数 据 备 份 后 对 测 试 系 统 中 的 各 种 参 数 进 行 配 置 ( 包 括 :DBMS 操 作 系 统 等 配 置 ), 然 后 调 用 TPC-C 测 试 模 块 进 行 测 试 测 试 后 测 试 程 序 输 出 测 试 过 程 中 收 集 到 的 TPC-C 事 务 响 应 时 间 的 统 计 信 息 与 系 统 吞 吐 量 指 标 tmpc, 测 试 人 员 需 要 根 据 响 应 时 间 判 断 本 次 测 试 是 否 符 合 TPC-C 规 定 的 响 应 时 间 标 准 如 果 事 务 响 应 时 间 符 合 TPC-C 标 准, 则 测 试 人 员 需 要 决 定 新 的 测 试 中 需 要 加 载 的 数 据 量, 然 后 循 环 执 行 前 面 的 步 骤 如 果 事 务 响 应 时 间 不 符 合 标 准, 则 说 明 当 前 系 统 的 性 能 不 能 满 足 TPC-C 标 准 的 要 求, 需 要 对 当 前 系 统 进 行 调 整 此 时 恢 复 备 份 的 数 据, 并 根 据 前 一 次 测 试 的 情 况 判 断 需 要 调 整 的 各 项 参 数, 并 在 参 数 调 整 完 后 重 新 进 行 测 试 在 多 次 参 数 调 整 都 失 败 后, 则 认 为 系 统 不 能 支 持 当 前 的 数 据 量, 已 达 到 系 统 的 最 大 负 载, 则 取 上 一 次 通 过 的 测 试 结 果 为 最 终 的 测 试 结 果, 并 将 其 响 应 时 间 与 tpmc 值 写 入 TPC-C 测 试 报 告 测 试 流 程 如 图 4-1: 20

26 图 4-1 测 试 流 程 图 测 试 系 统 的 用 户 界 面 明 确 了 测 试 程 序 的 执 行 流 程 后, 就 需 要 对 其 做 可 视 化 界 面 的 设 计, 而 最 基 本 的 工 作 就 是 创 建 窗 体 窗 体 本 身 主 要 于 应 用 程 序 执 行 时, 提 供 与 用 户 沟 通 的 窗 口 界 面, 创 建 一 个 窗 口 程 序 的 窗 体 画 面, 通 常 需 利 用 类 Form 来 完 成, 类 Form 位 于 命 名 空 间 System.Windows.Forms, 其 继 承 了 位 于 相 同 命 名 空 间 的 类 ContainerControl, 这 个 类 被 设 计 用 以 当 作 其 他 控 件 的 容 器, 并 且 提 供 管 理 控 件 的 功 能,Form 类 拥 有 不 同 的 方 法 以 及 属 性 成 员, 提 供 修 改 窗 体 外 观 以 及 相 关 性 质 的 操 作 Visual Studio.NET 提 供 了 使 用 鼠 标 拖 拽 可 视 化 组 件 的 设 计 环 境, 这 样 比 使 用 No tepad 来 实 现 可 视 化 界 面 要 简 单 很 多 [7] 这 让 我 们 可 以 快 速 的 完 成 应 用 程 序 中 设 计 用 户 界 面 相 关 程 序 代 码 的 创 建, 而 将 大 部 分 的 时 间 集 中 于 编 写 真 正 使 用 于 解 决 的 逻 辑 程 序 代 码 Form 类 允 许 在 窗 体 上 配 置 数 量 不 等 的 各 类 控 件, 以 及 Control 类 提 供 的 相 关 事 件, 如 : 键 盘 事 件 (KeyDown KeyPress 和 KeyUp) 鼠 标 事 件 (MouseDown MouseUp 和 MouseEnter 等 ) Paint 事 件 和 Windows 控 件 等 在 这 里 需 要 注 意 的 一 个 问 题 就 是, 本 程 序 的 实 现 需 要 多 个 窗 体 : 数 据 管 理 测 试 记 录 和 曲 线 分 析, 那 么 如 何 让 两 个 窗 体 进 行 沟 通, 并 且 于 其 中 相 互 传 递 信 息 数 据 一 般 有 2 个 方 法 : 其 一 是, 由 当 前 窗 体 本 身 创 建 另 一 个 新 的 窗 体 对 象, 并 且 将 信 息 传 递 给 这 个 新 的 窗 体 对 象, 很 明 显 这 个 方 法 较 为 单 纯, 而 且 不 适 用 于 本 程 序 ; 我 们 采 用 第 2 类 方 法 实 现 数 据 传 递, 即 利 用 事 件 委 派 的 机 制 来 完 成 两 个 单 独 的 窗 体, 如 图 4-2 所 示 : 21

27 信 息 发 送 窗 体 FormSend 方 法 接 受 信 息 执 行 直 接 传 递 信 息 数 据 注 册 信 息 发 送 窗 体 FormAccept 执 行 处 理 事 件 的 注 册 方 法 指 定 方 法 封 装 信 息 委 派 事 件 触 发 图 4-2 使 用 委 派 事 件 进 行 沟 通 的 过 程 窗 体 对 象 FormAccept 首 先 必 须 声 明 创 建 所 需 要 的 委 派 事 件, 并 且 是 适 当 的 方 法 触 发 事 件, 本 程 序 是 在 窗 体 相 互 切 换 时 将 触 发 事 件 ; 而 FormSend 窗 体 对 象 除 了 创 建 FormAccept 对 象 实 例, 同 时 必 须 注 册 FormAccept 对 象 其 相 应 事 件 被 出 发 时 所 要 执 行 的 方 法, 并 且 经 过 所 触 发 的 事 件, 取 得 FormAccept 窗 体 对 象 所 传 递 的 信 息 系 统 界 面 如 图 4-3 图 4-3 TpccTesting 主 界 面 22

28 4.1.3 测 试 数 据 的 加 载 系 统 在 开 始 测 试 前 需 要 创 建 数 据 库, 并 且 向 数 据 库 内 加 载 信 息, 由 第 二 章 对 TPC-C 模 型 介 绍 中 的 数 据 库 逻 辑 图 ( 图 2-1) 和 数 据 量 关 系 图 ( 图 2-2) 可 以 看 出, 各 个 表 的 数 据 量 之 间 存 在 着 特 定 的 比 例 关 系 这 一 点 在 第 三 章 的 数 据 库 设 计 中 就 可 以 更 明 显 的 看 出 来, 由 数 据 库 E-R 图 ( 图 3-3) 可 知,TPC-C 的 数 据 量 可 以 用 Warehouse 表 中 的 数 据 量 ( 行 数 ) 为 基 数 进 行 估 算 也 就 是 说, 数 据 库 中 有 多 少 个 Warehouse 就 可 以 确 定 其 他 8 个 表 的 数 据 量 大 小, 即 是 数 据 库 中 数 据 总 量 的 大 小 所 以 在 TPC-C 测 试 报 告 中 说 明 的 性 能 指 标 可 以 达 到 支 持 多 少 个 Warehouse 数 目, 也 就 说 明 了 其 可 以 支 持 的 数 量 大 小 [10] 因 此, 在 开 始 测 试 之 前, 由 测 试 人 员 只 需 要 输 出 建 立 Warehouse 的 个 数 即 可, 其 他 表 的 数 据 量 则 根 据 各 表 间 的 相 应 关 系 由 系 统 自 动 确 定, 然 后 配 置 数 据 库 网 络 等 参 数 点 击 开 始 测 试 按 扭 后, 系 统 首 先 建 立 与 SQL Server 的 连 接, 然 后 按 照 节 中 数 据 库 9 张 的 属 性 结 构 建 立 数 据 库, 然 后 开 始 进 行 数 据 加 载 加 载 时, 为 了 方 便 快 捷 所 有 表 的 所 有 属 性 都 插 入 相 同 的 数 字, 从 1 开 始, 一 直 到 测 试 人 员 所 要 求 的 最 大 数 据 量 的 数 字 最 后 断 开 与 数 据 库 的 连 接, 进 行 对 数 据 库 事 务 处 理 的 测 试 阶 段 这 里 数 据 库 连 接 以 及 其 他 相 关 操 作 介 绍 详 见 本 章 节 事 务 处 理 的 细 节 在 第 节 中, 已 经 对 事 务 的 处 理 有 了 大 概 的 介 绍, 本 节 首 先 给 出 非 均 匀 的 随 机 函 数 NURand(A,x,y) [10] 的 定 义, 然 后 详 细 说 明 五 种 事 务 处 理 上 的 一 些 细 节 非 一 致 的 随 机 NURand(A,x,y) : NURand(A,x,y) = (((random(0,a) random(x,y)) + C)%(y-x+1))+x 其 中, 表 示 二 进 制 逻 辑 或 运 算, % 表 示 余 运 算 ;random(x,y) 表 示 取 x 到 y 之 间 的 随 机 数 ;A 是 在 x 到 y 之 间 的 一 个 常 量 ( 对 于 C_LAST 属 性,x=0, y=999,a=255; 对 于 C_ID 属 性,x=1,y=300,A=1023; 对 于 OL_I_ID 属 性, x=1,y=100000,a=8191);c 是 一 个 在 没 有 改 变 性 能 时, 可 以 被 改 变 的 在 [0,A] 上 的 随 机 恒 量, 相 同 的 C 值, 在 每 个 域 (C_LAST,C_ID 和 OL_I_ID) 上 必 须 被 所 有 的 模 拟 终 端 使 用 新 订 单 事 务 : 客 户 选 择 时 C_ID 是 NURand(1023,1,3000) 的 结 果, 商 品 数 目 则 是 在 [5,15] 上 的 随 机 数 ( 平 均 为 10) 对 于 事 务 说 明 中 的 1% 假 想 的 用 户 输 入 失 败, 其 选 择 方 法 为 : 先 在 [1,100] 上 随 机 选 择 一 个 rbk 的 值, 然 后 使 用 23

29 NURand(8191,1,100000) 计 算 OL_I_ID 的 值, 得 到 的 商 品 为 最 后 一 个 订 购 的 商 品 且 rbk=1, 则 为 无 效 的 输 入 而 1% 的 供 应 在 供 应 仓 库 无 货 的 处 理 方 法 为 : 取 值 x 为 在 [1,100] 上 的 随 机 数, 若 x=1 则 从 偏 远 仓 库 供 货, 随 机 从 其 他 9 个 仓 库 中 选 择 一 个 某 一 商 品 数 量 为 在 [1,10] 上 的 随 机 数 支 付 事 务 : 主 要 为 更 新 CUSTOMER 表 的 数 据 在 选 择 支 付 的 用 户 时, 有 60% 的 根 据 末 姓 (C_W_ID,C_D_ID,C_LAST) 随 机 选 择,40% 由 客 户 编 号 (C_W_ID,C_D_ID,C_ID) 选 择 而 供 应 地 仓 库 85% 是 本 地 仓 库,15% 为 偏 远 仓 库 实 现 时 取 2 个 在 [1,100] 上 的 随 机 数 x 和 y,x<=85 时 客 户 选 择 时 C_W_ID 为 当 前 选 择 的 W_ID,x>85 时 C_W_ID 随 机 另 外 9 个 仓 库 中 的 一 个,y<=60 时 C_LAST 由 NURand(255,0,999) 产 生,y>60 时 C_ID 由 NURand(1023,1,3000) 产 生 [10] 订 单 查 询 事 务 : 在 选 择 查 询 的 用 户 时, 有 60% 的 根 据 末 姓 (C_W_ID, C_D_ID,C_LAST) 随 机 选 择,40% 由 客 户 编 号 (C_W_ID,C_D_ID,C_ID) 选 择 处 理 与 支 付 事 务 中 用 户 选 择 的 处 理 一 样 发 货 事 务 :O_CARRER_ID 为 [1,10] 之 间 的 随 机 数 OL_DELIVERY_D 为 当 地 时 间 库 存 状 态 事 务 : 选 择 最 后 20 个 订 单 五 种 事 务 在 分 配 时, 取 数 k 的 值 为 在 域 [1,100] 上 的 随 机 数, 如 果 k<=38 则 为 新 订 单 事 务,39<k<=82 为 支 付 事 务,83<k<=88 为 订 单 状 态 查 询 事 务, 89<k<=94,95<k<=100 为 库 存 查 询 事 务 4.2 实 现 中 的 关 键 技 术 本 节 将 说 明 实 现 本 测 试 系 统 所 用 的 关 键 技 术 : 对 数 据 库 连 接 的 管 理, 模 拟 OLTP 的 应 用 环 境 以 及 多 用 户 并 发 访 问 数 据 库 管 理 系 统 的 模 拟 数 据 库 连 接 管 理 在.NET Framework 问 世 之 前, 开 发 人 员 一 直 使 用 ODBC OLE DB 和 ADO 等 数 据 访 问 技 术 随 着.NET 的 引 入,Microsoft 创 建 了 一 种 处 理 数 据 的 新 方 法, 将 其 命 名 为 ADO.NET ADO.NET 本 身 是.NET Framework 提 供 的 一 组 专 门 用 以 存 取 数 据 的 类, 配 合 SQL 语 法 对 于 数 据 库 进 行 数 据 存 取 操 作 [7] 除 此 之 外, 它 还 扮 演 应 用 程 序 连 接 数 据 库 的 桥 梁 其 对 象 被 设 计 使 用 于 开 发 能 够 操 作 各 种 数 据 源 的 数 据 库 应 用 程 序, 你 能 够 利 用 ADO.NET 所 提 供 的 各 种 类 创 建 一 套 完 整 的 数 据 库 系 统 ADO.NET 有 两 个 核 心 组 件 : 数 据 提 供 程 序 和 数 据 集 24

30 数 据 提 供 程 序 (data provider) 连 接 数 据 源, 支 持 数 据 访 问 和 处 理 其 中 包 含 了 几 个 主 要 的 对 象, 如 Connection( 创 建 数 据 源 的 连 接, 打 开 数 据 库 ) Command( 用 以 存 取 以 及 变 动 数 据 源 的 数 据 内 容, 执 行 存 储 过 程 ) 以 及 DataAdapter( 提 供 数 据 源 与 断 线 对 象 DataSet 之 间 的 桥 梁 ) 等 数 据 集 (data set) 支 持 数 据 以 关 联 的 方 式, 在 断 开 连 接 的 情 况 下 独 立 地 缓 存 数 据, 根 据 需 要 更 新 数 据 源 1. 使 用 ADO.NET 进 行 数 据 库 连 接 的 操 作 基 本 上 程 序 的 代 码 会 进 行 以 下 几 个 相 关 的 操 作 : 创 建 连 接 对 象 (Connection Object) 使 用 连 接 对 象 连 接 并 且 打 开 指 定 的 数 据 库 使 用 连 接 对 象 创 建 Command 对 象 搜 索 数 据 创 建 DataAdapter 对 象 返 回 数 据 运 用 DataAdapter 对 象 获 取 各 种 Command 对 象 进 行 数 据 库 的 变 动 返 回 记 录 集 通 过 DataAdapter 对 象 返 回 包 含 选 取 数 据 的 高 速 缓 存 (cache) 的 Dataset 对 象, 并 且 存 放 于 客 户 端 的 机 器 上 2.SQL Server 数 据 提 供 程 序 ADO.NET 的 命 名 空 间 中 包 含 许 多 数 据 库 的 数 据 提 供 程 序, 本 测 试 系 统 使 用 的 数 据 库 为 SQL Server 2000, 所 以 这 里 主 要 列 出 SqlClient 命 名 空 间 中 的 一 些 重 要 的 类 表 4-1 常 用 的 SqlClient 类 类 SqlCommand SqlConnection SqlDataAdapter SqlDataReader SqlError SqlParameter SqlTransaction 内 容 说 明 执 行 SQL 查 询 语 句 或 者 存 储 过 程 代 表 与 SQL Server 数 据 库 的 连 接 代 表 数 据 集 和 数 据 源 之 间 的 桥 梁 为 结 果 提 供 只 向 前 的 只 读 数 据 流 保 存 SQL Server 错 误 和 警 告 的 信 息 代 表 命 令 的 参 数 代 表 SQL Server 事 务 处 理 另 一 个 命 名 空 间 System.Data.SqlTypes 把 SQL Server 数 据 类 型 映 射 为.NET 类 型, 提 高 了 性 能 简 化 了 编 程 3. 使 用 SqlConnection 连 接 和 关 闭 数 据 库 首 先 创 建 连 接 字 符 串 连 接 字 符 串 由 指 定 连 接 信 息 的 参 数 组 成, 换 言 之 就 是 用 分 号 隔 开 的 key=value 对 25

31 由 于 本 系 统 安 装 环 境 不 同, 数 据 库 连 接 的 用 户 以 及 密 码 就 会 不 同, 所 以 这 对 参 数 server = (local)\netsdk 指 定 了 要 连 接 的 数 据 库 为 SQL Server, 而 integrated security = sspi 指 定 使 用 Windows 身 份 验 证 来 登 陆 SQL Server, 这 样 就 不 需 要 更 改 此 段 代 码 接 着 创 建 连 接 (SqlConnection 对 象 ), 给 它 传 递 连 接 字 符 串 然 后 在 连 接 上 调 用 Open 方 法, 建 立 一 个 与 数 据 库 的 会 话 一 般 情 况 下 这 句 代 码 被 包 含 在 异 常 处 理 语 句 try{}catch{} 中, 以 便 在 数 据 库 打 开 失 败 后 做 其 他 适 当 的 处 理 使 用 完 数 据 库 后, 调 用 Close 终 止 会 话 代 码 如 下 : String connstring = server = (local)\netsdk; integrated security = sspi ; SqlConnection conn = new SqlConnection(connString); conn.open(); //detailed operations. conn.close(); 4. 执 行 语 句 使 用 Command 对 象 创 建 命 令, 为 了 对 数 据 库 执 行 命 令, 必 须 把 每 个 命 令 与 数 据 库 的 连 接 关 联 起 来 : SqlCommand comm. = new SqlCommand(); comm.connection = conn; 执 行 命 令 的 方 法 有 以 下 几 个 :ExecuteNonQuery, ExecuteScalar, ExecuteReader,ExecuteXmlReader 执 行 语 句 使 用 ExecuteNonQuery 方 法, 它 不 执 行 查 询 我 们 用 它 来 创 建 数 据 库 和 表 创 建 数 据 库 只 要 执 行 Transact-SQL 语 句 CREATE DATABASE 即 可 : comm.commandtext= CREATE DATABASE merchant ; comm.executenonquery(); 由 于 在 创 建 数 据 库 前 我 们 无 法 连 接 该 数 据 库, 所 以 我 们 使 用 ChangeDatabase 的 方 法 来 连 接 创 建 的 刚 数 据 库 : comm.changedatabase( merchant ); 之 后 使 用 Transact-SQL 语 句 CREATE TABLE 按 第 三 章 节 中 所 述 的 表 的 结 构 依 次 创 建 9 张 表 表 创 建 完 成 后, 按 照 测 试 人 员 输 入 的 Warehouse 的 个 数, 开 始 向 表 中 插 入 数 据, 使 用 Transact-SQL 语 句 INSERT INTO 插 入, 然 后 调 用 ExecuteNonQuery 执 行 语 句 26

32 对 于 五 种 事 务 处 理 中 所 需 要 的 查 询 语 句, 则 是 由 ExecuteScalar 来 执 行 单 个 结 果 的 命 令,ExecuteReader 来 执 行 具 有 多 个 结 果 的 命 令 在 这 里 对 Transact-SQL 的 写 法 不 再 进 行 描 述 5. 事 务 处 理 在 ADO.NET 中, 事 务 是 实 现 System.Data.IDbTransaction 借 口 的 类 实 例 [7] 事 务 没 有 自 己 的 构 造 函 数, 而 是 通 过 调 用 另 一 个 对 象 的 方 法 来 创 建, 在 这 里 调 用 的 连 接 的 BeginTransaction 方 法 命 令 与 特 定 连 接 的 特 定 事 务 相 关 联, 这 些 命 令 提 交 的 任 何 SQL 都 执 行 为 同 一 事 务 的 一 部 分 首 先 打 开 连 接, 再 为 它 创 建 一 个 事 务 : conn.open(); SqlTransaction obj = conn.begintransaction(); 之 后 创 建 命 令, 指 定 它 执 行 SQL 而 不 是 存 储 过 程 在 所 执 行 的 命 令 中 指 定 事 务, 以 后 与 命 令 关 联 的 SQL 作 为 这 个 事 务 的 一 副 本 来 执 行 : SqlCommand cmd = conn.createcommand(); cmd.commandtype = CommandType.Text; cmd.transaction = obj; 执 行 完 所 有 命 令 后, 则 调 用 事 务 的 Commit 方 法 提 交 数 据 : obj.commit(); 这 里 一 定 要 在 执 行 完 所 有 命 令 后 调 用 Commit, 因 为 它 会 生 成 永 久 的 变 化 并 结 束 当 前 的 事 务 事 务 回 滚 时 需 要 调 用 Rollback 方 法 :obj.rollback(); 6. 数 据 连 接 池 在 第 三 章 所 阐 述 的 测 试 系 统 设 计, 第 节 提 到 了 为 了 解 决 了 服 务 器 的 连 接 维 护 瓶 颈, 显 著 提 高 应 用 程 序 的 性 能 和 可 缩 放 性, 我 们 需 要 建 立 数 据 库 连 接 池 来 维 护 接 连 连 接 池 减 少 新 连 接 需 要 打 开 的 次 数 池 进 程 保 持 物 理 连 接 的 所 有 权 通 过 为 每 个 给 定 的 连 接 配 置 保 留 一 组 活 动 连 接 来 管 理 连 接 只 要 用 户 在 连 接 上 调 用 Open, 池 进 程 就 会 检 查 池 中 是 否 有 可 用 的 连 接 如 果 某 个 池 连 接 可 用, 会 将 该 连 接 返 回 给 调 用 者, 而 不 是 打 开 新 连 接 应 用 程 序 在 该 连 接 上 调 用 Close 时, 池 进 程 会 将 连 接 返 回 到 活 动 连 接 池 集 中, 而 不 是 真 正 关 闭 连 接 连 接 返 回 到 池 中 之 后, 即 可 在 下 一 个 Open 调 用 中 重 复 使 用 默 认 情 况 下,ADO.NET 中 启 用 连 接 池 除 非 显 式 禁 用, 否 则, 连 接 在 应 用 程 序 中 打 开 和 关 闭 时, 池 进 程 将 对 连 接 进 行 优 化 表 4-2 描 述 了 可 用 于 调 整 连 接 池 行 为 的 连 接 字 符 串 值 我 们 只 需 要 在 创 建 连 接 字 符 串 时, 加 入 这 值 即 可, 关 于 如 何 连 接 上 面 阐 述 过, 这 里 不 再 说 明 27

33 表 4-2 连 接 字 符 串 值 类 默 认 值 内 容 说 明 Connection Lifetime 0 连 接 返 回 到 池 中 后, 创 建 时 间 将 与 当 前 时 间 进 行 比 较, 如 果 时 间 跨 度 ( 秒 ) 超 过 Connection Lifetime 指 定 的 值, 该 连 接 将 被 破 坏 在 聚 集 配 置 中 可 以 使 用 它 来 强 制 在 运 行 服 务 器 和 刚 联 机 的 服 务 器 之 间 达 到 负 载 平 衡 如 果 值 为 零 (0), 则 将 使 池 连 接 具 有 最 大 的 超 时 期 限 Enlist true 当 为 true 时, 如 果 存 在 事 务 上 下 文, 池 管 理 程 序 将 自 动 在 创 建 线 程 的 当 前 事 务 上 下 文 中 登 记 连 接 Max Pool Size 100 池 中 允 许 的 最 大 连 接 数 Min Pool Size 0 池 中 维 护 的 最 小 连 接 数 Pooling true 当 为 true 时, 将 从 相 应 的 池 中 取 出 连 接, 或 者 在 必 要 时 创 建 连 接 并 将 其 添 加 到 相 应 的 池 中 添 加 连 接 : 连 接 池 是 为 每 个 唯 一 的 连 接 字 符 串 创 建 的 当 创 建 一 个 池 后, 将 创 建 多 个 连 接 对 象 并 将 其 添 加 到 该 池 中, 以 满 足 最 小 池 大 小 的 要 求 连 接 根 据 需 要 添 加 到 池 中, 但 是 不 能 超 过 指 定 的 最 大 池 大 小 ( 默 认 值 为 100) 移 除 连 接 : 连 接 池 进 程 定 期 扫 描 连 接 池, 查 找 没 有 通 过 Close 或 Dispose 关 闭 的 未 用 连 接, 并 重 新 建 立 找 到 的 连 接 如 果 应 用 程 序 没 有 显 式 关 闭 或 断 开 其 连 接, 连 接 池 进 程 可 能 需 要 很 长 时 间 才 能 重 新 建 立 连 接, 所 以, 最 好 确 保 在 连 接 中 显 式 调 用 Close 和 Dispose 清 除 池 : 使 用 ClearAllPoolsClearPool 和 ClearAllPools 清 除 给 定 提 供 程 序 的 连 接 池,ClearPool 清 除 与 特 定 连 接 关 联 的 连 接 池 如 果 在 调 用 时 连 接 正 在 使 用, 将 进 行 相 应 的 标 记 事 务 支 持 : 连 接 是 根 据 事 务 上 下 文 来 从 池 中 取 出 并 进 行 分 配 的 除 非 在 连 接 字 符 串 中 指 定 了 Enlist=false, 否 则, 连 接 池 将 确 保 连 接 在 Current 上 下 文 中 登 记 按 照 众 多 实 现 的 经 验 来 说, 对 连 接 池 大 小 的 设 定 为 : 在 用 户 数 超 过 100 个 的 情 况 下, 连 接 池 大 小 = 20 + 总 并 发 用 户 数 / 多 用 户 并 发 访 问 模 拟 如 第 3 章 所 述, 为 模 拟 大 量 并 发 用 户 的 访 问, 我 们 需 要 使 用 多 线 程 来 模 拟 这 一 过 程 28

34 使 用 C# 创 建 并 使 用 线 程, 最 简 单 的 方 式 便 是 创 建 Thread 类 的 实 例 对 象, 在 此 之 前, 必 须 引 用 命 名 空 间 System.Threading, 事 实 上, 应 用 程 序 本 身 包 含 了 一 个 主 线 程, 可 以 创 建 一 个 新 的 Thread 对 象, 将 需 要 分 开 执 行 的 程 序 代 码, 放 入 这 个 新 的 线 程 里 来 执 行, 以 达 到 于 应 用 程 序 支 持 多 线 程 的 目 的 Thread 类 被 设 计 用 以 创 建 新 的 线 程, 控 制 线 程 的 行 为, 其 提 供 的 方 法 成 员 支 持 线 程 的 管 理 操 作, 并 且 被 声 明 为 sealed, 无 法 被 继 承 [7], 以 下 为 类 定 义 : public sealed class Thread; 1. 创 建 线 程 Thread 类 提 供 如 下 构 造 函 数 来 构 建 线 程 : public Thread(ThreadStart statpoint); 其 中 statpoint 参 数 是 一 个 ThreadStart 的 委 派, 这 个 委 派 被 定 义 用 以 封 装 线 程 对 象 所 要 执 行 的 方 法, 也 就 是 说 对 于 public delegate void ThreadStart() 实 例 化 对 象, 里 面 包 含 了 线 程 所 要 执 行 的 内 容 创 建 完 线 程 对 象, 并 且 定 义 完 所 要 执 行 的 方 法 之 后, 我 们 就 要 调 用 public void start() 来 使 线 程 开 始 执 行 方 法 除 此 之 外, 我 们 在 设 计 时 提 到 了 用 户 与 用 户 任 务 的 分 离, 在 实 现 中 表 现 为 : 当 线 程 ( 用 户 ) 提 交 事 务 处 理 请 求 后, 服 务 器 接 收 并 放 入 任 务 管 理 队 列 后 给 线 程 发 送 确 认 信 息, 然 后 线 程 挂 起 等 待 事 务 执 行 完 毕, 这 里 需 要 确 定 事 务 是 由 哪 个 线 程 ( 用 户 ) 发 出, 并 准 确 发 送 确 认 信 息 给 相 应 的 线 程 ( 用 户 ) 所 以, 我 们 还 创 建 时 还 需 要 使 用 public string Name {get; set;} 来 为 给 予 线 程 一 个 唯 一 确 定 的 名 字, 这 里 使 用 数 字 编 号 来 区 分, 综 上, 创 建 步 骤 为 : a) 编 写 线 程 ( 用 户 ) 的 执 行 内 容 函 数 CustomerOperation(), 其 中 主 要 内 容 如 图 4-1 所 示 b) ThreadStart customertheadstart = new ThreadStart(CustomerOperation); c) 创 建 线 程 Thread Threading = new Thread(customerTheadStart); d) 为 线 程 命 名 :Threading.Name = 1 ; e) 启 动 线 程 :Threading.Start(); 图 4-4 一 个 虚 拟 并 发 用 户 的 循 环 执 行 步 骤 29

35 2. 终 止 线 程 一 般 对 于 一 个 线 程, 当 其 所 需 要 执 行 的 所 有 任 务 全 部 完 成 之 后, 该 线 程 便 会 自 动 的 终 止 但 有 时 我 们 需 要 强 制 地 终 止 线 程 的 执 行, 这 就 需 要 调 用 Interrupt 方 法 这 个 方 法 会 阻 断 处 于 WaitSleepJoin 线 程 状 态 下 的 线 程, 其 定 义 非 常 简 单 : public void Interrupt() 其 为 一 个 实 例 的 方 法, 当 线 程 个 体 使 用 此 方 法, 指 定 的 线 程 其 执 行 的 行 为 将 会 被 阻 断, 当 线 程 被 迫 终 止 时, 会 产 生 一 个 类 型 为 ThreadInterruptException 的 线 程 终 止 异 常, 我 们 可 以 使 用 try catch 语 句 捕 捉 它 3. 同 步 线 程 多 线 程 的 应 用 程 序 经 常 会 遇 到 不 同 线 程 使 用 同 一 份 资 源 的 情 形, 在 这 种 情 况 下, 我 们 必 须 协 调 这 些 独 立 线 程, 这 样 的 操 作 称 为 线 程 的 同 步 化 同 步 线 程 在 资 源 一 次 只 能 由 一 个 线 程 存 取 的 时 候 特 别 重 要, 这 可 以 避 免 同 时 存 取 一 份 资 源 所 造 成 的 冲 突,C# 利 用 lock 语 句 来 完 成 这 一 类 的 操 作, 用 以 控 制 某 段 程 序 代 码 对 特 定 资 源 的 存 取, 当 这 份 资 源 由 某 个 线 程 进 行 存 取 的 时 候, 其 他 的 线 程 将 没 有 权 限 可 以 存 取 这 份 资 源, 直 到 其 被 释 放 lock 的 语 法 如 下 lock(objlock) { // 这 里 在 本 程 序 中 主 要 是 事 务 的 选 择, 以 及 提 交 请 求 } 其 中 的 objlock 为 所 要 锁 定 的 对 象, 而 其 中 则 为 所 要 封 锁 的 执 行 代 码, 一 旦 于 某 个 线 程 执 行,objlock 对 象 会 锁 住 直 到 其 中 的 程 序 代 码 执 行 完 毕, 当 这 个 锁 定 被 释 放 后, 其 他 线 程 才 能 够 继 续 执 行 针 对 TPC-C 规 范 的 内 容 以 及 第 三 章 的 设 计, 明 显 地, 我 们 对 资 源 存 取 的 行 为 较 复 杂, 使 用 lock 的 控 制 不 足, 此 时 我 们 使 用 另 外 一 个 类 Monitor 来 弥 补 不 足 4.Monitor 类 Monitor 类 同 样 位 于 System.Threading 命 名 空 间, 提 供 资 源 存 取 的 控 制 机 制, 允 许 一 个 特 定 线 程 对 资 源 作 独 占 式 的 存 取, 与 lock 不 同 的 是, 它 让 你 决 定 何 时 阻 断 或 继 续 特 定 线 程 的 执 行 操 作 Monitor 类 提 供 一 组 静 态 方 法, 用 以 进 行 资 源 的 控 制, 这 里 主 要 介 绍 与 本 系 统 相 关 的 Pulse 以 及 Wait 这 两 个 方 法, 定 义 如 下 : public static bool Wait(object obj) public static bool Pulse(object obj) Wait 方 法 能 用 锁 定 目 前 的 线 程, 并 且 将 这 个 线 程 锁 定 的 资 源 释 放 当 调 用 30

36 Wait 暂 时 停 止 线 程,Pulse 方 法 可 以 让 你 将 暂 停 的 线 程 唤 醒, 继 续 执 行 这 符 合 图 4-1 所 示 的 并 发 用 户 循 环 执 行 的 要 求, 其 中 Thinking 这 段 时 间, 我 们 将 其 看 作 调 用 Wait 直 到 被 Pulse 唤 醒 的 过 程 但 麻 烦 的 是, 不 论 你 调 用 Wait 方 法 暂 停 几 个 线 程,Pulse 方 法 总 是 会 恢 复 第 一 个 被 暂 停 的 线 程, 所 以 在 程 序 需 要 对 暂 停 线 程 进 行 一 定 的 排 队 来 解 决 这 一 问 题 OLTP 应 用 环 境 模 拟 为 了 在 C/S 结 构 中 模 拟 规 范 中 所 要 求 的 OLTP 环 境, 我 们 需 要 自 己 建 立 服 务 器 和 客 户 端, 并 且 模 拟 用 户 在 客 户 端 向 服 务 器 发 送 请 求 的 这 一 过 程 为 此, 利 用 C# 的 网 络 编 程 技 术 来 实 现 这 一 要 求 网 络 编 程 的 核 心 为 网 络 协 议 (Internet Protocol,IP) [8] 无 论 哪 种 网 络, 我 们 都 是 通 过 IP 协 议 来 传 输 数 据 的, 其 提 供 了 在 网 络 设 备 之 间 传 输 数 据 的 大 部 分 功 能, 尤 其 是 通 过 因 特 网 连 接 的 设 备 此 外 还 有 最 主 要 的 两 个 利 用 IP 的 网 络 协 议 : 传 输 控 制 协 议 (Transmission Control Protocol,TCP) 和 用 户 数 据 报 协 议 (User Datagram Protocol,UDP) [8] 对 于 网 络 编 程 技 术 的 URL 与 System.Uri 类, 我 们 在 这 里 不 进 行 介 绍, 仅 仅 对 本 测 试 系 统 实 现 过 程 中 所 需 要 使 用 的 C# 网 络 套 接 字 编 程 进 行 说 明 我 们 利 用 套 接 字 (socket) 来 创 建 服 务 器 和 客 户 端, 并 使 其 进 行 相 互 之 间 的 通 信 为 了 确 保 模 拟 用 户 提 交 请 求 的 可 靠 性 和 完 整 性, 以 及 事 务 处 理 完 后 恢 复 用 户 运 行 的 信 号 可 以 准 确 的 收 到, 我 们 使 用 面 向 连 接 的 套 接 字 编 程, 即 使 用 TCP 协 议 的 相 关 内 容 和 方 法 进 行 数 据 传 输 1.Socket 类 和 IP 相 关 在 windows 环 境 下, 针 对 socket 编 程,.NET 框 架 的 System.Net.Scockets 命 名 空 间 为 需 要 严 密 控 制 网 络 访 问 的 开 发 人 员 提 供 了 Winsockjie 接 口 的 托 管 实 现 [8] 其 中 Scoket 类 是 Winsock32 API 提 供 的 套 接 字 服 务 的 托 管 代 码 版 本, 为 实 现 网 络 编 程 提 供 了 大 量 的 方 法 我 们 使 用 下 面 的 构 造 函 数 来 初 始 化 Socket 类 的 实 例 Public Scoket { AddressFamily addressfamily, // 指 定 网 络 类 型 SocketType sockettype, // 指 定 套 接 字 类 型 (Dgram/Stream/Raw/Raw) ProtocolType protocoltype // 指 定 网 络 协 议 (Udp/Tcp/Icmp/Raw) }; 一 般 来 说, 对 于 常 规 的 IP 通 信 网 络,AddressFamily 只 能 使 用 AddressFamily.InterNetwork 31

37 在 创 建 套 接 字 (socket) 之 前, 很 明 显 的, 我 们 需 要 对 其 IP 地 址 进 行 处 理.NET 在 命 名 空 间 System.Net 中 定 义 了 IPAddress 和 IPEndPoint 两 个 类 来 处 理 各 种 IP 地 址 信 息 对 其 内 容 我 们 不 在 这 里 详 述, 只 介 绍 要 用 到 的 部 分 首 先 使 用 IPAddress 中 的 Parse 方 法 将 给 定 的 字 符 串 类 型 转 换 成 IPAddress 实 例, 以 便 在 后 面 为 IP 地 址 赋 值 在 这 里, 由 于 本 机 建 立 服 务 器 端 和 客 户 端 的 缘 故,IP 地 址 使 用 本 机 地 址 然 后 使 用 IPEndPoint 类 来 描 述 一 个 主 机 的 地 址 和 端 口 信 息, 可 以 使 用 下 面 两 个 构 造 函 数 来 创 建 IPEndPoint 实 例 : IPEndPoint(long address, int port) IPEndPoint(IPAddress address, int port) 对 主 机 端 口, 一 般 将 其 设 置 为 8080, 利 用 上 面 转 换 的 IP 地 址, 完 整 的 处 理 代 码 如 下 IPAddress ipa = IPAddress.Parse( ); IPEndPoint ie = new IPEndPoint(ipa, 8080); Socket server = new Socket(AddressFamily.InterNetwork, SocketType.Stream, ProtocolType.Tcp); server.bind(ie); server.listen(n); server.accept();... 对 IP 地 址 的 处 理 完 成 后, 开 始 进 行 套 接 字 的 创 建 对 面 向 连 接 的 服 务 器 端 的 套 接 字, 在 使 用 Socket 类 实 例 化 对 象 后, 我 们 需 要 将 其 与 上 面 设 定 的 IP 地 址 绑 定, 方 法 为 :Bind(EndPoint address //IPEndPoint 实 例 ) 然 后 开 始 监 听 客 户 发 送 的 连 接 请 求, 方 法 为 :Listen(int con_num // 这 个 参 数 表 示 了 服 务 器 可 以 接 受 的 最 大 连 接 数 目 ) 服 务 器 进 入 监 听 状 态 后, 如 果 有 从 客 户 端 发 来 的 连 接 请 求, 服 务 器 使 用 Accept() 方 法 来 接 受 连 接 请 求 该 方 法 会 返 回 一 个 新 的 套 接 字, 包 含 所 建 立 的 连 接 的 信 息 并 负 责 处 理 本 连 接 的 所 有 通 信 同 服 务 器 端 一 样, 客 户 端 的 套 接 字 在 Socket 类 实 例 化 后 也 必 须 与 一 个 地 址 绑 定 不 同 的 是, 这 里 需 要 使 用 Connect(EndPoint remote_ep) 方 法, 参 数 为 代 表 想 要 连 接 的 服 务 器 的 IPEndPoint 实 例 调 用 Connect() 方 法 后, 它 将 一 直 阻 塞 到 连 接 建 立, 如 果 连 接 不 成 功 则 返 回 一 个 异 常 这 与 服 务 器 端 的 监 听 对 应, 连 接 请 求 发 出 后, 在 服 务 器 监 听 到 有 连 接 请 求, 然 后 调 用 Accept() 方 法 来 接 受 连 接 请 求, 紧 接 着 进 行 双 方 的 通 信 这 里 需 要 注 意 的 是, 服 务 器 和 客 户 端 的 建 立 顺 32

38 序 以 及 连 接 请 求 的 发 送 时 间 如 果 建 立 顺 序 不 对, 或 者 在 服 务 器 为 监 听 前 发 送 连 接 请 求, 这 样 会 产 生 错 误 甚 至 于 死 锁 同 过 上 述, 在 服 务 器 和 客 户 端 的 通 信 建 立 后, 使 用 Receive() 和 Send() 方 法 来 传 输 数 据 数 据 传 输 完 毕 后, 需 要 关 闭 套 接 字 以 释 放 其 所 占 用 的 资 源 这 里 调 用 Shutdown(SocketShutdown how) 和 Close() 方 法 来 完 成 这 一 工 作 方 法 Shutdown() 用 来 禁 用 指 定 的 套 接 字 操 作, 其 参 数 如 表 4-3: 表 4-5 SocketShutdown 枚 举 列 表 成 员 SocketShutdown.Both SocketShutdown.Receive SocketShutdown.Send 说 明 禁 用 发 送 和 接 收 的 套 接 字 禁 用 发 送 套 接 字 禁 用 发 送 套 接 字 通 过 以 上 描 述, 本 程 序 实 现 客 户 / 服 务 器 的 时 序 如 图 4-3 所 示 其 中, 客 户 的 实 现 是 由 多 线 程 编 程 技 术 模 拟 大 量 并 发 用 户 来 实 现 的, 客 户 端 以 及 服 务 器 端 的 具 体 工 作 在 前 面 的 章 节 中 已 经 介 绍 过, 这 里 不 再 进 行 重 复, 仅 给 出 客 户 ( 线 程 )/ 服 务 器 的 创 建 和 结 束 过 程 图 4-5 面 向 连 接 的 客 户 / 服 务 器 时 序 图 2.C# 套 接 字 助 手 类.NET 框 架 为 我 们 提 供 了 标 准 的 套 接 字 接 口 来 进 行 高 级 网 络 编 程, 但 同 时 也 为 我 们 提 供 了 套 接 字 助 手 类 来 进 行 简 单 的 套 接 字 变 成 这 里 主 要 介 绍 面 向 连 接 33

39 的 两 个 :TcpClient 和 TcpListener 它 们 的 使 用 简 化 了 套 接 字 编 程 的 步 骤 TcpClient 类 提 供 了 一 些 方 法 来 在 面 向 连 接 的 通 信 中 完 成 客 户 端 的 连 接 其 构 造 函 数 有 : 默 认 的 TcpClient(): 在 本 地 任 意 一 个 可 用 端 口 创 建 套 接 字 ; TcpClient(IPEndPoint ep): 在 创 建 时 将 其 绑 定 到 一 个 本 地 终 结 点 实 例 ; TcpClient(string name, int port): 最 常 用 的, 直 接 指 定 远 程 主 机 和 其 端 口 号 从 而 建 立 连 接, 而 不 需 要 使 用 Connect() 方 法 TcpClient 的 实 例 建 立 连 接 时 也 使 用 Connect() 方 法, 不 过 这 个 方 法 不 是 提 供 指 定 IPEndPoint 的 实 例, 而 是 指 定 主 机 名 和 其 端 口 号 对 于 数 据 的 传 输 和 发 送, 首 先 要 使 用 GetStream() 方 法 创 建 一 个 NetworkStream 实 例 用 以 在 套 接 字 上 交 换 数 据, 然 后 使 用 标 准 的 Read() 和 Write() 在 套 接 口 上 读 取 和 写 入 数 据 在 关 闭 TCP 连 接 并 释 放 TcpClient 关 联 的 所 有 资 源 时, 使 用 Close() 方 法 TcpListener 类 简 化 了 TCP 连 接 服 务 器 端 程 序 的 开 发 两 者 构 造 函 数 的 格 式 相 似 : TcpListener(int port): 绑 定 到 指 定 的 本 地 端 口 号 ; TcpListener(IPEndPoint ep): 绑 定 到 指 定 的 本 地 终 结 点 ; TcpListener(IPAddress ipa, int port): 绑 定 到 指 定 的 本 地 IPAddress 和 端 口 号 方 法 Start() 类 似 Socket 类 中 的 Bind() 和 Listen() 方 法 的 合 并, 它 将 套 接 字 绑 定 到 TcpListener 构 造 函 数 中 指 定 的 终 结 点, 并 将 TCP 端 口 置 于 监 听 模 式 等 待 接 收 连 接 请 求 方 法 AcceptTcpClient() 类 似 Socket 类 中 的 Accept() 方 法, 接 受 连 接 请 求 并 将 该 连 接 指 派 给 一 个 TcpClient 对 象, 这 个 TcpClient 对 象 负 责 处 理 这 个 连 接 的 数 据 交 互, 而 TcpListener 对 象 则 用 来 接 受 其 他 的 连 接 请 求, 最 后 调 用 Stop() 方 法 来 关 闭 TcpListener 对 象 34

40 第 五 章 总 结 和 展 望 5.1 总 结 在 分 析 了 数 据 库 管 理 系 统 的 发 展 现 状 后, 对 于 其 日 趋 成 熟 的 技 术 和 市 场 的 大 量 需 求, 得 出 了 对 数 据 库 管 理 系 统 进 行 性 能 测 试 的 必 要 性 在 进 行 系 统 性 能 测 试 和 国 家 软 件 评 测 体 系 的 介 绍 后, 选 择 了 评 测 体 系 中 基 准 测 试 项 目 的 最 符 合 我 们 数 据 库 发 展 现 状 的 基 准 TPC-C 然 后 对 TPC-C 提 供 的 测 试 模 型 进 行 了 详 细 的 分 析, 深 入 理 解 TPC-C 测 试 规 范 的 内 容 在 此 基 础 上, 对 测 试 系 统 TpccTesting 进 行 设 计, 更 加 完 善 了 从 分 析 中 得 出 的 TPC-C 测 试 的 基 本 方 法 和 具 体 流 程 对 测 试 系 统 进 行 了 模 块 化 设 计, 抽 象 出 模 型 所 需 要 的 所 有 表 的 结 构 属 性 在 实 现 中, 介 绍 了 模 块 和 界 面 的 实 现, 重 点 介 绍 了 TPC-C 模 型 设 计 的 三 个 关 键 点 :OLTP 应 用 环 境 模 拟 的 实 现, 多 用 户 并 发 访 问 的 实 现 以 及 对 数 据 库 连 接 资 源 的 维 护 数 据 库 连 接 池 的 管 理 5.2 展 望 测 试 系 统 TpccTesting 仅 仅 实 现 了 对 SQL Server 2000 的 性 能 测 试, 仍 然 有 很 多 主 要 的 数 据 库 管 理 系 统 的 测 试 接 口 未 实 现 系 统 中 对 事 务 混 合 的 管 理 仍 有 欠 缺, 不 能 完 全 符 合 TPC-C 基 准 的 要 求 测 试 结 果 生 成, 未 考 虑 保 存 之 前 的 结 果 未 能 实 现 图 表 化 显 示 测 试 结 果, 以 便 更 直 观 的 分 析 系 统 性 能 测 试 数 据 加 载 时, 对 数 据 处 理 不 够 完 善 合 理 35

41 参 考 文 献 [1] ( 印 ) 罗 摩 克 里 希 纳 ( 瑞 典 ) 耶 尔 克. 数 据 库 管 理 系 统 原 理 与 设 计 [M], [2] YU Ge WANG,Guo-ren WANG,Xin-hui,ZHENG Huai-yuan. Performance Analysis of an Object-oriented Database System with TPC-C Benchmark[J]. [3] 唐 晓 东. 基 于 数 据 仓 库 的 数 据 挖 掘 技 术 [M], 1999, [4] Schult, W.Polze, A.Hasso-Plattner-Inst., Univ.Potsdam, Aspect-oriented programming with C# and.net[j], [5] 沈 明 星.TPC-C 与 数 据 库 性 能 优 化 [D],2007. [6] 马 跃. 基 于 TPC-C 标 准 的 数 据 库 基 准 性 能 测 试 工 具 的 研 究 和 实 现 [D],2006. [7] 张 维 华. 支 持 OQL 查 询 优 化 的 索 引 技 术 及 基 于 TPC-C 的 性 能 评 价 [D],2001, [8] 吕 文 达. 精 通 C# 程 序 设 计 [M], 清 华 大 学 出 版 社,2004. [9] 殷 泰 晖, 张 强, 杨 豹.C# 编 程 从 基 础 到 实 践 [M],2007, 电 子 工 业 出 版 社. [10] Wenguang Wang, Richard B. Bunt. Refence Behaviour of the TPC-C Benckmark [J], [11] Judith A. Piantedosi, Archana S. Sathaye, D. John Shakshober. Performance Measurement of TruCluster Systems under the TPC-C Benchmar, [12] TPC Benchmark C. [13] James Huddleston 等 著.C# 数 据 库 设 计 入 门 经 典 [M], 清 华 大 学 出 版 社,2006, [14] 黄 嘉 辉 著.C#.NET 网 络 程 序 设 计 [M], 科 学 出 版 社, [15] Patrid O Neil 著. 数 据 库 原 理 编 程 与 性 能 [M], 机 械 工 业 出 版 社,2002. [16] Paul Nielsen 著.Microsoft SQL Server 2000 宝 典 [M], 中 国 铁 道 出 版 社,2005. [17] Paul Dickinson 著.ADO.NET 高 级 编 程 [M], 中 国 电 力 出 版 社,2003. [18] 张 晓 辉 等 编 著.SQL Server 2000 管 理 及 应 用 系 统 开 发 [M], 人 民 邮 电 出 版 社,2003. [19] 杨 用.DM3 的 TPC-C 性 能 测 试 研 究 [D], 华 中 科 技 大 学,