中 国 农 学 通 报 2014,30(34):250-256 Chinese Agricultural Science Bulletin 基 于 LoadRunner 的 Web 考 试 系 统 性 能 测 试 与 优 化 陈 孟 婕, 刘 慧 媛, 王 振 洲, 王 宇, 徐 硕 ( 中 国 水 产 科 学 研 究 院 渔 业 工 程 研 究 所 / 中 国 水 产 科 学 研 究 院 渔 业 信 息 工 程 研 究 中 心 / 中 国 水 产 科 学 研 究 院 渔 业 信 息 工 程 功 能 实 验 室, 北 京 100141) 摘 要 :Web 系 统 性 能 测 试 以 验 船 师 考 试 系 统 作 为 测 试 对 象, 结 合 系 统 性 能 测 试 复 杂 多 用 户 负 载 模 拟 难 度 较 高 的 现 状, 重 点 针 对 该 系 统 应 用 的 实 时 性 稳 定 性 和 容 错 性 特 点, 设 计 了 一 种 基 于 LoadRunner 的 面 向 验 船 师 考 试 系 统 的 性 能 测 试 方 案, 对 考 试 系 统 的 关 键 环 节 资 源 分 布 情 况 硬 件 性 能 进 行 测 试 在 对 测 试 结 果 分 析 的 基 础 上, 找 出 影 响 系 统 性 能 的 关 键 性 因 素, 提 出 了 系 统 性 能 优 化 方 案, 并 对 系 统 进 行 调 优 通 过 对 验 船 师 考 试 系 统 的 性 能 测 试 及 优 化 方 法 的 研 究, 解 决 了 该 系 统 的 性 能 问 题, 为 Web 应 用 的 性 能 测 试 提 供 了 有 效 的 测 试 及 优 化 方 法 关 键 词 : 性 能 测 试 ;Web 应 用 ; 考 试 系 统 ;LoadRunner; 性 能 优 化 中 图 法 分 类 号 :TP311.5 文 献 标 志 码 :A 论 文 编 号 :2014-1506 Performance Testing and Optimization of Web Exam System Based on LoadRunner Chen Mengjie, Liu Huiyuan, Wang Zhenzhou, Wang u, Xu Shuo (Institute of Fisheries Engineering of Chinese Academy of Fishery Sciences/ Fisheries Information Engineering Research Center of Chinese Academy of Fishery Sciences/ Fisheries Information Engineering Functional Iab of Chinese Academy of Fishery Sciences, Beijing 100141) Abstract: As a Web exam application, Surveyor Examination System (SES) performance testing is complicated, especially of the simulation of multi-user load. Focused on the real-time, stability and robustness feature, the author designed a LoadRunner-based performance testing process for SES to test the key aspects of the system, the distribution of resources and hardware performance. Based on the analysis of the test results, the key factors that affect system performance were identified and performance optimization methods were proposed. Practices showed these methods eliminated the system performance bottlenecks effectively. This paper provided a general way of performance testing and optimization for the web applications. Key words: performance testing; Web applications; examination system; LoadRunner; performance optimization 0 引 言 验 船 师 考 试 系 统 ( 简 称 考 试 系 统 ) 是 一 款 用 户 定 制 的 Web 应 用 软 件, 应 用 于 全 国 多 个 省 市 地 区 的 验 船 师 专 业 等 级 评 测 考 试 在 考 试 系 统 使 用 期 间, 系 统 进 行 了 一 次 重 新 部 署, 更 换 硬 件 设 备 改 变 考 试 模 式 新 部 署 的 系 统 在 福 建 重 庆 哈 尔 滨 等 地 区 开 展 了 10 场 考 试 服 务, 次 均 考 试 人 数 在 100 人 左 右 然 而, 在 考 试 过 程 中 出 现 了 登 陆 错 误 答 题 失 败 以 及 交 卷 失 败 等 10 多 例 错 误, 错 误 率 明 显 增 加, 响 应 时 间 延 长, 用 户 体 验 欠 佳 优 化 系 统 性 能 是 改 进 该 系 统 的 重 要 工 作 之 一 基 金 项 目 : 中 国 水 产 科 学 研 究 院 院 部 中 央 级 公 益 性 科 研 院 基 本 科 研 业 务 费 专 项 资 金 项 目 海 洋 渔 船 超 短 波 自 组 织 网 络 通 信 技 术 研 究 (2014A10XK06) 第 一 作 者 简 介 : 陈 孟 婕, 女,1988 年 出 生, 福 建 泉 州 人, 硕 士, 研 究 方 向 为 计 算 机 应 用 技 术 通 信 地 址 :100141 北 京 市 丰 台 区 永 定 路 南 青 塔 村 150 号,Email:chenmj@cafs.ac.cn 通 讯 作 者 : 徐 硕, 男,1985 年 出 生, 辽 宁 辽 阳 人, 助 理 研 究 员, 硕 士, 研 究 方 向 为 : 计 算 机 应 用 技 术 渔 港 渔 船 通 信 技 术 通 信 地 址 :100141 北 京 市 丰 台 区 永 定 路 南 青 塔 村 150 号 中 国 水 产 科 学 研 究 院 渔 业 工 程 研 究 所,E-mail:xushuo19850718@126.com 收 稿 日 期 :2014-6-11, 修 回 日 期 :2014-7-15
基 于 此, 笔 者 针 对 考 试 系 统 的 特 点 制 定 了 性 能 测 试 计 划 通 过 选 取 LoadRunner 工 具 为 主 要 测 试 工 具, 设 计 了 一 套 Web 考 试 系 统 的 性 能 测 试 优 化 方 案, 并 在 系 统 优 化 前 后 的 对 比 分 析 实 验 中 验 证 了 优 化 方 案 的 有 效 性 研 究 为 Web 应 用 的 性 能 测 试 与 优 化 研 究 提 供 参 考 1 考 试 系 统 性 能 测 试 概 述 1.1 Web 应 用 性 能 测 试 性 能 测 试 是 软 件 生 命 周 期 的 一 个 重 要 环 节, 一 般 [1-2] [3-4] 在 软 件 测 试 的 系 统 测 试 阶 段 实 施 其 原 理 是 通 过 模 拟 特 定 场 景, 对 系 统 运 行 时 的 性 能 参 数 进 行 测 试, 评 估 系 统 性 能 需 求 的 满 足 程 度 利 用 性 能 测 试 方 法, 软 件 开 发 团 队 能 够 在 产 品 投 入 市 场 环 境 之 前 对 产 品 各 方 面 情 况 有 充 分 地 了 解 掌 握, 包 括 软 件 系 统 本 身 的 负 载 能 力 硬 件 情 况 软 件 运 行 情 况 等, 在 对 系 统 进 行 优 化 升 级 时 有 充 分 的 依 据, 解 决 系 统 性 能 瓶 颈 问 题 不 同 [5] 的 应 用 软 件 具 有 不 同 的 性 能 需 求, 例 如 在 邮 件 服 务 中 [6] 收 发 信 效 率 转 发 效 率, 在 DS 服 务 中 测 试 评 估 服 务 器 的 安 全 性 网 络 性 能 等, 因 此 性 能 测 试 没 有 固 定 的 测 试 指 标 和 通 用 的 测 试 方 法 Web 应 用 软 件 由 于 具 有 并 发 跨 平 台 跨 区 域 的 特 性 [7], 性 能 影 响 因 素 较 为 复 杂, 从 软 件 硬 件 使 用 环 境 到 用 户 主 观 感 受 都 对 测 试 指 标 的 评 估 有 一 定 影 响 [8-11] Web 应 用 软 件 的 性 能 测 试 类 型 分 为 并 发 性 能 测 试 负 载 性 能 测 试 强 度 性 能 测 大 数 据 性 能 测 试 以 及 速 度 测 试 五 类, 通 过 实 施 测 试 方 案 获 取 Web 性 能 指 标 取 值, 包 括 响 应 时 间 吞 吐 量 并 发 用 户 数 资 源 利 用 率 等 定 量 指 标, 以 及 稳 定 性 健 壮 性 等 定 性 指 标 [12-13] Web 应 用 中, 客 户 端 的 用 户 体 验 是 性 能 评 估 的 重 要 依 据, 一 般 通 过 模 拟 用 户 的 客 户 端 操 作 行 为 而 进 行 性 能 测 试 Web 考 试 系 统 是 一 类 特 殊 的 Web 应 用 软 件, 具 有 Web 应 用 的 特 性 并 可 以 使 用 性 能 测 试 方 法 进 行 测 试, 得 到 性 能 情 况 文 章 主 要 研 究 基 于 验 船 师 考 试 系 统 的 Web 应 用 性 能 测 试 方 法, 通 过 测 试 方 案 的 设 计 测 试 结 果 的 对 比 分 析, 得 出 系 统 性 能 调 优 方 法, 以 期 达 到 提 高 系 统 稳 定 与 可 靠 性 的 目 的 1.2 LoadRunner 测 试 工 具 由 于 Web 应 用 性 能 测 试 需 要 模 拟 大 量 用 户 并 发 测 试 或 者 大 数 据 量 访 问, 因 此 一 般 需 要 利 用 特 定 工 具, 对 不 同 场 景 进 行 模 拟 和 测 试 同 时, 测 试 工 具 能 够 对 收 集 的 性 能 数 据 进 行 分 析 和 评 估 LoadRunner 测 试 工 [14] 具 是 由 惠 普 公 司 开 发 的 性 能 测 试 工 具, 包 括 脚 本 录 制 功 能 场 景 模 拟 功 能 分 析 工 具 3 个 模 块 陈 孟 婕 等 : 基 于 LoadRunner 的 Web 考 试 系 统 性 能 测 试 与 优 化 251 LoadRunner 不 仅 能 够 模 拟 海 量 用 户 对 系 统 的 访 问, 还 提 供 了 多 种 数 据 视 图 展 现 方 式 和 分 析 方 法, 并 支 持 SOAP Wap XML Web Web Service 等 多 种 协 议 笔 者 选 用 LoadRunner 作 为 Web 应 用 的 性 能 测 试 工 具 其 他 的 测 试 工 具 如 IBM 的 Rational TestManager 微 软 的 WAS 等, 支 持 不 同 的 协 议 族 [1] 服 务 器 端 的 性 能 表 现 主 要 是 硬 件 的 性 能, 可 以 使 用 系 统 自 带 的 性 能 监 视 器, 对 考 试 系 统 运 行 过 程 中 自 身 的 硬 件 情 况 进 行 监 视 2 Web 考 试 系 统 性 能 测 试 方 案 设 计 与 实 现 2.1 性 能 测 试 难 点 分 析 考 试 系 统 基 于 B/S 架 构 的 Web 应 用, 其 特 点 在 于 对 考 试 过 程 中 的 实 时 性 稳 定 性 和 容 错 性 要 求 较 高, 客 户 端 与 服 务 器 之 间 的 数 据 交 互 在 特 定 时 间 内 集 中 发 生, 因 此 对 软 件 硬 件 要 求 较 高 考 试 系 统 的 性 能 问 题 在 系 统 重 新 部 署 后 用 户 的 增 加 网 络 环 境 的 变 化 系 统 运 行 环 境 的 变 化 资 源 的 消 耗 而 逐 渐 凸 显 [15-17], 这 些 问 题 无 法 通 过 单 次 的 功 能 测 试 重 现, 难 以 迅 速 找 到 问 题 的 根 源, 需 要 进 一 步 的 性 能 测 试 传 统 的 Web 应 用 性 能 测 试 中, 测 试 数 据 可 以 重 复 使 用 而 对 测 试 结 果 没 有 影 响 在 Web 考 试 系 统 性 能 测 试 中, 考 试 数 据 带 有 一 定 的 状 态, 例 如 交 卷 数 据 只 能 使 用 一 次, 试 题 数 据 成 绩 具 有 随 机 性, 利 用 一 般 的 测 试 方 法 其 覆 盖 的 数 据 范 围 有 限 因 此, 传 统 的 测 试 方 法 在 考 试 系 统 性 能 测 试 中 会 带 来 一 定 的 问 题, 不 能 准 确 反 应 性 能 情 况 针 对 应 用 特 点 和 性 能 测 试 需 求, 笔 者 设 计 了 面 向 Web 考 试 系 统 的 性 能 测 试 方 法, 通 过 LoadRunner 测 试 工 具 实 施 测 试 方 案, 模 拟 不 同 负 载 并 发 数 的 客 户 端 操 作, 监 控 收 集 性 能 参 数 情 况, 例 如 吞 吐 量 点 击 率 等, 对 数 据 进 行 分 析, 定 位 系 统 的 瓶 颈, 解 决 Web 考 试 系 统 性 能 问 题 2.2 性 能 测 试 方 案 2.2.1 测 试 计 划 Web 考 试 系 统 性 能 包 括 客 户 端 和 服 务 器 的 性 能 表 现, 响 应 时 间 正 确 率 稳 定 性 扩 展 性 等 是 重 要 的 性 能 指 标 笔 者 针 对 Web 考 试 系 统 客 户 端 和 服 务 器 设 计 了 仿 真 压 力 测 试 和 疲 劳 强 度 测 试 利 用 仿 真 压 力 测 试, 得 到 Web 考 试 系 统 的 客 户 端 操 作 的 性 能 指 标 ; 利 用 疲 劳 强 度 测 试, 定 位 Web 应 用 服 务 器 端 系 统 的 性 能 瓶 颈 测 试 计 划 如 表 1 所 示 LoadRunner 在 测 试 计 划 执 行 过 程 中, 通 过 动 态 增 加 测 试 数 据 的 方 法 得 到 系 统 运 行 时 的 扩 展 性 性 能 测 试 工 具 模 拟 了 多 用 户 并 发 访 问 服 务 器 的 情 形, 在 测 试 期 间, 同 时 利 用 性 能 监 视 器 查 看 服 务 器 硬 件 性 能 指 标 2.2.2 测 试 场 景 设 计 LoadRunner 性 能 测 试 过 程 分 为 3
252 测 试 类 别 中 国 农 学 通 报 http://www.casb.org.cn 表 1 测 试 计 划 测 试 要 点 测 试 内 容 仿 真 压 力 测 试 疲 劳 强 度 测 试 ( 无 思 考 时 间 ) 对 登 陆 答 题 交 卷 关 键 流 程 的 测 试 系 统 稳 定 运 行 时 的 测 试 测 试 成 功 率 / 失 败 率 响 应 时 间 吞 吐 量 点 击 率 等 指 标 的 最 大 最 小 值 平 均 值 方 差,Web 流 量 分 布 系 统 各 个 流 程 中 的 稳 定 性 情 况 及 内 存 CPU 性 能 磁 盘 读 写 速 度 的 性 能 表 现 个 步 骤 : 测 试 场 景 设 计 测 试 脚 本 录 制 以 及 测 试 计 划 执 行 合 理 的 测 试 场 景 可 以 有 效 提 高 性 能 测 试 效 率 场 景 设 计 的 基 本 流 程 图 如 图 1 所 示 设 置 参 数, 准 备 测 试 用 户 运 行 用 户 数 小 于 设 定 人 数 间 隔 n 秒 第 n 个 用 户 登 录 答 题 测 试 时 间 结 束 测 试 结 束 图 1 场 景 流 程 图 场 景 执 行 时, 首 先 对 参 数 进 行 初 始 化, 在 设 计 中 为 测 试 用 户 分 配 账 号 信 息, 其 次 逐 步 增 加 测 试 用 户 至 设 定 的 用 户 数, 每 个 用 户 登 陆 后 同 时 答 题 直 至 测 试 时 间 结 束 根 据 测 试 计 划, 设 计 了 以 下 2 类 测 试 场 景 (1) 仿 真 压 力 测 试 仿 真 压 力 测 试 模 拟 了 真 实 用 户 的 答 题 情 况 实 际 考 试 应 用 中, 用 户 在 登 陆 答 题 环 节 会 有 一 定 的 页 面 停 留, 系 统 用 户 数 是 以 递 增 的 方 式 增 加, 因 此, 设 置 思 考 时 间, 通 过 用 户 数 逐 渐 增 加 而 对 系 统 加 压, 并 进 行 一 段 时 间 测 试 用 户 数 根 据 实 际 应 用 中 平 均 考 试 人 数, 设 定 为 系 统 轻 负 载 到 高 负 载 的 数 据 范 围 因 此, 场 景 设 计 关 键 因 素 有 : 是 否 有 思 考 时 间, 用 户 数 设 定 以 及 加 压 过 程 仿 真 压 力 测 试 的 用 户 总 数 为 50 100 150 200 人, 从 0 开 始 逐 渐 加 压, 每 1 s 增 加 2 个 用 户, 并 持 续 运 行 (2) 疲 劳 强 度 测 试 对 于 疲 劳 强 度 测 试, 其 测 试 场 景 与 仿 真 测 试 的 差 别 在 于 不 考 虑 思 考 时 间, 连 续 不 断 向 服 务 器 发 送 请 求, 并 且 用 户 数 控 制 在 系 统 承 载 范 围 内 的 数 值 通 过 疲 劳 强 度 测 试, 了 解 系 统 稳 定 运 行 时 的 硬 件 性 能 状 况 服 务 器 性 能 主 要 是 内 存 硬 盘 CPU 的 性 能 情 况, 在 性 能 监 视 器 中, 记 录 了 page/sec avg disk queue length processor time 3 个 参 数, 反 映 了 内 存 硬 盘 IO 以 及 CPU 的 性 能 在 考 试 系 统 的 网 络 拓 扑 ( 图 2) 中 可 以 看 出 考 试 系 统 包 括 数 据 库 服 务 器 和 Web 应 用 服 务 器, 因 此 同 时 记 录 2 个 服 务 器 的 运 行 时 性 能 情 况 服 务 器 疲 劳 强 度 测 试 的 测 试 场 景 用 户 总 数 为 50 人, 从 0 开 始 逐 渐 加 压, 每 1 s 增 加 1 个 用 户, 并 持 续 运 行 (3) 仿 真 压 力 测 试 与 疲 劳 强 度 测 试 对 比 仿 真 压 力 测 试 与 疲 劳 强 度 测 试 由 于 测 试 目 的 不 同, 因 此 测 试 方 法 和 测 试 重 点 有 所 不 同 仿 真 压 力 测 试 的 测 试 目 的 是 发 现 软 件 设 计 问 题, 其 测 试 重 点 在 于 仿 真 和 压 力, 因 此, 场 景 设 计 中 考 虑 了 思 考 时 间 模 拟 用 户 答 题, 并 利 用 用 户 数 量 和 加 压 过 程 实 现 对 系 统 的 负 载 压 力 50~200 的 用 户 数 量 设 定 正 好 是 系 统 从 稳 定 运 行 到 高 强 度 负 载 运 行 的 范 围, 通 过 逐 步 加 压 可 以 测 定 系 统 容 量, 了 解 出 现 问 题 的 节 点 以 及 在 高 负 载 情 况 下 表 现 的 性 能 情 况 通 常, 用 户 并 发 数 是 性 能 测 试 所 需 要 考 虑 的 重 要 因 素 考 试 3 个 环 节 是 登 陆 答 题 交 卷 由 于 系 统 软 件 设 计 原 因, 系 统 登 陆 环 节 并 不 支 持 高 并 发 处 理, 这 对 于 应 用 并 没 有 太 大 影 响, 因 为 在 真 实 考 试 环 境 中 用 户 如 果 登 入 失 败 则 会 重 新 登 陆 系 统 直 至 成 功 答 题 交 卷 环 节 则 是 需 要 考 虑 并 发 数 量 答 题 环 节 通 过 大 量 用 户 同 时 作 答 实 现 较 高 的 并 发, 交 卷 则 通 过 测 试 时 间 控 制 其 同 时 交 卷, 因 此, 用 户 数 量 的 设 置 符 合 性 能 测 试 中 的 并 发 数 需 求 图 2 网 络 拓 扑 结 构 Web 服 务 器 数 据 库 服 务 器
疲 劳 强 度 测 试 则 主 要 监 视 系 统 在 稳 定 运 行 中 基 础 硬 件 软 件 平 台 的 运 行 时 性 能 在 选 取 用 户 数 时, 当 用 户 数 较 大 时 软 件 的 代 码 质 量 对 性 能 的 影 响 较 大, 因 此, 需 要 在 系 统 稳 定 运 行 时 进 行 测 试, 设 置 测 试 用 户 数 为 50 在 此 条 件 下, 通 过 较 长 时 间 的 监 控 观 察, 了 解 基 础 软 件 和 基 础 硬 件 的 性 能 情 况, 从 而 把 握 系 统 基 础 设 施 的 薄 弱 环 节 2.2.3 测 试 脚 本 设 计 测 试 脚 本 表 示 了 单 个 用 户 访 问 Web 考 试 系 统 的 操 作 过 程 对 于 仿 真 压 力 测 试 和 疲 劳 陈 孟 婕 等 : 基 于 LoadRunner 的 Web 考 试 系 统 性 能 测 试 与 优 化 253 强 度 测 试, 用 户 的 操 作 流 程 相 同 测 试 脚 本 执 行 流 程 如 图 3 所 示 根 据 考 试 应 用 需 求, 笔 者 在 测 试 脚 本 中 设 计 了 参 数 事 务 文 本 校 验 的 方 法, 实 现 对 测 试 结 果 的 自 动 化 测 试 和 监 控 首 先, 通 过 参 数 的 设 定 模 拟 不 同 用 户 登 录 系 统 LoadRunner 提 供 了 唯 一 数 值 随 机 数 表 格 文 件 等 多 种 参 数 设 定 类 型, 本 测 试 选 择 唯 一 数 值 作 为 参 数 类 型, 数 据 的 范 围 由 初 试 值 增 量 值 用 户 总 数 而 决 定 其 次, 事 务 的 增 加 便 于 观 察 原 子 操 作 的 情 况 登 录 事 务 开 始 打 开 登 录 首 页 答 题 事 务 开 始 第 一 题 事 务 开 始 思 考 时 间 交 卷 事 务 开 始 点 击 交 卷 按 钮 是 否 含 有 特 定 文 本 输 入 账 号 / 密 码 思 考 时 间 登 录 页 面 打 开 失 败 提 交 第 一 题 答 案 是 否 答 题 成 功 答 题 失 败 服 务 器 返 回 成 绩 判 断 成 绩 是 否 正 确 成 绩 错 误 是 否 返 回 答 题 试 卷 登 录 事 务 结 束 试 卷 页 面 打 开 失 败 第 一 题 事 务 结 束 ( 答 其 他 题 ) 思 考 时 间 交 卷 事 务 结 束 结 束 答 题 事 务 结 束 是 否 结 束 答 题 图 3 测 试 脚 本 流 程 图 LoadRunner 中 包 括 vuser_init action 和 vuser_end 3 个 默 认 事 务, 分 别 对 应 图 3 中 的 登 录 事 务 答 题 事 务 交 卷 事 务 由 于 答 题 事 务 涉 及 整 个 试 卷 的 交 互 过 程, 因 此 可 以 进 一 步 细 分 为 每 道 题 的 答 题 事 务, 在 设 计 的 脚 本 中 选 取 具 有 典 型 代 表 的 第 一 题 为 自 定 义 事 务 第 三, 文 本 校 验 可 以 实 现 自 动 化 监 控, 文 本 校 验 的 设 计 对 http 请 求 的 响 应 数 据 增 加 文 本 校 验, 判 断 响 应 数 据 中 是 否 包 含 指 定 的 字 段 在 图 3 中, 对 登 录 页 面 试 卷 页 面 每 道 答 题 以 及 最 后 的 交 卷 都 设 定 了 文 本 校 验, 登 陆 成 功 时 有 试 卷 文 本 校 验, 答 题 成 功 时 有 true 文 本 校 验, 交 卷 时 有 成 绩 分 数 的 文 本 校 验 在 真 实 环 境 中 用 户 打 开 登 录 页 面 或 者 答 题 过 程 中 会 有 几 秒 的 停 顿 进 行 思 考, 在 测 试 脚 本 中 用 思 考 时 间 表 示 脚 本 中 的 思 考 时 间 通 过 测 试 场 景 进 行 灵 活 控 制 在 客 户 端 仿 真 压 力 测 试 场 景 中 启 用 思 考 时 间 的 设 定, 在 服 务 器 疲 劳 强 度 测 试 则 忽 略 思 考 时 间 2.3 测 试 实 验 与 结 果 分 析 2.3.1 测 试 环 境 客 户 端 仿 真 压 力 测 试 的 准 备 工 作 包 括 测 试 机 器 测 试 软 件 测 试 数 据 的 准 备 性 能 测 试 要 求 测 试 软 件 所 运 行 的 测 试 机 器 的 安 装 环 境 相 对 纯 净 因 此, 选 用 一 台 专 门 的 测 试 机 器, 安 装 LoadRunner 工 具 考 试 数 据 与 普 通 的 网 站 用 户 数 据 不 同, 在 考 试 前 考 试 中 考 试 结 束 的 不 同 考 试 情 况 下 不 能 重 复 利 用 测 试 之 前, 将 考 试 系 统 原 有 的 考 生 数 据 清 空, 根 据 数 据 要 求 及 系 统 应 用 特 点, 从 考 试 管 理 系 统 客 户 端 批 量 导 入 连 续 编 号 的 考 生 数 据 以 便 测 试 使 用 2.3.2 测 试 过 程 仿 真 压 力 测 试 中, 测 试 前, 在 测 试 脚 本 中 设 定 数 据 初 始 值, 在 场 景 设 置 中 运 行 时 长 不 限, 加 压 方 式 为 每 秒 钟 增 加 2 个 用 户, 用 户 总 数 在 实 验 中 分 别 为 50 100 150 200 测 试 执 行 中, 通 过 测 试 工 具 观 察 测 试 场 景 运 行 情 况, 包 括 错 误 情 况 事 务 通 过 情 况 测 试 结 束 后, 利 用 LoadRunner 生 成 结 果 的 分 析 总 结 报 告 疲 劳 强 度 测 试 利 用 LoadRunner 生 成 系 统 的 负 载, 在 服 务 器 性 能 监 控 工 具 观 察 硬 件 性 能 情 况 测 试 开 始 前, 设 定 测 试 脚 本 的 参 数 初 始 值 测 试 场 景 的 用 户 数
254 中 国 农 学 通 报 http://www.casb.org.cn 加 压 方 式 测 试 时 长 在 测 试 开 始 120 min 后, 考 试 系 统 稳 定 运 行, 观 察 服 务 器 性 能 监 视 器 数 据 测 试 结 束 后, 对 测 试 结 果 进 行 分 析 2.3.3 测 试 结 果 及 分 析 经 过 仿 真 压 力 测 试 的 4 次 实 验, 笔 者 选 取 Web 考 试 系 统 关 键 操 作 的 性 能, 对 比 测 试 结 果, 如 表 2 所 示 数 据 下 载 量 分 布 与 用 户 数 无 关, 观 察 50 人 的 数 据 下 载 量 分 布 图, 如 图 4 所 示 通 过 对 比 不 同 用 户 数 的 登 陆 答 题 交 卷 的 响 应 时 间, 可 以 看 出, 登 陆 交 卷 时 间 的 标 准 差 取 值 较 大, 反 映 了 其 取 值 的 离 散 程 度 较 大 结 合 数 据 下 载 量 分 布 图 进 行 分 析, 登 陆 波 动 较 大 的 主 要 原 因 是 这 一 阶 段 有 大 量 的 试 题 传 输 加 载 交 卷 操 作 波 动 较 大 的 原 因 则 与 成 绩 算 法 相 关 登 陆 和 交 卷 是 Web 考 试 系 统 设 计 优 化 的 主 要 内 容 表 2 仿 真 压 力 测 试 结 果 较 为 稳 定 与 此 同 时, 在 Web 服 务 器 性 能 监 视 图 中, 内 存 的 波 动 最 大 Web 考 试 系 统 服 务 器 端 优 化 可 以 对 内 存 和 硬 盘 进 行 调 优 内 存 性 能 硬 件 性 能 用 户 数 测 试 项 目 50 100 150 200 登 陆 平 均 速 度 /s 2.79 3.72 3.60 3.6 登 录 最 大 速 度 /s 3.77 14.85 12.94 17.11 登 陆 标 准 差 0.52 2.50 1.93 2.19 交 卷 速 度 /s 0.12 2.23 1.88 1.10 最 大 交 卷 速 度 /s 0.22 5.77 6.58 5.98 交 卷 标 准 差 0.04 1.39 2.00 1.59 答 题 平 均 响 应 时 间 /s 0.02 0.05 0.03 0.03 答 题 最 大 响 应 时 间 /s 0.48 4.55 13.16 14.30 答 题 标 准 差 0.03 0.31 0.30 0.4 平 均 HTTP 请 求 数 49.1 98.88 144.54 188.03 其 其 他 他 交 交 互 数 据,3% 数 据 登 录 陆 页 面 面, 42% 试 试 卷 页 面, 55% 图 4 数 据 下 载 量 分 布 图 疲 劳 强 度 测 试 实 验 中, 考 试 系 统 服 务 器 性 能 表 现 如 图 5 从 图 中 看 出 磁 盘 读 写 速 率 波 动 较 大, 并 且 在 某 一 时 间 段 出 现 最 大 值, 相 比 之 下, 内 存 和 CPU 的 运 行 内 存 性 能 硬 盘 性 能 性 能 图 5 数 据 库 服 务 器 性 能 监 视 图 与 Web 服 务 器 性 能 监 视 图 3 基 于 测 试 结 果 的 性 能 优 化 经 过 测 试 结 果 的 分 析, 考 试 系 统 的 性 能 问 题 主 要 在 软 件 设 计, 包 括 算 法 系 统 架 构 运 行 环 境 优 化, 硬 件 配 置 也 对 性 能 有 一 定 影 响 因 此, 优 化 策 略 主 要 以 软 件 优 化 为 主 并 辅 以 硬 件 升 级 (1) 首 先, 对 于 软 件 算 法, 优 化 交 卷 算 法 减 少 数 据 库 读 写 操 作 并 优 化 计 算 过 程 对 于 优 化 前 的 交 卷 算 法, 算 法 思 路 是 对 每 一 道 题 先 判 断 是 否 回 答 正 确 再 对 成 绩 进 行 累 加, 其 中 设 计 了 多 条 SQL 语 句 对 表 进 行 插 入 删 除 更 新 操 作, 每 计 算 一 道 题 平 均 需 要 建 立 3 次 以 上 的 数 据 库 连 接, 因 此 计 算 一 位 考 生 的 成 绩 需 要 (3 试 卷 题 量 ) 的 数 据 库 连 接 查 询 优 化 方 法 针 对 SQL 语 句 多 成 绩 计 算 较 为 复 杂 的 特 点 进 行 改 进, 对 每 个 考 生 使 用 1 条 SQL 语 句 计 算 得 到 成 绩 算 法 是 从 全 部 学 员 答 案 表 中 选 出 待 算 分 的 考 生 的 所 有 答 题, 再 将 答 题 与 正 确 答 案 一 致 的 答 题 进 行 成 绩 累 加, 得 出 该 考 生 的 总 分 新 的 交 卷 算 法 中, 针 对
陈 孟 婕 等 : 基 于 LoadRunner 的 Web 考 试 系 统 性 能 测 试 与 优 化 255 数 值 /s 7 6 5 4 3 2 1 0 优 化 前 标 准 差 优 化 后 标 准 差 优 化 前 平 均 速 度 优 化 后 平 均 速 度 1 2 3 4 5 6 7 8 9 10 次 数 图 6 交 卷 算 法 优 化 前 后 对 比 每 个 考 生 只 需 要 1 条 查 询 语 句, 减 少 了 数 据 连 接 次 数 查 询 次 数 对 交 卷 算 法 优 化 前 后 进 行 对 比 实 验 测 试 比 较 100 个 用 户 同 时 交 卷 的 操 作 的 性 能 通 过 多 次 对 比 实 验, 其 对 比 结 果 如 图 6 所 示 图 中, 优 化 后 的 平 均 交 卷 速 度 较 优 化 前 平 均 交 卷 速 度 小, 平 均 提 升 对 比 标 准 差 数 据, 优 化 后 的 标 准 差 取 值 较 优 化 前 小, 且 数 值 较 为 趋 近, 因 此 优 化 后 算 法 运 行 更 加 稳 定 可 见, 优 化 后 通 过 减 少 算 法 中 数 据 库 连 接, 交 卷 算 法 的 性 能 较 优 化 前 有 显 著 提 升 (2) 对 于 软 件 系 统 架 构, 优 化 架 构 使 得 Web 考 试 服 务 的 访 问 量 分 散 在 不 同 应 用 服 务 器 通 过 部 署 多 个 应 用 服 务 器, 并 增 加 负 载 均 衡 设 备, 将 用 户 访 问 流 量 和 计 算 压 力 分 布 在 各 个 服 务 器 上 优 化 后, 系 统 架 构 如 图 7 所 示 数 据 库 架 构 同 样 可 以 设 计 成 分 布 式 形 式 读 写 分 离 形 式 (3) 优 化 运 行 环 境 对 于 软 件 运 行 环 境, 其 优 化 包 括 更 新 数 据 库 软 件 设 置 数 据 库 连 接 时 间 JDBC 连 接 次 数 调 整 Java 虚 拟 机 内 存 大 小 由 于 Web 考 试 系 统 中 的 SQL SERVER 软 件,2005 版 本 的 负 载 能 力 要 远 胜 [15] 于 2000 版 本, 因 此, 将 数 据 库 版 本 进 行 升 级 到 新 版 本 可 以 取 得 更 好 的 性 能 对 于 硬 件 运 行 环 境, 升 级 应 用 服 务 器 硬 件 增 加 物 理 内 存, 同 时 升 级 数 据 库 硬 件 提 高 硬 盘 读 写 速 度 (4) 其 他 优 化 网 络 带 宽 不 充 分 时, 对 用 户 的 使 用 有 较 大 影 响, 因 此 增 加 网 络 带 宽 识 别 特 殊 数 据 并 进 行 优 化, 例 如 登 陆 页 面 某 些 试 题 的 图 片 信 息, 对 图 片 压 缩 可 以 减 少 关 键 环 节 的 数 据 流 量 优 化 数 据 传 输 方 式 在 原 有 设 计 中 为 登 陆 成 功 后 全 部 传 输, 新 的 设 计 可 以 将 试 题 按 照 不 同 类 型 划 分, 把 一 次 传 输 改 为 多 次 负 载 均 衡 Web 服 务 集 群 器 数 据 库 服 务 器 图 7 新 部 署 架 构 图
256 中 国 农 学 通 报 http://www.casb.org.cn 传 输, 或 者 将 试 题 的 传 递 分 散 在 整 个 考 试 过 程 中, 在 答 题 时 下 载 试 题 优 化 的 核 心 思 想 是 分 散 访 问, 使 服 务 运 行 平 均 稳 定 4 结 语 性 能 问 题 是 许 多 应 用 系 统 进 一 步 发 展 的 关 键 问 题, 通 过 性 能 测 试 能 够 发 现 系 统 设 计 问 题 和 性 能 瓶 颈 本 文 涉 及 的 性 能 测 试 方 法 以 Web 考 试 应 用 作 为 测 试 研 究 对 象, 通 过 对 考 试 系 统 性 能 测 试 难 点 的 分 析 研 究, 针 对 考 试 系 统 业 务 特 点, 在 脚 本 设 计 场 景 设 计 中 运 用 灵 活 的 参 数 设 定 和 测 试 流 程 设 计 予 以 解 决 实 验 还 进 行 了 基 于 测 试 结 果 的 系 统 优 化 工 作, 对 优 化 前 后 的 系 统 性 能 进 行 对 比, 验 证 了 优 化 方 案 的 有 效 性 虽 然 Web 考 试 系 统 具 有 自 己 独 特 的 业 务 特 点, 其 性 能 测 试 方 法 和 性 能 优 化 对 于 其 他 系 统 仍 具 有 参 考 价 值 性 能 测 试 是 一 个 循 环 迭 代 的 过 程, 在 测 试 中 发 现 问 题 在 优 化 中 解 决 问 题, 需 要 经 过 不 断 的 测 试 调 整 使 系 统 达 到 最 佳 状 态 在 设 计 中 仍 存 在 不 足, 没 有 覆 盖 题 库 中 所 有 的 数 据 范 围, 交 卷 流 程 中 对 于 交 卷 数 据 一 次 性 使 用 的 问 题 也 处 理 得 较 为 繁 琐, 需 要 测 试 人 员 在 每 次 实 验 时 对 数 据 进 行 一 定 的 筛 选 在 下 一 步 研 究 中, 将 进 一 步 完 善 测 试 方 法, 提 高 测 试 效 率 同 时, 结 合 其 他 Web 系 统 的 性 能 研 究, 探 索 性 能 测 试 模 型 及 方 法, 在 测 试 过 程 中 总 结 完 善 性 能 调 优 策 略, 使 性 能 测 试 方 法 在 系 统 升 级 优 化 及 新 系 统 的 设 计 开 发 中 得 到 更 广 泛 的 应 用 参 考 文 献 [1] 浦 云 明, 范 明 红, 许 明 娜.Web 应 用 系 统 负 载 测 试 [J]. 计 算 机 应 用 与 软 件,2009(11):120-123. [2] RonPatton 著, 张 小 松 等 译,SoftwareTesting(2 nd Edition) 软 件 测 试 [M]. 北 京 : 机 械 工 业 出 版 社,2006:155-174. [3] 谭 浩, 关 昕, 马 力. 性 能 测 试 的 原 理 及 其 自 动 化 工 具 的 实 现 [J]. 计 算 机 工 程 与 设 计,2006(19):3660-3662. [4] 吴 秒 秒.WEB 性 能 测 试 浅 析 [J]. 信 息 通 信,2013(8):87. [5] 宋 巍, 沈 建 雄, 孙 毅. 大 型 邮 件 服 务 器 性 能 测 试 方 法 及 实 践 [J]. 计 算 机 应 用 与 软 件,2010(12):130-131. [6] 郭 亚 杰, 李 华, 敖 腾 河, 等.DS 服 务 器 解 析 性 能 测 试 方 案 设 计 [J]. 广 西 大 学 学 报 : 自 然 科 学 版,2011(S1):55-60. [7] 苏 波. 基 于 Web 应 用 的 性 能 测 试 研 究 [D]. 北 京 : 中 国 石 油 大 学, 2007:10-12. [8] 陈 小 辉.Web 性 能 测 试 技 术 的 研 究 与 实 践 [D]. 上 海 : 华 东 师 范 大 学, 2010:18-21. [9] 杨 萍, 李 杰. 利 用 LoadRunner 实 现 Web 负 载 测 试 的 自 动 化 [J]. 计 算 机 技 术 与 发 展,2007(1):242-244. [10] 马 琳, 罗 铁 坚, 宋 进 亮 等.Web 性 能 测 试 与 预 测 [J]. 中 国 科 学 院 研 究 生 院 学 报,2005(4):472-479. [11] 李 昆 霖. 浅 析 性 能 测 试 [J]. 科 技 信 息,2012(9):456-457. [12] 韩 庆 良. 软 件 性 能 测 试 过 程 研 究 与 应 用 [D]. 济 南 : 山 东 大 学,2007:1-7. [13] 刘 海 杜. 软 件 的 非 功 能 需 求 及 测 试 方 法 探 讨 [J]. 软 件 产 业 与 工 程, 2010(5):36-41. [14] 李 怡, 周 国 祥. 基 于 LoadRunner 的 一 种 性 能 测 试 流 程 方 案 研 究 与 设 计 [J]. 计 算 机 应 用 研 究,2009(11):4143-4145. [15] 熊 军 军.B/S 架 构 应 用 软 件 性 能 测 试 问 题 研 究 [J]. 电 脑 开 发 与 应 用, 2010(2):58-60. [16] 惠 斌 武, 陈 明 锐, 杨 登 攀.Web 应 用 系 统 性 能 测 试 研 究 与 应 用 [J]. 计 算 机 应 用,2011(7):1769-1772. [17] 翁 雷 雷, 蔡 皖 东, 姚 烨.Web 应 用 系 统 负 载 测 试 加 压 策 略 研 究 [J]. 计 算 机 应 用,2012(10):2973-297.