测试员第十期.doc

THE SOFTEWARE TESTING ENGINEERING MAGAZINE No.10 2005.12 普 及 & 共 享 & 交 流 & 提 高

本 期 导 读 网 站 测 试 技 术 简 介. 在 一 个 软 件 项 目 开 发 中, 系 统 测 试 是 保 证 整 体 项 目 质 量 的 重 要 一 环, 本 文 将 就 网 站 的 测 试 技 术 及 相 应 的 自 动 测 试 工 具 做 一 个 简 要 的 介 绍 [ 详 见 P3.] IP 网 络 安 全 与 设 备 测 试. 当 今 的 时 代 是 网 络 的 时 代,20 世 纪 末 出 现 的 IP 网 络, 以 前 所 未 有 的 发 展 速 度 创 造 了 人 类 科 技 史 上 的 奇 迹, 并 大 有 取 代 已 经 存 在 了 100 多 年 [ 详 见 P7.] 嵌 入 式 系 统 的 系 统 测 试 和 可 靠 性 评 估. 引 入 多 种 嵌 入 式 系 统 系 统 测 试 方 法 ; 根 据 ISO 9000 国 际 质 量 标 准, 提 出 一 种 切 实 可 行 的 可 靠 性 评 估 方 案, 并 使 它 们 应 用 于 嵌 入 式 产 品 测 试 中 [ 详 见 P10.] 如 何 调 整 压 力 测 试 工 具. 您 是 否 曾 经 不 得 不 对 应 用 程 序 进 行 压 力 测 试, 而 最 后 却 发 现 不 明 白 结 果 表 明 什 么 意 义? 也 许 问 题 不 是 出 在 应 用 程 序 上 也 许 [ 详 见 P16.] 应 用 系 统 性 能 测 试 六 大 步. 性 能 测 试 是 为 了 保 证 产 品 发 布 后 其 性 能 能 够 满 足 用 户 的 需 求, 本 文 结 合 具 体 案 例 介 绍 了 应 用 系 统 性 能 测 试 的 六 大 步 骤 [ 详 见 P22.] 软 件 测 试 过 程 的 监 控 方 法. 软 件 开 发 项 目 的 成 败, 很 大 程 度 上 取 决 于 三 方 面 的 配 合 : 过 程 人 技 术, 三 方 面 相 互 制 约, 又 相 互 促 进 [ 详 见 P26] 软 件 测 试 的 组 织 与 管 理. 作 为 软 件 开 发 的 重 要 环 节, 软 件 测 试 越 来 越 受 到 人 们 的 重 视 随 着 软 件 开 发 规 模 的 增 大 复 杂 程 度 的 增 加 [ 详 见 P36.] 主 办 方 : 测 试 时 代 投 稿 : info@testage.com.cn 主 编 : http 审 阅 : 测 试 时 代 编 辑 组 2

1. 概 述 一 网 站 测 试 技 术 简 介 作 者 : 丁 来 庆 在 一 个 软 件 项 目 开 发 中, 系 统 测 试 是 保 证 整 体 项 目 质 量 的 重 要 一 环, 本 文 将 就 网 站 的 测 试 技 术 及 相 应 的 自 动 测 试 工 具 做 一 个 简 要 的 介 绍 主 要 就 如 下 几 个 方 面 进 行 探 讨 : 功 能 测 试 性 能 测 试 安 全 性 测 试 稳 定 性 测 试 浏 览 器 兼 容 性 测 试 可 用 性 / 易 用 性 测 试 链 接 测 试 代 码 合 法 性 测 试 2 测 试 内 容 2.1 功 能 测 试 在 实 际 工 作 中, 功 能 在 每 一 个 系 统 中 的 具 有 其 不 确 定 性, 而 我 们 不 可 能 采 用 穷 举 的 方 法 进 行 测 试, 因 而 导 致 了 功 能 测 试 较 为 困 难, 我 们 依 据 80/20 原 则 ( 即 80% 的 错 误 存 在 于 系 统 的 20% 的 部 分 ) 对 于 测 试 用 例 的 设 计 采 用 如 下 两 种 方 法 2.1.1 白 盒 测 试 白 盒 测 试 即 使 用 程 序 设 计 的 控 制 结 构 导 出 测 试 用 例 基 于 目 前 的 现 状 我 们 采 用 基 本 路 径 测 试 方 法 进 行 白 盒 测 试, 此 种 方 法 简 单 高 效 基 本 路 径 测 试 方 法 的 简 单 说 明 如 下 : 首 先 通 过 系 统 设 计 的 流 程 图 导 出 数 据 流 图 根 据 数 据 流 图 计 算 其 环 形 复 杂 性 V(G)=E-N+2 或 V(G)=P+1 V(G): 环 形 负 责 性 E : 流 图 中 边 的 数 量 N : 流 图 中 节 点 的 数 量 P : 流 图 中 判 定 节 点 的 数 量 我 们 设 定 V(G) 条 路 径 我 们 设 计 V(G) 条 路 径 的 模 拟 数 据 3

根 据 数 据 进 行 相 应 的 测 试 2.1.2 黑 盒 测 试 黑 盒 测 试 即 派 生 出 执 行 程 序 所 有 功 能 需 求 的 输 入 条 件, 从 而 导 出 测 试 用 例, 进 行 测 试 的 方 法, 黑 盒 测 试 用 于 辅 助 白 盒 测 试 我 们 采 用 等 价 划 分 的 方 法 进 行 测 试, 即 为 将 程 序 的 输 入 域 划 分 为 数 据 类, 以 便 导 出 测 试 用 例 一 般 情 况 下 输 入 条 件 为 : 一 个 特 定 的 数 值 一 个 数 值 域 一 组 相 关 值 或 者 一 个 布 尔 条 件 2.1.3 网 站 功 能 测 试 对 于 网 站 的 测 试 而 言, 每 一 个 独 立 的 功 能 模 块 需 要 单 独 的 测 试 用 例 的 设 计 导 出, 主 要 依 据 为 需 求 分 析, 对 于 应 用 程 序 模 块 需 要 设 计 者 提 供 基 本 路 径 测 试 法 的 测 试 用 例 具 有 测 试 用 例 后 可 以 采 用 OpenSTA(Open System Testing Architecture) 进 行 自 动 化 测 试 2.2 性 能 测 试 网 站 的 性 能 测 试 对 于 网 站 的 运 行 而 言 异 常 重 要, 但 是 目 前 对 于 网 站 的 性 能 测 试 做 的 不 够, 我 们 在 进 行 系 统 设 计 时 也 没 有 一 个 很 好 的 基 准 可 以 参 考, 因 而 建 立 网 站 的 性 能 测 试 的 一 整 套 的 测 试 方 案 将 是 至 关 重 要 的 网 站 的 性 能 测 试 主 要 从 两 个 方 面 进 行 : 负 荷 测 试 (Load) 和 压 力 测 试 (Stress), 负 荷 测 试 指 的 是 进 行 一 些 边 界 数 据 的 测 试, 压 力 测 试 更 像 是 恶 意 测 试, 压 力 测 试 倾 向 应 该 是 致 使 整 个 系 统 崩 溃 性 能 测 试 可 以 采 用 相 应 的 工 具 进 行 自 动 化 测 试, 我 们 目 前 采 用 如 下 工 具 ab -----Apache 的 测 试 工 具 OpenSTA 开 发 系 统 测 试 架 构 2.3 安 全 性 测 试 目 前 网 络 安 全 问 题 日 益 重 要, 特 别 对 于 有 交 互 信 息 的 网 站 及 进 行 电 子 商 务 活 动 的 网 站 尤 其 重 要 目 前 我 们 的 测 试 没 有 涵 盖 网 站 的 安 全 性 的 测 试, 我 们 拟 定 采 用 工 具 来 测 定, 工 具 如 下 SAINT------- Security Administrator\'s Integrated Network Tool 此 工 具 能 够 测 出 网 站 系 统 的 相 应 的 安 全 问 题, 并 且 能 够 给 出 安 全 漏 洞 的 解 决 方 案, 不 过 是 一 些 较 为 常 见 的 漏 洞 解 决 方 案 2.4 稳 定 性 测 试 网 站 的 稳 定 性 测 试 是 指 网 站 的 运 行 中 整 个 系 统 是 否 运 行 正 常, 目 前 没 有 更 好 的 测 试 方 案, 主 要 采 用 将 测 试 服 务 器 长 时 间 运 转 进 行 测 试 4

2.5 浏 览 器 兼 容 性 测 试 通 过 白 盒 测 试 或 者 黑 盒 测 试 导 出 的 测 试 用 例, 采 用 相 应 的 工 具 进 行 测 试, 可 以 采 用 OpenSTA 进 行 测 试, 此 测 试 工 具 可 以 采 用 不 同 的 浏 览 器 进 行 测 试 2.6 可 用 性 / 易 用 性 测 试 可 用 性 / 易 用 性 方 面 目 前 我 们 只 能 采 用 手 工 测 试 的 方 法 进 行 评 判, 而 且 缺 乏 一 个 很 好 的 评 判 基 准 进 行, 此 一 方 面 需 要 大 家 共 同 讨 论 2.7 链 接 测 试 超 级 链 接 对 于 网 站 用 户 而 言 意 味 着 能 不 能 流 畅 的 使 用 整 个 网 站 提 供 的 服 务, 因 而 链 接 将 作 为 一 个 独 立 的 项 目 进 行 测 试 目 前 我 们 已 经 有 了 一 个 测 试 工 具 Xenu------ 主 要 测 试 链 接 的 正 确 性 的 工 具. 可 惜 的 是 对 于 动 态 生 成 的 面 的 测 试 会 出 现 一 些 错 误 2.8 代 码 合 法 性 测 试 代 码 合 法 性 测 试 主 要 包 括 2 个 部 分 : 程 序 代 码 合 法 性 检 查 与 显 示 代 码 合 法 性 检 查. 程 序 代 码 合 法 性 检 查 程 序 代 码 合 法 性 检 查 主 要 标 准 为 intergrp 小 组 编 程 规 范, 目 前 采 用 由 SCM 管 理 员 进 行 规 范 的 检 查, 未 来 期 望 能 够 有 相 应 的 工 具 进 行 测 试 显 示 代 码 合 法 性 检 查 显 示 代 码 的 合 法 性 检 查, 主 要 分 为 Html JavaScript Css 代 码 检 查, 目 前 采 用 HTML 代 码 检 查 ------ 采 用 CSE HTML Validator 进 行 测 试 JavaScript Css 也 可 以 在 网 上 下 载 相 应 的 测 试 工 具 3 测 试 工 具 OpenSTA 主 要 做 性 能 测 试 的 负 荷 及 压 力 测 试, 使 用 比 较 方 便, 可 以 编 写 测 试 脚 本, 也 可 以 先 行 自 动 生 成 测 试 脚 本, 而 后 对 于 应 用 测 试 脚 本 进 行 测 试 SAINT 5

网 站 安 全 性 测 试, 能 够 对 于 指 定 网 站 进 行 安 全 性 测 试, 并 可 以 提 供 安 全 问 题 的 解 决 方 案 CSE HTML Validator 一 个 有 用 的 对 于 HTML 代 码 进 行 合 法 性 检 查 的 工 具 Ab(Apache Bench) Apache 自 带 的 对 于 性 能 测 试 方 面 的 工 具, 功 能 不 是 很 多, 但 是 非 常 实 用 Crash-me Mysql 自 带 的 测 试 数 据 库 性 能 的 工 具, 能 够 测 试 多 种 数 据 库 的 性 能 上 述 工 具 请 至 相 应 的 网 站 上 察 看 相 应 的 资 料. 4 后 记 此 文 只 是 对 于 网 站 的 测 试 方 面 做 了 一 个 简 单 的 介 绍, 提 供 的 工 具 比 较 少, 但 是 可 以 保 证 能 够 使 用 ( 当 然 都 是 可 以 从 网 上 免 费 得 到 的 ), 另 外 还 有 很 多 测 试 工 具 是 需 要 Money 的, 大 家 有 兴 趣 可 以 试 用, 对 于 上 述 提 到 的 测 试 工 具 我 也 只 是 做 了 一 个 初 步 的 调 研, 详 细 的 功 能 说 明 请 察 看 相 关 的 说 明 文 档 对 于 网 站 的 测 试 中 比 较 重 要 的 还 有 一 个 部 分 就 是 对 于 数 据 库 的 测 试, 由 于 对 于 数 据 库 性 能 测 试 较 好 的 工 具 需 要 一 些 Money 因 而 我 们 采 用 Mysql 的 Crash-me, 但 是 同 时 也 存 在 一 个 问 题 就 是 对 于 不 同 的 数 据 库 的 测 试 采 用 三 方 的 工 具 较 好 因 而 大 家 可 以 对 于 其 他 数 据 库 性 能 测 试 的 工 具 进 行 研 究 5 参 考 资 料 (1) 软 件 工 程 - 实 践 者 的 研 究 方 法 -----Roger S.Pressman (2) http://www.softwareqatest.com (3) http://www.soft.com/ (4) http://www.qaforums.com (5) http://www.opensta.org 6

二 IP 网 络 安 全 与 设 备 测 试 1. 引 言 当 今 的 时 代 是 网 络 的 时 代,20 世 纪 末 出 现 的 IP 网 络, 以 前 所 未 有 的 发 展 速 度 创 造 了 人 类 科 技 史 上 的 奇 迹, 并 大 有 取 代 已 经 存 在 了 100 多 年 的 电 路 交 换 网 的 趋 势 但 从 电 信 网 的 角 度 来 说,IP 网 络 还 存 在 着 诸 如 安 全 服 务 质 量 运 营 模 式 等 问 题 其 中,IP 网 络 的 安 全 问 题 是 其 中 非 常 重 要 的 一 个 方 面, 由 于 IP 网 络 的 开 放 性, 又 使 得 它 的 安 全 问 题 变 得 十 分 复 杂 本 文 着 重 分 析 IP 网 络 中 所 面 临 的 安 全 威 胁, 并 讨 论 路 由 器 设 备 安 全 功 能 的 测 试 2.IP 网 络 所 面 临 的 安 全 威 胁 IP 网 络 的 最 大 优 势 是 它 的 开 放 性, 并 最 大 限 度 地 支 持 终 端 的 智 能, 这 使 得 IP 网 络 中 存 在 着 各 种 各 样 丰 富 多 彩 的 业 务 与 应 用 但 与 此 同 时,IP 网 络 的 开 放 性 与 终 端 的 智 能 化 也 使 得 IP 网 络 面 临 着 前 所 未 有 的 安 全 威 胁 IP 网 络 的 安 全 威 胁 有 两 个 方 面, 一 是 主 机 ( 包 括 用 户 主 机 和 应 用 服 务 器 等 ) 的 安 全, 二 是 网 络 自 身 ( 主 要 是 网 络 设 备, 包 括 路 由 器 交 换 机 等 ) 的 安 全 用 户 主 机 所 感 知 的 安 全 威 胁 主 要 是 针 对 特 定 操 作 系 统 ( 主 要 是 Windows 系 统 ) 的 攻 击, 即 所 谓 病 毒 网 络 设 备 主 要 面 对 的 是 基 于 TCP/IP 协 议 的 攻 击 本 文 主 要 讨 论 网 络 自 身, 即 网 络 设 备 ( 主 要 是 路 由 器 ) 自 身 的 安 全 问 题 路 由 器 设 备 从 功 能 上 可 以 划 分 为 数 据 平 面 控 制 / 信 令 平 面 和 管 理 平 面, 也 可 以 从 协 议 系 统 的 角 度 按 TCP/IP 协 议 的 层 次 进 行 划 分 图 l 所 示 为 路 由 器 的 系 统 框 架 路 由 器 设 备 在 系 统 框 架 中 的 每 个 层 次 上 都 有 可 能 受 到 攻 击 图 1 路 由 器 的 系 统 框 架 (1) 对 数 据 平 面 来 说, 其 功 能 是 负 责 处 理 进 入 设 备 的 数 据 流, 它 有 可 能 受 到 基 于 流 量 的 攻 击, 如 大 流 量 攻 击 畸 形 报 文 攻 击 这 些 攻 击 的 主 要 目 的 是 占 用 设 备 CPU 的 处 理 时 间, 造 成 正 常 的 数 据 流 量 无 法 得 到 处 理, 使 设 备 的 可 用 性 降 低 由 于 数 据 平 面 负 责 用 户 数 据 的 转 发, 因 此 也 会 受 到 针 对 用 户 数 据 的 攻 击, 主 要 是 对 用 户 数 据 的 恶 意 窃 取 修 改 删 除 等, 使 用 户 数 据 的 机 密 性 和 完 整 性 受 到 破 坏 7

(2) 对 路 由 器 来 说, 控 制 / 信 令 平 面 的 主 要 功 能 是 进 行 路 由 信 息 的 交 换 这 一 平 面 受 到 的 主 要 威 胁 来 自 对 路 由 信 息 的 窃 取, 对 IP 地 址 的 伪 造 等, 这 会 造 成 网 络 路 由 信 息 的 泄 漏 或 滥 用 (3) 对 系 统 管 理 平 面 来 说, 威 胁 来 自 于 两 个 方 面, 一 个 是 系 统 管 理 所 使 用 的 协 议 ( 如 Telnet 协 议 HTTP 协 议 等 ) 的 漏 洞, 另 一 个 是 不 严 密 的 管 理, 如 设 备 管 理 账 号 的 泄 露 等 3. 威 胁 网 络 安 全 的 主 要 攻 击 手 段 3.1. 数 据 平 面 数 据 平 面 受 到 的 主 要 攻 击 是 拒 绝 服 务 (DoS,Deny of Service) 攻 击, 拒 绝 服 务 攻 击 针 对 不 同 的 协 议 会 有 很 多 种 形 式 (1)LAND 攻 击 LAND 攻 击 是 利 用 某 些 系 统 TCP 协 议 实 现 中 的 漏 洞, 制 造 TCPSYN 报 文, 这 些 报 文 的 源 IP 地 址 和 T CP 端 口 号 与 目 的 IP 地 址 和 TCP 端 口 号 相 同, 这 样 系 统 就 会 向 自 身 发 起 一 个 TCP 连 接, 造 成 了 系 统 资 源 的 无 谓 消 耗 (2)SYNF1ood 攻 击 SYNF1ood 攻 击 是 利 用 TCP 协 议 三 次 握 手 的 机 制, 由 攻 击 主 机 向 被 攻 击 设 备 发 送 大 量 的 SY N 请 求 报 文, 这 些 报 文 的 源 地 址 是 一 个 不 可 达 的 主 机 地 址, 被 攻 击 设 备 发 送 SYNACK 报 文 后, 就 开 始 等 待 大 量 根 本 不 可 能 到 达 的 AC K 报 文, 造 成 了 系 统 资 源 的 大 量 占 用 (3)Smurf 攻 击 Smurf 攻 击 是 利 用 ICMP 协 议 的 一 种 DoS 攻 击 手 段 该 攻 击 是 将 ICMP Echo Request(Ping) 报 文 的 源 地 址 伪 造 成 被 攻 击 设 备 的 地 址, 目 的 地 址 为 网 络 中 的 广 播 地 址, 这 样 大 量 的 ICMP 响 应 报 文 将 造 成 被 攻 击 设 备 以 及 所 在 网 络 的 负 载 大 大 增 加 如 果 攻 击 中 使 用 的 是 UDP 的 应 答 请 求 消 息 则 演 变 为 Fraggle 攻 击 (4)PingF1ood 攻 击 PingF1ood 攻 击 是 从 一 条 高 带 宽 的 连 接 向 一 条 低 带 宽 的 连 接 连 续 发 送 大 量 的 Ping 报 文, 被 攻 击 设 备 将 对 每 一 个 Ping 报 文 进 行 回 应, 造 成 了 网 络 可 用 带 宽 的 降 低 (5)Teardrop 攻 击 Teardrop 攻 击 是 利 用 IP 报 文 的 分 片 / 重 组 机 制, 发 送 伪 造 的 分 片 IP 报 文, 而 将 IP 报 文 头 部 中 指 示 分 片 标 记 的 Offset 字 段 设 为 重 复 的 值, 使 得 被 攻 击 设 备 在 处 理 这 些 分 片 报 文 时 造 成 系 统 的 挂 起 甚 至 宕 机 (6)Ping of Death 攻 击 Ping of Death 攻 击 通 过 发 送 一 个 包 长 超 过 65535 的 Ping 报 文, 使 被 攻 击 设 备 的 内 存 分 配 产 生 错 误, 从 而 导 致 设 备 的 瘫 痪 除 了 DoS 攻 击, 网 络 设 备 还 会 面 对 网 络 中 大 量 的 各 种 各 样 的 畸 形 报 文 和 错 误 报 文, 这 些 报 文 将 耗 费 网 络 设 备 大 量 的 处 理 能 力,Pi ng of Death 攻 击 也 可 以 看 作 是 畸 形 报 文 的 一 种 形 式 同 时, 网 络 上 的 用 户 数 据 也 有 可 能 受 到 恶 意 监 听 或 截 取, 目 前 比 较 有 效 的 防 范 方 式 是 使 用 IPSec 协 议 进 行 用 户 数 据 的 加 密 3.2. 控 制 / 信 令 平 面 对 控 制 / 信 令 平 面 的 攻 击 主 要 是 通 过 使 用 非 法 的 或 未 授 权 的 路 由 设 备 与 网 络 中 的 合 法 设 备 建 立 路 由 邻 接 关 系, 获 取 网 络 中 的 路 由 信 息 通 过 路 由 协 议 的 加 密 认 证 可 以 有 效 阻 止 这 种 攻 击 目 前, 主 要 使 用 的 RIPv2,OSPF,IS-IS 都 支 持 对 协 议 报 文 8

的 明 文 认 证 和 MD5 加 密 认 证,BGP,LDP 等 协 议 则 依 靠 TCP 的 MD5 加 密 认 证 来 保 证 协 议 报 文 的 安 全 性 3.3. 管 理 平 面 目 前, 对 设 备 的 远 程 管 理 主 要 采 用 Telnet,Web 等 方 式, 而 Telnet,HTTP 协 议 本 身 都 没 有 提 供 安 全 功 能, 用 户 数 据 用 户 账 号 和 口 令 等 都 是 明 文 传 送, 很 容 易 被 监 听 窃 取, 也 很 容 易 受 到 中 间 人 (Man In the Middle) 攻 击 解 决 网 络 设 备 远 程 管 理 问 题 主 要 依 靠 SSH 和 SSL 协 议 SSH(Secure Shell) 是 目 前 比 较 可 靠 的 为 远 程 登 录 会 话 和 其 他 网 络 服 务 提 供 安 全 性 的 协 议 利 用 SSH 协 议 可 以 有 效 防 止 远 程 管 理 过 程 中 的 信 息 泄 露 问 题 SSL(Secure Socket Layer) 协 议 可 以 在 使 用 Web 方 式 进 行 远 程 管 理 时 对 浏 览 器 和 Web 服 务 器 之 间 的 通 信 进 行 加 密 4. 网 络 安 全 与 设 备 测 试 目 前 的 路 由 器 测 试 主 要 针 对 的 是 设 备 的 功 能 协 议 性 能 等 基 本 能 力, 随 着 对 IP 网 络 中 安 全 要 求 的 不 断 提 高, 路 由 器 本 身 也 需 要 支 持 各 种 各 样 的 安 全 能 力, 因 此 在 测 试 中 需 要 加 强 对 路 由 器 安 全 能 力 的 测 试 对 路 由 器 能 力 的 测 试 同 样 也 可 以 从 数 据 平 面 控 制 / 信 令 平 面 和 管 理 平 面 三 个 层 次 来 考 虑 4.1. 数 据 平 面 的 安 全 测 试 (1) 抗 DoS 攻 击 能 力 的 测 试 主 要 是 利 用 仪 表 模 拟 攻 击 流 量, 验 证 被 测 设 备 对 攻 击 流 量 的 处 理 被 测 设 备 应 该 对 异 常 流 量 采 取 丢 弃 策 略, 并 生 成 告 警 日 志 (2)ACL 功 能 测 试 验 证 设 备 可 以 提 供 丰 富 的 ACL 功 能 来 对 非 法 流 量 进 行 过 滤 (3) 防 止 IP 地 址 欺 骗 测 试 主 要 是 URPF( 单 播 逆 向 路 径 转 发,Unicast Reverse Path Forwarding) 功 能 的 测 试 被 测 设 备 应 具 备 URPF 功 能, 即 设 备 可 以 检 查 数 据 包 的 源 地 址, 在 FIB 表 中 查 找 该 源 地 址 是 否 与 数 据 包 的 来 源 接 口 相 匹 配, 如 果 没 有 匹 配 表 项 将 丢 弃 该 数 据 包 (4)IPSec 协 议 测 试 验 证 设 备 是 否 支 持 IPSec 协 议 来 保 证 用 户 数 据 的 机 密 性 (5) 对 协 议 的 控 制 测 试 被 测 设 备 应 该 能 够 关 闭 一 些 可 能 造 成 攻 击 的 协 议 端 口 或 过 滤 某 些 可 能 对 网 络 造 成 安 全 隐 患 的 协 议 报 文, 如 关 闭 UDP 的 回 应 请 求 端 口 过 滤 源 路 由 数 据 包 等 4.2. 控 制 / 信 令 平 面 的 安 全 测 试 (1)OSPF 协 议 安 全 测 试 包 括 邻 居 路 由 器 之 间 的 明 文 /MD5 认 证 OSPF 区 域 内 使 用 明 文 /MD5 认 证 (2)IS-IS 协 议 安 全 测 试 包 括 接 口 间 Level-1 明 文 /MD5 认 证 接 口 Level-2 明 文 /MD5 认 证 IS-I S 区 域 内 明 文 /MD5 认 证 和 IS-IS 路 由 域 上 的 明 文 /MD5 认 证 (3)BGP 协 议 的 MD5 认 证 9

(4)RIPv2 协 议 的 认 证 4.3. 管 理 平 面 的 安 全 测 试 (1)SSH 协 议 支 持 能 力 的 测 试 (2)SSL 协 议 支 持 能 力 的 测 试 (3) 安 全 审 计 功 能 的 测 试 包 括 提 供 安 全 告 警 日 志 以 及 用 户 操 作 日 志 等 的 能 力 除 安 全 功 能 及 协 议 的 测 试 外, 路 由 器 的 安 全 测 试 还 应 包 括 性 能 测 试, 开 启 安 全 功 能 后 对 路 由 器 的 正 常 转 发 能 力 不 应 产 生 严 重 影 响 5. 结 束 语 目 前 的 IP 网 络 仍 然 面 临 着 许 多 安 全 问 题, 新 的 攻 击 手 段 和 技 术 层 出 不 穷, 在 这 种 形 势 下, 迫 切 需 要 网 络 设 备, 尤 其 是 路 由 器 设 备 支 持 完 善 的 安 全 功 能 除 了 对 安 全 技 术 的 不 断 研 究, 对 路 由 器 等 网 络 设 备 进 行 严 格 的 安 全 测 试 强 制 网 络 设 备 支 持 应 有 的 安 全 功 能 也 是 提 高 IP 网 络 安 全 性 的 一 个 重 要 方 面 目 前, 高 端 路 由 器 的 安 全 技 术 要 求 中 低 端 路 由 器 的 安 全 技 术 要 求 高 端 路 由 器 的 安 全 测 试 规 范 中 低 端 路 由 器 的 安 全 测 试 规 范 等 标 准 文 稿 都 已 经 在 制 订 之 中, 这 些 标 准 的 制 订 必 将 使 路 由 器 设 备 的 测 试 更 加 完 善, 同 时 也 会 有 助 于 网 络 安 全 水 平 的 提 高 ----------------------------------------------------------------------------------------------------------------------------------------- 北 京 慧 灵 科 技 有 限 公 司 依 托 测 试 时 代 资 源, 推 出 面 向 实 践 的 软 件 测 试 专 业 课 程, 由 国 内 著 名 软 件 企 业 的 一 线 技 术 专 家 主 讲, 为 您 的 企 业 解 决 实 践 中 的 关 键 问 题 如 果 您 培 训 的 目 的 不 是 拿 一 个 证 书, 而 是 想 学 习 软 件 测 试 的 最 佳 实 践, 那 我 们 会 是 您 一 个 不 错 的 选 择 详 情 请 登 陆 公 司 网 站 : www.ltesting.net 三 嵌 入 式 系 统 的 系 统 测 试 和 可 靠 性 评 估 摘 要 : 引 入 多 种 嵌 入 式 系 统 系 统 测 试 方 法 ; 根 据 ISO 9000 国 际 质 量 标 准, 提 出 一 种 切 实 可 行 的 可 靠 性 评 估 方 案, 并 使 它 们 应 用 于 嵌 入 式 产 品 测 试 中, 测 试 效 果 良 好 最 后, 通 过 两 个 测 试 实 例 说 明 嵌 入 式 系 统 的 系 统 测 试 过 程 和 分 析 关 键 词 : 嵌 入 式 系 统 系 统 测 试 测 试 方 法 可 靠 性 评 估 10

1. 引 言 随 着 嵌 入 式 系 统 硬 件 体 系 结 构 的 变 化, 嵌 入 式 系 统 的 发 展 趋 势 向 嵌 入 式 系 统 高 端, 即 嵌 入 式 软 件 系 统 转 移, 具 体 体 现 在 嵌 入 式 操 作 系 统 趋 于 多 样 和 应 用 软 件 日 渐 复 杂 由 于 嵌 入 式 系 统 软 硬 件 功 能 界 限 模 糊, 研 究 如 何 进 行 系 统 测 试 和 进 行 质 量 评 估 来 保 证 嵌 入 式 系 统 的 产 品 质 量 具 有 重 要 意 义 首 先, 这 里 明 确 嵌 入 式 系 统 的 系 统 测 试 定 义, 是 将 开 发 的 软 件 系 统 ( 包 括 嵌 入 式 操 作 系 统 和 嵌 入 式 应 用 软 件 ) 硬 件 系 统 和 其 它 相 关 因 素 ( 如 人 员 的 操 作 数 据 的 获 取 等 ) 综 合 起 来, 对 整 个 产 品 进 行 的 全 面 测 试 嵌 入 式 系 统 的 系 统 测 试 比 PC 系 统 软 件 测 试 要 困 难 得 多, 主 要 体 现 如 下 : 1 测 试 软 件 功 能 依 赖 不 需 编 码 的 硬 件 功 能, 快 速 定 位 软 硬 件 错 误 困 难 ; 2 强 壮 性 测 试 可 知 性 测 试 很 难 编 码 实 现 ; 3 交 叉 测 试 平 台 的 测 试 用 例 测 试 结 果 上 载 困 难 ; 4 基 于 消 息 系 统 测 试 的 复 杂 性, 包 括 线 程 任 务 子 系 统 之 间 的 交 互, 并 发 容 错 和 对 时 间 的 要 求 ; 5 性 能 测 试 确 定 性 能 瓶 颈 困 难 ; 6 实 施 测 试 自 动 化 技 术 困 难 2. 测 试 方 法 根 据 Goodenough 和 Gerhart 提 出 的 软 件 测 试 充 分 性 准 则 可 知, 软 件 测 试 具 有 非 复 合 性 的 特 点, 也 就 是 说, 即 使 以 软 件 所 有 成 分 都 进 行 了 充 分 的 测 试, 也 并 不 意 味 着 整 个 软 件 的 测 试 已 经 充 分 所 以, 即 使 通 过 了 需 求 测 试 设 计 测 试 编 码 测 试, 并 不 意 味 着 已 经 完 全 了 充 分 的 测 试, 还 要 进 行 软 硬 件 全 面 测 试, 即 系 统 测 试 正 确 的 系 统 测 试 方 法 能 设 计 出 良 好 的 测 试 事 例, 而 良 好 的 测 试 事 例 是 测 试 成 功 的 关 键 测 试 事 例 质 量 特 性 主 要 有 以 下 几 点 * 检 验 性 : 检 测 软 件 缺 陷 的 有 效 性, 是 否 能 发 现 缺 陷 或 至 少 可 能 发 现 缺 陷 * 可 仿 效 性 : 可 以 支 持 测 试 多 项 内 容, 减 少 测 试 事 例 的 数 量 * 开 销 : 测 试 事 例 的 执 行 分 析 和 调 试 是 否 经 济 * 修 改 性 : 每 次 软 件 修 改 后 对 测 试 事 例 的 维 护 成 本 测 试 方 法 不 仅 要 保 证 测 试 事 例 具 有 发 现 缺 陷 的 高 可 移 植 性, 而 且 还 要 保 证 测 试 事 例 设 计 的 经 济 有 效 因 此, 在 实 际 测 试 工 作 中, 将 嵌 入 式 系 统 的 测 试 方 法 分 类 如 11

下 : 根 据 测 试 是 否 动 态 运 行 被 测 程 序 分 为 静 态 测 试 方 法 和 动 态 测 试 方 法 ; 根 据 测 试 阶 段 分 为 需 求 测 试 方 法 设 计 测 试 方 法 编 码 测 试 ( 单 元 测 试 集 成 测 试 ) 方 法 及 系 统 测 试 方 法 ; 根 据 测 试 目 的 分 为 功 能 测 试 性 能 测 试 可 靠 性 测 试 ( 容 错 性 可 恢 复 性 成 熟 度 测 试 * 及 信 息 安 全 保 护 等 测 试 参 看 表 1 嵌 入 式 软 件 测 试 方 法 对 照 其 中 代 表 相 关 性 所 有 这 些 方 法 的 具 体 定 义 这 里 不 一 一 介 绍 由 于 不 同 的 嵌 入 式 系 统 面 向 的 应 用 不 同, 测 试 方 法 的 侧 重 也 很 不 相 同 本 文 后 面 将 对 一 个 具 体 的 便 携 式 信 息 处 理 嵌 入 式 系 统 (PDA 便 携 式 翰 林 电 子 书 ) 的 系 统 测 试 方 法 详 细 说 明 表 1 嵌 入 式 软 件 测 试 方 法 及 阶 段 对 照 表 静 态 测 试 方 式 ; 测 试 方 法 分 类 基 本 思 想 需 求 测 试 设 计 测 试 编 码 测 试 系 统 测 试 Yourdon 的 结 构 化 走 通 结 构 化 审 阅 Fagan 检 查 测 试 检 查 并 评 估 动 态 测 试 方 法 ; 基 本 思 想 语 句 测 试 控 制 流 测 试 路 径 测 试 条 件 测 试 数 据 流 测 试 数 据 定 义 引 用 分 域 测 试 划 分 子 域 测 试 功 能 测 试 划 分 功 能 测 试 随 机 测 试 不 限 定 范 围 3. 可 靠 性 评 估 可 靠 性 是 嵌 入 式 系 统 最 重 要 的 质 量 指 标 ISO9000 国 示 质 量 标 准 (ISO/IEC 912 6-1991) 规 定, 软 件 产 品 的 可 靠 性 含 义 是 : 在 规 定 的 一 段 时 间 和 条 件 下, 软 件 能 维 持 其 性 能 水 平 的 能 力 有 关 的 一 组 属 性, 可 用 成 熟 性 容 错 性 易 恢 复 性 三 个 基 本 子 特 性 来 度 量 根 据 我 们 在 评 估 嵌 入 式 系 统 中 的 成 功 经 验, 一 般 采 取 以 下 简 单 有 效 的 评 估 方 法 ( 可 以 采 用 百 分 制 或 十 分 制 ) (1) 成 熟 性 度 量 1 错 误 发 现 率 DDP(Defect Detection Percentage) 在 测 试 中 查 找 出 来 的 错 误 越 多, 实 际 应 用 中 出 错 的 机 会 就 越 小, 软 件 也 就 越 成 熟 DDP= 测 试 发 现 的 错 误 数 量 / 已 知 的 全 部 错 误 数 量 和 已 知 的 全 部 错 误 数 量 是 测 试 已 发 现 的 错 误 数 量 加 上 可 能 会 发 现 的 错 误 数 量 之 12

2 测 试 覆 盖 率 度 量 测 试 的 覆 盖 率, 可 以 用 测 试 项 目 的 数 量 和 内 容 进 行 度 量 除 此 之 外, 如 果 测 试 软 件 的 数 量 较 大, 还 要 考 虑 数 据 量 测 试 的 覆 盖 率, 可 以 根 据 表 2 所 示 在 测 试 指 标 进 行 评 价 通 过 检 查 这 些 指 标 达 到 的 程 度, 就 可 以 度 量 出 测 试 内 容 的 覆 盖 程 度 表 2 测 试 覆 盖 程 度 表 测 试 覆 盖 项 测 试 覆 盖 率 指 标 测 试 描 述 测 试 结 果 界 面 覆 盖 符 合 需 求 ( 所 有 界 面 图 标 信 息 区 状 态 区 ) 静 态 功 能 覆 盖 动 态 功 能 覆 盖 正 常 测 试 覆 盖 功 能 满 足 需 求 所 有 功 能 的 转 换 功 能 正 确 所 有 硬 件 软 件 正 常 时 处 理 异 常 测 试 覆 盖 硬 件 或 软 件 异 常 时 处 理 ( 不 允 许 的 操 作 ) 测 试 结 束 判 断 表 3 可 信 度 测 试 表 测 试 功 能 甲 乙 丙 丁 平 均 最 大 值 - 最 小 值 功 能 1 功 能 2 功 能 3 功 能 4 功 能 5 注 意, 对 于 最 大 值 与 最 小 值 的 差 值 超 过 5 的 情 况, 应 该 重 新 测 试 响 应 功 能 (2) 容 错 性 评 估 容 错 性 评 估 分 为 控 制 容 错 性 评 估 数 据 容 错 性 评 估 硬 件 故 障 恢 复 容 错 性 评 估 : 容 错 性 = 以 下 各 条 款 评 分 之 和 条 款 数 控 制 容 错 性 度 量 1 对 并 发 处 理 的 控 制 能 力 ; 2 错 误 的 可 修 正 性 和 处 理 可 继 续 进 行 能 力 数 据 容 错 性 度 量 1 非 法 输 入 数 据 的 容 错 ; 2 对 相 互 冲 突 的 要 求 和 非 法 组 合 容 错 ; 13

3 输 出 数 据 是 否 合 理 容 错 硬 件 故 障 中 恢 复 容 错 性 度 量 故 障 后 恢 复 能 力 容 错 (3) 易 恢 复 性 度 量 与 易 恢 复 性 紧 密 相 关 的 测 试 是 强 度 测 试 和 健 壮 测 试 强 度 测 试 又 称 为 力 度 测 或 极 限 测 试, 主 要 测 试 系 统 对 空 间 强 度 和 时 间 强 度 的 容 忍 极 限 ; 健 壮 测 试 又 称 异 常 测 试, 是 很 重 要 的 可 靠 性 测 试 项 目 通 过 易 恢 复 性 测 试, 一 方 面 使 系 统 具 有 异 常 情 况 的 抵 抗 能 力, 另 一 方 面 使 系 统 测 试 质 量 可 控 制 易 恢 复 性 = 以 下 各 条 款 评 分 之 和 条 款 数 1 空 间 强 度 可 恢 复 ; 2 时 间 强 度 可 恢 复 ; 3 数 据 强 度 可 恢 复 ; 4 异 常 通 信 可 恢 复 ; 5 数 据 破 坏 可 恢 复 ; 6 电 池 极 限 可 恢 复 (4) 测 试 可 信 度 评 估 测 试 可 信 度 是 对 测 试 质 量 的 有 效 评 估, 是 保 证 质 量 的 必 要 步 骤 目 前 虽 然 很 难 有 量 化 的 指 标, 但 我 们 采 取 积 分 的 方 式 显 示 可 信 度 例 如, 请 4 个 人 员 ( 甲 乙 丙 丁 ) 对 系 统 5 个 功 能 打 一 个 从 0( 不 信 任 ) 到 10( 完 全 信 任 ) 之 间 的 分 数, 那 么, 可 信 度 度 量 可 以 用 表 3 进 行 计 算 4. 测 试 实 例 (1) 电 流 测 试 电 流 测 试 是 嵌 入 式 系 统 的 系 统 测 试 中 首 先 要 进 行 的 重 要 测 试, 也 是 最 容 易 被 忽 视 的 测 试 主 要 是 测 试 系 统 的 工 作 电 流 待 机 电 流 人 们 一 般 把 它 当 成 与 系 统 测 试 无 关 的 硬 件 测 试 但 是 对 于 嵌 入 式 系 统, 软 件 与 硬 件 不 可 能 清 晰 地 划 分, 硬 件 的 性 能 直 接 影 响 软 件 的 运 行 实 例 1 说 明 了 电 流 测 试 对 系 统 运 行 的 影 响 及 不 可 替 代 的 作 用 14

测 试 现 象 描 述 : 进 行 同 一 厂 商 PDA 系 统 测 试, 有 几 台 PDA 在 名 片 子 系 统 行 程 子 程 序 的 操 作 过 程 中 随 机 死 机 我 们 当 时 的 错 误 分 析 定 位 是 :1 怀 疑 操 作 系 统 中 断 处 理 错 误 ;2 怀 疑 内 存 泄 漏, 堆 栈 溢 出 ;3 怀 疑 应 用 程 序 错 误 在 软 件 开 发 人 员 为 解 决 这 个 问 题 检 查 软 件 时, 硬 件 开 发 人 员 提 出 应 首 先 测 试 一 下 这 几 台 机 器 的 工 作 电 流 结 果 发 现,PDA 的 工 作 电 流 低 于 正 常 工 作 电 流 加 电 容 调 整 后 随 机 死 机 问 题 消 失 由 此 例 还 可 以 看 出, 嵌 入 式 系 统 测 试 的 软 硬 件 测 试 不 可 分 性 绝 对 的 将 硬 件 测 试 和 软 件 测 试 区 分 开 来 的 测 试 思 想 是 不 正 确 的 我 们 在 系 统 测 试 时 的 电 流 测 试 设 计 如 表 4 表 4 电 流 测 试 测 试 电 流 项 目 待 机 电 流 /ma 启 动 电 流 /ma 工 作 电 流 /ma 测 试 结 果 ( 不 同 的 产 品 对 电 流 要 求 不 同 ) 预 期 值 实 测 值 备 注 关 机 后 电 流 测 试 开 机 瞬 间 电 流 测 试 正 常 工 作 电 流 测 试 (2) 兼 容 性 测 试 考 虑 到 嵌 放 式 系 统 软 硬 件 的 开 发 成 本 高 于 通 用 PC 系 统, 因 此, 提 高 软 件 对 硬 件 的 兼 容 及 软 件 升 级 版 本 的 兼 容 性 极 为 重 要 表 5 是 便 携 林 翰 林 电 子 书 升 级 版 本 兼 容 性 测 试 实 例 表 5 兼 容 性 测 试 兼 容 性 测 试 分 类 硬 件 兼 容 性 操 作 系 统 兼 容 性 应 用 软 件 兼 容 性 PC 制 书 软 件 兼 容 性 BIOS 兼 容 测 试 BIOSV1.0 BIOSV2.0 操 作 系 统 兼 容 测 试 VOLF V.1.0 VOLF V.2.0 应 用 软 件 兼 容 测 试 READER V.1.0 15

READER V.2.0 PC 制 书 软 件 兼 容 测 试 PCREADRE V1. PCREADER V2. 实 例 2: 现 在 的 嵌 入 式 系 统 的 层 次 结 构 一 般 分 为 硬 件 层 BIOS 层 操 作 系 统 层 应 用 系 统 层 有 的 还 需 要 通 用 PC 应 用 软 件 支 持 因 此, 嵌 入 式 系 统 的 兼 容 性 测 试 要 考 虑 硬 件 兼 容 性 BIOS 兼 容 性 操 作 系 统 兼 容 性, 还 需 考 虑 与 相 应 PC 应 用 软 件 的 兼 容 性 5. 结 语 本 文 的 测 试 方 法 和 评 估 方 法 在 具 体 的 嵌 入 式 系 统 测 试 中, 获 得 很 好 的 效 果 这 是 一 项 很 有 意 义 的 工 作, 不 仅 要 求 嵌 入 式 系 统 的 测 试 人 员 具 有 很 全 面 的 软 硬 件 知 识, 还 需 结 合 测 试 理 论 统 计 方 法, 面 对 不 同 的 系 统 进 行 测 试 方 法 工 具 过 程 评 价 及 质 量 评 估 随 着 嵌 入 式 系 统 的 多 样 性 和 复 杂 性 发 展, 嵌 入 式 系 统 的 系 统 测 试 研 究 将 继 续 深 入 ------------------------------------------------------------------------------------------------------ 您 是 否 对 软 件 测 试 的 整 体 规 划 一 直 比 较 模 糊? 您 是 否 觉 得 软 件 测 试 工 作 技 术 含 量 不 高, 不 知 道 如 何 提 高 自 己? 您 是 否 发 觉 测 试 用 例 的 复 用 率 非 常 低 而 且 检 索 困 难? 您 是 否 觉 得 测 试 工 作 不 太 容 易 规 划, 总 是 不 如 预 期? 您 是 否 觉 得 性 能 测 试 很 重 要 但 是 不 知 道 如 何 组 织 和 实 施 有 效 的 性 能 测 试? 您 是 否 非 常 想 知 道 大 型 的 企 业 级 系 统 是 如 何 进 行 性 能 规 划 的? 您 是 否 想 知 道 流 行 的 测 试 工 具 的 使 用 方 法? 我 们 也 曾 经 迷 茫 过, 但 是 经 过 众 多 项 目 的 实 践, 自 我 不 懈 的 努 力, 我 们 发 现 了 一 些 软 件 测 试 的 规 律 和 技 巧, 通 过 我 们 的 总 结, 开 发 出 了 多 门 实 用 的 课 程 我 们 相 信 自 我 提 高 的 最 快 方 法 就 是 听 取 先 行 者 的 经 验, 避 免 自 己 少 走 或 者 不 走 弯 路 我 们 的 课 程 能 够 有 针 对 性 的 解 答 上 述 的 疑 问, 协 助 您 踏 上 软 件 测 试 的 康 庄 大 道 详 情 请 登 陆 www.ltesting.net 网 站 查 询 四 如 何 调 整 压 力 测 试 工 具 您 是 否 曾 经 不 得 不 对 应 用 程 序 进 行 压 力 测 试, 而 最 后 却 发 现 不 明 白 结 果 表 明 什 么 意 义? 也 许 问 题 不 是 出 在 应 用 程 序 上 也 许 问 题 出 在 配 置 压 力 测 试 工 具 的 方 式 上 如 果 您 曾 经 经 历 过 这 种 情 况, 或 者 正 要 进 行 压 力 测 试, 您 就 需 要 考 虑 以 下 几 个 方 面 16

1. 如 何 进 行 测 试? 我 经 常 遇 到 一 些 开 发 团 队, 他 们 收 到 诸 如 客 户 端 将 每 小 时 处 理 20 个 客 户 此 类 的 性 能 需 求 团 队 就 试 图 把 该 需 求 转 化 为 某 种 测 试 执 行 这 种 测 试 的 常 见 方 法 就 是 以 死 循 环 的 形 式 对 服 务 器 进 行 反 复 请 求, 然 后 静 观 其 效 通 常 事 情 进 行 得 不 是 很 顺 利, 这 就 是 为 什 么 随 后 我 会 作 为 一 个 性 能 专 业 化 方 面 的 顾 问 遇 见 他 们 的 原 因 通 常 我 问 的 一 个 问 题 是 : 您 是 如 何 进 行 测 试 的? 一 般 来 说, 答 案 会 是 : 我 们 将 请 求 置 于 循 环 中, 然 后 计 算 服 务 器 可 以 处 理 的 请 求 的 数 目 正 是 这 种 回 答 使 我 明 白 首 先 要 做 的 就 是 调 整 测 试 工 具 本 身 如 果 您 不 明 白 上 述 测 试 有 什 么 问 题, 不 要 担 心 有 很 多 人 和 您 一 样 进 行 一 次 切 实 可 行 的 压 力 测 试 并 不 像 乍 看 之 下 那 么 简 单 遇 到 的 问 题 可 能 非 常 微 妙, 而 且 通 常 只 有 采 用 不 那 么 简 单 的 方 法 来 理 清 情 况 才 能 看 清 问 题 但 是 这 并 不 是 让 您 目 光 呆 滞 地 深 入 研 究 马 尔 可 夫 链 (Markov chains) 状 态 改 变 模 型 排 队 理 论 概 率 分 布 等 等, 让 我 们 以 一 种 不 那 么 乏 味 的 更 通 俗 易 懂 的 方 式 来 说 明 如 何 解 决 这 个 在 许 多 压 力 测 试 中 出 现 的 常 见 问 题 2. 测 试 方 式 将 影 响 测 试 我 们 首 先 要 明 白 的 是, 虽 然 测 试 通 常 都 是 从 客 户 端 活 动 的 角 度 定 义 的, 但 是 它 们 必 须 从 以 服 务 器 为 中 心 的 视 角 来 看 待 以 服 务 器 为 视 角 将 只 看 到 客 户 端 访 问 的 频 率 和 处 理 每 个 请 求 所 花 费 的 时 间 让 我 们 考 虑 一 个 典 型 例 子, 即 银 行 的 出 纳 员 出 纳 员 通 常 不 知 道 您 是 什 么 时 候 到 的, 也 不 知 道 您 是 从 哪 里 来 的 他 们 所 知 道 的 只 是 您 在 这 里, 而 且 您 要 让 他 们 为 您 做 一 些 事 情 现 在, 队 列 中 有 多 少 人 将 取 决 于 人 们 到 达 的 速 度, 以 及 满 足 他 们 的 要 求 所 花 的 时 间 比 队 列 中 有 多 少 人 更 重 要 的 是, 随 着 后 来 的 人 不 断 补 进 队 列, 房 间 中 的 人 数 是 在 减 少 保 持 不 变 还 是 在 增 加? 与 之 相 随 的 另 一 个 问 题 是, 人 们 进 入 队 列 的 速 度 与 离 开 的 速 度 相 比, 是 快 一 些 相 同 还 是 慢 一 些? 如 果 离 开 的 速 度 要 比 到 达 的 速 度 快, 那 么 处 理 请 求 的 速 度 要 比 递 交 请 求 的 速 度 快 二 种 情 况 说 明 刚 刚 处 理 完 一 个 客 户, 下 一 个 就 到 达 了 最 后 一 种 情 况 则 说 明 人 们 到 达 的 速 度 要 比 处 理 的 速 度 快 用 数 学 术 语 来 说, 一 种 系 统 是 收 敛 的, 二 种 处 于 稳 定 状 态, 三 种 则 是 发 散 的 这 三 种 情 况 中 房 间 中 的 人 数 都 是 由 利 托 氏 定 理 (Little's Law) 决 定 的 17

3. 只 做 力 所 能 及 的 对 于 外 行 来 说, 利 托 氏 定 理 说 明 了 您 只 能 做 这 么 多 工 作 其 数 学 版 本 是 这 么 说 的 : 系 统 中 的 请 求 数 等 于 请 求 到 达 的 速 度 乘 以 它 们 在 系 统 中 的 时 间 所 产 生 的 积 如 果 它 们 在 系 统 中 的 时 间 取 决 于 流 出 系 统 的 速 度 ( 通 常 称 为 服 务 时 间 ), 那 么 就 可 以 通 过 观 察 请 求 到 达 的 频 率 ( 请 求 到 达 间 隔 时 间 ) 并 与 服 务 时 间 比 较, 而 确 定 系 统 处 于 哪 种 状 态 对 于 每 种 情 况, 利 托 氏 定 理 都 描 述 了 系 统 是 如 何 处 理 工 作 负 载 的 虽 然 状 态 可 能 会 发 生 瞬 时 的 迸 发 和 间 歇, 总 体 的 趋 势 还 将 由 平 均 的 状 况 决 定 例 如, 在 收 敛 系 统 中, 可 能 会 由 于 许 多 人 同 时 进 入 队 列 而 产 生 瞬 时 的 暴 涨, 但 是 队 列 仍 将 会 腾 空, 因 为 收 敛 系 统 的 倾 向 就 是 趋 向 空 闲 但 是, 三 种 场 景 是 发 散 的, 其 中 的 请 求 数 将 会 无 限 增 长 它 会 吗? 这 个 问 题 的 答 案 与 如 何 定 义 发 出 请 求 的 全 域 有 关 在 某 个 随 机 的 时 间 点, 全 域 中 的 用 户 将 发 出 一 个 请 求 这 肯 定 是 从 以 服 务 器 为 中 心 的 视 角 来 看 全 域 了 大 多 数 系 统 都 基 于 一 个 假 设, 即 在 任 一 个 给 定 的 时 间 点, 全 域 中 只 有 一 部 分 会 发 出 请 求 经 验 告 诉 我 们, 在 许 多 因 特 网 应 用 程 序 中, 全 域 中 有 10% 在 任 意 时 间 点 都 是 活 动 的 我 们 需 要 知 道 这 种 信 息, 如 果 我 们 要 定 义 实 际 的 压 力 测 试 的 话 例 如, 如 果 全 域 中 有 1000 个 用 户, 我 们 会 预 料 有 100 个 每 时 每 刻 都 在 使 用 系 统 由 于 我 们 估 计 会 有 10% 的 并 发 使 用, 用 户 库 又 有 1000 个 用 户, 所 有 我 们 的 测 试 应 该 模 拟 100 个 用 户 重 复 执 行 一 些 请 求 系 列 用 这 种 方 法 定 义 测 试 的 危 害 是 它 反 映 的 是 客 户 端 的 视 角 当 我 们 从 以 服 务 器 为 中 心 的 视 角 转 向 以 客 户 端 为 中 心 的 视 角 后, 就 看 不 到 向 服 务 器 发 送 请 求 的 速 度 了 如 果 我 们 限 制 或 固 定 为 执 行 用 户 请 求 所 分 配 的 用 户 ( 线 程 ) 数 目, 那 么 就 看 得 更 模 糊 了 在 这 种 情 况 下 进 行 测 试, 我 们 将 看 到 服 务 器 正 在 处 理 稳 定 的 请 求 流, 而 处 理 请 求 的 时 间 似 乎 越 来 越 长 4. 每 个 人 都 可 以 参 与 如 果 我 们 让 模 拟 线 程 尽 可 能 快 地 发 出 请 求, 就 是 在 模 拟 整 个 全 域 ( 甚 至 更 多 ) 的 用 户 都 在 同 一 时 间 发 出 请 求 我 们 假 定 服 务 器 模 型 为 单 一 的, 因 为 这 样 便 于 理 解 ; 多 服 务 器 模 型 的 工 作 方 式 是 相 同 的, 只 是 更 快 一 些 系 统 将 把 请 求 排 队, 并 且 每 次 只 处 理 一 个 一 旦 有 一 个 请 求 清 除, 线 程 会 立 即 返 回 队 列 头 部 发 出 下 一 个 请 求 虽 然 这 种 事 件 顺 序 似 乎 说 明 我 们 处 理 的 是 一 个 稳 定 状 态 的 系 18

统, 但 我 们 实 际 上 是 在 处 理 发 散 系 统 它 之 所 以 看 起 来 像 稳 定 状 态 系 统 的 惟 一 原 因 是, 我 们 限 制 了 发 出 请 求 的 线 程 数 目 正 如 前 面 所 提 到 的, 在 发 散 系 统 中, 每 个 后 继 用 户 的 响 应 时 间 都 要 比 前 一 个 所 经 历 的 时 间 长 这 意 味 着 平 均 响 应 时 间 将 不 断 地 增 长 而 没 有 限 制 尽 管 如 此, 但 是 我 们 人 为 地 限 制 了 客 户 端 的 数 目, 因 此 平 均 响 应 时 间 将 稳 定 在 一 个 点 上, 该 点 取 决 于 客 户 端 数 目 与 处 理 单 个 请 求 所 花 费 时 间 的 乘 积 这 里 所 说 的 这 种 系 统 中 的 响 应 时 间 包 括 花 在 队 列 中 的 时 间, 而 且 因 为 花 在 队 列 中 的 时 间 比 预 料 的 要 少, 所 以 我 们 又 人 为 扩 大 了 测 量 值 最 终 结 果 是 您 的 测 试 限 制 了 您 确 定 系 统 的 可 伸 缩 性 的 能 力 5. 如 何 修 复 要 修 复 压 力 测 试, 需 要 知 道 用 户 / 线 程 发 出 请 求 的 速 度 所 有 用 户 的 速 度 之 和 就 转 化 为 服 务 器 接 受 请 求 的 速 度 一 旦 确 定 了 这 个 值, 就 可 以 对 工 具 发 出 请 求 的 速 度 进 行 调 整 下 面 的 表 列 出 了 几 个 可 以 用 来 维 持 50 个 请 求 每 秒 (RPS) 的 值 从 服 务 器 的 视 角 来 看, 工 具 需 要 每 20ms 提 供 一 个 请 求 这 种 观 点 反 映 的 是 单 个 线 程 的 情 况 如 果 工 具 配 置 了 两 个 线 程, 那 么 对 于 每 个 线 程, 都 应 该 维 持 40ms 的 请 求 间 时 间 间 隔 表 中 还 列 出 了 使 用 5 个 线 程 和 10 个 线 程 的 情 况 下 的 时 间 间 隔 请 求 间 时 间 间 隔 线 程 数 目 线 程 频 率 (inter-request interval) 1 50/sec 20ms 2 25/sec 40ms 5 10/sec 100ms 6. 抉 择 10 5/sec 200ms 从 理 论 上 来 说, 这 个 表 展 示 了 如 何 使 用 1 个 2 个 5 个 10 个 线 程 来 实 现 所 要 求 的 维 持 50 个 RPS 的 目 标 但 是 如 果 服 务 时 间 比 请 求 间 时 间 间 隔 长 的 话 会 怎 么 样 呢? 这 种 情 况 下 驻 留 在 服 务 器 中 的 线 程 不 能 使 下 一 个 请 求 排 入 队 列, 工 具 也 不 能 交 付 50RPS 的 预 期 负 载 为 了 避 免 这 种 情 况 发 生, 需 要 在 系 统 中 构 建 一 些 空 余 时 间 (slack) 使 用 大 量 线 程 的 方 案 对 我 们 来 说 通 常 是 不 可 行 的, 因 为 我 们 很 有 可 能 要 受 到 可 用 的 硬 件 数 目 和 / 或 许 可 证 数 目 ( 对 于 商 业 的 19

负 载 测 试 工 具 来 说 ) 的 限 制 解 决 方 法 其 实 很 常 见, 就 是 我 们 需 要 达 到 一 种 维 持 合 适 的 请 求 间 时 间 间 隔 与 使 用 过 多 的 ( 计 算 / 许 可 ) 资 源 之 间 的 平 衡 我 们 要 始 终 记 住, 如 果 测 试 工 具 使 用 的 资 源 ( 不 管 是 硬 件 软 件 或 是 线 程 ) 很 少, 就 会 影 响 我 们 测 试 的 有 效 性 7. 三 思 而 后 行 我 们 使 用 Apache JMeter 来 对 随 机 的 Web 应 用 程 序 进 行 负 载 测 试, 以 说 明 压 力 测 试 工 具 是 如 何 影 响 测 试 结 果 的 除 了 要 知 道 应 用 程 序 的 入 口 点 是 Servlet, 应 用 程 序 的 功 能 以 及 如 何 实 现 的 详 细 信 息 对 于 我 们 的 讨 论 来 说 并 不 重 要 图 1 显 示 了 在 平 均 响 应 时 间 下 增 加 线 程 数 目 的 效 果 其 中 粉 红 色 的 线 是 没 有 调 整 线 程 的 情 况 蓝 色 的 线 是 在 每 两 个 线 程 之 间 添 加 了 500ms 的 空 余 时 间 后 的 线 程 从 图 中 可 以 看 出, 两 种 情 况 的 结 果 差 别 非 常 小 每 种 情 况 都 清 楚 表 明, 随 着 系 统 的 负 载 增 加, 响 应 时 间 也 会 增 加 既 然 我 们 已 经 知 道 服 务 器 的 性 能 会 随 总 体 负 载 的 增 加 而 降 低, 这 样 的 结 果 也 就 不 奇 怪 了 我 们 只 是 在 看 图 2 所 示 的 结 果 时 才 能 看 出 存 在 的 问 题 图 1 图 2 显 示 维 持 稳 定 的 请 求 速 度 的 能 力 最 初 是 受 制 于 线 程 数 目 的 同 样 这 也 不 能 说 明 问 题, 因 为 有 理 由 假 定, 在 超 出 特 定 的 线 程 数 目 阈 值 之 前, 不 能 维 持 合 理 的 服 务 器 负 载 图 2 也 显 示, 一 旦 超 出 了 服 务 器 处 理 请 求 的 能 力, 线 程 的 增 加 对 工 具 向 服 务 器 发 出 请 求 的 整 体 速 度 的 影 响 就 不 明 显 了 另 外 一 点 是, 这 些 额 外 的 线 程 所 造 成 的 响 应 时 间 的 增 加 确 实 暗 示 它 们 影 响 了 系 统 的 负 载 20

图 2 问 题 在 于 : 为 什 么 不 增 加 服 务 器 负 载 的 线 程 看 起 来 会 降 低 服 务 器 的 性 能? 一 个 可 能 的 答 案 就 是, 并 不 是 线 程 降 低 了 服 务 器 的 性 能, 而 是 服 务 器 已 结 束 对 线 程 的 服 务, 线 程 就 被 排 队 了 因 为 测 量 响 应 时 间 的 计 时 器 必 须 在 将 请 求 发 送 给 服 务 器 时 启 动, 在 收 到 响 应 时 停 止, 所 以 响 应 时 间 必 然 包 括 线 程 在 队 列 中 等 待 服 务 的 所 有 时 间, 再 加 上 服 务 时 间 因 为 线 程 已 离 开 就 进 入 系 统, 就 造 成 了 这 样 的 情 况 : 线 程 必 须 等 待 其 他 每 个 线 程 完 成 后 才 能 被 服 务 在 这 种 场 景 下, 线 程 越 多 就 会 造 成 队 列 和 响 应 时 间 越 长 利 托 氏 定 理 告 诉 我 们, 这 种 系 统 是 发 散 的, 而 由 此 可 以 得 出 结 论 : 工 具 妨 碍 了 确 定 真 正 的 瓶 颈 ( 如 果 存 在 的 话 ) 的 能 力 8. 放 慢 速 度, 做 得 更 多 利 托 氏 定 理 包 括 两 个 部 分 : 服 务 时 间 和 频 率 如 果 我 们 以 工 具 的 眼 光 来 看 世 界, 那 么 我 们 会 发 现 我 们 不 能 控 制 服 务 时 间 但 是 我 们 确 实 能 控 制 频 率 既 然 前 面 的 工 作 说 明 我 们 进 行 得 太 快 了 ( 或 者 说 在 错 误 的 方 向 上 进 行 得 太 快 了 ), 而 我 们 惟 一 能 控 制 的 就 是 频 率, 那 么 我 们 惟 一 能 做 的 就 是 放 慢 速 度 我 们 可 以 通 过 在 每 两 个 请 求 之 间 插 入 间 歇 来 达 到 这 个 目 的 这 将 会 降 低 单 个 线 程 启 动 请 求 的 速 度 间 歇 会 降 低 线 程 在 队 列 中 的 时 间, 从 而 提 供 更 符 合 现 实 的 响 应 时 间 为 了 测 试, 我 们 将 启 动 50 个 经 过 调 整 的 每 秒 产 生 9 个 请 求 的 线 程 如 果 我 们 发 现 不 能 维 持 合 理 的 请 求 速 度, 这 些 值 还 可 以 调 整 使 用 响 应 时 间 来 评 价 效 果 最 后 要 设 置 的 是 间 歇 时 间 可 以 使 用 由 先 前 运 行 得 出 的 数 据 来 帮 助 我 们 做 出 决 定 回 到 图 1, 我 们 可 以 看 到,8 到 9 个 RPS 会 产 生 2 到 3 秒 的 响 应 时 间 利 托 氏 定 理 告 诉 我 们, 我 们 需 要 足 够 的 线 程, 以 便 在 2 到 3 秒 的 时 间 帧 后 就 可 以 21

自 由 进 入 系 统 ( 假 定 可 以 提 高 平 均 响 应 时 间 ) 因 此 平 均 的 间 歇 时 间 大 约 是 3 秒 为 了 练 习, 我 们 将 运 行 一 系 列 的 测 试 来 探 讨 值 的 范 围 一 次 测 试 使 用 2 到 2.5 秒 之 间 的 一 个 随 机 选 取 的 值 这 个 范 围 的 值 的 平 均 间 歇 时 间 是 3.5 秒 可 以 利 用 这 条 信 息 计 算 请 求 的 理 论 速 度 : 用 50( 线 程 数 目 ) 除 以 3.5+2( 目 标 响 应 时 间 的 估 测 值 ) 得 到 的 值 是 9.1RPS 二 次 测 试 使 用 3 到 6 秒 之 间 的 一 个 随 机 值 最 终 测 试 使 用 4 到 6 之 间 的 值 这 些 测 试 的 结 果 如 图 3 所 示 图 3 图 3 说 明 增 加 间 歇 的 时 间 会 使 平 均 响 应 时 间 缩 短 但 是 这 条 信 息 需 要 与 图 4 所 传 达 的 信 息 相 结 合 在 图 4 中, 我 们 可 以 看 到, 当 间 歇 时 间 增 加 到 4-7 秒 时 不 能 保 持 要 求 的 向 服 务 器 发 出 请 求 的 速 度 我 们 可 以 通 过 添 加 更 多 的 线 程 来 增 加 负 载, 但 是 这 一 步 中 存 在 最 小 值, 因 为 这 些 测 试 的 确 为 我 们 提 供 了 有 效 的 配 置 图 4 这 一 系 列 的 测 试 有 助 于 将 压 力 测 试 推 进 到 一 个 更 好 的 配 置 我 们 的 结 论 是 : 应 该 配 置 我 们 的 测 试 工 具, 使 其 使 用 50 个 线 程, 每 个 线 程 的 间 歇 时 间 为 3 到 6 秒 22

9. 结 束 语 在 开 始 性 能 调 优 实 践 ( 或 者 为 性 能 确 定 基 准 ) 之 前, 需 要 确 认 工 具 不 会 影 响 测 试 配 置 良 好 的 工 具 不 会 让 我 们 测 量 不 该 测 量 的 数 据 不 能 交 付 适 当 的 负 载 或 会 使 我 们 测 量 偶 然 的 响 应 时 间 的 测 试 工 具 将 会 影 响 对 应 用 程 序 进 行 性 能 调 优 的 工 作 要 想 知 道 是 否 发 生 了 这 种 情 况, 关 键 是 要 度 量 工 具 以 正 常 速 度 运 行 的 效 果 这 种 效 果 可 以 由 工 具 满 足 或 支 持 所 要 求 的 每 秒 的 事 务 或 请 求 数 目 的 能 力 来 确 定 工 具 不 应 该 立 刻 轮 换 线 程 ( 来 发 出 下 一 个 请 求 ) 如 果 发 生 了 这 种 情 况, 就 需 要 降 低 工 具 的 速 度, 以 免 人 为 地 使 服 务 器 的 容 量 溢 出 通 常 需 要 试 验 几 次 以 达 到 测 试 工 具 的 适 当 的 平 衡 配 置 在 测 试 的 早 期 阶 段, 不 要 把 重 点 放 在 响 应 时 间 ( 它 会 随 着 对 应 用 程 序 调 优 的 过 程 而 改 善 ) 上, 而 是 要 放 在 配 置 好 工 具 上 最 后, 不 要 害 怕 放 慢 速 度, 因 为 这 样 做 可 能 有 助 于 弄 清 楚 到 底 是 什 么 影 响 了 应 用 程 序 的 性 能 ------------------------------------------------------------------------------------------------------ 课 程 名 称 授 课 天 数 高 级 软 件 测 试 技 术 3 天 高 级 性 能 测 试 技 术 2 天 单 元 测 试 的 最 佳 实 践 2 天 软 件 测 试 管 理 TD 实 践 之 路 2 天 自 动 测 试 工 具 Robot 的 使 用 2 天 自 动 测 试 工 具 Load Runner 的 使 用 2 天 上 面 是 目 前 我 们 开 发 的 课 程, 企 业 内 训 可 以 直 接 联 系 我 们 如 您 希 望 参 加 公 开 课, 可 关 注 我 们 的 开 课 信 息, 或 者 直 接 来 邮 件 询 问, 来 信 可 发 到,info@testage.com.cn 五 应 用 系 统 性 能 测 试 六 大 步 性 能 测 试 是 为 了 保 证 产 品 发 布 后 其 性 能 能 够 满 足 用 户 的 需 求, 本 文 结 合 具 体 案 例 介 绍 了 应 用 系 统 性 能 测 试 的 六 大 步 骤 在 本 文 介 绍 的 这 个 案 例 中, 被 测 应 用 系 统 是 一 家 公 司 的 客 户 信 息 系 统, 它 主 要 用 来 录 入 修 改 以 及 查 询 全 球 客 户 的 信 息, 并 将 客 户 信 息 转 入 到 业 务 系 统 但 是, 在 应 用 过 程 中, 客 户 经 常 投 诉 在 某 个 时 刻 新 建 或 者 修 改 一 个 客 户 信 息 非 常 慢, 正 常 情 况 下 完 成 该 操 作 只 需 要 1~5 秒, 而 异 常 时 却 需 要 10 分 钟 左 右, 而 且 系 统 管 理 员 发 现 系 统 资 源 使 用 率 都 比 较 低, 这 种 情 况 的 出 现 并 没 有 规 律 性 在 这 个 案 例 中 我 们 发 现 了 系 统 存 在 性 能 问 题, 下 一 步 工 作 就 是 要 在 性 能 测 试 过 程 中 查 找 形 成 系 统 瓶 颈 和 故 障 的 根 本 原 因, 在 此 项 工 作 中 我 们 应 该 按 照 如 下 几 个 步 骤 进 行 23

1. 确 定 明 确 的 测 试 目 标 性 能 调 优 是 是 无 止 境 的, 所 以 在 测 试 之 前 应 确 定 一 个 明 确 性 能 调 优 目 标, 这 也 是 后 面 评 估 性 能 验 证 的 一 个 基 准, 也 是 测 试 终 止 的 一 个 基 准 在 本 案 例 中 目 标 设 定 为 : 在 相 同 系 统 环 境 配 置 下 30 个 并 发 用 户 在 1~5 秒 钟 内 完 成 各 类 在 线 操 作 2. 测 试 需 求 分 析 性 能 调 优 的 测 试 分 析 主 要 目 的 是 要 挖 掘 出 可 能 造 成 系 统 瓶 颈 的 因 素, 并 为 后 面 的 测 试 用 例 设 计 提 供 保 证 影 响 系 统 性 能 有 很 多 种 原 因, 在 此 应 关 注 如 下 几 个 关 键 点 : 应 用 配 置 需 求 : 例 如 应 用 整 体 框 架 涉 及 到 哪 些 三 方 的 组 件 应 用 层 与 数 据 库 层 的 接 口 使 用 了 什 么 数 据 库 等 系 统 配 置 需 求 : 例 如 用 户 客 户 端 配 置 客 户 端 与 服 务 器 端 的 网 络 配 置 应 用 服 务 器 或 数 据 库 服 务 器 操 作 系 统 等 用 户 使 用 情 况 需 求 : 例 如 用 户 分 布 情 况 ; 哪 些 模 块 用 户 使 用 比 较 频 繁 ; 在 用 户 操 作 的 数 据 有 哪 些 特 点 等 这 方 面 工 作 是 非 常 繁 杂 的, 而 且 要 求 测 试 人 员 具 有 挖 掘 可 能 造 成 系 统 瓶 颈 因 素 的 洞 察 力 和 敏 锐 感, 但 是 很 多 测 试 人 员 在 接 手 测 试 之 后, 很 快 进 入 到 测 试 用 例 设 计 阶 段 实 践 证 明, 这 样 做 往 往 都 适 得 其 反, 要 么 工 期 延 期, 要 么 项 目 开 发 失 败 这 个 过 程 在 测 试 整 体 过 程 中 是 非 常 关 键 的 一 环 性 能 测 试 分 析 有 个 特 点 : 它 关 注 的 是 应 用 的 整 体, 或 者 会 仔 细 分 析 围 绕 着 应 用 的 各 种 外 部 因 素, 比 如 说 它 所 涉 及 到 的 硬 件 三 方 软 件, 而 不 会 深 入 到 项 目 具 体 的 内 部 这 是 因 为 性 能 测 试 关 注 的 是 项 目 整 体 是 一 种 黑 盒 测 试 方 法, 我 们 关 心 一 个 项 目 的 整 体 在 运 行 时 所 暴 露 出 来 的 问 题 在 此 案 例 中 我 们 获 取 到 如 表 所 示 需 求 3. 测 试 用 例 设 计 此 过 程 主 要 目 的 是 设 计 出 一 些 合 理 的 场 景 去 验 证 在 需 求 分 析 阶 段 获 得 的 可 能 影 响 性 能 的 因 素 是 否 是 造 成 系 统 瓶 颈 的 因 素 测 试 用 例 设 计 一 般 包 括 测 试 策 略 测 试 案 例 测 试 内 容 测 试 策 略 一 般 包 括 对 比 测 试 环 境 与 真 实 的 业 务 操 作 环 境, 真 实 业 务 操 作 环 境 又 可 能 涉 及 局 域 网 测 试 环 境 与 机 房 测 试 环 境 等 测 试 案 例 主 要 是 根 据 测 试 需 求 分 析 的 结 果 制 定 出 在 测 试 执 行 时 系 统 的 执 行 方 法, 比 如 本 案 例 中 5 个 人 同 时 录 入 不 同 的 新 客 户 信 息, 以 及 具 体 的 模 拟 步 骤 在 测 试 案 例 设 计 时 应 注 意 如 下 几 点 : 24

虚 拟 用 户 的 操 作 步 骤 要 尽 量 类 似 于 真 实 用 户 的 操 作 操 作 的 数 据 要 类 同 于 真 实 用 户 实 际 使 用 数 据, 例 如 在 案 例 中 用 户 录 入 客 户 信 息 时, 根 据 需 求 得 到 的 结 果, 我 们 可 以 设 计 有 3~4 个 虚 拟 用 户 在 录 入 一 些 小 客 户 的 信 息,1~2 个 虚 拟 用 户 在 录 入 大 客 户 的 信 息 等 在 案 例 设 计 时 要 充 分 考 虑 到 需 求 中 用 户 对 模 块 的 使 用 频 率 使 得 在 模 拟 时 每 个 模 块 使 用 情 况 尽 量 地 类 似 于 真 实 环 境 测 试 内 容 一 般 包 括 并 发 性 能 测 试 疲 劳 强 度 测 试 大 数 据 量 测 试 以 及 系 统 资 源 监 控 等, 我 们 在 做 性 能 调 优 测 试 时 主 要 是 做 并 发 性 能 测 试 以 及 系 统 资 源 监 控 这 些 方 面 的 工 作 从 对 系 统 产 生 并 发 性 能 测 试 过 程 中 监 控 系 统 中 各 种 资 源 的 变 化, 来 判 断 导 致 性 能 瓶 颈 的 原 因 4. 脚 本 开 发 数 据 的 准 备 以 及 测 试 执 行 与 监 控 测 试 执 行 与 监 控 的 主 要 目 的 是 根 据 设 计 方 案 去 验 证 系 统 是 否 存 在 瓶 颈, 给 测 试 分 析 提 供 各 种 分 析 数 据 此 过 程 会 与 下 面 的 测 试 分 析 过 程 不 断 进 行 重 复 执 行, 直 至 真 正 确 定 出 系 统 瓶 颈 所 在 笔 者 认 为, 在 此 过 程 中 如 果 有 测 试 工 具 能 够 满 足 测 试 要 求, 那 么 应 尽 量 使 用 测 试 工 具, 不 要 手 工 去 开 发 测 试 程 序, 因 为 做 企 业 项 目 往 往 时 间 紧 张, 而 且 测 试 工 具 毕 竟 是 一 个 成 熟 的 产 品, 在 各 方 面 都 得 到 验 证 使 用 工 具 将 会 缩 短 测 试 周 期, 而 且 现 在 市 场 上 有 很 多 成 熟 的 测 试 软 件 例 如 : Mercury 的 LoadRunner IBM 的 Robot Compuware 的 QALoad 等 在 这 个 案 例 中 笔 者 使 用 的 是 Mercury 的 LoadRunner 关 于 一 些 技 术 细 节 笔 者 就 不 再 赘 述 了, 在 这 里 主 要 提 两 点 一 是 数 据 的 准 备 数 据 准 备 一 定 要 关 注 数 据 的 质 量 和 数 量, 不 要 出 现 一 些 不 符 合 业 务 逻 辑 的 废 数 据, 并 且 数 据 量 要 满 足 测 试 运 行 的 需 要 例 如 测 试 需 要 100 组 数 据, 但 是 实 际 只 准 备 了 50 组, 从 而 导 致 测 试 执 行 结 果 出 现 大 的 偏 差 二 是 测 试 执 行 除 了 正 确 按 照 设 计 的 要 求 去 设 置 各 种 参 数 之 外, 还 要 关 注 系 统 是 否 存 在 功 能 问 题, 这 往 往 成 为 性 能 测 试 的 盲 点 原 则 上 性 能 测 试 之 前 必 须 确 保 功 能 测 试 已 经 完 备, 但 是 任 何 事 情 都 不 绝 对, 所 以 一 般 做 性 能 测 试 之 初, 都 会 模 拟 一 个 用 户 去 运 行 设 计 的 场 景, 主 要 是 确 保 测 试 脚 本 正 确 性 在 设 计 的 场 景 中 应 用 系 统 不 存 在 功 能 上 的 问 题 很 多 性 能 测 试 过 程 往 往 因 为 功 能 问 题 导 致 性 能 测 试 失 败, 或 者 是 测 试 延 期 的 现 象 5. 测 试 分 析 测 试 分 析 的 主 要 目 的 是 要 根 据 测 试 执 行 获 取 到 的 数 据 去 判 断 造 成 系 统 出 现 瓶 颈 的 位 置, 挖 掘 造 成 系 统 瓶 颈 的 真 正 原 因 这 个 过 程 是 技 术 含 量 最 高 的 一 环, 因 为 在 25

测 试 执 行 过 程 获 取 到 的 数 据 会 涉 及 到 各 个 方 面, 在 这 个 案 例 中 就 涵 盖 了 网 络 方 面 的 知 识 系 统 方 面 的 知 识 应 用 方 面 的 知 识 等, 测 试 人 员 需 要 从 这 些 繁 杂 的 数 据 中 挑 出 异 常, 系 统 越 大 越 复 杂 在 这 个 方 面 对 测 试 人 员 要 求 会 更 高 但 是 这 里 面 也 有 一 些 技 巧 : 在 做 测 试 分 析 时 人 员 组 成 建 议 为 : 开 发 人 员 系 统 人 员 测 试 人 员 共 同 组 成 这 样 会 在 技 术 上 填 补 个 人 技 术 上 的 不 足 实 际 每 个 项 目 涉 及 到 的 技 术 都 可 能 各 有 不 同, 对 于 个 人 来 说 不 可 能 每 样 都 精 通 反 复 比 较 一 个 类 型 的 参 数 在 不 同 时 间 的 跳 跃 值, 或 者 不 同 场 景 下 同 一 个 类 型 参 数 的 变 化 在 发 现 参 数 有 异 常 变 化 时, 不 要 轻 易 下 结 论, 而 是 要 尽 量 挖 掘 可 能 影 响 这 个 参 数 的 其 他 参 数 值 在 长 期 的 测 试 过 程 中 发 现 往 往 发 现 一 个 所 谓 的 瓶 颈 都 是 因 为 其 他 因 素 造 成 的 在 测 试 分 析 时 使 用 较 多 的 一 种 方 式 是 排 除 法, 根 据 开 始 获 取 到 的 信 息 大 概 能 将 问 题 定 位 在 某 一 层 面 上 但 具 体 在 什 么 地 方, 就 可 以 采 取 排 除 的 方 法 去 定 位 尽 量 使 用 一 些 比 较 成 熟 的 工 具 协 助 分 析 工 作, 这 样 将 大 大 减 轻 工 作 负 担 在 确 定 出 真 正 的 性 能 瓶 颈 时, 可 以 做 一 些 小 的 测 试 模 型 去 做 验 证, 确 定 分 析 的 正 确 性 在 本 案 例 中, 在 测 试 结 果 经 过 各 种 比 对 之 后, 最 后 确 定 是 数 据 库 层 上 出 现 问 题 但 是 问 题 究 竟 出 现 什 么 地 方 呢? 笔 者 在 分 析 过 程 中 采 用 了 许 多 排 除 法, 比 如 更 新 索 引 的 统 计 值 将 数 据 库 中 的 表 从 级 锁 改 为 行 级 锁 等, 但 是 都 效 果 甚 微 所 以, 我 们 回 到 上 面 看 与 数 据 库 层 相 关 的 需 求 : 1. 因 为 业 务 需 要, 需 要 使 用 很 多 模 糊 查 询 此 类 操 作 会 进 行 表 扫 描 为 了 防 止 脏 读, 会 向 数 据 库 申 请 表 级 意 向 锁 2. 因 为 客 户 关 系 复 杂, 所 以 数 据 库 设 计 的 时 候, 存 在 多 表 关 联 3. 在 应 用 开 发 时, 我 们 使 用 了 Hiberate 这 个 组 件, 这 些 组 件 对 于 开 发 人 员 来 说 是 一 个 黑 盒, 而 且 存 在 一 些 局 限 性 : 在 更 新 记 录 时 会 同 步 更 新 所 有 相 关 联 的 表, 即 使 关 联 表 不 需 要 更 新 ; 同 步 更 新 的 记 录 操 作 会 涵 盖 一 个 事 物 处 理 过 程 中, 会 产 生 大 事 务 操 作 ; 无 法 利 用 SQL 优 化 技 术 去 优 化 他 所 产 生 出 来 的 SQL 语 句 研 究 之 后 发 现 : 在 进 行 模 糊 查 询 与 大 客 户 信 息 录 入 与 修 改 的 操 作 时, 由 hiberate 这 个 组 件 产 生 的 大 事 务 SQL 导 致 了 数 据 库 的 互 锁, 是 系 统 瓶 颈 所 在 为 了 验 证 这 一 判 断 的 正 确 性, 笔 者 做 了 一 个 小 的 模 型 去 验 证 26

假 设 库 中 有 A B C 三 张 表, 现 在 有 三 个 虚 拟 用 户 同 时 在 上 面 进 行 操 作 : 用 户 Vuser1 需 要 查 询 客 户 信 息, 他 只 知 道 客 户 的 姓 氏, 所 以 他 采 取 了 模 糊 查 询 ; 用 户 Vuser2 正 在 修 改 一 个 客 户 信 息, 正 准 备 保 存 ; 用 户 Vuser3 正 在 查 询 客 户 办 公 信 息, 也 需 要 模 糊 查 询 Vuser1 操 作 先 得 到 执 行, 在 表 扫 描 中 出 现 表 级 意 向 锁 ; 此 时 Vuser2 进 来 需 要 修 改 A B C 三 张 表 对 应 记 录, 并 成 功 的 锁 定 了 B C 两 张 表 对 应 的 行 ( 因 为 是 行 级 锁 ), 然 后 进 行 了 修 改, 但 是 无 法 修 改 表 A, 所 以 Vuser2 此 时 等 待 Vuser1 释 放 锁 ; 此 时 Vuser3 进 来 了, 需 要 查 询 C 表, 因 为 Vuser2 并 没 有 释 放 锁, 此 时 Vuser3 也 处 在 等 待 状 态 验 证 显 示, 在 出 现 大 数 量 的 操 作 并 且 在 多 用 户 的 操 作 下, 此 瓶 颈 将 不 断 地 暴 露 出 来 6. 系 统 调 优 与 验 证 将 获 取 的 分 析 数 据 交 付 到 开 发 组 进 行 调 优, 经 过 调 优 后 一 般 都 需 要 再 次 进 行 验 证, 验 证 主 要 关 注 调 优 后 的 结 果 是 否 解 决 了 所 发 现 的 系 统 性 能 瓶 颈 和 是 否 产 生 了 新 的 性 能 瓶 颈 这 方 面 的 工 作 主 要 由 开 发 人 员 来 完 成 在 本 案 例 中, 去 掉 了 Hiberate 组 件, 改 为 由 应 用 自 身 控 制, 尽 量 减 少 了 大 事 物 的 出 现 概 率, 并 同 业 务 部 门 商 议, 降 低 了 模 糊 查 询 操 作 的 次 数 在 后 来 再 做 性 能 评 测 时 确 认 系 统 达 到 了 预 期 目 标 ------------------------------------------------------------------------------------------------------ 六 软 件 测 试 过 程 的 监 控 方 法 作 者 : 贺 炘 软 件 开 发 项 目 的 成 败, 很 大 程 度 上 取 决 于 三 方 面 的 配 合 : 过 程 人 技 术, 三 方 面 相 互 制 约, 又 相 互 促 进 为 了 能 更 加 有 效 的 管 理 软 件 开 发 项 目, 规 划 软 件 开 发 过 程, 近 年 来 国 内 引 入 了 不 少 软 件 开 发 模 型, 如 :CMM/CMMI,RUP,XP 等, 每 一 种 都 体 现 了 一 种 思 想, 都 希 望 能 在 最 大 限 度 内, 协 调 上 述 三 者 之 间 的 关 系, 最 大 程 度 的 减 少 软 件 开 发 过 程 中 的 风 险, 能 按 照 既 定 的 计 划, 交 付 出 合 格 的 软 件 产 品 对 于 软 件 测 试 工 作, 国 内 大 多 数 企 业 采 用 V 模 型 作 为 测 试 的 标 准 模 型, 来 规 划 和 设 计 软 件 测 试 流 程, 指 导 日 常 的 测 试 工 作, 模 型 如 下 图 所 示 : 27

图 一 V 模 型 带 给 我 们 一 个 理 想 的 开 发 方 式, 帮 助 我 们 理 解 软 件 开 发 活 动 中 各 个 阶 段 之 间 的 相 互 关 系 V 模 型 的 左 侧 是 以 瀑 布 模 型 为 基 础 的 开 发 活 动, 自 上 向 下 开 展 V 模 型 的 右 侧 是 测 试 活 动, 以 左 侧 完 成 的 活 动 为 工 作 输 入, 自 下 向 上 开 展, 最 终 通 过 验 收 测 试, 交 付 给 用 户 合 格 的 软 件 产 品 通 过 这 个 模 型, 我 们 发 现 按 照 理 想 情 况, 如 果 需 求 获 取 人 员 完 成 了 需 求 分 析 工 作, 测 试 人 员 就 可 以 按 照 需 求 分 析 的 结 果 规 划 我 们 的 系 统 测 试 工 作, 设 计 系 统 测 试 用 例, 等 待 到 系 统 测 试 阶 段 执 行 测 试 用 例, 验 证 系 统 是 否 实 现 了 设 计 的 所 有 功 能 和 性 能 要 求 当 概 要 设 计 人 员 完 成 了 概 要 设 计 工 作, 测 试 人 员 或 者 开 发 人 员 ( 不 同 的 公 司 可 能 会 要 求 不 同 的 角 色 完 成 这 一 工 作 ) 就 可 以 规 划 集 成 测 试 工 作, 设 计 集 成 测 试 用 例, 等 待 集 成 测 试 阶 段 执 行 测 试 用 例, 验 证 系 统 是 否 可 以 组 装 成 功, 是 否 可 以 交 付 到 下 一 个 阶 段 进 行 系 统 测 试 当 详 细 设 计 人 员 完 成 了 详 细 设 计 工 作, 开 发 人 员 就 可 以 规 划 单 元 测 试 工 作, 编 写 单 元 测 试 用 例, 等 待 编 码 完 成 后 进 行 单 元 测 试 工 作, 验 证 单 个 模 块 或 者 类 等 ( 各 个 公 司 规 划 的 单 元 测 试 颗 粒 度 不 尽 相 同 ) 内 部 的 逻 辑 是 否 有 问 题, 整 个 系 统 是 否 可 以 进 入 到 集 成 测 试 阶 段 通 过 分 析 我 们 发 现, 按 照 V 模 型 来 设 计 测 试 工 作, 测 试 人 员 可 以 在 前 期 ( 需 求 获 取 阶 段 ) 就 介 入 到 整 个 开 发 过 程 中, 设 计 测 试 用 例 规 划 测 试 工 作 这 样, 有 许 多 工 作 就 可 以 并 行 开 展, 而 且 很 多 问 题 可 以 在 开 发 的 前 期 被 发 现, 极 大 的 规 避 了 开 发 工 作 的 风 险, 降 低 了 改 正 缺 陷 的 成 本 但 是 我 们 目 前 的 实 际 情 况 是 什 么 那? 我 们 的 需 求 总 在 变 更, 概 要 设 计 做 的 不 够 好, 而 且 变 化 频 繁, 详 细 设 计 不 够 详 细 或 者 根 本 不 做, 单 元 测 试 覆 盖 率 不 够 或 者 根 28

本 不 做, 这 样 造 成 测 试 工 作 步 履 维 艰, 质 量 难 以 控 制 我 们 上 面 谈 到 的 几 种 软 件 过 程 改 进 模 型, 也 是 想 在 方 法 的 高 度 上, 尽 量 的 改 变 这 种 现 状 不 管 我 们 打 算 采 用 何 种 模 型 作 为 我 们 过 程 改 进 的 基 础, 对 于 软 件 测 试 工 作 来 讲 V 模 型 都 是 我 们 很 好 的 一 盏 路 灯, 它 提 供 给 我 们 一 个 软 件 测 试 工 作 提 前 介 入 的 思 路, 以 测 试 或 者 说 以 质 量 保 证 为 前 提 的 软 件 开 发 方 法, 只 有 这 样 做, 我 们 才 有 可 能 生 产 出 高 质 量 的 软 件 产 品 本 文 并 不 打 算 一 一 探 讨 上 述 几 种 过 程 改 进 模 型 的 测 试 监 控 方 法, 而 是 参 考 V 模 型 的 架 构, 从 软 件 项 目 管 理 的 角 度 谈 一 谈, 如 何 对 软 件 测 试 工 作 进 行 监 控, 具 体 的 监 控 手 段 都 有 那 些, 在 平 时 的 工 作 过 程 中 我 们 应 该 怎 样 使 用 大 家 都 知 道, 项 目 管 理 有 三 个 要 素, 即 : 成 本, 进 度, 质 量 对 于 软 件 测 试 经 理 来 讲, 只 需 要 对 产 品 的 质 量 负 责 对 于 整 个 项 目 来 讲, 项 目 经 理 作 为 项 目 组 的 最 高 领 导 自 然 要 对 项 目 整 体 的 : 成 本 进 度 质 量 负 责 ; 在 这 个 团 队 中, 作 为 主 管 软 件 测 试 工 作 的 测 试 经 理, 需 要 协 助 项 目 经 理 只 对 质 量 负 责, 这 样 才 能 客 观 的 对 项 目 的 质 量 做 出 评 价 之 所 以 说 不 用 对 其 它 两 项 负 责, 更 确 切 的 说 法 应 该 是 在 做 质 量 判 断 的 时 候, 不 需 要 考 虑 成 本 和 进 度 可 能 对 质 量 造 成 的 影 响, 具 体 的 权 衡 工 作 由 项 目 经 理 或 者 公 司 的 高 层 来 完 成, 测 试 经 理 只 提 供 对 软 件 产 品 质 量 的 客 观 判 断 既 然 测 试 经 理 只 对 质 量 负 责, 这 就 会 衍 生 出 来 一 个 问 题, 测 试 经 理 对 产 品 质 量 过 于 吹 毛 求 疵, 与 开 发 人 员 造 成 对 立, 进 而 影 响 项 目 开 发 工 作 如 果 这 件 事 情 发 生 了, 有 一 个 确 切 的 信 号 已 经 传 递 了 出 来 : 测 试 人 员 和 开 发 人 员 在 沟 通 上 存 在 问 题 如 何 解 决 这 个 问 题? 首 先, 我 们 应 该 审 视 测 试 人 员 和 开 发 人 员 的 沟 通 技 巧 是 否 存 在 问 题 其 次, 我 们 应 该 重 新 核 对 我 们 在 项 目 开 始 时 确 定 的 质 量 目 标, 看 看 是 测 试 人 员 人 为 拔 高 质 量 目 标, 提 出 超 范 围 的 要 求, 还 是 开 发 人 员 人 为 降 低 质 量 目 标, 生 产 出 不 符 合 质 量 要 求 的 产 品, 以 此 作 为 对 质 量 标 准 实 施 误 差 的 一 个 判 断 在 项 目 中 作 为 对 产 品 质 量 检 验 的 负 责 人 测 试 经 理 工 作 的 好 坏 或 者 对 产 品 质 量 的 客 观 评 价, 对 公 司 的 决 策 就 会 显 现 的 非 常 重 要 为 了 能 有 效 的 降 低 这 种 风 险, 管 理 上 采 用 的 一 般 方 式 就 是 监 控, 即 由 三 方 人 员 对 被 监 控 方 的 工 作 进 行 客 观 的 评 价 那 谁 是 三 方 人 员? 首 先, 这 个 人 不 在 被 监 控 的 项 目 中 负 责 具 体 的 工 作, 其 次, 他 代 表 公 司 或 者 所 在 部 门, 需 要 对 项 目 的 质 量 情 况 进 行 客 观 的 评 价 针 对 一 个 具 体 的 组 织 结 构 模 型, 如 下 图 所 示 : 29

图 一 : 组 织 结 构 图 可 能 对 测 试 工 作 有 监 控 需 求 的 部 门 有 : 软 件 测 试 部 门 的 主 管,SQA 人 员 或 者 其 主 管, 技 术 或 者 开 发 部 门 的 主 管 他 们 的 监 控 出 于 不 同 的 目 的, 如 : 评 估 测 试 工 作 的 有 效 性, 了 解 具 体 项 目 的 质 量 情 况, 了 解 开 发 的 进 度 和 效 率 等 不 管 出 于 什 么 目 的, 他 们 有 一 个 共 同 的 特 征 是 : 不 参 与 项 目 组 中 具 体 的 工 作, 并 且 需 要 在 短 时 间 内 了 解 项 目 的 实 际 情 况, 并 且 做 出 相 对 准 确 的 判 断 但 是, 不 在 项 目 组 中, 对 项 目 组 的 实 际 情 况 不 是 非 常 了 解, 如 何 能 在 短 时 间 内 对 项 目 的 测 试 情 况 做 出 准 确 的 判 断? 在 实 际 工 作 过 程 中, 我 们 可 以 采 用 如 下 的 方 法 对 测 试 工 作 进 行 监 控 : 一 般 采 用 的 手 段 是 : 问 讯 与 查 阅 相 结 合, 对 关 键 点 进 行 抽 样 审 核, 并 询 问 不 同 的 人 员 以 进 行 核 实 具 体 的 审 查 点 和 查 阅 项 会 在 下 面 做 详 细 的 阐 述 在 监 控 过 程 中, 我 们 一 般 会 经 历 如 下 阶 段 : 了 解 情 况 发 现 问 题 核 实 问 题 解 决 问 题 给 出 方 案 评 估 影 响 图 2: 测 试 监 理 过 程 1. 首 先 依 据 自 己 的 经 验, 问 讯 项 目 组 的 相 关 人 员, 看 看 项 目 的 过 程 是 否 符 合 通 常 的 测 试 规 范 2. 通 过 问 讯, 记 录 发 现 的 问 题 或 者 疑 问 3. 通 过 询 问 不 同 的 项 目 组 成 员 或 查 阅 相 关 的 文 档, 核 实 发 现 问 题 或 疑 问 的 真 实 性 4. 汇 总 所 有 问 题, 评 估 各 个 问 题 的 影 响 和 风 险, 列 出 优 先 级 5. 给 出 可 能 的 解 决 方 案 注 意, 这 里 的 解 决 方 案 不 是 指 具 体 的 解 决 方 法, 而 是 30

指 激 发 项 目 组 成 员 行 动 的 可 行 的 方 案, 如 建 议 项 目 组 开 会 讨 论 可 能 的 处 理 方 式 等 6. 跟 踪 解 决 方 案, 验 证 问 题 是 否 真 正 得 到 解 决 以 上 是 一 个 通 行 的 监 控 过 程, 这 里 需 要 强 调 的 一 点 是 : 不 管 出 于 什 么 理 由 对 测 试 过 程 进 行 监 控, 但 是 发 现 问 题 绝 对 不 是 我 们 的 目 标, 能 够 有 效 的 解 决 问 题 降 低 项 目 的 风 险 才 是 我 们 的 目 标, 只 有 这 样 的 监 控 才 是 有 价 值 的, 对 公 司 整 体 有 利 的 工 作 对 测 试 工 作 监 控 的 方 法, 依 据 项 目 所 处 的 不 同 阶 段 我 们 分 为 三 个 部 分 进 行 阐 述 这 三 个 部 分 暂 且 称 为 : 测 试 初 始 期, 测 试 实 施 期, 测 试 结 项 期 1. 测 试 初 始 期 在 这 个 阶 段, 测 试 工 作 刚 刚 启 动 或 者 才 开 始 按 照 计 划 实 施 测 试 工 作, 测 试 工 作 的 启 动 时 间 点 在 各 个 公 司 可 能 不 同, 有 可 能 是 : 需 求 调 研 后 期, 集 成 测 试 期 或 者 系 统 测 试 期 等 具 体 在 软 件 开 发 的 什 么 阶 段 测 试 工 作 开 始 介 入, 并 没 有 一 个 一 定 的 说 法, 关 键 要 看 所 在 公 司 的 软 件 开 发 活 动 的 成 熟 度 来 灵 活 选 择, 但 是 这 点 并 不 影 响 下 面 的 讨 论 作 为 测 试 工 作 的 监 控 者, 应 该 在 那 些 重 要 环 节 上 加 以 注 意? 首 先 请 大 家 注 意 这 个 阶 段 的 特 征 : 软 件 开 发 工 作 已 经 开 始, 需 求 开 发 工 作 已 经 完 成 或 者 接 近 尾 声, 以 测 试 人 员 为 主 的 测 试 工 作 正 式 启 动 或 者 刚 开 始 运 行 在 以 上 的 前 提 下, 我 们 来 说 一 说 需 要 注 意 的 监 控 点 : 测 试 工 作 有 没 有 明 确 的 工 作 范 围 这 是 在 测 试 工 作 中 最 需 要 明 确 的, 也 是 非 常 多 的 项 目 忽 略 的 工 作 在 做 测 试 工 作 之 前, 一 定 要 非 常 明 确 准 备 对 那 些 内 容 进 行 测 试, 预 计 达 到 的 质 量 标 准 是 什 么, 尤 其 是 对 那 些 不 进 行 测 试 我 遇 到 过 的 很 多 的 测 试 经 理 都 抱 怨 说 : 我 们 不 可 能 在 前 期 把 这 些 事 情 都 弄 清 楚, 开 发 人 员 都 不 知 道 产 品 将 来 是 什 么 样 子, 我 们 怎 么 知 道 需 要 测 试 那 些 内 容? 咋 一 听, 感 觉 很 有 道 理, 但 是 情 况 是 否 真 像 大 家 说 的 那 样? 作 为 公 司, 或 者 项 目 经 理 都 希 望 能 将 项 目 做 好, 能 生 产 出 一 件 令 用 户 满 意 的 产 品, 如 果 这 个 假 设 成 立 的 话, 这 也 就 是 我 们 能 够 改 变 现 状 的 动 力 首 先, 原 先 的 那 种 做 法 已 经 多 次 证 明 是 行 不 通 的, 所 以 只 有 改 变 我 们 的 做 法 才 有 可 能 成 功, 前 期 先 弄 明 白 我 们 打 算 做 什 么 并 不 是 一 个 过 分 的 要 求 其 次, 开 发 人 员 实 际 上 并 不 是 完 全 不 知 道 他 们 打 算 生 产 什 么 样 的 产 品, 而 是 就 一 些 细 节 考 虑 的 不 够, 或 者 不 周 全 作 为 测 试 人 员, 一 定 要 知 道 如 何 对 一 件 产 品 的 功 能 和 性 能 怎 么 验 证, 这 实 际 上 在 帮 助 开 发 人 员 从 使 用 者 的 角 度 上 重 新 的 审 视 一 遍 需 求, 也 许 这 时 候 开 发 人 员 也 说 不 清 楚, 那 如 果 你 和 开 发 人 员 都 非 常 清 楚 那 些 是 明 确 的 那 些 是 需 要 后 面 再 补 充 的, 也 已 经 达 到 了 我 们 的 目 的 被 测 系 统 有 无 明 确 的 性 能 指 标? 对 性 能 要 求 比 较 高 的 系 统, 需 要 在 前 期 明 确 具 体 指 标 到 底 是 多 少? 用 何 种 手 段 进 行 确 认? 用 户 是 否 认 可 这 个 指 标 的 描 述 以 及 确 认 的 方 法 性 能 指 标 一 般 从 需 求 中 对 一 些 敏 感 的 数 字 的 描 述 中 来, 如 : 必 须 保 证 能 处 理 30 个 在 线 用 户 同 时 操 作, 主 要 业 务 系 统 响 应 时 间 不 能 大 于 1.5 秒 等 31

针 对 这 些 数 据, 测 试 人 员 一 定 要 细 化 数 据 背 后 的 含 义, 使 这 些 数 据 变 得 可 验 证 如 在 规 划 这 些 性 能 指 标 的 验 证 方 式 时, 首 先 需 要 明 确 软 硬 件 的 环 境 是 什 么? 在 此 基 础 上, 还 需 知 道 什 么 叫 30 个 在 线 用 户 同 时 操 作? 都 操 作 什 么? 这 个 场 景 应 该 怎 么 模 拟? 只 有 和 这 个 指 标 相 关 的 所 有 验 证 方 法 都 可 行, 而 且 得 到 了 认 可, 在 后 续 的 测 试 活 动 中 我 们 才 能 相 信 这 条 性 能 指 标 能 够 进 行 测 试 测 试 工 作 有 无 明 确 的 阶 段 划 分 ( 如 单 元 集 成 系 统 验 收 等 )? 各 阶 段 是 否 有 明 确 的 交 付 确 认 条 件? 实 际 过 程 中, 我 们 都 会 将 测 试 工 作 按 照 阶 段 进 行 划 分, 上 面 描 述 的 是 一 个 通 常 的 划 分 方 式 在 做 监 控 工 作 时, 还 需 要 明 确 一 点 : 这 些 阶 段 的 划 分 是 不 是 只 有 时 间 点 的 描 述, 而 没 有 各 个 阶 段 之 间 可 量 化 可 衡 量 的 交 付 确 认 条 件? 如 果 只 有 时 间 点 的 划 分, 那 我 已 经 可 以 断 定, 这 个 项 目 势 必 会 延 期, 原 因 是 在 整 个 生 产 活 动 过 程 中 没 有 明 确 的 阶 段 点 交 付 的 检 验 标 准, 问 题 肯 定 会 沿 着 整 个 开 发 过 程 逐 步 的 传 递 下 去, 终 归 会 在 某 一 点 爆 发, 最 不 幸 的 爆 发 点 是 在 客 户 处 如 果 想 尽 量 的 避 免 上 述 的 风 险, 就 需 要 在 开 发 过 程 中 明 确 各 个 阶 段 点 之 间 的 交 付 确 认 条 件 而 且 这 些 条 件 必 须 可 量 化 可 衡 量, 决 不 能 是 含 糊 的, 不 易 操 作 的, 否 则 在 实 际 操 作 过 程 中 还 是 会 将 大 量 的 问 题 推 入 下 一 个 阶 段 下 面 也 以 单 元 测 试 为 例, 看 看 怎 么 建 立 一 个 可 量 化 可 衡 量 的 单 元 测 试 阶 段 的 交 付 标 准 首 先, 需 要 确 定 开 发 人 员 是 否 进 行 了 单 元 测 试 可 以 让 开 发 人 员 提 交 一 份 单 元 测 试 总 结 报 告, 上 面 需 要 大 致 的 描 述 一 下 进 行 了 那 些 单 元 测 试 单 元 测 试 总 结 报 告 是 否 提 交 是 一 个 可 以 量 化 的 条 件 其 次, 需 要 评 估 一 下 单 元 测 试 的 质 量, 主 要 可 以 通 过 如 下 方 法 : 是 否 有 足 够 的 单 元 测 试 用 例? 可 以 对 照 详 细 设 计 规 定 单 元 测 试 用 例 的 数 量, 这 是 个 量 化 的 方 法 单 元 测 试 用 例 的 通 过 率 必 须 达 到 90% 以 上 测 试 人 员 还 可 以 抽 样 执 行 开 发 人 员 编 写 的 单 元 测 试 用 例, 抽 样 执 行 的 单 元 测 试 用 例 的 一 次 通 过 率 必 须 在 90% 以 上 这 也 是 一 个 量 化 的 方 法, 同 时 检 查 了 测 试 用 例 书 写 的 质 量 和 单 元 测 试 执 行 的 质 量 以 上 是 一 些 常 用 的 方 式, 而 且 这 只 是 非 常 少 的 一 部 分, 当 给 出 确 实 可 行 的 方 法 和 可 以 量 化 的 指 标 后, 我 们 发 现, 评 估 一 个 产 品 是 否 达 到 了 预 计 的 质 量 要 求 就 会 变 得 相 对 容 易 很 多, 而 且 也 避 免 了 人 为 主 观 判 断 的 尴 尬 最 终 的 交 付 验 收 有 无 和 客 户 确 认 通 过 的 验 收 标 准 和 范 围? 上 线 割 接 和 维 护 期 有 无 明 确 的 成 功 失 败 判 定 标 准? 对 于 项 目 类 的 软 件 开 发, 上 面 的 监 控 非 常 重 要 为 客 户 做 项 目 的 时 候, 一 定 要 在 前 期 和 客 户 确 认 怎 么 进 行 验 收, 验 收 通 过 的 标 准 是 什 么, 最 好 能 形 成 书 面 的 文 档, 这 样 才 能 在 最 后 交 货 的 时 候 避 免 不 必 要 的 麻 烦 而 且, 验 收 标 准 和 范 围 应 该 是 测 试 的 一 个 最 小 测 试 集, 要 最 大 程 度 的 确 保 正 确 性 如 果 是 比 较 大 的 软 件 开 发 项 目, 还 会 牵 扯 到 : 上 线 割 接 维 护, 一 般 会 写 在 前 期 的 合 同 中, 客 户 会 按 照 上 述 阶 段 点 阶 段 性 付 费, 所 以 如 果 上 述 阶 段 点 没 有 明 确 的 成 功 失 败 判 定 标 准 的 话, 对 于 公 司 尾 款 的 收 取 是 个 挑 战 通 过 以 上 的 详 细 询 问, 我 相 信, 测 试 工 作 范 围 界 定 的 是 否 有 问 题, 测 试 工 作 是 否 规 划 的 全 面 细 致, 监 控 者 应 该 比 较 清 楚 了, 下 面 的 任 务 就 是 将 你 的 疑 问 记 录 下 32

来, 留 待 后 面 做 证 实 2. 测 试 实 施 期 在 这 个 阶 段, 测 试 工 作 进 行 了 一 段 时 间, 测 试 人 员 的 工 作 应 该 已 经 步 入 正 轨, 按 部 就 班 的 完 成 一 些 任 务 这 个 阶 段 的 特 点 是 : 开 发 人 员 和 测 试 人 员 都 按 照 日 常 的 规 范 开 始 有 条 不 紊 的 工 作, 有 可 能 对 一 些 问 题 已 经 习 以 为 常, 或 者 已 经 被 同 化 作 为 测 试 工 作 的 监 控 者, 应 该 在 看 似 合 理 的 工 作 中 找 出 影 响 质 量 的 问 题, 规 避 风 险 在 这 个 阶 段, 应 该 关 注 以 下 问 题 缺 陷 管 理 流 程 是 否 规 范? 每 个 缺 陷 的 提 交 和 关 闭 是 否 都 有 复 查? 缺 陷 管 理 是 贯 穿 于 整 个 软 件 开 发 过 程 测 试 过 程 的 关 键 环 节, 也 是 测 试 工 作 的 根 本, 所 以 缺 陷 管 理 的 流 程 是 否 规 范, 将 是 监 控 的 重 点 首 先, 需 要 询 问 测 试 经 理, 软 件 开 发 过 程 中 对 缺 陷 的 实 际 管 理 情 况 是 如 何 的? 不 要 让 测 试 经 理 背 诵 公 司 的 管 理 规 范, 而 应 该 以 一 个 实 际 缺 陷 为 线 索, 追 寻 这 个 缺 陷 的 产 生 直 到 关 闭 的 过 程 是 什 么? 期 间 是 否 有 相 关 的 记 录, 证 明 项 目 组 的 实 施 过 程 完 全 与 描 述 相 一 致 标 准 的 缺 陷 管 理 流 程 是 怎 样 的, 这 里 就 不 做 叙 述 了, 如 果 大 家 有 兴 趣 可 以 查 阅 相 关 的 资 料 在 这 个 过 程 中, 还 需 要 注 意 一 点 : 缺 陷 的 提 交 和 关 闭 是 否 都 进 行 了 复 查 缺 陷 提 交 和 关 闭 的 复 查 人 可 以 是 测 试 经 理, 或 者 测 试 经 理 指 定 的 人 选, 一 方 面 经 过 复 查, 可 以 减 少 缺 陷 的 重 复 提 交, 提 高 缺 陷 报 告 的 质 量, 另 一 方 面 在 测 试 组 中 会 有 一 个 人 对 系 统 或 一 个 大 组 件 的 质 量 情 况 有 比 较 全 面 的 了 解, 尤 其 在 后 期, 这 种 了 解 会 在 很 大 程 度 上 降 低 系 统 误 发 布 的 风 险 还 有 一 个 好 处 是, 在 测 试 人 员 和 开 发 人 员 交 互 的 过 程 中, 这 个 复 查 人 员 起 到 了 桥 梁 的 作 用, 可 以 有 效 的 隔 离 开 发 与 测 试 之 间 的 多 头 沟 通, 在 一 定 程 度 上 提 高 了 效 率 这 个 角 色 可 以 是 专 职 的, 也 可 以 是 兼 职 的, 关 键 看 系 统 的 大 小 配 置 管 理 工 作 是 否 规 范? 测 试 过 程 中 涉 及 到 的 版 本 是 否 都 可 以 完 整 的 追 溯? 测 试 版 本 的 发 放 频 度 是 否 符 合 测 试 的 实 际 要 求? 配 置 管 理 工 作 是 整 个 软 件 开 发 过 程 的 生 命 线, 相 比 较 而 言, 开 发 人 员 对 此 应 该 更 为 关 心 对 于 测 试 人 员 来 讲 一 方 面 要 保 证 可 以 取 到 自 己 想 要 的 文 档 版 本, 另 一 方 面 必 须 得 到 自 己 关 心 的 程 序 的 任 意 一 个 测 试 版 本, 以 便 可 以 在 正 确 的 版 本 上 执 行 正 确 的 测 试 用 例 在 实 际 检 查 过 程 中 可 以 在 缺 陷 库 中 任 意 选 择 一 个 缺 陷, 查 看 这 个 缺 陷 是 在 那 一 个 版 本 的 程 序 中 发 现 的, 随 即 在 配 置 库 中 调 出 该 版 本, 看 是 否 可 以 调 出 随 后, 查 阅 该 缺 陷 在 那 一 个 版 本 中 修 订 正 确 了, 随 即 也 在 配 置 库 中 调 出 该 版 本, 看 是 否 可 查 到 在 这 个 过 程 中, 还 需 要 注 意 开 发 部 门 提 交 给 测 试 部 门 版 本 的 频 繁 度, 看 是 否 过 快 或 者 过 慢 过 快 或 者 过 慢, 没 有 一 个 时 间 上 的 判 断 比 如 每 2 天 提 供 一 个 新 版 本 供 测 试 人 员 进 行 测 试, 这 个 是 过 快 还 是 过 慢? 判 断 的 依 据 关 键 要 看 测 试 人 员 所 处 的 状 态, 当 版 本 提 交 的 过 快 时, 测 试 人 员 一 直 忙 于 对 已 修 订 好 的 缺 陷 进 行 反 测, 没 有 时 间 对 新 功 能 进 行 测 试 当 版 本 提 交 过 慢 的 时 候, 测 试 人 员 的 时 间 比 较 空 闲 在 监 控 过 程 中, 只 需 要 询 问 测 试 人 员 的 测 试 工 作 的 紧 张 程 度, 一 般 就 能 够 判 断 出 版 本 提 交 的 频 度 是 否 有 问 题 了 33

关 键 测 试 活 动 的 关 键 测 试 资 源 是 否 如 期 到 位? 如 没 有 到 位 是 否 进 行 了 合 理 的 规 划 来 完 成 延 误 的 测 试 工 作? 在 测 试 过 程 中, 某 些 关 键 测 试 任 务 需 要 用 到 特 殊 的 设 备 或 者 特 殊 人 员 的 技 能, 称 为 关 键 资 源 在 测 试 实 施 过 程 中, 要 提 前 计 划 会 用 到 那 些 关 键 资 源, 以 免 耽 误 项 目 进 度 作 为 测 试 的 监 控 者, 需 要 非 常 关 心 这 些 关 键 资 源 的 使 用 情 况, 因 为 如 果 关 键 资 源 不 能 如 期 到 位, 势 必 要 影 响 项 目 的 整 体 进 度 如 果 由 于 某 种 原 因, 关 键 资 源 没 有 如 期 到 位 时, 要 注 意 测 试 人 员 是 否 对 计 划 进 行 了 修 订, 修 订 的 结 果 是 否 可 以 弥 补 已 经 造 成 的 损 失, 或 者 能 最 大 程 度 的 减 少 损 失 测 试 策 略, 测 试 计 划, 测 试 方 案, 测 试 用 例 是 否 都 经 过 了 正 式 评 审? 发 现 的 问 题 是 否 都 进 行 了 更 正? 作 为 测 试 的 监 控 者, 不 可 能 在 短 时 间 内 评 估 一 份 测 试 计 划 制 定 的 是 否 合 理 有 效, 一 份 测 试 方 案 是 否 可 以 正 确 实 施, 并 且 也 不 必 要 这 么 做 测 试 策 略, 测 试 计 划, 测 试 方 案, 测 试 用 例 等 文 档 都 是 测 试 过 程 中 的 关 键 文 档, 也 直 接 决 定 了 测 试 工 作 的 质 量 监 控 者 在 评 价 这 些 文 档 的 质 量 时, 首 先 想 到 的 一 点 就 是 我 要 充 分 的 阅 读 这 些 文 档, 以 我 的 经 验 和 能 力 来 判 断 这 份 文 档 的 好 坏 但 是, 作 为 一 个 项 目 组 以 外 的 人, 很 难 能 就 所 有 的 细 节 发 表 高 质 量 的 看 法, 其 次, 也 不 可 能 在 短 时 间 内 完 成 所 有 文 档 的 评 价 工 作 所 以 这 不 是 我 们 的 解 决 方 案 在 监 控 过 程 中, 首 先 要 相 信 项 目 组 自 身 的 能 力, 假 定 他 们 有 能 力 完 成 这 些 工 作, 这 样 工 作 就 简 单 了, 也 变 得 可 以 操 作 了 首 先, 查 阅 这 些 文 档, 大 致 看 看, 有 没 有 明 显 的 问 题 其 次, 应 该 检 查 这 些 文 档 的 评 审 记 录, 看 看 相 关 的 人 员 是 否 参 加 了 该 评 审, 都 发 现 了 什 么 问 题, 大 家 的 意 见 和 建 议 都 有 那 些 最 后, 看 看 所 有 的 发 现 的 问 题 是 否 都 得 到 了 解 决, 文 档 是 否 按 照 解 决 的 方 法 进 行 了 修 订 在 监 控 的 过 程 中, 默 认 参 与 评 审 的 人 员 技 术 能 力 都 符 合 要 求, 这 样 只 需 要 关 注 评 审 的 过 程 就 可 以 控 制 质 量 了 但 是, 如 果 有 证 据 证 明, 评 审 的 人 员 或 者 组 成 不 符 合 要 求, 作 为 监 控 者 应 该 宣 布 该 文 档 的 评 审 无 效, 需 重 新 进 行 评 审, 以 解 决 问 题 但 是, 使 用 这 项 权 利 的 时 候 要 小 心, 而 且 要 充 分 论 证, 否 则 会 扰 乱 项 目 组 的 正 常 次 序 测 试 的 相 关 文 档 是 否 都 按 照 项 目 目 前 的 实 际 情 况 进 行 了 更 新, 并 严 格 遵 照 执 行? 经 常 会 听 到 一 句 话 就 是 : 计 划 赶 不 上 变 化, 这 个 问 题 就 是 冲 着 这 句 话 来 的 我 在 讲 课 的 过 程 中 问 过 很 多 人 这 样 一 个 问 题 : 不 做 计 划, 直 接 做 事 情 行 不 行? 至 今 我 还 没 有 遇 到 一 个 说 行 的 但 是, 如 果 计 划 和 行 动 不 同 步, 这 个 和 没 有 计 划 又 有 什 么 区 别? 项 目 中 有 各 种 各 样 的 理 由 告 诉 你, 我 没 有 同 步 计 划 是 合 理 的, 但 是 我 们 的 要 求 一 定 是 必 须 有 计 划, 而 且 必 须 严 格 遵 照 执 行, 这 才 是 降 低 系 统 风 险 的 唯 一 合 理 方 法 34

项 目 先 前 定 义 的 测 试 范 围 在 后 续 的 计 划 方 案 中 是 否 有 遗 漏? 在 测 试 初 始 期 我 们 一 直 强 调 测 试 范 围 的 必 要 性, 在 测 试 实 施 阶 段 还 需 要 检 查 前 期 规 划 的 测 试 范 围 是 否 在 后 续 的 计 划 活 动 中 覆 盖 完 全 了, 只 有 计 划 中 完 全 的 覆 盖 了 所 列 的 测 试 范 围, 才 能 保 证 系 统 的 质 量 项 目 的 测 试 过 程 是 否 按 照 公 司 预 计 的 测 试 过 程 执 行? 在 测 试 实 施 阶 段, 还 需 要 了 解 测 试 人 员 是 否 按 照 公 司 要 求 在 执 行 所 有 的 测 试 活 动, 但 是 要 在 短 时 间 内 了 解, 手 段 只 能 是 听 测 试 经 理 陈 述 他 们 的 测 试 过 程, 再 加 以 判 断 如 果 公 司 有 SQA 人 员, 工 作 就 相 对 简 单 了, 只 需 要 到 配 置 管 理 库 中 找 到 SQA 的 检 查 报 告, 这 些 疑 问 就 一 目 了 然 了 3. 测 试 结 项 期 在 这 个 阶 段, 主 要 的 测 试 工 作 已 经 进 行 完 毕, 最 终 的 发 布 版 本 也 已 经 准 备 出 来 测 试 经 理 开 始 书 写 最 终 的 测 试 报 告, 申 请 发 货 作 为 测 试 的 监 控 者, 这 个 阶 段 的 主 要 任 务 就 是 评 估 软 件 产 品 的 质 量, 依 据 已 有 的 数 据 评 估 测 试 工 作 是 否 做 到 位, 产 品 是 否 可 以 发 布 在 这 个 阶 段, 应 该 如 何 进 行 监 控, 问 些 什 么 问 题? 测 试 中 发 现 的 缺 陷 趋 势 曲 线 是 否 处 于 收 敛 状 态? 各 个 分 模 块 的 缺 陷 趋 势 曲 线 是 否 基 本 一 致? 测 试 完 成 后, 判 断 产 品 是 否 能 够 发 货 的 一 个 重 要 条 件 就 是 : 缺 陷 趋 势 曲 线 处 于 收 敛 状 态, 并 且 持 续 一 段 时 间, 表 示 系 统 处 于 稳 定 状 态, 满 足 发 货 条 件 那 为 什 么 还 要 看 各 个 分 模 块 的 曲 线 是 否 一 致? 因 为, 有 的 系 统 比 较 庞 大, 有 可 能 某 一 个 局 部 的 缺 陷 曲 线 还 没 有 处 于 收 敛 状 态, 但 是 整 个 系 统 的 缺 陷 趋 势 图 已 经 把 这 个 信 息 掩 盖 掉 了 所 以, 还 需 要 分 别 看 一 下 各 个 模 块 的 趋 势 曲 线, 确 保 系 统 的 每 一 个 部 分 都 处 于 稳 定 状 态, 这 样 发 货 的 风 险 才 能 降 到 最 低 是 否 有 评 判 产 品 能 否 发 货 的 文 字 性 材 料? 发 货 前, 测 试 经 理 或 者 项 目 经 理 必 须 提 交 一 份 整 个 系 统 的 整 体 质 量 说 明, 以 文 档 的 形 式 证 明 整 个 系 统 质 量 稳 定, 达 到 用 户 要 求, 可 以 发 货 在 这 个 过 程 中, 如 果 和 客 户 有 关 于 质 量 的 约 定, 还 需 加 入, 如 : 用 户 签 字 认 可 的 验 收 报 告, 用 户 签 字 认 可 的 性 能 测 试 报 告 等 是 否 召 开 了 正 式 的 最 终 评 审 会 议? 会 议 的 参 与 评 审 人 员 是 否 有 公 司 主 管 的 高 层? 是 否 有 用 户 或 者 能 体 现 用 户 方 意 见 的 人 员 参 与? 所 有 的 遗 留 问 题 是 否 都 有 了 明 确 的 解 决 方 案, 并 且 有 相 关 的 责 任 人 负 责 问 题 的 解 决 和 跟 踪? 在 发 货 前, 还 需 要 召 开 正 式 的 评 审 会 议, 而 且 会 议 必 须 有 项 目 组 以 外, 主 管 该 项 目 的 公 司 高 层 和 能 体 现 用 户 方 意 见 的 人 员 参 加 因 为, 一 般 系 统 中 或 多 或 少 都 会 遗 留 一 些 缺 陷, 这 些 缺 陷 到 底 应 该 如 何 处 理, 会 给 公 司 和 客 户 带 来 多 大 的 麻 烦, 都 应 该 在 这 个 阶 段 做 一 个 评 估, 以 决 定 该 产 品 是 否 能 够 发 货 当 一 个 问 题 确 定 遗 留 在 系 统 中 后, 还 需 要 对 这 个 遗 留 问 题 有 个 明 确 的 解 决 办 法, 如 : 在 升 级 版 本 中 修 改, 建 议 用 户 用 以 下 方 式 绕 过, 或 者 干 脆 不 再 进 行 修 改, 35