201613

Computer Engineering and Applications 计 算 机 工 程 与 应 用 216,52(13) 43 理 论 与 研 发 基 于 图 像 匹 配 的 移 动 应 用 自 动 化 测 试 方 法 研 究 李 昕 宇, 侯 春 萍, 王 宝 亮, 宁 国 津, 于 奎 星 LI Xinyu, HOU Chunping, WANG Baoliang, NING Guojin, YU Kuixing 天 津 大 学 电 子 信 息 工 程 学 院, 天 津 372 School of Electronic and Information Engineering, Tianjin University, Tianjin 372, China LI Xinyu, HOU Chunping, WANG Baoliang, et al. Research on automated testing of mobile applications based on image matching. Computer Engineering and Applications, 216, 52(13):43-47. Abstract:Massive mobile applications have made the research of testing technology for mobile applications becoming a focus. The realization of automation test of mobile software can save time and manpower. An automation testing method based on the screenshot annotation and image matching is proposed. Taking the limited resolution and restricted details of the mobile phone screen into account and considering the characteristics of the mobile phone interface, such as images, text areas, lists, grids and so on, SURF feature points matching, RANSAC algorithm optimization and projection transformation can be used to compare a phone interface screenshot and the reference automatically. Experiments show that this method is 1.69 times faster than SIFT, and 2.1 times faster than manual work, and it can check out 16 UI bugs out of 19 found by manual work, which is 1.71 times more accurate than SURF before optimization. Key words:mobile application testing; testing automation; image matching; Speeded Up Robust Feature(SURF); RANSAC algorithm 摘 要 : 海 量 的 移 动 应 用 使 得 面 向 移 动 应 用 的 测 试 技 术 研 究 成 为 当 前 的 研 究 热 点, 通 过 基 于 手 机 截 图 的 移 动 应 用 软 件 自 动 化 测 试, 可 以 节 省 大 量 的 时 间 和 人 力, 以 此 为 背 景 提 出 了 一 种 基 于 图 像 匹 配 和 手 机 截 屏 区 域 标 注 的 自 动 化 测 试 方 法 主 要 考 虑 到 手 机 界 面 分 辨 率 和 显 示 细 节 有 限 的 特 点, 并 根 据 移 动 应 用 在 移 动 终 端 中 UI 中 的 图 像 文 字 列 表 网 格 等 各 种 区 域 显 示 的 特 点, 通 过 SURF 特 征 点 匹 配 RANSAC 算 法 优 化 和 投 影 变 换, 以 及 区 域 树 优 化, 实 现 移 动 应 用 的 UI 截 图 与 基 准 截 图 的 自 动 匹 配 和 对 比 实 验 结 果 证 明 通 过 采 用 设 计 的 自 动 化 测 试 方 法, 单 进 程 运 行 的 效 率 是 采 用 SIFT 算 法 的 1.69 倍, 是 手 工 的 2.1 倍 ; 能 检 测 出 人 工 检 测 发 现 的 19 个 界 面 显 示 问 题 中 的 16 个, 准 确 率 是 未 经 优 化 前 的 1.71 倍 关 键 词 : 手 机 应 用 测 试 ; 自 动 化 测 试 ; 图 像 匹 配 ; 快 速 鲁 棒 性 特 征 (SURF);RANSAC 算 法 文 献 标 志 码 :A 中 图 分 类 号 :TP32 doi:1.3778/j.issn.12-8331.148-154 随 着 移 动 终 端 处 理 器 计 算 能 力 的 不 断 增 强, 移 动 终 端 设 备 的 功 能 变 得 更 加 强 大 近 年 来, 智 能 手 机 在 人 群 中 逐 渐 普 及, 智 能 应 用 程 序 层 出 不 穷, 给 人 们 的 生 活 增 添 了 许 多 方 便 和 乐 趣 然 而 手 机 软 件 的 开 发 却 是 一 项 繁 复 而 辛 苦 的 工 作, 尤 其 是 其 中 的 软 件 测 试 工 作, 以 其 重 复 枯 燥 琐 碎 繁 重 的 特 点, 让 许 多 程 序 员 望 而 生 畏 或 是 在 其 中 苦 苦 挣 扎, 自 动 化 或 半 自 动 化 测 试 是 解 决 这 一 问 题 的 好 方 法 基 金 项 目 : 国 家 自 然 科 学 基 金 (No.913221); 国 家 高 技 术 研 究 发 展 计 划 (863)(No.212AA3A31); 教 育 部 博 士 点 基 金 (No.21332111) 作 者 简 介 : 李 昕 宇 (1988 ), 男, 硕 士, 主 要 研 究 领 域 为 图 像 匹 配 和 3D 重 构 ; 侯 春 萍 (1957 ), 女, 博 士, 教 授, 主 要 研 究 领 域 为 3D 图 像 处 理 与 无 线 通 信 ; 王 宝 亮 (1971 ), 男, 博 士, 高 级 工 程 师, 主 要 研 究 领 域 为 3D 图 像 处 理 与 无 线 通 信,E-mail:wangbl@ tju.edu.cn; 宁 国 津 (1972 ), 副 高 级 工 程 师, 主 要 研 究 领 域 为 移 动 互 联 ; 于 奎 星 (199 ), 硕 士, 主 要 研 究 领 域 为 移 动 应 用 开 发 与 测 试 收 稿 日 期 :214-8-29 修 回 日 期 :214-1-27 文 章 编 号 :12-8331(216)13-43-5 CNKI 网 络 优 先 出 版 :215-5-12, http://www.cnki.net/kcms/detail/11.2127.tp.215512.132.45.html

44 216,52(13) Computer Engineering and Applications 计 算 机 工 程 与 应 用 手 机 软 件 测 试 包 括 的 内 容 十 分 丰 富, 按 照 测 试 内 容 可 以 分 为 模 块 功 能 测 试 压 力 测 试 和 用 户 界 面 测 试 等 目 前 移 动 操 作 系 统 如 Android ios 都 有 了 一 些 比 较 好 的 自 动 化 测 试 框 架, 能 够 通 过 脚 本 设 定 进 行 模 块 功 能 测 试 和 压 力 测 试, 但 是 对 于 用 户 界 面 测 试, 由 于 涉 及 到 显 示 和 分 辨 率 等 实 际 问 题, 目 前 大 多 数 的 测 试 框 架 仍 然 需 要 较 多 的 人 工 参 与 然 而 在 满 足 人 们 不 同 需 求 的 过 程 中 产 生 的 分 辨 率 和 硬 件 特 性 的 多 样 性 更 加 突 显 了 手 机 软 件 界 面 测 试 的 重 要 性, 软 件 开 发 人 员 需 要 在 众 多 的 设 备 和 机 型 中 进 行 界 面 显 示 的 适 配 和 兼 容, 避 免 出 现 文 字 的 乱 码 图 片 的 拉 伸 控 件 的 变 形 等 问 题 本 文 提 出 了 一 种 基 于 SURF 图 像 匹 配 技 术 的 手 机 界 面 测 试 自 动 化 方 法, 并 根 据 手 机 软 件 的 显 示 方 式 和 特 点 进 行 了 一 些 优 化 测 试 数 据 表 明 通 过 采 用 本 文 设 计 的 自 动 化 测 试 方 法 能 够 减 少 人 工 参 与, 单 进 程 运 行 的 效 率 是 采 用 SIFT 算 法 的 1.69 倍, 是 手 工 的 2.1 倍 ; 能 检 测 出 人 工 检 测 发 现 的 19 个 界 面 显 示 问 题 中 的 16 个, 准 确 率 是 未 经 优 化 前 的 1.71 倍 1 界 面 测 试 自 动 化 方 法 的 基 本 思 路 本 文 提 出 的 手 机 软 件 界 面 测 试 自 动 化 方 法, 针 对 手 机 软 件 中 比 较 常 见 的 文 字 图 片 控 件 列 表 及 网 格 等 不 同 类 型 的 区 域, 建 立 基 准 图 片 库, 通 过 基 于 特 征 点 匹 配 的 图 像 匹 配 方 法, 实 现 对 手 机 界 面 显 示 结 果 正 确 性 的 评 估 通 过 对 首 次 手 机 截 屏 进 行 正 确 性 检 查 后, 即 可 得 到 用 于 以 后 自 动 化 测 试 的 基 准 图 片 库 [1-2] 本 文 提 出 的 方 法 还 将 通 过 对 基 准 图 片 内 容 进 行 自 动 区 域 划 分, 做 进 一 步 的 简 单 标 注, 突 出 重 要 的 内 容 和 控 件, 得 到 信 息 更 加 完 善 的 基 准 图 片 库 通 过 划 分 区 域 的 方 法 还 可 以 实 现 对 不 同 分 辨 率 屏 幕 内 容 显 示 正 确 性 的 检 测 通 过 每 次 测 试 得 到 的 截 图 与 基 准 图 片 库 进 行 对 比, 就 可 以 得 出 每 次 测 试 图 片 显 示 正 确 性 的 评 估 结 果 [3] 本 文 采 用 的 图 片 对 比 方 法 主 要 包 括 SURF 特 征 点 的 提 取 和 匹 配, 随 机 抽 样 一 致 算 法 优 化 匹 配 结 果,8 参 数 投 影 矩 阵 对 图 片 内 容 进 行 匹 配 评 估, 计 算 匹 配 后 图 片 的 峰 值 信 噪 比 通 过 对 比 区 域 内 RANSAC 内 点 概 率 和 峰 值 信 噪 比, 评 估 对 比 结 果 综 上, 界 面 测 试 自 动 化 方 法 的 框 图 如 图 1 所 示 自 动 化 测 试 截 屏 工 具 图 1 SURF 特 征 点 匹 配 2 对 比 算 法 的 实 现 图 片 对 比 算 法 RANSAC 约 束 区 域 树 优 化 手 机 界 面 自 动 化 测 试 系 统 总 体 框 架 示 意 图 标 准 图 片 库 因 为 手 机 屏 幕 的 大 小 有 限, 所 以 在 手 持 设 备 的 有 限 屏 幕 上 所 显 示 内 容 的 细 节 也 有 限, 这 就 将 手 机 截 屏 图 像 匹 配 算 法 的 复 杂 度 控 制 在 一 定 的 范 围 之 内, 为 实 现 高 效 而 准 确 的 匹 配 提 供 了 基 础 [4-5] 通 过 图 像 匹 配 可 以 找 到 基 准 图 像 和 待 测 图 像 相 对 应 的 部 分, 从 而 实 现 不 同 分 辨 率 下 同 一 视 图 的 对 比, 对 于 一 些 如 列 表 和 网 格 的 区 域, 较 容 易 出 现 上 下 的 移 动 和 偏 差, 通 过 图 像 匹 配 仍 可 以 进 行 准 确 的 对 比 [6] 2.1 特 征 点 提 取 和 匹 配 图 像 匹 配 算 法 的 种 类 有 很 多, 如 基 于 区 域 的 方 法 基 于 相 位 相 关 的 方 法 基 于 特 征 点 的 方 法 等 [7] 根 据 算 法 的 效 率 和 效 果, 考 虑 到 不 同 分 辨 率 手 机 截 屏 会 有 尺 度 缩 放 情 况, 本 文 选 择 基 于 SURF 特 征 点 的 图 像 匹 配 算 法, 并 采 用 随 机 抽 样 一 致 性 进 行 匹 配 结 果 的 校 准, 计 算 RANSAC 内 点 概 率, 之 后 运 用 8 参 数 的 单 应 矩 阵, 为 截 屏 区 域 的 缩 放 或 平 移 进 行 建 模, 得 出 对 应 区 域 的 PSNR 值 最 后 通 过 与 内 点 概 率 和 PSNR 的 阈 值 进 行 匹 配 结 果 的 评 估 SURF(Speeded Up Robust Feature, 快 速 鲁 棒 性 特 征 ) 是 Herbert Bay 等 人 在 6 年 首 次 提 出 的 一 种 特 征 点 提 取 算 法,SURF 算 子 由 著 名 的 SIFT 算 子 改 进 而 来, 算 法 效 率 得 到 了 很 大 提 升, 且 对 于 尺 度 缩 放 和 模 糊 有 着 更 好 的 适 应 性, 能 够 较 好 地 适 应 屏 幕 分 辨 率 变 化 ; 对 于 旋 转 变 换 的 适 应 性 有 所 下 降 [8], 但 是 手 机 界 面 对 比 几 乎 不 涉 及 这 种 变 换 该 算 法 主 要 包 括 五 个 步 骤 : 尺 度 空 间 的 建 立 特 征 点 定 位 关 键 点 方 向 分 配 特 征 点 描 述 子 生 成 和 匹 配 一 幅 图 像 的 尺 度 空 间 由 积 分 图 像 与 不 同 尺 度 的 盒 滤 波 器 (Box Filter) 卷 积 得 到, 其 中 积 分 图 像 的 计 算 方 法 如 式 (1): i x j y I Σ (x) = å i = å I(i j) (1) j = 利 用 Hessian 矩 阵 确 定 候 选 点, 如 式 (2), 进 行 非 极 大 抑 制 H = é L ë ê xx L xy L xy ù L ú yy û (2) 其 中,L xx 是 高 斯 滤 波 后 图 像 在 x 方 向 的 二 阶 导 数, 其 他 的 L xy L yy 类 似 在 特 征 计 算 过 程 中, 在 以 特 征 点 为 中 心 的 圆 形 区 域 内 采 样, 并 计 算 各 个 扇 形 范 围 内 x y 方 向 的 Haar 小 波 响 应, 找 出 模 最 大 的 扇 形 方 向 即 为 特 征 点 的 主 方 向 2 2 区 域 划 分 为 4 4 子 域, 每 个 子 域 计 算 5 5 个 采 样 点 的 Haar 小 波 响 应, 记 录 ådx ådy å dy, 得 到 4 4 4 共 64 dx å 维 的 方 向 向 量 作 为 特 征 描 述 子, 采 用 两 向 量 内 积 最 大 值 为 最 匹 配 的 点, 设 定 一 个 阈 值, 只 有 当 这 个 最 大 值 大 于 阈 值 方 可 认 为 两 个 特 征 点 匹 配 2.2 匹 配 的 约 束 和 评 估 实 现 了 对 应 特 征 点 的 粗 匹 配 后, 为 了 进 一 步 实 现 图 像 匹 配, 需 要 计 算 出 8 参 数 的 单 应 矩 阵, 使 基 准 和 待 测

李 昕 宇, 侯 春 萍, 王 宝 亮, 等 : 基 于 图 像 匹 配 的 移 动 应 用 自 动 化 测 试 方 法 研 究 216,52(13) 45 的 手 机 屏 幕 截 图 之 间 满 足 映 射 变 换 关 系 在 计 算 机 视 觉 中, 平 面 的 单 应 性 被 定 义 为 从 一 个 平 面 到 另 一 个 平 面 的 投 影 映 射 在 表 现 形 式 上, 单 应 矩 阵 是 一 个 3 3 的 实 矩 阵, 其 中 第 3 行 第 3 列 的 数 被 归 一 化 为 1, 所 以 共 有 8 个 可 变 参 数, 故 单 应 矩 阵 又 被 称 为 8 参 数 投 影 矩 阵 如 果 用 (x y) 表 示 映 射 前 某 点 在 图 像 中 的 坐 标, 用 (x y ) 表 示 映 射 后 对 应 点 在 另 外 一 幅 图 像 中 的 坐 标, 用 éa b cù êd e f ú 表 示 单 应 矩 阵, 则 有 如 下 关 系 : ê ú ëp q 1û ax + by + c x = px + qy + 1 y = dx + ey + f px + qy + 1 当 b = d =,p = q = 时, 关 系 退 化 为 : (3) (4) x = ax + c (5) y = ey + f (6) 只 涉 及 到 缩 放 和 平 移 变 换 当 a = e 时, 缩 放 变 换 为 等 比 缩 放 变 换 可 以 利 用 单 应 矩 阵 中 a 和 e 的 比 值 与 1 的 接 近 程 度 来 判 断 变 换 是 否 为 等 比 缩 放, 可 以 利 用 这 一 规 律 来 判 断 手 机 截 屏 中 的 图 片 是 否 有 拉 伸 畸 变 经 过 多 次 实 验 结 果 分 析 得 出 : ìa ïe > 1.4 横 向 拉 伸 ï ía ïe <.96 纵 向 拉 伸 ï î其 他, 正 常 无 拉 伸 (7) 由 计 算 机 视 觉 相 关 知 识 可 知, 单 应 矩 阵 的 计 算 方 法 主 要 分 为 三 类 : 代 数 方 法 几 何 方 法 和 鲁 棒 估 计 方 法 考 虑 到 由 SURF 算 法 得 到 的 粗 匹 配 中 存 在 着 误 匹 配, 这 里 使 用 鲁 棒 估 计 RANSAC 算 法 [9-1] 主 要 步 骤 是 : 从 筛 选 后 的 匹 配 对 中 随 机 抽 取 4 对, 用 其 作 为 初 始 内 点 计 算 单 应 矩 阵 ; 用 剩 下 的 点 对 拟 合 初 始 单 应 矩 阵, 并 计 算 它 们 与 初 始 单 应 矩 阵 之 间 的 距 离 之 和, 如 果 这 个 距 离 大 于 选 取 的 阈 值, 则 作 为 外 点 舍 弃, 若 小 于 阈 值, 则 添 加 到 内 点 集 中 ; 反 复 迭 代, 直 到 内 点 集 不 再 扩 充 ; 重 复 前 面 的 步 骤, 得 到 多 组 内 点 集 ; 选 取 内 点 集 最 大 的 一 组 作 为 正 确 的 匹 配 点 对, 并 记 录 正 确 的 匹 配 点 对 个 数, 此 时 模 型 估 计 结 果 就 是 图 像 间 的 单 应 矩 阵 本 文 使 用 每 次 测 试 的 RANSAC 匹 配 点 对 个 数 M 与 粗 匹 配 结 果 点 对 数 量 F 的 比 值 S 进 行 粗 略 估 计, 即 : S = M F (8) 通 过 实 验 数 据 分 析 得 出 : 如 果 S < 3%, 则 匹 配 出 现 问 题, 测 试 图 像 与 基 准 图 像 不 匹 配 进 一 步 通 过 单 应 矩 阵 找 到 待 测 截 图 和 基 准 截 图 中 相 对 应 的 区 域, 计 算 两 个 区 域 之 间 的 峰 值 信 噪 比 PSNR, 进 一 步 判 断 对 比 结 果 通 过 实 验 数 据 得 出 : ìpsnr < 3 db 涉 及 分 辨 率 缩 放 失 真 í îpsnr > 3 db 不 涉 及 分 辨 率 缩 放 失 真 可 以 判 断 为 成 功 匹 配 到 两 幅 图 像 中 的 对 应 区 域 3 算 法 优 化 3.1 自 动 生 成 区 域 树 (9) 经 过 分 析, 手 机 显 示 界 面 有 如 下 常 见 的 区 域 : 文 字 区 域 图 像 区 域 列 表 视 图 和 网 格 视 图 其 中, 列 表 视 图 和 网 格 视 图 可 能 嵌 套 文 字 区 域 图 像 区 域, 或 再 包 含 列 表 视 图, 形 成 树 形 结 构 可 以 根 据 设 计 模 式 中 的 组 合 模 式 设 计 一 种 用 于 区 域 标 注 的 数 据 结 构, 并 将 其 序 列 化 为 [11] [12] JSON 字 符 串 后 进 行 存 储, 如 图 2 所 示 区 域 (Section) 图 2 根 据 智 能 手 机 屏 幕 显 示 的 实 际 情 况, 界 面 绝 大 部 分 是 可 以 上 下 滑 动 的 视 图, 而 左 右 方 向 上 的 长 则 相 对 有 限, 所 以 截 屏 的 不 同 区 域 基 本 都 呈 纵 向 分 布, 可 以 把 过 [13-14] 去 用 于 文 字 切 割 的 横 向 累 加 技 术 用 于 这 里 的 区 域 划 分 和 标 注, 再 部 分 结 合 纵 向 累 加, 即 可 很 好 地 区 分 出 界 面 中 的 不 同 区 域 经 过 实 验 得 到 文 字 区 域 图 像 区 域 列 表 区 域 网 格 视 图 区 域 和 空 白 区 域 的 扫 描 叠 加 特 征 图, 如 图 3 所 示 类 型 (Type) 名 称 (Name) 内 容 描 述 (Content) 位 置 坐 标 (Coordinate) 子 区 域 集 (Inner Sections) 数 据 类 型 Section 的 结 构 文 字 区 域 图 像 区 域 控 件 区 域 列 表 视 图 区 域 网 格 视 图 区 域 整 幅 图 像 区 域 左 上 顶 点 横 坐 标 左 上 顶 点 纵 坐 标 矩 形 长 矩 形 宽 子 区 域 1 子 区 域 2 经 过 分 析 图 3 可 知, 图 像 区 域 的 横 向 累 加 趋 于 均 匀, 文 字 区 域 的 横 向 累 加 在 文 字 每 行 处 有 明 显 的 周 期 性 柱 状 峰, 列 表 区 域 的 横 向 累 加 在 每 个 列 表 单 元 边 缘 处 有 显 著 的 尖 峰 凸 起, 而 网 格 区 域 的 横 向 累 加 则 有 代 表 网 格 中 图 标 的 大 柱 状 峰 和 代 表 图 标 下 面 文 字 描 述 的 小 柱 状 峰 周 期 性 出 现 的 规 律 通 过 不 同 区 域 代 表 性 的 横 向 累 加 特 征 可 以 将 截 图 进 行 区 域 划 分, 由 于 列 表 区 域 和 网 格 区 域 可 以 包 括 上 述 的 各 种 区 域, 最 终 可 以 得 到 一 个 逐 层 包 含 的 区 域 树, 树 的 终 端 都 应 该 是 图 像 区 域 或 文 字 区

46 216,52(13) Computer Engineering and Applications 计 算 机 工 程 与 应 用 4 1 4 4 4 4 4 4 图 3 域 通 过 计 算 一 副 截 屏 的 区 域 树, 进 行 分 区 域 的 图 像 匹 配, 可 以 根 据 不 同 区 域 的 特 点, 更 加 有 针 对 性 地 进 行 图 像 匹 配, 提 高 匹 配 结 果 的 准 确 性, 也 可 以 更 加 方 便 地 定 位 问 题 所 在 的 位 置 1 3 (a) 图 片 区 域 横 向 累 加 5 1 15 (b) 图 片 区 域 纵 向 累 加 1 3 4 5 (c) 文 字 区 域 横 向 累 加 1 3 4 (d) 文 字 区 域 纵 向 累 加 1 3 4 (e) 列 表 区 域 横 向 累 加 1 3 4 (f) 列 表 区 域 纵 向 累 加 1 3 4 (g) 网 格 区 域 横 向 累 加 1 3 4 5 6 (h) 网 格 区 域 纵 向 累 加 不 同 截 屏 区 域 的 横 纵 向 累 加 特 征 3.2 分 块 计 算 PSNR 按 照 如 图 4 的 流 程 分 块 计 算 PSNR, 可 以 提 高 图 像 匹 配 的 准 确 性, 发 现 图 片 边 缘 遮 挡 问 题 及 文 字 乱 码 问 题 开 始 16 16 分 块 计 算 每 块 PSNR 部 分 区 域 PSNR 偏 低 否 正 常 结 束 图 4 流 程 中 的 分 块 大 小 可 以 根 据 情 形 变 化, 实 验 中 由 于 文 字 区 域 特 征 较 密 集, 可 以 采 取 较 小 的 16 16 分 块, 图 片 区 域 则 可 以 采 取 较 大 的 32 32 分 块, 提 高 对 比 速 度 3.3 适 应 分 辨 率 对 于 图 片 区 域, 不 同 分 辨 率 下 可 能 导 致 图 像 产 生 拉 伸 畸 变, 计 算 2.2 节 的 a/e 比 值 即 可 判 断 图 片 区 域 是 否 存 在 拉 伸 问 题 对 于 文 字 区 域, 不 同 分 辨 率 下 的 两 个 图 像 中 可 能 出 现 每 行 文 字 个 数 不 一 致 的 问 题 例 如, 如 果 待 测 图 像 比 基 准 图 像 的 分 辨 率 低, 那 么 可 能 出 现 文 字 区 域 第 一 行 不 能 完 全 在 待 测 图 像 中 找 到 匹 配 的 问 题, 此 时 可 以 取 某 一 行 中 前 若 干 个 文 字 进 行 匹 配, 这 样 就 可 以 找 出 待 测 图 像 中 相 应 文 字 区 域 的 大 致 起 始 位 置, 再 结 合 经 典 的 文 字 区 域 的 行 列 分 割 方 法 及 文 字 识 别 进 行 测 试 4 自 动 化 测 试 算 法 复 杂 性 分 析 边 缘 遮 挡 或 文 字 乱 码 自 动 化 测 试 方 法 可 以 减 少 测 试 过 程 中 的 人 工 参 与, 提 高 效 率, 节 省 时 间, 但 会 受 到 算 法 复 杂 度 的 制 约 这 里 分 析 本 文 算 法 的 开 销 及 复 杂 性, 以 便 后 续 对 算 法 作 进 一 步 的 改 进 和 优 化 本 文 算 法 的 复 杂 性 主 要 集 中 在 特 征 点 匹 配 特 征 项 比 较 和 区 域 自 动 划 分 上 在 特 征 点 匹 配 过 程 中, 由 于 是 尺 度 相 关 的 特 征 点, 需 要 生 成 多 尺 度 的 图 像 金 字 塔, 并 通 过 非 极 大 值 抑 制 确 定 特 征 点, 之 后 确 定 特 征 点 主 方 向 和 特 征 描 述 算 子, 这 一 过 程 中 涉 及 到 大 量 的 矩 阵 运 算 SURF 算 法 通 过 采 用 Hessian 矩 阵 和 Harr 小 波 特 征 减 少 了 计 算 复 杂 性, 提 高 了 效 率 由 于 特 征 点 个 数 太 多 会 影 响 约 束 算 法 的 效 率, 通 过 局 部 特 征 点 最 大 数 量 限 制 来 减 小 计 算 的 复 杂 性 在 特 征 项 比 较 的 过 程 中, 计 算 峰 值 信 噪 比 是 主 要 的 计 算 开 销, 这 其 中 又 包 括 均 方 误 差 运 算 和 对 数 运 算 过 程, 而 适 当 采 用 较 大 分 块 可 以 减 少 整 体 运 算 过 程 中 的 除 法 运 算 和 对 数 运 算, 从 而 减 小 计 算 复 杂 性 是 分 块 计 算 PSNR 流 程

李 昕 宇, 侯 春 萍, 王 宝 亮, 等 : 基 于 图 像 匹 配 的 移 动 应 用 自 动 化 测 试 方 法 研 究 216,52(13) 47 在 区 域 自 动 划 分 的 工 程 中, 开 销 主 要 包 括 像 素 像 素 灰 度 横 纵 累 加 和 累 加 结 果 取 样 比 较, 前 者 和 图 像 面 积 线 性 相 关, 后 者 和 图 像 长 宽 之 和 线 性 相 关 由 于 横 向 累 加 结 果 的 精 度 需 求 小 于 纵 向 累 加, 可 以 对 图 像 横 向 进 行 下 采 样 ; 对 于 分 辨 率 过 高 的 视 网 膜 屏 幕, 纵 向 也 可 以 进 行 适 当 下 采 样, 来 减 小 计 算 复 杂 性 5 实 验 结 果 分 析 实 验 硬 件 环 境,PC 端 :Intel I5, 内 存 4 GB; 智 能 手 机 端 :Samsung Note 3( 分 辨 率 18p),Sony F35T( 分 辨 率 72p),Huawei D2( 分 辨 率 72p) 实 验 软 件 环 境, Visual Studio 21 Professional,OpenCV 2.4 测 试 的 界 面 显 示 问 题 样 本 来 自 213 年 至 214 年 中 国 移 动 1 款 智 能 手 机 应 用 界 面 拨 测 获 得 的 19 个 界 面 兼 容 性 错 误 样 本, 其 中 包 含 了 文 字 乱 码 图 像 拉 伸 图 片 遮 挡 图 片 偏 色 等 界 面 常 见 问 题 将 这 19 个 样 本 与 正 常 样 本 混 合 在 一 起, 共 进 行 了 5 组 测 试, 得 到 如 表 1 的 结 果 表 1 算 法 效 率 对 比 (5 次 测 试 ) 方 法 平 均 时 长 /s 总 特 征 点 RANSAC 内 点 RANSAC 平 均 个 数 平 均 个 数 内 点 率 /% 手 工 约 15 无 无 无 Harris 3.68 254.47 4.34 15.85 SIFT 12.62 322.63 139.53 43.25 SURF 4.31 342.16 129.64 37.89 在 时 间 效 率 上,Harris 算 法 和 SURF 算 法 均 要 优 于 手 工 测 试,SIFT 算 法 效 率 最 低 但 是 从 算 法 获 得 的 有 效 特 征 点 比 率 来 分 析,SIFT 算 法 和 SURF 算 法 明 显 高 于 Harris 算 法 权 衡 比 较, 使 用 SURF 算 法 能 够 获 得 较 高 的 效 率, 而 且 即 使 对 SURF 算 法 加 入 区 域 树 的 优 化,5 次 测 试 的 平 均 时 间 为 7.45 s, 也 优 于 SIFT 算 法 的 平 均 时 间, 是 人 工 检 测 效 率 的 2 倍 多, 且 检 测 出 界 面 显 示 问 题 的 正 确 覆 盖 率 得 到 很 大 提 高, 具 体 见 表 2 表 2 算 法 效 果 对 比 方 法 误 检 成 功 检 出 图 像 拉 伸 文 字 乱 码 手 工 19 72 23 Harris 19 38 26 1 SIFT 8 59 35 21 SURF 11 62 41 2 优 化 后 的 SURF 16 72 23 SURF 算 法 在 效 果 上 与 SIFT 相 当, 经 过 区 域 树 的 方 法 优 化 后 几 乎 能 够 检 测 出 全 部 手 工 检 测 出 的 界 面 问 题, 正 确 检 测 出 了 全 部 图 像 拉 伸 和 文 字 乱 码 问 题, 没 有 出 现 图 像 本 无 错 误 而 误 检 出 错 误 的 情 况 6 结 束 语 本 文 从 提 高 手 机 界 面 测 试 自 动 化 的 效 率 和 鲁 棒 性 的 角 度 出 发, 探 讨 了 一 种 自 动 化 的 黑 盒 界 面 测 试 方 法 通 过 运 用 SURF 算 法 获 得 高 效 快 速 的 图 像 匹 配, 同 时 保 证 了 准 确 度 通 过 进 一 步 的 区 域 树 优 化 使 得 自 动 化 测 试 的 效 果 基 本 接 近 手 工 进 行 的 效 果, 节 省 了 人 工, 效 率 提 高 了 近 一 倍 本 文 提 出 的 方 法 对 手 机 应 用 中 非 常 常 见 的 列 表 视 图 网 格 视 图 有 着 较 好 的 自 动 化 测 试 效 果 使 不 同 分 辨 率 图 像 拉 伸 畸 变, 以 及 文 字 的 乱 码 等 情 况 下 的 界 面 测 试 自 动 化 的 正 确 率 得 到 较 大 提 升 使 用 本 文 提 出 的 图 像 对 比 方 法 能 够 较 好 地 兼 容 不 同 屏 幕 分 辨 率 情 况 下 手 机 应 用 的 界 面 测 试, 减 少 了 获 取 各 种 不 同 分 辨 率 下 基 准 图 片 的 人 工 工 作 量, 能 用 尽 量 少 的 基 准 图 像 适 应 尽 量 多 的 测 试 图 像 后 续 的 工 作 希 望 把 界 面 测 试 与 功 能 遍 历 相 结 合, 进 一 步 提 高 自 动 化 程 度 参 考 文 献 : [1] 黄 琦.Android 智 能 手 机 应 用 软 件 自 动 化 测 试 工 具 的 设 计 和 开 发 [D]. 合 肥 : 安 徽 大 学,212. [2] 李 福 平. 手 机 自 动 测 试 系 统 的 研 究 [J]. 硅 谷,21(22): 61-61. [3] 石 大 宏.Android 移 动 平 台 上 的 目 标 识 别 [J]. 计 算 机 与 数 字 工 程,214,42(4):612-615. [4] 桂 振 文, 陈 靖, 刘 越, 等. 一 种 智 能 手 机 上 的 场 景 实 时 识 别 算 法 [J]. 自 动 化 学 报,214,4(1):83-91. [5] 张 舜 尧. 手 机 自 动 化 测 试 系 统 设 计 浅 析 [J]. 电 脑 知 识 与 技 术,7,4(2):412-413. [6] 杨 怡 君, 黄 大 庆.Android 手 机 自 动 化 性 能 测 试 工 具 的 研 究 与 开 发 [J]. 计 算 机 应 用,212,32(2):554-556. [7] 赵 垒, 侯 振 杰. 一 种 改 进 的 SIFT 图 像 配 准 方 法 [J]. 计 算 机 工 程,21,36(12):226-228. [8] Bay H,Ess A,Tuytelaars T,et al.speeded-up robust features(surf)[j].computer Vision and Image Understanding, 8,11(3):346-359. [9] 曲 天 伟, 安 波, 陈 桂 兰. 改 进 的 RANSAC 算 法 在 图 像 配 准 中 的 应 用 [J]. 计 算 机 应 用,21(7):1849-1851. [1] 单 欣, 王 耀 明, 董 建 萍. 基 于 RANSAC 算 法 的 基 本 矩 阵 估 计 的 匹 配 方 法 [J]. 上 海 电 机 学 院 学 报,8,9(4):66-69. [11] 高 静, 段 会 川.JSON 数 据 传 输 效 率 研 究 [J]. 计 算 机 工 程 与 设 计,211,32(7):2267-227. [12] 张 春 燕, 沈 漪. 递 推 和 递 归 方 法 在 C 语 言 程 序 设 计 中 的 应 用 [J]. 软 件 导 刊,213,2(3):57-58. [13] 刘 岩, 薛 涛, 李 周, 等. 图 像 处 理 和 文 字 识 别 技 术 在 手 机 软 件 自 动 化 测 试 系 统 中 的 应 用 [J]. 现 代 电 信 科 技,9,39 (7):5-53. [14] 刘 煦, 王 笛, 张 源, 等. 应 用 图 像 对 比 方 法 的 UI 自 动 化 功 能 测 试 [J]. 计 算 机 应 用 与 软 件,212,29(1):117-122.