几种立体匹配算法的实现

Transcription

1 本 科 生 毕 业 论 文 ( 设 计 ) 题 目 学 院 计 算 机 学 院 专 业 计 算 机 科 学 与 技 术 学 生 姓 名 曾 志 刚 学 号 年 级 010 指 导 教 师 王 明 辉 教 务 处 制 表 二 Ο 一 四 年 五 月 二 十 一 日

2 计 算 机 科 学 与 技 术 学 生 曾 志 刚 指 导 老 师 王 明 辉 [ 摘 要 ] 同 人 类 获 取 环 境 的 三 维 信 息 类 似, 计 算 机 双 目 立 体 视 觉 通 过 双 目 摄 像 机 获 取 目 标 的 三 维 信 息 与 传 统 的 测 量 技 术 相 比, 立 体 视 觉 具 有 准 确 度 高 非 接 触 等 优 点, 基 于 双 目 立 体 视 觉 的 三 维 重 建 可 用 于 测 量 建 模 等 领 域 论 文 主 要 研 究 了 双 目 立 体 视 觉 三 维 重 建 的 若 干 算 法, 即 : 摄 像 机 标 定 畸 变 矫 正 和 立 体 矫 正 立 体 匹 配 以 及 三 维 重 建 主 要 研 究 工 作 有 :1) 实 现 了 多 种 基 于 灰 度 图 像 的 角 点 检 测 算 法 (Moravec Harris Nobel Shi-omasi) 以 及 二 次 曲 面 拟 合 和 向 量 方 法 的 亚 像 素 角 点 提 取 算 法 ) 实 现 了 半 自 动 棋 盘 标 定 程 序, 完 成 摄 像 机 单 目 标 定 和 双 目 标 定 3) 实 现 了 多 种 立 体 匹 配 算 法 (FW AW FBS DP DP+AW DP+FBS SGM SGM+FW SGM+AW), 并 提 出 一 种 改 进 的 迭 代 的 SGM 算 法, 该 算 法 在 平 滑 度 上 优 于 SGM 算 法 4) 实 现 了 基 于 OpenGL 的 三 维 点 云 重 建 [ 主 题 词 ] 摄 像 机 标 定 ;harris; 立 体 匹 配 ;DP;SGM; 迭 代 ;

3 Implementations of several Stereo Matching algorithms Computer Science and echnology Student: ZENG Zhi-gang Adviser: WANG Ming-hui [Abstract] Similar to human beings obtaining 3D information from environment, binocular camera can be used for computer binocular stereo vision to get the target s 3D information.compared with the traditional measurement techniques,stereo vision has the advantage of high accuracy,non-contact and so on.3d reconstruction based on binocular stereo vision can be used to measure,model and other fileds.some core algorithms of 3D reconstruction of binocular stereo vision have been studied,namely:camera calibration,distortion correction and stereo correction, stereo matching and 3D reconstruction.he main research works are:1 ) Implementations of many corner detecting algorithms based on gray image(moravec Harris Nobel Shi-omas)and sub-pixel corner extraction algorithm using quadratic surface fitting method and vector method )Implementations of a semi-automatic chessboard calibration program,completion of single camera calibration and binocular camera calibration 3)Implementations of a variety of stereo matching algorithms(fw AW FBS DP DP+AW DP+FBS SGM SGM+FW SGM+AW),and an improved iterative SGM algorithm was proposed,which is more smooth than SGM algorithm 4)Implementation of 3D point cloud reconstruction based on OpenGL. [Key Words] Camera Calibration;Harris;Stereo Matching;DP;SGM;Iteration;

4 目 录 1. 综 述 引 言 研 究 意 义 国 内 外 研 究 现 状 摄 像 机 标 定 立 体 匹 配 三 维 重 建... 4 摄 像 机 标 定 摄 像 机 成 像 模 型 描 述 坐 标 系 线 性 模 型 非 线 性 模 型 直 接 线 性 标 定 方 法 投 影 矩 阵 的 求 解 摄 像 机 内 参 和 外 参 的 求 解 张 正 友 标 定 法 摄 像 机 内 参 矩 阵 和 外 参 矩 阵 初 始 值 求 解 求 取 畸 变 参 数 摄 像 机 参 数 精 化 小 结 基 于 灰 度 图 像 的 角 点 检 测 Moravec 角 点 检 测 算 法 Harris 角 点 检 测 算 法 Nobel 角 点 检 测 算 法 Shi-omasi 角 点 检 测 算 法 亚 像 素 精 度 角 点 检 测 亚 像 素 精 度 角 点 检 测 的 实 现 像 素 精 度 角 点 提 取 的 实 现 亚 像 素 精 度 精 化 实 现 标 定 实 现 半 自 动 提 取 角 点 标 定 实 验 结 果 畸 变 矫 正 以 及 立 体 矫 正 畸 变 矫 正... 31

5 3. 双 目 标 定 立 体 矫 正 平 行 摄 像 机 成 像 模 型 立 体 矫 正 立 体 匹 配 立 体 匹 配 约 束 固 定 大 小 窗 口 匹 配 算 法 基 本 原 理 Box-filtering 加 速 算 法 自 适 应 权 值 (AW) 匹 配 算 法 基 本 思 想 快 速 双 边 滤 波 (FBS) 算 法 动 态 规 划 (DP) 匹 配 算 法 动 态 规 划 原 理 采 用 单 个 像 素 代 价 作 为 匹 配 代 价 AW+DP 算 法 FBS+DP 半 全 局 匹 配 (SGM) 算 法 全 局 匹 配 算 法 单 扫 描 线 算 法 多 扫 描 线 ( 半 全 局 SGM) 算 法 SGM+FW 算 法 SGM+AW 算 法 一 种 迭 代 的 SGM 算 法 立 体 匹 配 优 化 技 术 左 右 一 致 性 检 验 (LRC) 唯 一 性 检 验 连 通 域 阈 值 过 滤 亚 像 素 精 度 视 差 三 维 重 建 获 取 三 维 坐 标 OPENGL 点 云 图 总 结 作 者 在 读 期 间 科 研 成 果 介 绍 参 考 文 献 声 明... 63

6 致 谢 附 录 3 翻 译 ( 原 文 和 译 文 ) 译 文 : 原 文 :... 79

7 1. 综 述 1.1 引 言 视 觉 是 人 类 感 知 周 围 环 境 的 一 个 非 常 重 要 的 途 径, 同 其 他 感 官 相 比, 人 类 通 过 视 觉 系 统 获 取 的 信 息 占 所 有 信 息 的 75% [1] 从 狭 义 的 角 度 来 说, 对 场 景 做 出 有 意 义 的 描 述 和 解 释 是 视 觉 对 观 察 者 而 言 的 最 终 目 的 ; 从 更 为 广 义 的 角 度 上 讲, 则 是 在 上 述 解 释 和 描 述 的 基 础 上 依 据 观 察 者 的 意 愿 进 一 步 做 出 相 应 的 行 为 规 划 或 决 策 [] 随 着 科 学 技 术 的 不 断 发 展, 尤 其 是 计 算 机 技 术 的 提 高, 诞 生 了 计 算 机 视 觉 这 一 新 兴 学 科, 它 致 力 于 代 替 人 脑 去 理 解 世 界 [3] 1. 研 究 意 义 目 前, 立 体 视 觉 在 诸 多 领 域 如 : 机 器 人 导 航, 医 学 成 像, 工 业 检 测 甚 至 军 事 领 域 都 得 到 了 相 当 广 泛 的 应 用 ; 在 农 业 领 域, 如 农 产 品 的 检 查 分 离, 虚 拟 植 物 的 三 维 重 建 等 方 面 也 展 示 了 良 好 的 应 用 前 景 美 国 NASA 勇 气 号 与 机 遇 号 火 星 探 测 器 的 成 功 开 启 了 双 目 视 觉 在 机 器 人 导 航 领 域 的 先 河, 由 于 火 星 离 地 球 非 常 遥 远, 假 如 通 过 遥 控 的 方 式 控 制 火 星 车, 从 地 面 发 射 电 磁 波 需 要 近 0 分 钟 的 时 间 才 能 抵 达 火 星, 不 能 通 过 遥 控 的 方 式 来 控 制 火 星 车, 就 需 要 火 星 车 具 备 良 好 的 自 主 能 力 Atthena 火 星 车 采 用 4 对 立 体 摄 像 机, 通 过 立 体 相 机 获 取 图 像 并 经 过 立 体 匹 配 和 路 经 规 划 找 到 合 适 的 导 航 路 径 在 我 国 的 嫦 娥 工 程 二 期 工 程 中, 样 机 MR-3 上 也 采 用 了 双 目 视 觉 导 航 技 术 [5] 由 于 立 体 视 觉 具 有 测 量 者 于 被 测 量 物 不 需 要 接 触 的 特 点, 立 体 视 觉 被 广 泛 用 于 工 业 检 测 比 如, 现 代 飞 机 大 多 使 用 高 涵 道 涡 轮 风 扇 发 动 机, 由 于 航 空 发 动 机 工 作 在 高 温 高 压 和 告 诉 旋 转 的 工 作 环 境 下, 高 压 压 气 机 燃 烧 室 和 高 压 涡 轮 为 故 障 多 发 部 位, 但 由 于 这 些 零 件 不 易 拆 卸 且 检 测 可 达 性 较 差 [6] 文 献 [6] 将 立 体 视 觉 和 运 用 于 内 窥 技 术, 可 以 定 性 和 定 量 地 了 解 发 动 机 内 部 损 伤 和 内 部 工 作 情 况, 为 损 伤 的 预 测 和 防 治 提 供 了 重 要 依 据 在 医 学 领 域, 立 体 视 觉 相 对 于 传 统 的 测 量 手 段 具 有 明 显 的 优 势, 如 : 传 统 牙 颌 模 型 测 量, 采 用 游 标 卡 尺 万 能 角 度 尺 等 测 量 工 具 在 石 膏 模 型 上 直 接 测 量, 不 仅 难 以 对 牙 颌 的 复 杂 几 何 形 态 给 出 全 面 的 描 述, 而 且 对 数 据 的 测 量 和 处 理 也 较 费 时 费 力 而 采 用 立 体 视 觉 对 牙 颌 模 型 图 像 进 行 三 维 重 建, 之 后 再 进 行 测 量 与 分 析, 更 加 精 确 和 方 便 [7] 1.3 国 内 外 研 究 现 状 立 体 视 觉 按 照 摄 像 机 个 数 可 分 为 双 目 立 体 视 觉 多 目 立 体 视 觉 双 目 立 体 视 觉 作 为 研 究 多 目 立 体 视 觉 最 重 要 的 基 础, 从 二 十 世 纪 70 年 代 中 期 Marr 提 出 第 一 个 计 算 机 视 觉 领 域 的 理 论 框 架 开 始, 立 体 视 觉 研 究 的 理 论 框 架 日 臻 完 善 在 双 目 立 体 视 觉 系 统 中, 摄 像 机 标 定 立 体 匹 配 三 维 重 建 是 最 为 重 要 的 三 个 研 究 方 向 1

8 1.3.1 摄 像 机 标 定 在 立 体 视 觉 的 三 维 重 建 过 程 中, 需 要 建 立 起 物 体 实 际 的 三 维 坐 标 和 摄 像 机 采 集 到 该 物 体 图 像 的 对 应 点 的 映 射 关 系, 也 就 是 摄 像 机 成 像 的 几 何 模 型 参 数 的 获 取 摄 像 机 标 定 就 是 通 过 具 体 实 验 操 作 计 算 出 该 几 何 模 型 的 各 个 参 数 [8] 摄 像 机 标 定 作 为 三 维 重 建 的 首 要 步 骤, 其 精 度 直 接 影 响 着 三 维 重 建 的 精 度 和 效 果, 因 此 提 高 摄 像 机 标 定 的 精 度 是 大 部 分 标 定 算 法 的 重 点 摄 像 机 标 定 一 般 可 分 为, 传 统 的 摄 像 机 标 定 方 法 主 动 视 觉 标 定 方 法 摄 像 机 自 标 定 法 [9] 传 统 的 摄 像 机 标 定 方 法 利 用 已 知 的 景 物 结 构 信 息 ( 标 定 块 标 定 棋 盘 ),Abdel-Aziz 和 Karara 于 1971 年 提 出 直 接 线 性 标 定, 即 将 像 点 和 物 点 成 像 几 何 关 系 在 齐 次 坐 标 系 下 以 透 视 矩 阵 的 形 式 表 示, 通 过 求 解 线 性 方 程 组 而 求 出 透 视 矩 阵 [10] sai 于 1986 年 通 过 建 立 摄 像 机 模 型, 利 用 径 向 一 致 约 束, 分 两 步 求 解 出 摄 像 机 的 内 参 和 外 参, 能 得 到 较 高 的 精 度 [11] [1] 张 正 友 于 1999 年 提 出 一 种 灵 活 的 标 定 方 法 : 只 需 要 打 印 一 张 D 平 面 棋 盘, 从 不 同 的 方 向 ( 至 少 两 个, 方 向 不 需 要 已 知 ) 拍 摄 图 片, 在 计 算 过 程 中, 先 计 算 出 摄 像 机 内 参, 再 计 算 出 外 参, 之 后 使 用 最 大 似 然 进 行 优 化, 张 正 友 标 定 法 简 单 较 精 确 低 成 本 摄 像 机 自 标 定 则 不 需 要 已 知 景 物 的 结 构 信 息, 而 是 利 用 摄 像 机 在 运 动 过 程 中 周 围 环 境 的 图 像 与 图 像 之 间 的 对 应 关 系 进 行 标 定 目 前 的 自 标 定 方 法 主 要 有 : 利 用 绝 对 二 次 曲 线 和 极 线 变 换 性 质 解 Kruppa 方 程 分 层 逐 步 标 定 基 于 二 次 平 面 以 及 其 他 改 进 的 摄 像 机 自 标 定 技 术 [13] 主 动 视 觉 系 统 是 指 摄 像 机 被 精 确 的 安 装 在 控 制 平 台 上, 通 过 主 动 控 制 摄 像 机 运 动 获 取 多 幅 图 片, 通 过 图 像 与 已 知 的 运 动 参 数 进 行 标 定 [13] 1.3. 立 体 匹 配 立 体 匹 配 一 直 是 双 目 立 体 视 觉 中 最 为 重 要 的 问 题, 立 体 匹 配 的 目 的 即 找 出 左 右 图 片 内 信 息 对 应 的 关 系, 从 而 得 到 视 差 图 立 体 匹 配 算 法 可 分 为 基 于 特 征 的 匹 配 基 于 区 域 的 匹 配 基 于 相 位 的 匹 配 基 于 特 征 的 立 体 匹 配 算 法 首 先 在 左 右 图 片 中 提 取 图 像 特 征, 然 后 再 进 行 匹 配 可 能 使 用 的 图 像 特 征 通 常 有 : 特 征 点 ( 角 点, 边 缘 点, 零 交 叉 点 ) 特 征 线 ( 直 线 边 缘 线 轮 廓 ) 闭 合 区 域 统 计 特 征 ( 如 重 心 矩 不 变 量 ) 等 [14] 基 于 特 征 的 立 体 匹 配 算 法 具 有 计 算 量 小 抗 干 扰 能 力 强 精 度 较 高 等 优 点 但 是 基 于 特 征 的 立 体 匹 配 算 法 只 能 获 取 稀 疏 的 视 差 图 ( 特 征 点 的 数 目 较 少 ), 通 常 在 匹 配 之 后, 还 需 要 进 行 插 值 处 理 才 能 获 得 更 加 稠 密 的 视 差 图 近 年 来, 基 于 区 域 的 立 体 匹 配 算 法 发 展 十 分 迅 速, 基 于 区 域 的 立 体 匹 配 方 法 算 法 能 获 取 稠 密 的 视 差 图, 适 合 场 景 的 重 建 基 于 区 域 的 立 体 匹 配 可 分 为 如 下 几 大 过 程 [15] : 1 匹 配 代 价 计 算, 常 用 的 匹 配 代 价 函 数 有 : 平 方 差 (SD), 绝 对 差 (AD) 等 为 了 减 少 畸 变 光 线 等 误 差 对 上 述 这 些 代 价 函 数 的 影 响, 可 采 用 基 于 梯 度 的 度 量 方 法 [16], 基 于 rank 和 census 变 换 的 度 量 [17], 这 些 无 参 数 的 度 量 方 式 有 效 地 提 高 了 匹 配 的 强 健 度 通 过 计 算 匹

9 配 代 价, 从 而 得 到 视 差 空 间 图 (DSI) 的 初 始 值 匹 配 代 价 聚 合, 由 于 单 个 像 素 的 匹 配 代 价 容 易 受 到 图 片 噪 声 的 影 响, 而 且 可 鉴 别 性 差, 通 过 聚 合 像 素 点 周 围 的 匹 配 代 价 能 有 效 提 高 可 鉴 别 性 一 种 简 单 的 聚 合 方 式 即 把 像 素 点 周 围 固 定 窗 口 区 域 (FW) 的 代 价 值 相 加 作 为 该 像 素 的 聚 合 代 价, 这 种 方 法 简 单 快 速 计 算 量 小, 由 于 窗 口 的 尺 寸 固 定, 可 以 采 用 滑 动 窗 口 技 术 加 速 求 和 过 程, 使 得 这 种 方 法 被 广 泛 的 用 于 一 些 实 时 系 统 中 通 常 地, 较 小 的 窗 口 使 得 视 差 图 的 边 缘 信 息 较 完 整 但 同 时 在 纹 理 较 少 的 区 域 误 匹 配 点 多 ; 采 用 较 大 的 窗 口 得 到 的 视 差 图 过 于 平 滑, 在 视 差 不 连 续 的 区 域 过 于 模 糊, 因 此 损 失 了 大 量 的 边 缘 信 息 为 了 解 决 这 一 问 题, 采 用 可 移 动 窗 口, 即 参 考 像 素 的 位 置 并 不 固 定 于 窗 口 的 中 心 位 置, 而 是 多 个 位 置 选 取 结 果 最 好 的 作 为 聚 合 代 价 [15] 此 外, 还 可 采 用 多 窗 口 技 术 [18] : 最 小 子 窗 口 的 大 小 均 相 同, 选 取 最 优 的 部 分 子 窗 口 代 价 只 和 作 为 聚 合 代 价, 从 而 使 得 在 物 体 边 缘 处 不 会 因 为 窗 口 过 大 而 变 得 过 于 模 糊 以 上 两 种 算 法 均 属 于 自 适 应 窗 口 算 法, 即 通 过 改 变 窗 口 的 大 小 或 者 形 状 进 行 能 量 聚 合 M.Gerrits [19] 等 人 在 006 年 提 出 基 于 图 像 分 割 的 立 体 匹 配 方 法, 其 核 心 思 想 即 同 一 分 割 区 域 内 的 像 素 代 价 应 该 聚 合 在 一 起, 这 个 假 设 比 较 符 合 实 际 情 况 同 一 分 割 区 域 属 于 同 一 物 体, 该 算 法 采 用 如 下 方 法 实 现 : 对 于 支 持 窗 口 内, 与 中 心 像 素 为 同 一 分 割 区 域 的 像 素 代 价 权 值 为 1, 其 余 的 为 λ(λ<<1) K.Yoon [0] 等 在 006 年 提 出 自 适 应 权 重 的 立 体 匹 配 算 法, 与 图 像 分 割 算 法 相 比, 自 适 应 权 重 并 非 将 支 持 窗 口 内 的 像 素 分 为 和 中 心 像 素 同 一 区 域 不 同 区 域, 即 权 值 为 1 和 λ, 而 是 采 用 双 边 滤 波 的 算 法, 对 于 每 一 个 像 素, 权 值 由 同 中 心 像 素 的 空 间 距 离 以 及 同 中 心 像 素 的 色 彩 空 间 距 离 决 定 3 视 差 获 取 及 优 化, 对 于 局 部 立 体 匹 配 算 法 而 言, 采 用 赢 家 通 吃 (WA) 算 法, 即 选 取 具 有 最 小 匹 配 代 价 的 视 差 作 为 视 差 ( 唯 一 性 约 束, 即 对 于 参 考 图 像 的 每 一 个 像 素, 目 标 图 像 最 多 只 有 一 个 像 素 点 与 之 对 应 ) 相 反, 对 于 全 局 匹 配 算 法 而 言, 算 法 的 重 点 不 是 匹 配 代 价 聚 合 而 是 视 差 获 取 及 优 化 大 部 分 的 全 局 算 法 采 用 构 造 能 量 函 数 [15] : E(d) Edata (d) E smooth (d) (1-1) 将 视 差 的 求 取 转 化 为 一 个 能 量 最 小 化 问 题 的 求 解, 其 中 E 像 素 一 致 性 程 度 E data xy, 其 中 C 为 匹 配 代 价 ( 初 始 值 或 者 聚 合 值 ) 平 滑 项 E data (d) 为 数 据 项, 为 两 张 图 片 (d) C(x, y,d(x, y)) (1-) (d) smooth 表 示 像 素 视 差 与 周 围 像 素 视 差 的 平 滑 度 有 时, 为 了 便 于 计 算, 平 滑 项 简 化 为 只 考 虑 临 近 的 像 素 视 差 的 差 值, 如 : E smooth (d) (d(x, y) d(x1, y)) (d(x, y) d(x, y1)) (1-3) xy, 当 全 局 能 量 函 数 构 造 完 成 之 后, 采 用 能 量 最 小 化 手 段 求 取 极 小 值 传 统 的 能 量 最 3

10 小 化 方 法 有 模 拟 退 火 算 法 平 均 退 火 法 梯 度 下 降 法 传 统 的 能 量 最 小 化 方 法 由 于 收 敛 速 度 慢 而 较 少 在 实 际 中 应 用 001 年 Yuri Boykov [1] 提 出 通 过 图 割 算 法 进 行 α 扩 展 和 α-β 交 换 移 动 以 进 行 能 量 最 小 化 ; 此 外, 还 有 基 于 置 信 传 播 和 动 态 规 划 等 算 法 的 全 局 立 体 匹 配 算 法 4 视 差 精 化, 在 实 际 运 用 中, 像 素 精 度 的 视 差 通 常 无 法 满 足 应 用 需 求, 为 了 得 到 亚 像 素 精 度 的 视 差, 通 常 采 用 梯 度 下 降 法 以 及 曲 线 拟 合 代 价 除 此 之 外, 很 多 算 法 在 这 个 步 骤 进 行 左 右 一 致 性 校 验, 以 除 去 误 匹 配 点 或 者 遮 挡 区 域 另 外 也 可 采 用 滤 波 器 ( 如 中 值 滤 波 器 ) 除 去 视 差 图 中 的 噪 声 点 经 过 上 面 的 处 理 过 程, 有 些 像 素 点 可 能 会 没 有 视 差 值, 可 以 采 用 平 面 拟 合 的 方 式 填 补 这 些 像 素 的 视 差 值 [] 三 维 重 建 经 过 立 体 匹 配 得 到 视 差 图, 结 合 标 定 的 投 影 方 程 可 以 计 算 出 各 个 像 素 点 ( 具 有 有 效 视 差 值 的 像 素 点 ) 的 三 维 坐 标 然 而, 这 样 得 到 的 只 是 散 乱 的 点 云, 基 于 点 云 的 三 维 重 建 就 是 通 过 这 些 点 云, 首 先 进 行 点 云 数 据 的 预 处 理 ( 点 云 精 简 点 云 重 采 样 点 云 过 滤 ), 然 后 进 行 空 间 的 点 云 网 格 化 处 理, 生 成 近 似 物 体 原 始 表 面 的 网 格 模 型, 最 后 通 过 纹 理 映 射, 将 物 体 的 图 片 纹 理 映 射 到 三 维 模 型 上, 得 到 重 建 的 三 维 实 体 模 型 [3] 由 于 研 究 通 过 点 云 进 行 三 维 重 建 不 是 本 文 的 重 点 所 在, 本 文 仅 采 用 带 有 简 单 纹 理 的 点 云 作 为 三 维 重 建 的 参 考 效 果 4

11 摄 像 机 标 定.1 摄 像 机 成 像 模 型 摄 像 机 成 像 模 型 用 于 模 拟 光 学 成 像 几 何 关 系, 在 精 度 要 求 不 高 或 者 镜 头 畸 变 较 小 的 情 况 下 可 以 仅 采 用 线 性 模 型 ; 当 要 求 高 精 度 结 果 时, 就 需 要 考 虑 非 线 性 因 素 ( 镜 头 畸 变 ) 而 采 用 非 线 性 模 型 [4].1.1 描 述 坐 标 系 为 了 清 楚 地 表 达 物 体 在 3 维 空 间 中 的 实 际 位 置 与 图 像 中 像 素 的 对 应 关 系, 定 义 以 下 4 个 参 考 坐 标 系, 如 图.1 所 示 : 图.1 4 个 参 考 坐 标 系 关 系 图 (1) 世 界 坐 标 系 OwXwYwZw 在 实 际 的 三 维 空 间 中 一 个 参 考 坐 标 系, 可 以 根 据 需 要 任 意 选 取 P(Xw,Yw,Zw) 为 该 坐 标 系 内 一 点 () 摄 像 机 坐 标 系 OcXcYcZc 摄 像 机 坐 标 系 OcXcYcZc 的 坐 标 原 点 定 义 为 摄 像 机 透 镜 的 光 心 处,OcXcYc 平 面 平 行 于 成 像 平 面,Z 轴 与 光 轴 重 合 (3) 成 像 平 面 坐 标 系 OXY 成 像 平 面 坐 标 系 OXY 的 坐 标 原 点 定 义 为 光 轴 与 成 像 平 面 的 交 点 世 界 坐 标 系 摄 像 机 坐 标 系 成 像 平 面 坐 标 系 的 单 位 均 为 实 际 的 物 理 单 位 ( 如 毫 米 mm) (4) 图 像 坐 标 系 UV 图 像 坐 标 系 UV 按 照 习 惯 定 义 坐 标 原 点 为 图 片 的 左 上 角,(u,v) 代 表 第 u 行 第 v 列 像 素 点, 单 位 为 像 素 5

12 .1. 线 性 模 型 在 不 考 虑 摄 像 机 畸 变 等 非 线 性 因 素 的 情 况 下, 摄 像 机 成 像 模 型 可 以 采 用 我 们 熟 悉 的 小 孔 成 像 模 型 来 建 模, 如 图.1 所 示 下 面 逐 个 分 析 4 个 坐 标 系 之 间 的 变 换 关 系 : (1) 世 界 坐 标 系 OwXwYwZw 和 摄 像 机 坐 标 系 OcXcYcZc 的 关 系 : 由 于 摄 像 机 坐 标 系 和 世 界 坐 标 系 之 间 存 在 旋 转 变 换 和 平 移 变 换, 某 一 点 在 摄 像 机 坐 标 系 内 的 坐 标 (xc,yc,zc) 和 在 世 界 坐 标 系 内 坐 标 (xw,yw,zw) 有 如 下 关 系 : xc xw y R y c w z c z w 其 中 r r r R r r r r r r tx ty t z (-1) 其 中, R 和 和 分 别 为 旋 转 矩 阵 和 平 移 矩 阵, 若 采 用 齐 次 坐 标 的 写 法, 有 : xc xw y c R y w = z c (-) z w 1 1 () 摄 像 机 坐 标 系 OcXcYcZc 和 成 像 平 面 坐 标 系 OXY 坐 标 系 关 系, 如 图. 所 示, 图. 摄 像 机 坐 标 系 和 成 像 平 面 坐 标 系 该 变 换 为 中 心 映 射 或 透 视 投 影, 依 据 相 似 三 角 形 的 比 例 关 系, 某 点 在 图 像 平 面 上 的 坐 标 (x,y) 和 在 摄 像 机 坐 标 系 内 坐 标 (xc,yc,zc) 有 : xc x f z c (-3) yc y f z c 其 中,f 为 相 机 透 镜 的 焦 距, 改 写 为 齐 次 坐 标 形 式 即 : 6

13 xc x f y c z c y 0 f 0 0 (-4) z c (3) 图 像 坐 标 系 UV 和 成 像 平 面 坐 标 系 OXY 之 间 的 关 系 如 图.3 所 示 : 图.3 图 像 坐 标 系 与 成 像 平 面 坐 标 系 某 一 点 在 图 像 坐 标 系 内 的 坐 标 (u,v) 和 在 成 像 平 面 坐 标 系 内 的 坐 标 (x,y) 有 : x u u0 dx (-5) y v v0 dy 其 中 dx,dy 为 每 个 像 素 的 物 理 宽 度 和 长 度,(u0,v0) 为 成 像 坐 标 平 面 的 原 点 坐 标, 改 写 为 齐 次 坐 标 的 形 式 即 : 1 0 u0 dx u x 1 v 0 v 0 y (-6) dy 将 (-) (-4) (-6) 联 立 有 : 1 0 u0 dx xw u f R y w z c v 0 v 0 0 f 0 0 dy z w (-7) xw fx 0 u0 0 R y w 0 f y v0 0 M 0 1M X 33 1 w MX w z w 其 中,M1 只 与 摄 像 机 本 身 属 性 有 关, 故 称 M1 为 内 参, 为 摄 像 机 的 固 有 属 性, 一 般 不 会 因 (-7) 7

14 为 摄 像 机 的 摆 放 位 置 改 变 或 者 世 界 坐 标 系 改 变 而 改 变 ( 假 设 摄 像 机 为 固 定 焦 距 摄 像 机 ); 相 反 矩 阵 M 只 由 摄 像 机 与 世 界 坐 标 系 的 相 对 位 置 ( 旋 转 或 者 平 移 ) 相 关, 故 称 M 为 外 参 矩 阵 内 参 和 外 参 矩 阵 的 乘 积 M 即 为 投 影 矩 阵.1.3 非 线 性 模 型 在 需 要 精 确 的 标 定 结 果 或 者 摄 像 机 畸 变 较 大 ( 广 角 镜 头 ) 等 原 因 时, 需 要 考 虑 非 线 性 因 素 由 于 摄 像 头 的 类 型 不 同 制 造 工 艺 不 同, 存 在 多 种 畸 变, 常 用 的 畸 变 模 型 有 : 径 向 畸 变 离 心 畸 变 和 薄 凌 镜 畸 变, 我 们 采 用 以 下 方 式 描 述 畸 变 : xd xu x(x u, y u) (-8) yd yu y(x u, y u) 其 中 (xu,yu) 为 成 像 坐 标 系 下 理 想 的 坐 标,(xd,yd) 为 成 像 坐 标 系 下 实 际 ( 畸 变 ) 的 点 坐 标 (1) 径 向 畸 变 的 特 点 是 畸 变 关 于 摄 像 机 透 镜 光 轴 对 称, 桶 形 畸 变 和 枕 形 畸 变 是 两 种 常 见 的 径 向 畸 变, 如 图.4 所 示 : 图.4 枕 形 畸 变 和 桶 形 畸 变 [5] 使 用 高 阶 多 项 式 数 学 模 型 描 述 为 : 4 6 x x(k1r kr k3r ) (-9) 4 6 y y(k1r kr k3r ) 其 中 r z y,k1,k,k3 为 径 向 畸 变 参 数 () 离 心 畸 变 主 要 是 由 于 光 学 系 统 光 心 与 几 何 中 心 不 重 合 而 造 成 的 畸 变, 使 得 各 个 透 镜 的 光 心 不 能 严 格 共 线, 离 心 畸 变 不 仅 包 含 径 向 畸 变 还 包 含 切 向 畸 变, 切 向 畸 变 采 用 高 阶 多 项 式 数 学 模 型 描 述 为 : x p1xy p(r x ) (-10) y p1(r y ) pxy 其 中 p1,p 为 切 向 畸 变 参 数 (3) 薄 凌 镜 畸 变 一 般 由 于 在 设 计 生 产 以 及 摄 像 机 的 组 装 过 程 中 产 生 的 误 差 而 形 成 的 例 如 CCD 阵 列 或 镜 头 的 微 小 倾 斜 等, 薄 凌 镜 畸 变 效 果 相 当 于 在 光 学 系 统 中 附 加 了 了 一 个 薄 凌 镜, 采 用 高 阶 多 项 式 数 学 模 型 描 述 为 : 8

15 其 中 s1,s 为 畸 变 参 数 x s1 r y s r (-11) Brown 于 1966 年 提 出 一 个 包 含 上 述 三 种 畸 变 的 综 合 模 型, 称 为 铅 锤 模 型 (Plumb Bob Model), 采 用 高 阶 多 项 式 的 数 学 模 型 描 述 为 : 4 6 x (1 k1 r k r k 3 r ) x k3xy k 4(r x ) 4 6 y (1 k1 r k r k 3 r ) y k 3(r y ) k4xy (-1) 上 述 式 子 中, 点 (x, y) 为 成 像 坐 标 系 中 理 想 的 点 坐 标,(x, y) 为 实 际 ( 畸 变 ) 的 成 像 点 坐 标 k1 k k3 k4 k5 为 畸 变 参 数 在 实 际 应 用 情 况 中, 通 常 考 虑 高 阶 ( 四 阶 以 上 ) 的 径 向 分 量 的 畸 变 模 型 是 没 有 必 要 的, 因 为 单 纯 地 增 加 畸 变 模 型 的 阶 数 并 不 一 定 能 带 来 高 的 精 度,sai [6] 指 出, 引 入 过 多 的 参 数 往 往 不 能 提 高 精 度, 反 而 使 得 在 求 解 参 数 的 时 候 使 得 解 不 稳 定. 直 接 线 性 标 定 方 法 直 接 线 性 变 换 方 法 (DL) 由 Abdel-Aziz 和 Karara [10] 于 1971 年 首 先 提 出 该 方 法 只 采 用 线 性 模 型 作 为 计 算 模 型, 不 考 虑 摄 像 头 畸 变 的 因 素..1 投 影 矩 阵 的 求 解 由 式.1, 将 投 影 矩 阵 M 展 开 写 成 如 下 形 式 : m m m m x w u y w c z w 1 m31 m3 m33 m 34 z v m m m m (-13) 1 其 中 (x w,y w,z w) 为 世 界 坐 标 系 中 某 一 点 的 坐 标,(u, v) 为 对 应 点 在 图 像 上 的 坐 标, 上 式 包 含 三 个 方 程 : z u m x m y m z m z v m x m y m z m z m x m y m z c 11 w 1 w 13 w 14 c 1 w w 3 w 4 c 31 w 3 w 33 w 1 令 m34=1, 消 去 Zc 之 后 有 : m11x w m1 yw m13z w m14 um31x w um3y w um33z w u m1x w m yw m3z w m4 vm31 xw vm3 yw vm33 zw v (-14) (-15) 已 知 一 个 空 间 点 的 坐 标 和 它 对 应 的 图 像 坐 标 可 以 得 到 上 述 两 个 方 程, 已 知 n 个 这 样 的 点 时, 便 能 得 到 n 个 方 程 的 方 程 组, 记 为 : 其 中 Km U (-16) 9

16 x y z u x u y u z x y z 1 v x v y v z K x y z u x u y u z x y y 1 v x v y v z w1 w1 w1 1 w1 1 w1 1 w1 w1 w1 w1 1 w1 1 w1 1 w1 wn wn wn n wn n wn n wn wn wn wn n wn n wn 1 wn (-17) m [ m m m m m m m m m m m ] (-18) 1 1 n n U u v u v (-19) (x wi, ywi, z wi ) 代 表 第 i 个 点 的 三 维 坐 标, (u i,v i ) 代 表 该 点 对 应 的 图 像 坐 标 当 n>=6 时, 通 过 最 小 二 乘 法 解 超 定 线 性 方 程 组 得 到 列 向 量 m 从 而 求 得 投 影 M: m 1 (K K) K U (-0)..1 摄 像 机 内 参 和 外 参 的 求 解 求 出 投 影 矩 阵 M 后, 便 能 求 得 摄 像 机 的 内 参 和 外 参 将 式.1 改 写 为 如 下 形 式 [7] : r1 t x m1 m 14 fx 0 u0 0 fxr1 u0r3 fxtx u0t z r ty m34 m1 m 4 0 f y v0 0 f yr v0r3 f yty v0tz r3 t (-1) z m r3 t z 0 1 其 中 mi (i=1,,3) 表 示 矩 阵 M 的 第 i 行 前 3 个 元 素 组 成 的 行 向 量, r (i 1,,3) 表 示 旋 转 矩 阵 R 的 第 i 行 元 素 组 成 的 行 向 量 对 比 左 右 两 式, m 34 m 3 r 3, 由 于 R 为 单 位 正 交 矩 阵, 所 以 r3 1, 故 1 m34 (-) m 然 后 可 以 解 出 摄 像 机 的 内 参 参 数 : r3 m34m3 u0 ( fxr1 u0r3 ) r3 m34m1 m3 v0 ( f yr v0r3 ) r3 m34m m3 (-3) fx m34 (m1m 3) fy m34 (mm 3) 接 着 求 出 摄 像 机 的 外 参 参 数 : 3 i 10

17 m r1 m r tx m m t y m tz (m u m ) f x (m v m ) f y (m u ) f x (m v ) f y (-4).3 张 正 友 标 定 法 在 上 一 节 介 绍 的 直 接 线 性 标 定 法 中, 标 定 采 用 线 性 模 型, 并 没 有 考 虑 摄 像 机 畸 变, 当 镜 头 畸 变 较 大 时 误 差 较 大, 并 且 在..1 中, 求 解 投 影 矩 阵 需 要 6 个 ( 以 上 ) 三 维 空 间 点 的 坐 标 以 及 其 对 应 的 图 像 的 点 的 坐 标, 还 需 要 用 到 精 密 的 标 定 块, 标 定 过 程 十 分 繁 琐 (a) 由 于 镜 头 畸 变, 棋 盘 边 出 现 扭 曲 图.5 镜 头 畸 变 和 二 维 标 定 块 (b) 标 定 块 张 正 友 [1] 于 1999 年 提 出 一 种 灵 活 的 标 定 方 法, 该 方 法 较 传 统 的 标 定 方 法 (DL sai 等 ) 具 有 更 加 简 单 低 成 本 的 优 点 标 定 采 用 二 维 标 定 板 ( 如 打 印 棋 盘 ) 而 不 是 精 确 的 标 定 块 与 摄 像 机 自 标 定 方 法 相 比 具 有 精 度 高 可 靠 性 强 的 优 点 张 正 友 标 定 法 主 要 分 为 两 大 步 骤 : 内 参 矩 阵 和 外 参 矩 阵 的 初 始 值 求 解 求 取 畸 变 参 数 以 及 参 数 精 化.3.1 摄 像 机 内 参 矩 阵 和 外 参 矩 阵 初 始 值 求 解 令 图 像 上 的 二 维 点 表 示 为 m u v, 齐 次 坐 标 形 式 为 m u v 3 维 点 表 示 为 M X Y Z 用 的 摄 像 机 模 型 为 :, 齐 次 坐 标 形 式 为 M X Y Z 1 1, 世 界 坐 标 系 中, 张 正 友 标 定 方 法 采 11

18 其 中, u0 A 0 v 即 摄 像 机 内 参 矩 阵,R 为 旋 转 矩 阵,t 为 平 移 矩 阵,R 1 导 中, 将 ( A ) 和 ( ) 1 A 简 记 为 A sm A R t M (-5) (-6) t 为 摄 像 机 外 参 矩 阵, 在 下 文 的 推 在 计 算 机 视 觉 中, 平 面 的 单 应 性 被 定 义 为 一 个 平 面 到 另 外 一 个 平 面 的 投 影 映 射 对 于 一 块 标 定 板 ( 假 定 是 平 面 ), 标 定 板 上 的 点 和 摄 像 机 拍 摄 的 图 像 上 对 应 点 之 间 的 映 射 即 为 单 应 性 变 换 设 标 定 板 上 某 一 点 坐 标 为 ( xw, yw, z w), 令 标 定 板 所 在 平 面 为 zw = 0, 则 zw = 0, 有 : u xw xw s v Ar1 r y w H y w (-7) 其 中 ri i( 1,) 为 旋 转 矩 阵 R 的 第 i 列 元 素 组 成 的 列 向 量 H 矩 阵 为 单 应 性 矩 阵, 将 H 矩 阵 归 一 化 : 为 将 上 式 展 开 为 方 程 组 形 式 : 消 去 zc 有 : h h h H h h h h h3 1 z u h x h y h z v h x h y h z h x h y c 11 w 1 w 13 c 1 w w 3 c 31 w 3 w 1 h11x w h1 yw h13 uh31x w uh3 yw u h1x w h yw h3 vh31 xw vh3 yw v (-8) (-8) (-9) (-30) 已 知 一 个 三 维 空 间 中 的 点 的 坐 标 ( xw, yw, z w) 和 其 对 应 图 像 上 点 的 坐 标 (u,v) 可 以 得 到 一 个 包 含 个 方 程 的 方 程 组, 已 知 n 个 对 应 点 可 得 到 一 个 包 含 n 个 方 程 的 方 程 组, 用 矩 阵 形 式 表 示 为 : 其 中, Kh x y u x u y x y 1 v x v y K x y u x u y x y 1 v x v y U (-31) w1 w1 1 w1 1 w1 w1 w1 1 w1 1 w1 wn wn n wn n wn wn wn n wn n wn (-3) 1

19 h 为 H 矩 阵 各 个 参 数 组 成 的 列 向 量 : h h11 h1 h13 h1 h h3 h31 h3 U u v u v 1 1 n n, wi wi, (x, y,0) 为 标 定 板 上 第 i 个 点 的 坐 标, 对 应 图 像 上 点 的 坐 标 为 (u i,v i), 当 n>=8 时, 可 以 通 过 最 小 二 乘 法 解 超 定 线 性 方 程 组 得 到 列 向 量 h 从 而 得 到 H 矩 阵 令 H h h h 1 3, 则 h h h = Ar r t (-33) 由 于 旋 转 矩 阵 R 为 单 位 正 交 矩 阵, 故 r1 r1 r r 1, 且 rr 1 0, 联 立 (-33) 可 得 : 1 h1 A A h h1 A A h1 h A A h 令 则 : 其 中 带 入 (-33) 有 : B B B B A A B1 B B 3, b B11 B1 B B13 B1 B33 B B B h Bh i j ij (-34) (-35) v b (-36) vij hi 1hj1 hi 1hj hi hj1 hi hj hi 3hj1+ hi 1hj3 hi 3hj+ hi hj3 hi 3h j3 (-37) v 1 0 b (v 11 v ) (-38) 由 一 幅 图 片 求 取 单 应 性 矩 阵 H 可 以 得 到 个 这 样 的 方 程, 由 n 幅 图 片 可 以 得 到 n 个 方 程 组 成 的 方 程 组, 用 矩 阵 形 式 表 示 为 : Vb 0 (-39) 其 中 V 为 n x 6 的 矩 阵, 当 n>=6 时 可 通 过 求 取 V V 最 小 特 征 值 对 应 的 特 征 向 量 得 到 b 的 解, 从 而 得 到 矩 阵 B, 由 于 1 v0 u0 B11 B1 B ( v0 u0 ) v 0 B A A B1 B B 3 (-40) B13 B3 B 33 v0 u0 ( v0 u0 ) v0 ( v0 u0 ) v 0 1 可 以 求 出 内 参 矩 阵 A 矩 阵 的 各 个 参 数 : 1 r1 A h1 1 r A h r3 r1 r 1 t A h3 (-41) 13

20 由 ( 式.) 可 以 得 到 相 应 的 外 参 矩 阵 参 数 ( 不 同 的 单 应 性 矩 阵 对 应 不 同 的 外 参 矩 阵 ): ( B1B 13 B B11 ) 3 v0 ( B11B B ) 1 B13v ( 0B B1 13 B B 11 ) 3 B33 B11 B11 B11 B11 B B1 B1 v0 B13, u0 至 此, 摄 像 机 内 参 矩 阵 和 外 参 矩 阵 的 初 始 值 ( 未 考 虑 畸 变 ) 全 部 求 解 (-4).3. 求 取 畸 变 参 数 在 上 一 小 节 中, 通 过 线 性 模 型 求 闭 合 形 式 解 得 到 未 考 虑 畸 变 的 摄 像 机 内 参 矩 阵 和 外 参 矩 阵 为 了 更 加 精 确 的 描 述 3 维 物 体 与 真 实 图 像 的 关 系, 张 正 友 标 定 方 法 还 考 虑 了 摄 像 头 畸 变 采 用 的 非 线 性 模 型 为 : x x x k1( x y ) k( x y ) y y y k1( x y ) k( x y ) (-43) 其 中 (x,y) 为 理 想 情 况 ( 线 性 模 型 理 论 值 ) 下 成 像 平 面 坐 标 系 下 点 的 坐 标,(x, y) 为 实 际 ( 畸 变 ) 坐 标, 其 中 k1,k 畸 变 参 数 可 以 看 出 该 模 型 只 考 虑 了 径 向 畸 变, 并 只 考 虑 了 r 和 r 4 项 的 系 数 相 应 地,(u,v) 为 理 想 情 况 ( 线 性 模 型 理 论 值 ) 下 图 像 上 某 一 像 素 点 的 坐 标, (u, v) 为 实 际 ( 畸 变 ) 坐 标 根 据.1.1 中 成 像 平 面 坐 标 系 和 图 像 坐 标 系 的 转 换 关 系 有 : u u (u u 0)[ k1( x y ) k( x y ) ] v v (v v0 )[ k1( x y ) k( x y ) ] 矩 阵 形 式 为 : 其 中 Dk (-44) d (-45) (u u 0)( x y ) (u u 0)( x y ) uu D, k= k1 k, d (v v0)( x y ) (v v0)( x y ) vv (-46) 1 可 以 通 过 最 小 二 乘 法 求 出 列 向 量 ( k D D) D d, 从 而 得 到 畸 变 参 数 k 1 k.3.3 摄 像 机 参 数 精 化 虽 然 在 上 一 小 节 中 考 虑 了 摄 像 头 的 径 向 畸 变, 但 是 计 算 采 用 的 参 数 是.3.1 中 计 算 出 的 摄 像 机 内 参 矩 阵 和 外 参 矩 阵,.3.1 计 算 的 摄 像 机 内 参 矩 阵 和 外 参 矩 阵 又 是 在 假 设 没 有 畸 变 的 前 提 下 得 到 的, 这 些 参 数 的 误 差 应 该 还 比 较 大 为 了 得 到 更 加 精 确 的 参 数 ( 内 参 矩 阵 14

21 [1] 外 参 矩 阵 畸 变 参 数 ), 张 正 友 在 其 文 章 中 给 出 两 种 精 化 方 法 : (1) 迭 代 方 法 即 每 次 计 算 出 畸 变 参 数 k1,k 之 后 进 行 矫 正 畸 变, 然 后 重 新 计 算 摄 像 机 的 内 参 和 外 参, 再 根 据 新 的 内 参 和 外 参 重 新 计 算 k1,k, 反 复 进 行 这 两 个 步 骤 直 到 参 数 收 敛 () 最 大 似 然 估 计 方 法 使 用 Levenberg-Marquardt(LM) 算 法 对 下 式 进 行 最 优 化 : n m mij m( A, k1, k, Ri, ti, M j) (-47) i1 j1 其 中 m( A, k1, k, Ri, ti, M j) 为 第 i 个 标 定 板 上 点 Mj 的 投 影 点,mij 为 实 际 上 对 应 点 的 坐 标 Ri,ti 为 第 i 个 标 定 板 对 应 的 旋 转 矩 阵 和 平 移 矩 阵 A Ri ti 使 用.3.1 求 得 的 结 果 初 始 化 k1,k 可 以 采 用.3. 求 得 的 结 果 初 始 化 或 者 简 单 地 初 始 化 为 小 结 张 正 友 标 定 方 法 包 含 如 下 几 个 过 程 : (1) 打 印 一 张 图 案 ( 黑 白 棋 盘 ) 并 固 定 在 一 个 较 为 平 坦 的 物 体 表 面 ( 如 玻 璃 ) () 从 多 个 ( 至 少 3 个 ) 不 同 的 角 度 拍 摄 标 定 板, 移 动 标 定 板 或 者 摄 像 机 均 可 (3) 检 测 拍 摄 标 定 板 图 片 上 的 特 征 点 ( 如 黑 白 棋 盘 的 角 点 ) 的 坐 标 (4) 采 用.3.1 节 的 方 法 求 取 摄 像 机 的 内 参 矩 阵 和 外 参 矩 阵 (5) 采 用.3. 节 的 方 法 求 取 摄 像 机 的 畸 变 参 数 (6) 通 过 ( 式.6) 进 行 摄 像 机 内 外 参 数 以 及 畸 变 参 数 精 化.4 基 于 灰 度 图 像 的 角 点 检 测.4.1 Moravec 角 点 检 测 算 法 Moravec [8] 角 点 检 测 子 主 要 考 虑 一 个 局 部 窗 口 在 若 干 个 方 向 (4-8) 移 动 产 生 的 对 应 像 素 灰 度 值 改 变 与 图 像 特 征 的 关 系, 如 图.6 所 示, 考 虑 如 下 三 类 情 况 : (a) 平 坦 区 域 (b) 边 缘 区 域 (c) 角 点 区 域 图.6 Moravec 角 点 检 测 示 意 图 (1) 如 果 图 片 在 窗 口 附 近 变 化 平 坦, 窗 口 所 有 方 向 上 的 移 动 只 会 引 起 窗 口 内 对 应 像 素 灰 度 值 微 小 的 变 化, 如 图.6 a 所 示 () 如 果 窗 口 位 于 图 像 边 缘 上, 那 么 顺 着 边 缘 方 向 上 的 移 动 引 起 上 述 值 微 小 的 变 化, 垂 15

22 直 于 边 缘 方 向 上 的 移 动 将 引 起 巨 大 的 变 化, 如 图.6 b 所 示 (3) 如 果 窗 口 位 于 图 像 的 角 点 上, 则 所 有 方 向 上 的 移 动 都 将 造 成 窗 口 内 对 应 像 素 灰 度 值 巨 大 的 变 化, 如 图.6 c 所 示 所 以 可 以 通 过 各 个 方 向 上 移 动 引 起 的 变 化 的 最 小 值 来 判 断 是 否 任 意 方 向 的 变 化 值 都 比 较 大 向 (x,y) 方 向 移 动 产 生 的 变 化 Ex,y 可 以 通 过 以 下 方 式 度 量 : Ex, y wu, v Ixu, yv Iu, v (-48) uv, 其 中 w 表 示 所 使 用 的 二 值 化 窗 口,(x,y) 包 含 [(1,0),(1,1),(0,1),(-1,1)] 四 个 方 向,Moravec 算 法 通 过 该 点 在 4 个 方 向 上 的 min Ex,y 是 否 大 于 某 一 阈 值 来 判 断 该 点 是 否 为 图 像 的 角 点 Moravec 角 点 检 测 算 法 对 边 缘 十 分 敏 感, 而 且 不 具 备 旋 转 不 变 性, 如 图.7 所 示 : (a) 原 图 使 用 Moravec 角 点 检 测 (b) 旋 转 之 后 使 用 Moravec 角 点 检 测 图.7 Moravec 角 点 检 测 子 效 果 图.4. Harris 角 点 检 测 算 法 Harris [9] 等 人 在 1988 年 提 出 一 种 改 进 Moravec 的 角 点 检 测 算 法,Moravec 算 法 存 在 如 下 不 足 : (1)Moravec 角 点 检 测 算 法 只 考 虑 了 每 个 45 度 角 方 向, 如 图.7 中 所 示, 不 属 于 这 几 个 方 向 的 边 缘 会 被 检 测 为 角 点 ()Moravec 角 点 检 测 算 法 采 用 二 值 化 窗 口, 对 噪 声 较 为 敏 感 (3)Moravec 角 点 检 测 算 法 只 关 注 这 几 个 方 向 中 E 的 最 小 值 针 对 这 三 项 不 足,Harris 角 点 算 法 作 了 如 下 改 进 : (1)Moravec 算 法 只 计 算 了 间 隔 5 度 的 几 个 方 向,Harris 算 法 使 用 aylor 展 式 近 似 计 算 任 意 方 向 : x, y u, v xu, yv u, v u, v (, ) (-49) u, v u, v E w I I w xx yy x y 16

23 其 中 X 和 Y 分 别 为 x 和 y 方 向 上 的 梯 度 : I X I( 1, 0,1) x I Y I( 1, 0,1) y 则 对 于 任 意 方 向 的 微 小 移 动 (x,y): 其 中 : w 为 卷 积 窗 口 xy, (-50) E Ax Cxy By (-51) A X w, B Y w, C ( XY ) w (-5) ()Moravec 算 法 采 用 二 值 窗 口,Harris 算 法 采 用 更 加 平 滑 的 窗 口, 如 高 斯 窗 口 : uv, (u v ) w e (-53) (3)Moravec 算 法 通 过 各 个 方 向 Ex,y 的 最 小 值 检 测 角 点,Harris 使 用 一 种 新 的 判 断 方 法 : 使 用 矩 阵 的 形 式 表 示 Ex,y 为 : 其 中 E( x, y) ( x, y) M( x, y) (-54) A C M C B (-55) M 的 两 个 特 征 值 α,β 和 局 部 自 相 关 函 数 的 主 曲 率 成 正 比, 同 Moravec 算 法 一 样, 分 如 下 三 种 情 况 讨 论 α,β 和 图 像 特 征 的 关 系 : (1) 如 果 两 个 曲 率 都 较 小, 即 局 部 自 相 关 函 数 整 体 较 平 坦, 则 所 有 方 向 上 的 移 动 将 引 起 E 的 微 小 变 化 () 如 果 其 中 一 个 曲 率 较 大 而 另 一 个 较 小, 即 局 部 自 相 关 函 数 呈 山 脊 状 沿 着 山 脊 的 移 动 引 起 E 微 小 的 变 化, 此 时 窗 口 处 于 图 像 边 缘 处 (3) 如 果 两 个 曲 率 都 较 大, 则 局 部 自 相 关 函 数 呈 山 顶 形 状 : 所 有 方 向 的 移 动 引 起 E 剧 烈 的 变 化, 此 时 窗 口 处 于 图 像 的 角 点 处 基 于 上 述 考 虑,Harris 定 义 角 点 响 应 函 数 : 其 中 : R Det kr (-56) r(m) A B Det (M) AB C 使 用 r (M) 和 Det (M) 而 非, 从 而 避 免 了 对 M 进 行 显 式 的 特 征 值 分 解.4.3 Nobel 角 点 检 测 算 法 (-57) 由 于 Harris 算 法 中 参 数 k 需 要 根 据 经 验 提 前 设 定,Nobel [33] 于 1988 年 提 出 利 用 如 下 公 17

24 式 计 算 角 点 的 响 应 值 : I I cim ( I I ) x y x y Ix Iy (-58) 采 用 上 述 公 式 计 算 角 点 的 CRF 值, 从 而 避 免 的 参 数 k 对 角 点 选 取 的 影 响, 在 实 际 应 用 中, 通 常 选 用 这 个 改 进 的 Harris 角 点 检 测 算 法 进 行 检 测 : 当 cim 值 大 于 预 定 的 阈 值, 则 该 点 为 角 点 候 选 点, 通 过 非 极 大 值 抑 制 挑 选 出 最 终 的 角 点.4.4 Shi-omasi 角 点 检 测 算 法 J.Shi 和 J.omasi [30] 于 000 年 采 用 与 Harris 不 同 的 角 点 响 应 函 数 在 Harris 算 法 中 角 点 响 应 函 数 定 义 为 : R k( ) 1 1 (-59) 其 中 1 和 分 别 为 M 矩 阵 的 两 个 特 征 值 Shi-omasi 算 法 采 用 的 角 点 响 应 函 数 为 : 即 两 个 特 征 值 中 的 最 小 值 即 :.4.5 亚 像 素 精 度 角 点 检 测 A B ( A B) C R min( 1, ) (-60) 无 论 是 Moravec 算 法 Harris 算 法 还 是 Shi-omasi 算 法, 最 终 只 能 得 到 像 素 精 度 的 角 点 坐 标 为 了 得 到 更 精 确 的 标 定 结 果, 需 要 提 高 角 点 检 测 算 法 的 精 度, 亚 像 素 精 度 角 点 坐 标 的 获 取 可 以 采 用 通 用 的 (1) 插 值 法 以 及 () 向 量 法 (1) 插 值 法 在 图 像 处 理 中, 插 值 通 常 用 来 获 取 亚 像 素 精 度 的 结 果 在 文 献 [31] 中, 笔 者 采 用 二 次 多 项 式 逼 近 Harris 角 点 响 应 函 数 : CRF ( u, v) a u a uv a v a u a v a (-61) 其 中,a1-a6 为 拟 合 平 面 系 数, 通 过 (u,v) 邻 域 内 多 个 点 组 成 超 定 线 性 方 程 组, 通 过 最 小 二 乘 法 求 解 出 a1-a6, 用 矩 阵 表 示 为 : 其 中 : AX B (-63) u1 u1v 1 v1 u1 v1 1 A (-64) un unvn vn un vn 1 X a a a a a a (-65) CRF( u1, v1) B CRF ( un, vn) ( u, v ) 为 ( uv, ) 邻 域 内 的 点, CRF ( u, v ) 为 对 应 的 角 点 响 应 函 数 值 i i i i (-66) 18

25 拟 合 的 二 次 平 面 的 极 大 值 处 的 坐 标 为 亚 像 素 精 度 角 点 坐 标, 在 二 次 平 面 的 极 大 值 处 有 : CRF ( u, v) a1u av a4 0 u (-67) CRF( u, v) a3v au a5 0 v 则 亚 像 素 精 度 角 点 坐 标 为 : a a u a a a v a a a a1a 3 a a a1a 3 (-68) () 向 量 法 如 图.8 所 示, 对 于 一 个 方 格 形 状 的 角 点 q 和 q 邻 域 内 某 点 p, 图 像 在 p 处 的 梯 度 为 I( p) [3] 图.8 方 格 状 角 点 亚 像 素 提 取 pq 的 位 置 有 两 种 情 况 : 位 于 边 缘 上 ( 如 图 中 p1) 位 于 平 坦 区 域 ( 全 黑 或 全 白, 如 图 中 p) 当 pq 位 于 平 坦 区 域 时, I( p) 0,pq I( p) 0 ; 当 pq 位 于 方 格 边 缘 时, 由 于 I( p) 和 pq 垂 直, 故 pq I( p) 0 综 上 所 述, 对 于 q 邻 域 内 的 点 p, 均 有 pq I( p) 0 即 : ( u u, v v ) ( du, dv ) 0 (-69) q p q p p p 其 中 ( u, v ) 和 ( u, v ) 分 别 为 q 和 p 两 点 的 坐 标, ( du, dv ) 为 图 像 在 p 点 处 的 梯 度 整 理 得 : q q p p p p uqdu p vqdv p updu p vpdvp (-70) 取 q 邻 域 内 的 n 个 点 可 以 得 到 n 个 上 述 方 程, 写 成 矩 阵 的 形 式 为 : AX B (-71) 其 中 du1 dv1 udu1 vdv1 A, B dun dv n udun vdv n (-7) X=[u v],(ui,vi) 为 q( 初 始 化 为 像 素 级 别 角 点 坐 标 ) 邻 域 内 第 i 个 点 的 坐 标,(dui,dvi) 为 图 像 在 19

26 该 点 处 的 梯 度, ( uv, ) 为 待 解 的 亚 像 素 精 度 的 角 点 坐 标 若 采 用 最 小 二 乘 法 解 上 述 超 定 线 性 方 程, 解 为 : 1 ( X A A) A B (-73) 将 解 出 的 坐 标 作 为 新 的 q 的 坐 标 重 复 以 上 过 程, 直 到 q 的 坐 标 收 敛 到 某 一 范 围, 此 时 q 的 坐 标 即 为 亚 像 素 精 度 的 角 点 坐 标.5 亚 像 素 精 度 角 点 检 测 的 实 现.5.1 像 素 精 度 角 点 提 取 的 实 现 根 据.4 节 中 各 个 角 点 算 法 的 数 学 原 理, 采 用 Harris 算 法 Nobel 算 法 和 Shi-omasi 算 法 检 测 角 点 分 为 如 下 几 个 步 骤 : (1) 彩 色 图 片 转 为 灰 度 图 () 求 取 x 和 y 方 向 上 的 梯 度 (3) 用 高 斯 模 板 求 卷 积 (4) 求 角 点 响 应 值 (5) 非 极 大 值 抑 制 (1) 彩 色 图 片 转 为 灰 度 图 通 过 公 式 I 0.99R 0.587G 0.114B (-74) 其 中 R G B 分 别 为 RGB 格 式 图 像 的 像 素 点 三 个 通 道 的 值,I 为 转 化 后 的 灰 度, 转 换 效 果 如 图.9 所 示 : 图.9 右 图 为 RGB 原 图, 左 图 为 灰 度 图 () 求 取 x 和 y 方 向 上 的 梯 度 将 原 图 转 化 为 灰 度 图 之 后, 分 别 使 用 下 面 两 个 模 板 窗 口 求 取 两 个 方 向 上 的 梯 度 值 : 0

27 x 方 向 y 方 向 图.10 使 用 两 个 3*3 模 板 在 两 个 方 向 求 梯 度 为 了 能 直 观 的 观 察 到 求 梯 度 的 效 果, 将 求 得 的 梯 度 值 归 一 化 到 [0,55] 区 间 内, 转 化 为 灰 度 图 便 于 显 示, 结 果 如 图.11 所 示 : x 方 向 图.11 两 个 方 向 上 的 梯 度 图 y 方 向 求 得 每 个 像 素 点 x y 方 向 的 梯 度 Ix,Iy 值 之 后, 便 能 得 到 该 像 素 点 Ix*Ix,Ix*Iy,Iy*Iy 的 值 (3) 使 用 高 斯 模 板 求 卷 积 采 用 以 下 5*5 的 高 斯 窗 口 对 Ix*Ix,Ix*Iy,Iy*Iy 进 行 卷 积 运 算, 为 了 避 免 浮 点 运 算, 采 用 整 数 窗 口 近 似 : 1/73 * 图.1 5*5 高 斯 卷 积 窗 口 为 了 直 观 的 展 示 高 斯 卷 积 的 效 果, 对 一 幅 图 片 进 行 高 斯 卷 积 测 试, 如 图.13 所 示, 进 行 高 斯 卷 积 之 后 的 图 片 变 得 模 糊, 细 节 和 者 噪 声 被 平 滑 抑 制 1

28 原 图 图.13 对 图 片 进 行 高 斯 卷 积 效 果 图 高 斯 卷 积 Harris: Nobel: (4) 对 IxIx,IxIy,IyIy 分 别 进 行 高 斯 卷 积 之 后, 采 用 不 同 的 算 法 求 取 角 点 响 应 值 : cim IxIx IyIy IxIy IxIy k IxIx IyIy IxIx IyIy IxIy IxIy cim IxIx IyIy ( ) (-75) (-76) IxIx IyIy ( IxIx IyIy) ( 4 IxIy) Shi-omasi: cim (-77) 当 cim 大 于 阈 值 threshold 时, 该 点 即 被 认 为 是 角 点, 分 别 采 用 上 述 三 种 算 法 对 一 幅 图 片 提 取 角 点 : 图.14 Harris 角 点 提 取 算 法 k=0.04 threshold=

29 图.15 Nobel 角 点 提 取 算 法 threshold= 8000 图.16 Shi-omasi 角 点 提 取 算 法 threshold= (5) 非 极 大 值 抑 制 若 单 纯 的 通 过 阈 值 判 断 像 素 是 否 为 角 点, 容 易 在 图 像 中 形 成 角 点 群, 即 角 点 总 是 成 群 出 现, 在 摄 像 机 标 定 过 程 中, 通 常 只 希 望 棋 盘 角 点 的 地 方 存 在 一 个 角 点 非 极 大 值 抑 制 策 略 即 像 素 点 的 角 点 响 应 值 不 仅 需 要 大 于 阈 值, 还 需 要 是 邻 域 范 围 内 角 点 响 应 值 的 最 大 值, 同 时 满 足 上 述 两 个 条 件 则 判 断 为 角 点 采 用 Nobel 角 点 提 取 算 法 以 及 采 用 了 非 极 大 值 抑 制 的 结 果 : 3

30 图.17 Nobel 角 点 提 取 算 法 threshold= 图.18 采 用 非 极 大 值 抑 制 的 Nobel 角 点 提 取 算 法 threshold= 亚 像 素 精 度 精 化 实 现 无 论 是 使 用 平 面 拟 合 的 方 式 还 是 采 用 向 量 法 都 涉 及 到 最 小 二 乘 法 求 解 超 定 线 性 方 程 组, 需 要 求 取 矩 阵 的 逆, 由 于 需 要 计 算 的 矩 阵 的 规 模 并 不 非 常 大, 采 用 高 斯 主 消 元 法 求 取 矩 阵 的 逆, 伪 代 码 描 述 如 下 : 4

31 Mat func(mat A){ Mat E;// 单 位 矩 阵 for(i = 0;i<A.rows;i++){// 化 为 上 三 角 矩 阵 m = selectmax(a,i,rows-1);// 选 择 A(x,i) 绝 对 值 最 大 的 x(i<=x<rows) swap(a,i,m); // 交 换 矩 阵 A 的 i,m 两 行 swap(e,i,m); // 对 单 位 矩 阵 实 施 同 样 的 操 作 for(j = i+1;j<a.rows;j++){ k = -1 * A(j,i)/A(i,i); add(a,i,k,j); // 将 i 行 元 素 乘 以 k 加 到 j 行 元 素 上 add(e,i,k,j); // 对 单 位 矩 阵 实 施 同 样 的 操 作 } } for(i = A.rows-1;i>=0;i--){// 化 为 对 角 矩 阵 for(j = i-1;j>=0;j--){ k = -1 * A(j,i)/A(i,i); add(a,i,k,j); // 将 i 行 元 素 乘 以 k 加 到 j 行 元 素 上 add(e,i,k,j); // 对 单 位 矩 阵 实 施 同 样 的 操 作 } } for(i = 0;i<A.rows;i++){// 化 为 单 位 矩 阵 k = 1/A(i,i); mul(a,i,k); // 将 i 行 元 素 全 部 乘 以 k mul(e,i,k); // 对 单 位 矩 阵 实 施 同 样 的 操 作 } return E; // 该 矩 阵 即 为 A -1 } (1) 二 次 平 面 拟 合 方 法 求 亚 像 素 精 度 角 点 在.4.5 节 中 提 到 如 下 矩 阵 方 程 计 算 二 次 拟 合 平 面 的 各 个 参 数 : 其 中 : AX B (-78) u1 u1v 1 v1 u1 v1 1 CRF( u1, v1) A, B un unvn vn un vn 1 CRF ( un, vn ) (-79) 在 实 际 的 计 算 中, 若 直 接 采 用 角 点 (u,v) 邻 域 内 点 坐 标 (ui,vi) 计 算 的 话,A A 内 的 元 素 会 变 得 非 常 大, 从 而 影 响 计 算 将 参 考 坐 标 系 的 坐 标 原 点 平 移 到 (u,v), 即 角 点 (u,v) 邻 域 内 的 坐 标 变 成 (ui u,vi v), 将 最 后 的 计 算 结 果 (x,y) 再 平 移 (u,v) 即 (x+u,y+v) 得 到 真 实 的 图 像 坐 标 其 中 () 向 量 法 求 亚 像 素 精 度 角 点 在.4.5 节 中 通 过 求 解 矩 阵 方 程 解 出 亚 像 素 角 点 的 坐 标 AX du1 dv1 udu1 vdv1 A, B dun dv n udun vdv n B (-80) (-81) 对 于 浮 点 型 的 角 点 坐 标 (ui,vi), 该 像 素 点 处 的 梯 度 使 用 (Ix([ui],[vi]),Iy([ui],[vi])) 近 似, 其 中 [x] 为 x 取 整 数 部 分 的 值 同 二 次 平 面 拟 合 的 方 式 一 样, 将 参 考 坐 标 系 平 移 到 (u,v), 角 点 (u,v) 5

32 邻 域 内 的 坐 标 变 成 (ui u,vi v), 将 最 后 的 计 算 结 果 (x,y) 再 平 移 (u,v) 即 (x+u,y+v) 得 到 真 实 的 亚 像 素 图 像 坐 标 将 得 到 的 图 像 坐 标 作 为 新 的 角 点 坐 标, 重 复 以 上 处 理 过 程, 直 到 两 次 结 果 收 敛 ( 或 者 超 过 最 大 迭 代 次 数 ) 终 止 迭 代 图.19 采 用 二 次 平 面 拟 合 提 取 亚 像 素 角 点 上 为 局 部 放 大 50 倍 下 为 缩 略 图 图.0 采 用 向 量 方 法 提 取 亚 像 素 角 点 上 为 局 部 放 大 50 倍 下 为 缩 略 图 分 别 采 用 上 述 两 种 方 法 提 取 棋 盘 图 片, 两 种 算 法 的 实 验 结 果 分 别 如 图.19.0 所 示 6

33 .6 标 定 实 现 采 用 张 正 友 的 标 定 方 法 中 关 键 的 步 骤 即 找 到 标 定 板 ( 如 标 定 棋 盘 ) 上 的 点 和 图 片 上 像 素 的 对 应 关 系, 本 文 中 采 用 的 标 定 板 为 黑 白 相 间 的 方 格 棋 盘 标 定 板, 使 用 黑 色 方 格 的 角 点 作 为 标 定 的 特 征 点 方 格 角 点 的 三 维 坐 标 通 过 设 置 方 格 的 打 印 宽 度 ( 如 40mm) 得 到 (z 坐 标 为 0), 图 片 上 对 应 的 角 点 坐 标 由.5 节 中 亚 像 素 精 度 角 点 提 取 得 到.6.1 半 自 动 提 取 角 点 由 于 通 常 图 片 中 不 仅 包 含 棋 盘 的 信 息, 还 有 一 部 分 环 境 信 息, 若 直 接 对 整 张 图 片 提 取 角 点, 容 易 包 含 图 片 中 的 非 棋 盘 角 点 另 外, 在 实 际 的 标 定 过 程 中, 靠 近 打 印 纸 张 边 缘 的 棋 盘 角 点 通 常 误 差 较 大 ( 纸 张 变 形 ), 所 以 也 并 非 所 有 的 棋 盘 角 点 都 要 参 与 计 算, 若 所 有 的 角 点 全 部 通 过 人 工 选 取, 由 于 标 定 中 一 张 图 片 上 需 要 提 取 的 点 数 就 非 常 多 (5*5-0*0), 标 定 通 常 需 要 张 图 片, 人 工 选 取 的 工 作 量 非 常 巨 大 本 文 采 用 半 自 动 的 角 点 提 取 方 式 : 对 于 每 张 图 片, 人 工 选 取 4 个 角 点, 由 于 棋 盘 为 方 格 形 状, 通 过 计 算 获 取 4 个 角 点 构 成 的 矩 形 中 包 含 的 棋 盘 角 点 坐 标, 在 这 些 坐 标 周 围 一 定 范 围 内 搜 索 角 点 坐 标 得 到 若 干 角 点 坐 标, 另 外, 将 所 选 矩 形 的 左 上 角 角 点 对 应 的 棋 盘 角 点 位 置 定 义 为 三 维 坐 标 系 的 原 点 坐 标, 根 据 棋 盘 方 格 的 边 长 推 算 出 所 有 角 点 的 三 维 坐 标 实 现 流 程 如 下 : (1) 提 取 出 整 张 图 片 上 所 有 角 点 的 亚 像 素 精 度 坐 标 () 人 工 选 取 4 个 角 点 坐 标 (3) 通 过 计 算 得 到 选 取 矩 形 的 规 模 ( 如 3*5) (4) 得 到 图 片 角 点 和 棋 盘 角 点 对 应 坐 标 序 列 (5) 通 过 张 正 友 标 定 算 法 计 算 摄 像 机 的 内 参 矩 阵 和 畸 变 矩 阵 其 中 第 (3) 步 骤 的 实 现 细 节 如 下 : (1) 通 过 交 叉 检 测 算 法 得 到 所 选 4 个 点 的 相 对 关 系 如 图.1 所 示, 假 设 提 取 的 角 点 为 ABCD, 为 了 判 断 两 点 之 间 的 相 对 关 系 是 为 邻 边 关 系 (a) 还 是 对 角 线 关 系 (b), 通 过 判 断 两 点 连 线 线 段 是 否 和 另 外 两 点 连 线 线 段 相 交, 如 假 设 线 段 AB 和 线 段 CD 相 交, 则 AB 两 点 属 于 对 角 边 关 系, 否 则 属 于 相 邻 边 关 系 人 工 选 取 4 个 角 点 (a) 相 邻 边 关 系 (b) 对 角 线 关 系 图.1 判 断 4 个 角 点 相 对 关 系 7

34 () 通 过 检 测 ABCD 四 条 边 上 的 角 点 得 到 四 边 形 网 格 首 先 在 所 选 的 A B C D 四 个 点 周 围 一 定 范 围 内 搜 索 角 点, 设 搜 索 到 对 应 点 的 角 点 为 EFGH, 再 对 每 一 条 边 EF FG GH HE 边 进 行 如 下 操 作 : a 遍 历 图 片 上 所 有 的 角 点, 若 角 点 位 于 边 ( 线 段 ) 上, 则 将 该 角 点 放 入 队 列 q b 将 队 列 q 按 照 x 坐 标 或 者 y 坐 标 进 行 排 序 得 到 每 一 条 边 上 的 n-1 个 n 等 分 ( 这 里 的 等 分 指 的 是 原 棋 盘 标 定 板 上 意 义 的 等 分, 图 片 中 由 于 投 影 变 换 并 非 等 分 ) 点 之 后, 可 以 得 到 EFGH 的 角 点 网 格 : 图. 判 断 4 个 角 点 得 到 的 角 点 网 格 得 到 EFGH 网 格 之 后, 同 样 在 每 个 网 格 周 围 搜 索 角 点 得 到 角 点 坐 标, 以 E 所 在 棋 盘 角 点 为 三 维 坐 标 原 点 可 以 得 到 角 点 对 应 的 三 维 坐 标 (z 坐 标 为 0).6. 标 定 实 验 结 果 实 验 采 用 75mm*75mm 的 棋 盘 彩 色 ( 油 墨 ) 打 印 ( 粉 墨 打 印 机 打 印 棋 盘 黑 色 区 域 不 均 匀 ): 从 不 同 的 角 度 拍 摄 30 了 张 图 片, 标 定 过 程 如 图.3 所 示 : (a) 手 工 选 取 4 个 角 点 8

35 (b) 得 到 角 点 网 格 图.3 标 定 过 程 对 两 个 摄 像 头 都 进 行 标 定, 标 定 结 果 如 图.4 所 示 : 图.4 左 右 摄 像 机 标 定 结 果 其 中 左 摄 像 机 内 参 矩 阵 为 : 9

36 右 摄 像 机 内 参 矩 阵 为 : 左 摄 像 机 畸 变 系 数 k1= k= p1= p= 右 摄 像 机 畸 变 系 数 k1= k= p1= p= k1 和 k 为 径 向 畸 变 系 数,p1 和 p 为 切 向 畸 变 系 数 从 标 定 结 果 可 以 看 出, 两 个 摄 像 头 参 数 基 本 相 同 另 外, 内 参 矩 阵 中 fx 和 fy 的 值 非 常 接 近 表 明 摄 像 机 像 素 点 几 乎 为 方 格 形 状 30

37 3 畸 变 矫 正 以 及 立 体 矫 正 3.1 畸 变 矫 正 在.6 节 中 对 摄 像 机 进 行 了 标 定, 并 得 到 摄 像 机 的 内 参 和 畸 变 系 数, 本 小 节 主 要 研 究 通 过 摄 像 机 内 参 以 及 畸 变 系 数 对 畸 变 图 像 进 行 矫 正 系 : 在.1 节 中, 实 际 成 像 坐 标 系 坐 标 ( 畸 变 ) 和 理 论 ( 未 发 生 畸 变 ) 成 像 坐 标 系 坐 标 为 如 下 关 4 6 x'' x'(1 k1r kr k3r ) p1x ' y ' p( r x' ) 4 6 y'' y'(1 k1r kr k3r ) p1 ( r y ' ) px ' y ' 其 中 (x,,y, ) 为 理 论 成 像 坐 标,(x n,y n ) 为 实 际 成 像 坐 标 (3-1) 以 及 成 像 坐 标 系 OXY 和 图 像 坐 标 系 UV 的 转 换 关 系, 可 以 建 立 起 理 论 图 像 坐 标 ( 未 畸 变 ) 和 实 际 图 像 坐 标 ( 畸 变 ) 的 映 射 关 系 : 对 于 未 畸 变 图 像 的 坐 标 ( uv, ), 可 经 过 如 下 步 骤 计 算 出 发 生 畸 变 之 后 坐 标 ( u', v '), uu0 x' fx vv0 y' f y 4 6 (3-) x'' x'(1 k1r kr k3r ) p1x ' y ' p( r x ' ) 4 6 y'' y '(1 k1r kr k3r ) p1( r y ' ) px' y ' u ' x'' fx u0 v' y '' f y v0 得 到 未 畸 变 图 像 坐 标 ( uv, ) 和 实 际 图 像 坐 标 ( u', v ') 的 映 射 之 后, 便 能 得 到 未 畸 变 的 图 像, 即 矫 正 之 后 的 图 像, 图 3.1 为 对 opencv 自 带 标 定 图 片 进 行 畸 变 矫 正 的 效 果 : 图 3.1 畸 变 矫 正, 左 图 为 原 始 图 像, 右 图 为 矫 正 后 的 图 像 31

38 3. 双 目 标 定 为 了 进 行 极 线 矫 正 以 及 三 维 重 建, 需 要 得 到 左 右 摄 像 机 的 相 对 位 置, 即 右 摄 像 机 坐 标 系 相 对 于 左 摄 像 机 坐 标 系 的 旋 转 矩 阵 R 和 平 移 矩 阵 假 设 左 右 摄 像 机 坐 标 系 相 对 于 世 界 坐 标 系 的 旋 转 矩 阵 和 平 移 矩 阵 分 别 为 Rl Rr 以 及 l r, 则 对 于 世 界 坐 标 系 中 的 一 点 P, 在 左 右 摄 像 机 坐 标 系 内 的 坐 标 分 别 为 Pl 和 Pr 则 : Pl Rl P l (3-3) Pr Rr P r 消 去 P 有 : 1 1 Pr Rr R r Pl r Rr Rr l (3-4) 这 样 便 得 到 左 摄 像 机 坐 标 系 坐 标 Pl 到 右 摄 像 机 坐 标 系 Pr 的 转 换 关 系, 由 于 Rl 和 Rr 单 位 正 1 交 矩 阵, 则 RR 也 为 单 位 正 交 矩 阵, 由 此 可 得 右 摄 像 机 坐 标 系 相 对 于 左 摄 像 机 坐 标 系 的 r r r 旋 转 矩 阵 R R R 1, 平 移 矩 阵 R R 1 r r r r l 在 进 行 双 目 标 定 实 验 中, 可 以 直 接 进 行 双 目 标 定 实 验, 即 左 右 摄 像 机 同 时 拍 摄 不 同 角 度 的 多 张 图 片 ( 在 拍 摄 过 程 中 左 右 摄 像 机 的 相 对 位 置 不 能 改 变 ), 也 可 以 先 分 别 进 行 单 目 标 定 实 验, 将 得 到 的 摄 像 机 内 参 参 与 双 目 标 定 时 外 参 的 计 算, 相 比 而 言, 后 者 结 果 更 为 精 确 图 3. 双 目 标 定 实 验 过 程 双 目 标 定 程 序 仍 然 采 用 同 单 目 标 定 相 同 的 半 自 动 角 点 检 测 方 法, 如 图 3. 所 示, 左 右 两 副 图 片 需 人 工 选 取 4 个 角 点, 需 要 注 意 的 是, 左 右 图 片 选 取 的 4 个 角 点 必 须 相 同 标 定 结 果 如 图 3.3 所 示, 得 到 右 摄 像 机 坐 标 系 相 对 于 左 摄 像 机 坐 标 系 的 旋 转 矩 阵 R 和 平 移 矩 阵 分 别 为 : 3

39 R , 标 定 中 采 用 的 物 理 单 位 为 mm, 两 个 摄 像 机 几 乎 平 行 放 置, 所 以 R 十 分 接 近 于 单 位 矩 阵 3.3 立 体 矫 正 图 3.3 双 目 标 定 实 验 结 果 平 行 摄 像 机 成 像 模 型 对 于 一 对 立 体 摄 像 机, 假 设 两 台 摄 像 机 的 像 平 面 精 确 位 于 同 一 平 面 上, 光 轴 严 格 平 行, 距 离 一 定, 焦 距 相 同, 左 右 摄 像 机 图 像 每 一 行 严 格 对 齐, 平 行 摄 像 机 成 像 模 型 如 图 3.4 所 示 : 图 3.4 平 行 摄 像 机 成 像 模 型 33

40 3.3. 立 体 矫 正 平 行 摄 像 机 模 型 无 论 是 对 于 立 体 匹 配 还 是 三 维 重 建, 计 算 都 得 到 了 极 大 的 简 化 虽 然 在 实 际 情 况 中, 要 求 两 个 摄 像 机 物 理 上 为 理 想 平 行 是 非 常 困 难 的, 但 是 通 过 立 体 矫 正, 可 以 从 数 学 上 得 到 平 行 的 摄 像 机 模 型 [36] 给 定 立 体 图 像 间 的 旋 转 矩 阵 和 平 移 (R,), 立 体 矫 正 的 Bouguet 算 法 就 是 简 单 地 使 两 图 像 中 的 每 一 幅 重 投 影 次 数 最 小 化, 同 时 使 得 观 测 面 积 最 大 化 Bouguet 算 法 分 两 步 得 到 将 旋 转 矩 阵 Rl,Rr, 左 右 摄 像 机 通 过 Rl,Rr 绕 各 自 的 投 影 中 心 旋 转, 使 得 极 线 变 得 水 平, 而 且 极 点 位 于 无 穷 远 处 (1) 让 左 右 摄 像 机 绕 着 各 自 的 投 影 中 心 旋 转 R 的 一 半, 使 得 两 摄 像 机 的 主 光 轴 平 行 ( 但 不 一 定 垂 直 于 两 个 投 影 中 心 的 连 线 ), 如 图 3.5 所 示 图 3.5 两 个 摄 像 机 分 别 旋 转 一 半 图 中 的 R1/ 即 旋 转 矩 阵 R 的 一 半 角 度, 即 R1/ * R1/ = R, 可 以 通 过 罗 德 格 里 斯 (Rodrigues) 变 换 求 得 () 为 了 将 主 光 轴 平 行 的 两 个 摄 像 机 旋 转 到 和 投 影 中 心 连 线 垂 直 的 位 置, 需 要 再 做 一 次 旋 转 变 换, 如 图 3.6 所 示 : 图 3.6 两 个 摄 像 机 都 旋 转 相 同 的 角 度 34

41 设 这 个 旋 转 矩 阵 为 Rr, e 1, e, e 3 分 别 为 Rr 矩 阵 的 第 一 二 三 行 向 量 e1 为 旋 转 之 后 的 x 坐 标 轴 向 量 在 当 前 坐 标 系 中 的 向 量 表 示, 所 以 e1 与 两 个 摄 像 机 投 影 点 连 线 重 合, 即 于 向 量 方 向 重 合, 向 量 经 过 (1) 步 骤 的 旋 转, 变 为 r : 则 : r R (3-5) 1 1/ r e1 (3-6) r e 为 旋 转 之 后 的 y 坐 标 轴 向 量 在 当 前 坐 标 系 中 的 向 量 表 示, 由 3.6 图 知 e 的 z 坐 标 为 0, 且 e 和 e1 正 交, 故 : e e e 11 1 e e 11 1 其 中 e11 和 e1 为 e1 向 量 的 x 和 y 坐 标 e3 向 量 和 e1 e 向 量 正 交, 通 过 叉 积 得 到 e3: 通 过 (1)() 两 步 得 到 左 右 摄 像 机 的 矫 正 旋 转 矩 阵 R1 和 R: 0 (3-7) e3 e1 e (3-8) R R R, R R R (3-9) 1 1 r 1/ r 1/ 结 合 3.1 节 中 的 畸 变 矫 正, 以 左 摄 像 机 为 例, 经 过 立 体 矫 正 后 的 图 像 中 的 像 素 (u,v) 对 应 原 图 ( 未 矫 正 图 像 ) 像 素 坐 标 为 (u,,v, ), 令 : 则 : 由.1. 节, 对 于 (u,v) 有 : 同 样 对 于 (u,,v, ) 有 : u fx 0 u0 xc z c v 0 f y v 0 y c zc 1 u fx 0 u0 x v 0 f y v 0 y x xc z c y y c 1 z c x' x' c z ' c y ' y ' c 1 z ' c 矫 正 后 的 坐 标 为 原 坐 标 经 过 旋 转 矩 阵 R1 得 到, 即 : (3-10) (3-11) (3-1) (3-13) 35

42 xc x' c y c R 1 y ' c (3-14) z c z' c 则 : x' x z ' c 1 y ' R 1 y z (3-15) c 1 1 整 个 计 算 流 程 为 : uu0 x fx v v0 y f y 1 W x' y ' 1 R1 x y 1 (3-16) 4 6 x'' x'(1 k1r kr k3r ) p1x ' y ' p( r x ' ) 4 6 y'' y '(1 k1r kr k3r ) p1( r y ' ) px ' y ' u ' x'' fx u0 v' y '' f y v0 得 到 ( uv, ) 到 ( u', v ') 的 映 射 之 后, 便 能 得 到 矫 正 之 后 的 图 像 采 用 bouguet 进 行 立 体 矫 正 的 结 果 如 图 3.7 所 示 : 图 3.7 极 线 矫 正 结 果 36

43 4 立 体 匹 配 立 体 匹 配 是 双 目 立 体 视 觉 中 非 常 重 要 的 一 个 环 节, 立 体 匹 配 的 目 标 是 找 出 左 右 图 片 ( 经 过 极 线 矫 正 处 理 ) 上 的 对 应 点, 得 到 两 张 图 片 的 视 差 图 通 过 视 差 图 和 标 定 结 果 可 以 确 定 这 些 对 应 点 的 三 位 空 间 坐 标, 换 句 话 说, 立 体 标 定 的 结 果 直 接 影 响 着 重 建 的 结 果 立 体 匹 配 算 法 可 以 分 为 基 于 特 征 的 匹 配 基 于 区 域 的 匹 配 基 于 相 位 的 匹 配 算 法 基 于 区 域 的 匹 配 算 法 由 于 实 现 简 单 能 得 到 稠 密 的 视 差 图, 适 合 用 于 场 景 的 重 建, 本 文 着 重 研 究 基 于 区 域 的 立 体 匹 配 算 法 4.1 立 体 匹 配 约 束 立 体 匹 配 本 身 为 一 个 病 态 问 题, 为 了 降 低 匹 配 的 错 误 率, 立 体 匹 配 中 常 常 使 用 如 下 一 些 约 束 条 件 [34] : (1) 极 线 约 束 通 过 极 线 矫 正, 同 一 点 在 左 右 摄 像 头 获 得 的 图 片 中 位 于 同 一 行, 因 此 当 参 考 图 像 和 目 标 图 像 为 矫 正 过 的 图 片 时, 参 考 图 像 上 的 像 素 点 与 目 标 图 像 像 素 点 位 于 同 一 行 上 () 唯 一 性 约 束 对 于 大 部 分 实 际 的 图 片, 参 考 图 像 上 每 一 个 像 素 最 多 ( 也 可 能 没 有 匹 配, 为 遮 挡 点 ) 和 目 标 图 像 上 的 某 一 个 像 素 匹 配 (3) 相 似 性 约 束 对 于 参 考 图 像 和 目 标 图 像 上 对 应 点 应 该 具 有 相 似 的 属 性 ( 如 灰 度 灰 度 变 化 梯 度 等 ), 但 是 实 际 中, 这 一 假 设 并 不 始 终 成 立 : 由 于 左 右 摄 像 机 所 处 的 位 置 自 身 的 差 异, 使 得 两 个 摄 像 机 拍 摄 的 同 一 点 可 能 属 性 并 不 相 同 ( 光 照 影 响 遮 挡 影 响 等 ) (4) 顺 序 性 约 束 对 于 参 考 图 像 和 目 标 图 像 同 一 行 上 的 匹 配 像 素 点 在 参 考 图 像 和 目 标 图 像 中 的 相 对 顺 序 是 相 同 的 (5) 平 滑 性 约 束 假 设 物 体 的 表 面 通 常 是 平 滑 的, 所 以 除 了 在 物 体 边 界 处 之 外 的 地 方 视 差 值 变 化 应 该 较 小 (6) 左 右 一 致 性 约 束 以 左 图 为 参 考 图 像, 右 图 为 目 标 图 像 和 以 右 图 为 参 考 图 像 左 图 为 目 标 图 像, 得 到 的 匹 配 点 对 应 该 是 一 致 的 4. 固 定 大 小 窗 口 匹 配 算 法 4..1 基 本 原 理 固 定 窗 口 (Fixed Window) 匹 配 算 法 实 现 的 基 本 原 理 为 : 计 算 参 考 图 像 中 的 每 一 个 像 素 点 和 目 标 图 像 中 同 一 行 的 每 一 个 像 素 点 的 SAD( 或 SSD 等 ) 值, 取 值 最 小 的 像 素 点 作 为 匹 配 点, 如 图 4.1 所 示 : 37

44 图 4.1 FW 算 法 对 于 参 考 图 像 中 的 一 点 (x, y), SAD( x, y, d)(mind d maxd) 匹 配 代 价 函 数 定 义 如 下 : n SAD( x, y, d) L( x j, y i) R( x d j, y i) (4-1) i, jn 固 定 窗 口 在 这 里 指 的 是 以 (x,y) 点 为 中 心, 边 长 为 n+1 的 对 成 正 方 形 窗 口 采 用 3*3 7*7 11*11 15*15 窗 口 的 实 验 结 果 如 图 4. 所 示 : 图 4. 采 用 不 同 的 窗 口 得 到 的 视 差 图 (0<d<0) 38

45 4.. Box-filtering 加 速 算 法 若 对 参 考 图 像 中 每 一 个 像 素 和 目 标 图 像 中 同 一 行 的 每 一 个 像 素 分 别 计 算 邻 域 内 绝 对 值 差 和, 窗 口 大 小 直 接 影 响 计 算 时 间, 以 tsukuba(384*88) 测 试 图 像 为 例, 不 同 窗 口 计 算 时 间 表 如 表 4.1 所 示 : 窗 口 大 小 1*1 3*3 5*5 7*7 9*9 11*11 13*13 15*15 17*17 计 算 时 间 ms 表 4.1 不 同 的 窗 口 计 算 花 费 时 间 表 M.Mc Donnel 在 1981 年 提 出 Box-filtering 加 速 FW 算 法 [35], 通 过 减 少 SAD 的 冗 余 计 算 加 快 处 理 过 程 : 对 对 于 相 邻 两 列 SAD 值 相 差 两 行 SAD 窗 口 : (a)sad 函 数 移 动 示 意 图 (b)s 函 数 移 动 示 意 图 图 4.3 Box-filtering 算 法 示 意 图 SAD 函 数 具 有 递 推 关 系 : S 函 数 具 有 递 推 关 系 : 其 中 : SAD( x, y, d) SAD( x, y 1, d) S( x, y 1 n, d) S( x, y n, d) (4-) S( x, y n, d) S( x 1, y, d) I( x n 1, y, d) I( x n, y, d) (4-3) I( x, y, d) I ( x, y) I ( x d, y) (4-4) L Box-filtering 算 法 在 窗 口 移 动 的 过 程 中, 只 需 要 多 计 算 4 个 像 素 点 的 绝 对 差 值, 无 论 窗 口 大 小,Box-filtering 算 法 采 用 不 同 的 SAD 窗 口 所 需 时 间 如 表 4. 所 示 : R 窗 口 大 小 1*1 3*3 5*5 7*7 9*9 11*11 13*13 15*15 17*17 计 算 时 间 ms 表 4. Box-filtering 算 法 不 同 的 窗 口 计 算 花 费 时 间 表 39

46 4.3 自 适 应 权 值 (AW) 匹 配 算 法 基 本 思 想 固 定 窗 口 (FW) 算 法 是 将 固 定 窗 口 内 像 素 点 的 匹 配 代 价 聚 合 起 来, 而 实 际 上, 与 中 心 像 素 相 似 的 像 素 贡 献 代 价 应 该 相 对 多 一 些, 而 与 中 心 像 素 点 差 异 较 大 的 像 素 应 该 相 对 少 一 些, 尤 其 是 在 物 体 边 缘 处, 如 图 4.3 所 示 : 图 4.3 固 定 窗 口 算 法 ( 左 ) 理 想 的 匹 配 窗 口 ( 右 ) K.Yoon [0] 等 在 006 年 提 出 自 适 应 权 重 的 立 体 匹 配 算 法, 该 算 法 采 用 窗 口 大 小 固 定, 但 左 右 窗 口 内 各 个 像 素 匹 配 代 价 的 权 值 由 和 中 心 像 素 的 距 离 以 及 相 似 程 度 决 定 ( 同 双 边 滤 波 算 法 相 似 ), 窗 口 内 各 个 像 素 的 权 值 为 : cpq gpq w( p, q) k exp( ) (4-5) c 其 中 p 为 窗 口 中 心 像 素,q 为 窗 口 内 的 某 一 个 像 素 Δgpq 为 pq 两 点 的 像 素 距 离,Δcpq 为 pq 两 点 在 色 彩 空 间 的 距 离, 本 文 使 用 CIELab 颜 色 空 间 : pq p q p q p q p c ( L L ) (a a ) (b b ) (4-6) 采 用 自 适 应 权 重 算 法 窗 口 内 的 权 值 分 布 如 图 4.4 所 示 : 图 4.4 左 为 原 图 右 为 若 干 个 自 适 应 41*41 窗 口 越 亮 代 表 权 值 越 大 自 适 应 权 值 算 法 参 考 图 像 上 p 点 和 目 标 图 像 上 点 的 匹 配 代 价 为 : w( p, q) w( p, ), d qd e0 ( q, q ) qn d p qd N pd E( p, pd ) w( p, q) w( p, q ) q N p, qd N pd d d (4-7) 40

47 其 中 N p 为 p 点 的 邻 域, N pd 为 p d 点 的 邻 域, e 0 ( q, q d ) 为 像 素 间 差 异 度 量 函 数, 本 文 使 用 绝 对 差 值 (AD): e0 ( q, q ) I ( p) I ( q ) (4-8) d c c d c{r,g,b} 即 将 RGB 三 个 通 道 的 绝 对 值 相 加 得 到 不 同 视 差 值 的 匹 配 代 价 后, 采 用 WA(Winner-akes-All) 算 法 获 取 视 差 值, 即 取 最 小 匹 配 代 价 对 应 的 视 差 值 : d arg min E( p, p ) (4-9) p 采 用 自 适 应 权 值 算 法 用 不 同 窗 口 对 tsukuba 测 试 图 片 进 行 测 试, 测 试 结 果 如 下 : dsd d 图 4.5 不 同 窗 口 大 小 的 自 适 应 权 值 算 法 (γ c=7γ g=36) 4.3. 快 速 双 边 滤 波 (FBS) 算 法 S. Mattoccia[37] 等 人 于 009 年 提 出 快 速 双 边 滤 波 (FBS) 算 法, 同 AW 算 法 类 似,FBS 算 法 也 采 用 类 似 双 边 滤 波 算 法 为 窗 口 内 的 像 素 代 价 赋 予 权 值, 与 AW 算 法 不 同 的 是,AW 算 法 为 窗 口 内 每 一 个 像 素 赋 予 不 同 的 权 值, 而 FBS 算 法 则 将 窗 口 分 为 若 干 个 小 窗 口, 小 窗 口 内 各 个 像 素 的 权 值 相 同, 由 小 窗 口 内 像 素 的 平 均 值 与 中 心 像 素 的 色 彩 空 间 距 离 和 像 素 距 离 计 算 得 到 ( 当 小 窗 口 尺 寸 为 1*1 时,FBS 算 法 和 AW 算 法 等 价 ), 如 图 4.6 所 示 41

48 图 4.6 FBS 算 法 将 窗 口 W 分 为 若 干 个 小 窗 口 w 若 (u,v) 为 窗 口 内 某 一 个 小 窗 口 的 中 心 像 素, 则 该 小 窗 口 内 所 有 像 素 色 彩 权 值 均 为 : Ir ( pr ) Ir ( br ( u, v)) Wc ( Ir ( pr ), Ir ( br ( u, v))) exp( ) (4-10) 其 中 I ( b ( u, v )) 为 ( uv, ) 所 在 小 窗 口 所 有 像 素 点 的 平 均 像 素 值 r r 采 用 窗 口 W 为 45*45,w 为 3*3 的 FBS 算 法 窗 口 和 45*45 的 AW 算 法 窗 口 内 权 值 分 布 对 比 如 图 4.7 所 示 : c 图 4.7 左 为 AW 算 法 右 为 FBS 算 法 BFS 相 对 于 AW 算 法 而 言, 具 有 如 下 优 势 : (1) 由 于 使 用 了 邻 域 均 值 处 理, 使 得 噪 声 对 BFS 算 法 影 响 比 AW 算 法 小 () 小 窗 口 内 均 值 SAD 值 可 以 采 用 Box-Filtering 算 法 加 速, 小 窗 口 越 大, 加 速 越 明 显, 但 是 效 果 更 差 对 1*1 窗 口, 分 别 采 用 3*3 和 7*7 小 窗 口 对 BFS 算 法 进 行 测 试, 测 试 结 果 如 图 4.8 所 示 : 4

49 图 4.8 3*3 小 窗 口 ( 左 ) 和 7*7 小 窗 口 ( 右 )BFS 算 法 (1*1) 对 7*7 窗 口, 分 别 采 用 3*3 和 9*9 小 窗 口 对 BFS 算 法 进 行 测 试, 测 试 结 果 如 图 4.9 所 示 : 图 4.9 3*3 小 窗 口 ( 左 ) 和 9*9 小 窗 口 ( 右 )BFS 算 法 (7*7) 3*3 小 窗 口 的 FBS 算 法 在 实 际 测 试 中 效 果 最 好, 但 花 费 的 时 间 最 多 采 用 不 同 的 窗 口 尺 寸 分 别 对 AW 算 法 和 FBS 算 法 处 理 时 间 进 行 测 试, 测 试 结 果 如 表 4.3 所 示 : 窗 口 尺 寸 9*9 15*15 1*1 7*7 33*33 39*39 AW 算 法 耗 时 (ms) *3 FBS 耗 时 (ms) 表 4.3 AW 算 法 和 FBS 算 法 耗 时 对 比 4.4 动 态 规 划 (DP) 匹 配 算 法 动 态 规 划 原 理 动 态 规 划 算 法 将 图 片 按 行 扫 描, 对 每 一 行 寻 求 最 优 匹 配, 即 使 行 代 价 函 数 E 取 得 最 小 值 : E E E (4-11) match 其 中 Ematch 为 匹 配 代 价 Eskip 为 遮 挡 代 价 skip 43

50 图 4.10 动 态 规 划 匹 配 点 和 遮 挡 点 如 图 4.10 所 示, E match 定 义 为 参 考 图 像 行 和 目 标 图 像 行 上 所 有 匹 配 点 对 的 匹 配 代 价 和 : Cost ( i, j) (4-1) Ematch 其 中 (i,j) 为 两 行 像 素 的 匹 配 点 对, Cost( i, j ) 为 i 点 和 j 点 的 匹 配 代 价 E 的 遮 挡 代 价 和 : Eskip skip 为 所 有 遮 挡 点 i Pen() i (4-13) 其 中 i 为 两 行 像 素 中 的 遮 挡 点, 根 据 立 体 匹 配 的 顺 序 性 约 束 ( 匹 配 点 对 之 间 没 有 交 叉 ), 得 到 状 态 转 移 方 程 : E( i, j) min( A, B, C) A E( i 1, j 1) Cost( i, j) B E( i 1, j) Pen( i) C E( i, j 1) Pen( j) (4-14) A 情 况 代 表 像 素 点 i 和 像 素 点 j 两 点 匹 配, 对 应 地,i 的 视 差 值 为 i-j;b 情 况 代 表 像 素 点 i 为 遮 挡 点,C 情 况 代 表 像 素 点 j 为 遮 挡 点 4.4. 采 用 单 个 像 素 代 价 作 为 匹 配 代 价 若 采 用 单 个 像 素 代 价 作 为 匹 配 代 价, 本 小 节 采 用 代 价 函 数 Cost(i,j) 为 : Cost ( i, j) Ilc( i) Irc( j) (4-15) c{r,g,b} 即 三 个 通 道 绝 对 差 值 之 和, 本 文 采 用 的 遮 挡 代 价 函 数 为 常 数 函 数, 即 : 其 中 P 为 匹 配 参 数 Pen() i P (4-16) 分 别 采 用 不 同 的 P 值 ( 遮 挡 代 价 ) 对 DP 算 法 进 行 测 试, 测 试 结 果 如 图 4.11 所 示 : 44

51 图 4.11 动 态 规 划 算 法 不 同 P 值 测 试 结 果 执 行 时 间 610ms 由 于 动 态 规 划 算 法 按 行 扫 描 进 行 最 优 化 匹 配, 只 考 虑 了 单 行 像 素 之 间 的 顺 序 约 束, 并 没 有 考 虑 行 间 像 素 视 差 值 得 平 滑 度, 所 以 相 邻 行 间 像 素 的 视 差 值 差 异 可 能 会 很 大, 使 得 视 差 图 有 明 显 的 条 纹 效 应 随 着 遮 挡 代 价 的 增 加, 遮 挡 点 变 少, 而 条 纹 效 应 愈 加 明 显 ; 而 随 着 遮 挡 代 价 缩 小, 遮 挡 点 变 多, 条 纹 效 应 减 弱 AW+DP 算 法 由 于 DP 算 法 本 身 并 没 有 考 虑 不 同 像 素 行 间 的 约 束, 而 通 过 匹 配 代 价 聚 合 可 以 在 一 定 程 度 上 融 入 行 间 约 束 本 小 节 对 AW+DP 算 法 进 行 测 试, 即 采 用 自 适 应 权 值 (AW) 算 法 进 行 匹 配 代 价 聚 合, 代 价 聚 合 函 数 为 (4-7) 其 中, 各 个 函 数 的 配 置 同 节, 采 用 不 同 的 AW 窗 口 的 DP 算 法 实 验 结 果 如 图 4. 所 示 (P=0): 45

52 1*1 AW+DP 耗 时 899 ms 15*15 AW + DP 耗 时 1136 ms 1*1 AW+DP 耗 时 ms 33*33 AW+DP 耗 时 9978 ms 图 4.1 采 用 不 同 的 AW 窗 口 的 DP 算 法 视 差 图 注 意 到 1*1 窗 口 的 AW 算 法 退 化 为 单 个 像 素 的 匹 配 代 价, 故 效 果 和 图 4.11 第 一 幅 图 效 果 一 样 随 着 窗 口 的 增 大,DP 算 法 的 条 纹 效 应 得 到 减 弱, 而 时 间 开 销 增 大 从 实 验 结 果 可 以 看 出, 由 于 大 尺 度 窗 口 的 AW 算 法 并 不 影 响 视 差 图 轮 廓, 使 得 AW+DP 算 法 极 大 地 保 留 了 物 体 的 边 缘 信 息 FBS+DP AW+DP 算 法 由 于 AW 算 法 本 身 计 算 代 价 较 大 使 得 算 法 整 体 的 时 间 花 销 非 常 高, 在 4.3 节 中, 采 用 子 窗 口 的 快 速 双 边 滤 波 (FBS) 算 法 能 有 效 地 提 高 算 法 的 处 理 速 度,3*3 子 窗 口 的 FBS 算 法 处 理 速 度 是 相 同 大 小 窗 口 的 AW 算 法 处 理 速 度 的 9 倍 左 右 (FBS 子 窗 口 内 代 价 采 用 了 Box-filter 加 速 计 算 ),5*5 子 窗 口 的 FBS 算 法 处 理 速 度 则 是 AW 算 法 的 5 倍 左 右, 随 着 子 窗 口 的 增 大,FBS 处 理 速 度 加 快, 但 是 相 应 地 视 差 图 的 准 确 度 下 降, 在 实 验 中, 采 用 3*3 子 窗 口 的 FBS 算 法 效 果 最 佳 在 本 小 节 中, 采 用 3*3 子 窗 口 FBS 算 法,P=0*9,( 第 一 幅 图 采 用 1*1,P=0) 计 算 匹 配 代 价 ( 其 余 配 置 同 4.3. 节 ), 再 采 用 动 态 规 划 获 取 视 差 值, 不 同 窗 口 大 小 的 FBS 算 法 的 测 试 46

53 结 果 如 下 : 1*1 FBS+DP 耗 时 998 ms 15*15 FBS + DP 耗 时 3096 ms 1*1 FBS+DP 耗 时 4809 ms 33*33 FBS + DP 耗 时 156 ms 图 4.13 不 同 窗 口 的 FBS+DP 算 法 实 验 结 果 同 AW+DP 算 法 的 结 果 类 似,1*1 窗 口 的 BFS 算 法 退 化 为 单 个 像 素 的 代 价 匹 配 ; 随 着 窗 口 的 增 大,DP 算 法 的 条 纹 效 应 减 弱 ( 台 灯 边 缘 误 差 主 要 由 于 FBS 算 法 误 差 造 成, 参 见 4.8 和 4.9), 但 时 间 开 销 增 大,33*33 的 FBS+DP 算 法 耗 时 1s, 比 AW+DP 99s 快 了 9 倍 左 右, 匹 配 效 果 比 AW+DP 算 法 稍 逊 4.5 半 全 局 匹 配 (SGM) 算 法 全 局 匹 配 算 法 上 述 的 FW,AW,FBS 算 法 在 匹 配 代 价 聚 合 环 节 之 后, 仅 仅 是 通 过 WA(Winner akes All) 算 法 得 到 每 个 像 素 点 的 视 差 值, 并 没 有 考 虑 该 像 素 点 周 围 其 他 像 素 的 视 差 值 之 间 的 平 滑 约 束, 因 此 局 部 匹 配 算 法 产 生 的 视 差 图 视 差 并 不 平 滑 ; 而 全 局 匹 配 算 法 则 将 平 滑 性 约 束 考 虑 到 数 学 模 型 当 中 局 部 匹 配 算 法 通 常 使 用 WA 算 法, 可 以 使 用 如 下 模 型 表 示 : 47

54 D( i, j) arg min Cost( i, j, d)(mind d maxd) (4-17) 其 中 D(i,j) 表 示 (i,j) 像 素 点 的 视 差 值,Cost(i,j,d) 为 (i,j) 点 和 (i,j-d) 点 的 匹 配 代 价, 从 这 个 模 型 也 可 以 看 出, 各 个 像 素 点 (i,j) 的 视 差 值 D(i,j) 与 其 他 点 的 视 差 值 无 关, 因 此 局 部 算 法 另 外 一 个 优 势 是 并 行 化 计 算 实 现 较 为 简 单 全 局 匹 配 算 法 的 模 型 表 示 为 : E(d) Edata (d) E smooth (d) (4-18) 其 中 d 表 示 视 差 函 数, 全 局 立 体 匹 配 算 法 将 令 Ed ( ) 取 得 最 小 值 的 d 函 数 作 为 最 终 的 视 差 函 数 其 中 E data (d) 表 示 所 有 像 素 点 的 匹 配 代 价 : E (d) Cost ( i, j, d( i, j)) (4-19) (d) smooth data E 表 示 所 有 像 素 点 的 平 滑 代 价, 若 只 考 虑 4 邻 域 平 滑 度, 可 表 示 为 : i, j i, j E (d) Smo ( d ( i, j ) d ( i, j 1)) Smo ( d ( i, j ) d ( i, j 1)) smooth 其 中 Smo 为 不 同 的 平 滑 模 型 函 数 4.5. 单 扫 描 线 算 法 Smo( d( i, j) d( i, j 1)) Smo( d( i, j) d( i, j 1)) (4-0) 在 全 局 匹 配 算 法 中, 能 量 函 数 E(d) 中 变 量 d 可 以 看 作 一 个 w*h(w 和 h 为 图 片 的 宽 和 高 ) 维 的 向 量, 对 于 100*100 的 小 图 片 而 言,d 的 维 度 为 100*100=10000, 若 采 用 穷 举 的 方 式, 则 有 (maxd-mind) 种 可 能, 采 用 传 统 的 能 量 最 小 化 算 法 ( 如 模 拟 退 火 算 法 ), 则 可 能 会 由 于 收 敛 速 度 慢 使 得 算 法 耗 时 太 长 在 全 局 匹 配 算 法 中, 若 平 滑 函 数 只 考 虑 与 之 临 近 的 一 个 像 素, 即 : E (d) ( (, ) (, )) smooth Smo d i j d i ir j jr (4-1) i, j 其 中 ( j, i ) 为 扫 描 方 向 :(1,0) 为 自 左 向 右 扫 描 ;(0,1) 为 自 上 向 下 扫 描 ;(-1,0) 为 自 右 向 r r 左 扫 描,(0,-1) 为 自 下 往 上 扫 描 等 本 小 节 采 用 的 平 滑 模 型 函 数 为 : 0 x 0 Smo( x) P1 x 1 P x 则 全 局 函 数 可 以 通 过 该 方 向 扫 描 进 行 动 态 规 划 得 到 最 优 解 : E( i, j, d) Cost( i, j, d) min( A, B, C) A E( i ir, j jr, d) B min( E( i ir, j jr, d 1), E( i ir, j jr, d 1)) P1 C min( E( i ir, j jr, d k), E( i ir, j jr, d k)) P (k 1) (4-) (4-3) 通 常 P P1, 所 以 上 式 可 以 优 化 为 : C min( E( i ir, j j, k)) P (mind k maxd) (4-4) r 从 而 避 免 了 C 式 中 对 每 一 个 不 同 d 值 遍 历 不 同 k 值 的 花 销 ( 对 所 有 的 d 值, 只 需 提 前 计 算 一 次 本 小 节 中 使 用 三 个 通 道 的 绝 对 差 值 作 为 匹 配 代 价, 即 : 48

55 Cost ( i, j, d) Ilc( i, j) Irc( i, j d) (4-5) c{r,g,b} 分 别 采 用 向 右 右 下 向 下 左 下 四 个 扫 描 方 向 进 行 测 试, 实 验 结 果 如 图 4.14 所 示 (P1=10,P=40): 图 4.14 分 别 采 用 向 右 右 下 向 下 左 下 四 个 扫 描 方 向 结 果 耗 时 115ms 多 扫 描 线 ( 半 全 局 SGM) 算 法 从 4.14 实 验 结 果 可 以 看 出, 采 用 单 一 扫 描 线 的 算 法 和 图 4.11 动 态 规 划 算 法 结 果 类 似, 均 出 现 了 明 显 的 视 差 条 纹, 为 了 解 决 这 一 问 题,H. Hirschmuller[38] 于 005 年 提 出 一 种 半 全 局 的 立 体 匹 配 算 法, 该 算 法 的 核 心 思 想 就 是 通 过 从 若 干 个 方 向 进 行 扫 描 (4 个 到 16 个 ), 取 这 几 个 方 向 能 量 函 数 之 和 最 小 的 d 为 视 差 值, 即 : D( i, j) arg min E ( i, j, d) (4-6) 其 中 Er(i,j,d) 表 示 像 素 点 在 不 同 的 扫 描 方 向 上 的 能 量 值, 考 虑 到 Er 本 身 会 随 着 扫 描 线 方 向 不 断 增 大, 为 避 免 溢 出, 采 用 : r r 49

56 E( i, j, d) Cost( i, j, d) min( A, B, C) min( E( i ir, j jr, k)) (mind k maxd) A E( i ir, j jr, d) (4-7) B min( E( i ir, j jr, d 1), E( i ir, j jr, d 1)) P1 C min( E( i ir, j jr, k)) P (mind k maxd) 本 小 节 使 用 和 4.5. 小 节 相 同 的 代 价 函 数, 使 用 8 个 方 向 ( 右 左 右 下 左 上 向 下 向 上 左 下 右 上 ), 用 不 同 的 P1 和 P 参 数 对 SGM 算 法 进 行 测 试, 测 试 结 果 如 图 4.15 所 示 : 图 4.15 SGM 算 法 测 试 结 果 左 图 P1=P=0 右 图 P1=8 P=3 耗 时 69ms 从 图 中 可 以 看 出, 当 P1=P=0 时, 平 滑 约 束 为 0,SGM 算 法 退 化 为 局 部 算 法 ( 窗 口 为 1*1), 使 得 视 差 图 非 常 粗 糙 ( 物 体 边 缘 轮 廓 明 显 ), 而 当 加 入 了 平 滑 约 束 P1=8 P=3 时,SGM 算 法 得 到 的 视 差 图 则 要 明 显 平 滑 ( 边 缘 明 显 ) 于 左 图 此 外, 由 于 采 用 了 8 个 方 向 进 行 扫 描,SGM 算 法 克 服 了 单 扫 描 线 匹 配 算 法 的 条 纹 效 应, 在 时 间 开 销 上 大 约 为 单 扫 描 线 算 法 的 8 倍 (8 个 方 向 需 要 分 别 计 算 ), 另 外 由 于 采 用 8 个 方 向 扫 描 需 要 储 存 整 张 图 片 大 量 的 数 据, 若 实 际 计 算 资 源 不 足 时, 也 可 以 采 用 4 个 方 向 扫 描, 只 需 要 保 存 两 行 数 据 即 可 SGM+FW 算 法 本 小 节 对 SGM+FW 算 法 进 行 测 试, 即 使 用 固 定 窗 口 (FW) 算 法 聚 合 匹 配 代 价, 即 Cost( i, j, d) SAD( i, j, d), 其 中 SAD 函 数 定 义 为 (4-1): 由 于 FW 算 法 可 以 通 过 Box-Filtering 算 法 加 速, 使 得 SGM 算 法 和 SGM+FW 算 法 时 间 消 耗 基 本 相 同, 采 用 不 同 尺 寸 SAD 窗 口 的 SGM 算 法 实 验 结 果 如 图 4.16 所 示 : 50

57 1*1 FW+SGM 耗 时 639 ms 5*5 FW + SGM 耗 时 608 ms 9*9 FW+SGM 耗 时 639 ms 13*13 FW + SGM 耗 时 608 ms 图 4.16 不 同 窗 口 的 FW+SGM 算 法 实 验 结 果 当 SAD 窗 口 为 1*1 时, 算 法 退 化 为 单 个 像 素 代 价 的 SGM 算 法, 从 图 中 可 以 看 出, 随 着 SAD 窗 口 的 增 大, 视 差 图 平 滑 度 增 加, 缺 失 更 多 的 边 缘 信 息 ( 物 体 的 整 齐 的 轮 廓 变 得 扭 曲 ) SGM+AW 算 法 本 小 节 对 SGM+AW 算 法 进 行 测 试, 即 使 用 自 适 应 权 值 算 法 (AW) 聚 合 匹 配 代 价, Cost( i, j, d ) = E( p, p d ),p 为 参 考 图 像 中 的 像 素 点 ( i, j ), p d 为 目 标 图 像 中 的 像 素 点 ( i, j d) : w( p, q) w( p, ), d qd e0 ( q, q ) qn d p qd N pd E( p, pd ) (4-8) w( p, q) w( p, q ) q N p, qd N pd 式 中 各 个 函 数 的 配 置 同 节, 采 用 不 同 窗 口 的 AW+SGM 算 法 的 实 验 结 果 如 下 : d d 51

58 1*1 AW+SGM 耗 时 84 ms 11*11 AW + SGM 耗 时 1558 ms 1*1 AW+SGM 耗 时 ms 31*31 AW + SGM 耗 时 ms 图 4.17 不 同 窗 口 的 AW+SGM 算 法 实 验 结 果 与 FW+SGM 算 法 一 样,1*1 窗 口 的 AW+SGM 算 法 退 化 为 单 个 像 素 代 价 的 SGM 算 法, 随 着 AW 窗 口 的 增 大, 视 差 图 更 加 平 滑 误 差 更 小, 与 FW 算 法 不 同 的 是, 物 体 的 边 缘 仍 然 十 分 清 晰, 但 是 时 间 消 耗 巨 大 31*31 窗 口 的 AW+SGM 算 法 为 1*1 窗 口 算 法 的 近 100 倍 耗 时 一 种 迭 代 的 SGM 算 法 SGM 算 法 的 核 心 思 想 是 通 过 多 个 单 方 向 扫 描 结 果 之 和 取 得 全 局 函 数 的 近 似 值, 本 文 提 出 一 种 迭 代 的 SGM 算 法, 迭 代 使 用 SGM 算 法 对 视 差 图 进 行 平 滑 算 法 流 程 如 下 : (1) 使 用 某 一 种 匹 配 代 价 函 数 (FW AW 等 ) 计 算 匹 配 代 价 Cost(i,j,d) () 对 n 个 方 向 计 算 Er(i,j,d) (3) 令 Cost(i,j,d) = r Er(i,j,d)/n (4) 若 到 达 迭 代 次 数 上 限 则 转 (5), 否 则 继 续 迭 代, 转 () (5) 采 用 WA 得 到 视 差 值 D(i,j) = arg min Cost(i,j,d) 本 小 节 采 用 单 像 素 不 同 通 道 绝 对 差 值 和 作 为 匹 配 代 价, 迭 代 不 同 的 次 数 进 行 实 验, 5

59 实 验 结 果 如 图 4.18 所 示 : 1 次 SGM 耗 时 670 ms670ms 5 次 SGM 耗 时 886 ms 10 次 SGM 耗 时 5651 ms 100 次 SGM 耗 时 ms 4.18 不 同 迭 代 次 数 的 SGM 算 法 实 验 结 果 =1 时, 本 算 法 退 化 为 SGM 算 法, 当 =5 时, 视 差 图 明 显 平 滑 于 SGM 算 法 的 视 差 图, 另 外 迭 代 次 数 为 的 效 果 差 异 不 大 ( 不 考 虑 左 图 边 界 遮 挡 区 域 ), 说 明 算 法 在 5 次 就 几 乎 达 到 收 敛 了 由 于 采 用 单 个 像 素 代 价 作 为 匹 配 代 价, 得 到 的 视 差 图 虽 然 平 滑, 但 是 物 体 的 边 缘 信 息 得 到 了 保 留, 如 雕 塑 的 直 线 轮 廓 和 桌 子 的 直 线 轮 廓 等 4.6 立 体 匹 配 优 化 技 术 左 右 一 致 性 检 验 (LRC) 利 用 立 体 匹 配 的 左 右 一 致 性 约 束 对 视 差 图 进 行 左 右 一 致 性 检 验, 是 遮 挡 检 测 常 用 的 手 段 LRC 过 程 为 : 先 以 左 视 图 为 参 考 图 像, 右 视 图 为 目 标 图 像 得 到 左 图 中 像 素 点 i 的 视 差 值 DL () i, 再 以 右 图 像 为 参 考 图 像, 左 图 像 为 目 标 图 像 计 算 得 到 右 图 像 素 点 j 视 差 值 DR () j, 若 两 次 计 算 得 到 的 视 差 值 一 致 ( D ( i) D ( i D( i))), 则 通 过 一 致 性 检 验 ( 视 差 值 有 效 ), 否 则 过 滤 该 点 ( 视 差 值 无 效 ) L 本 小 节 通 过 7*7 的 FW 算 法, 采 用 左 右 值 检 验 的 结 果 如 图 4.19 所 示 : R 53

60 图 4.19 左 右 一 致 性 检 验 ( 右 图 ) FW 7*7( 左 图 ) 从 图 中 可 以 看 出, 物 体 存 在 遮 挡 的 地 方 ( 边 界 处 居 多 ) 以 及 一 些 无 匹 配 点 通 过 左 右 一 致 性 检 验 被 赋 予 无 效 值 ( 黑 色 像 素 ) 4.6. 唯 一 性 检 验 在 唯 一 性 约 束 假 设 中, 无 论 是 对 于 参 考 图 像 还 是 目 标 图 像, 图 像 上 的 每 一 个 像 素 点 至 始 至 终 最 多 ( 发 生 遮 挡 时 没 有 匹 配 ) 只 能 和 另 一 图 像 上 的 一 个 像 素 点 匹 配 通 常 立 体 匹 配 算 法 本 身 满 足 参 考 图 像 的 唯 一 性 假 设, 但 并 不 能 保 证 目 标 图 像 的 唯 一 性, 因 此 唯 一 性 检 验 主 要 检 查 目 标 图 像 上 的 每 一 点 是 否 存 在 多 个 参 考 图 像 上 的 点 与 之 对 应, 若 同 时 有 多 个 参 考 图 像 上 的 点 i1,i... 同 时 和 目 标 图 像 上 的 某 一 点 j 匹 配, 即 : i D( i ) i Di i D( i ) j (4-9) 1 1 程 序 中 通 常 取 和 j 匹 配 代 价 最 小 的 点 ii 之 间 的 视 差 作 为 ii 的 视 差 值, 其 余 的 i 点 视 为 与 j 的 误 匹 配 点 本 小 节 在 图 4.19 左 右 一 致 性 检 验 的 基 础 之 上 进 行 唯 一 性 检 验, 结 果 如 图 4.0 所 示 : 连 通 域 阈 值 过 滤 在 实 际 情 况 中, 通 过 左 右 一 致 性 检 验 和 唯 一 性 检 验 并 不 能 完 全 过 滤 掉 无 匹 配 的 像 素 点 通 常 情 况 下, 误 匹 配 的 像 素 点 和 与 之 视 差 值 相 似 的 临 近 像 素 点 组 成 的 连 通 域 面 积 比 较 小, 可 以 通 过 筛 选 视 差 图 连 通 域 面 积 较 小 的 像 素 点 去 掉 误 匹 配 点 本 小 节 采 用 广 度 优 先 搜 索 算 法 进 行 连 通 域 面 积 域 值 过 滤, 算 法 流 程 如 下 : (1) 初 始 化 所 有 像 素 点 i 的 标 签 label[i] 为 未 标 记 (=-1), 标 签 计 数 器 labelc=0 () 遍 历 所 有 像 素 点 i, 若 i 已 经 有 标 签 p,p=label[i], 则 判 断 标 签 p 的 面 积 是 否 小 于 阈 值 minarea(area[p]<minarea), 若 小 于, 则 令 i 为 无 效 点 ; 若 i 没 有 标 签, 执 行 (3) (3) 初 始 化 面 积 技 术 器 count=0, 将 像 素 点 i 放 入 队 列 queue 中 (4) 从 队 列 中 取 出 像 素 点 j,count++, 标 记 j 为 标 签 labelc(label[j]=labelc) (5) 把 j 邻 域 的 像 素 点 中, 没 有 标 记 过 和 j 点 视 差 值 相 差 不 超 过 diff 的 像 素 点 放 入 队 n n 54

61 列 queue 中 (6) 如 果 queue 为 空, 则 算 法 结 束, 否 则 转 (4) 本 小 节 使 用 diff=1,minarea=00 对 4.6. 得 到 的 视 差 图 进 行 连 通 域 阈 值 过 滤, 为 通 过 过 滤 的 像 素 点 如 图 4.0 所 示 : 图 4.0 唯 一 性 检 验 ( 左 ) 连 通 域 阈 值 过 滤 ( 右 ) 亚 像 素 精 度 视 差 大 部 分 立 体 匹 配 算 法 得 到 的 视 差 值 都 为 离 散 的 整 形 数 值, 由 此 重 建 得 到 的 物 体 表 面 通 常 呈 鱼 鳞 块 状 ( 不 够 平 滑 ), 为 了 提 高 视 差 图 的 精 确 度 平 滑 度 ( 亚 像 素 级 的 平 滑 度 ), 提 高 三 位 重 建 的 精 度, 通 常 采 用 曲 线 拟 合 的 方 式 得 到 视 差 值 的 亚 像 素 精 度 值, 在 本 文 中 使 用 抛 物 线 拟 合 视 差 代 价 的 方 式 获 取 亚 像 素 精 度 的 视 差 值 : 假 设 通 过 计 算 得 到 了 像 素 点 ( i, j ) 的 匹 配 代 价 Cost( i, j, d ), 则 像 素 级 视 差 值 D 为 当 匹 配 代 价 取 得 最 小 值 是 对 应 的 d 的 值, 即 D min arg Cost( i, j, d) (4-30) d 以 D 为 参 考 点, Cost( i, j, d ) 在 D-1,D,D+1 三 点 的 值 为 C(-1),C(0),C(1), 通 过 抛 物 线 拟 合 D-1,D,D+1 三 点 的 匹 配 代 价 值, 如 图 4.1 所 示 : 图 4.1 抛 物 线 拟 合 视 差 代 价 55

62 b 设 拟 合 抛 物 线 方 程 为 : y ax bx c, 抛 物 线 在 x 处 取 得 极 小 值, 则 有 方 程 组 : a a 1 b ( 1) c C( 1) a 0 b 0 c C(0) a 1 b 1 c C(1) (4-31) b x a 求 解 上 述 方 程 组, 得 到 经 过 抛 物 线 拟 合 的 亚 像 素 精 度 的 视 差 值 为 : ˆ C( 1) C(1) d x D D C( 1) 4C(0) C(1) (4-3) 56

63 5 三 维 重 建 5.1 获 取 三 维 坐 标 通 过 第 三 章 的 立 体 矫 正 方 法, 将 通 常 情 况 下 非 平 行 摄 像 机 模 型 摄 像 机 对 拍 摄 的 图 片 对 矫 正 为 为 平 行 摄 像 机 模 型 摄 像 机 对 拍 摄 的 图 片 图 5.1 平 行 摄 像 机 几 何 示 意 图 平 行 摄 像 机 模 型 的 简 单 几 何 示 意 图 如 图 5.1 所 示, 以 左 摄 像 机 的 成 像 坐 标 系 为 参 考 坐 标 系, 通 过 相 似 三 角 形 关 系, 空 间 中 某 一 点 P( X, Y, Z ) 有 如 下 关 系 : f f Z xl xr d x l X d y l Y d (5-1) 其 中 d 为 P 点 在 左 图 中 对 应 像 素 点 的 视 差 值 ( 通 过 立 体 匹 配 得 到 ), xl u u0,yl v v0, ( uv, ) 为 P 点 在 左 图 中 坐 标,( u 0, v 0 ) 为 左 摄 像 机 光 心 的 坐 标, 这 些 参 数 都 通 过 预 先 对 摄 像 机 标 定 获 取 5. OpenGL 点 云 图 本 文 采 用 Qt+OpenGL 绘 制 点 云 图, 具 体 过 程 如 下 : (1) 对 于 左 图 中 的 每 一 个 像 素 点 i, 若 通 过 立 体 匹 配 计 算 得 到 i 点 的 视 差 值 有 效 ( 非 遮 挡 点 或 被 过 滤 掉 的 像 素 点 ), 则 进 行 () (3) 操 作 () 通 过 OpenGL 接 口 将 绘 制 颜 色 设 置 为 像 素 点 i 在 左 图 中 的 颜 色 (3) 计 算 出 i 点 的 相 对 于 左 摄 像 机 的 三 维 坐 标 值 (X,Y,Z), 并 通 过 OpenGL 绘 制 该 点 ( 具 有 57

64 物 体 的 颜 色 信 息 ) 采 用 上 述 方 式 绘 制 的 点 云 图 带 有 简 单 的 纹 理, 使 得 重 建 物 体 色 彩 丰 富, 辨 认 度 较 高, 采 用 DP+AW 立 体 匹 配 算 法 的 三 维 重 建 结 果 如 图 5. 所 示 : 左 摄 像 机 拍 摄 左 图 右 摄 像 机 拍 摄 右 图 图 5. 三 维 重 建 点 云 重 建 图 58

65 总 结 本 文 着 重 对 双 目 立 体 视 觉 三 维 重 建 中 的 标 定 和 立 体 匹 配 进 行 了 研 究, 实 现 了 经 典 的 角 点 检 测 Moravec Harris Nobel Shi-omasi 算 法, 以 及 分 别 采 用 二 次 曲 面 拟 合 方 法 和 基 于 向 量 点 乘 的 方 法 提 取 亚 像 素 精 度 角 点 实 现 了 经 典 的 固 定 窗 口 FW 算 法, 并 采 用 Box-filtering 加 速 实 现 了 自 适 应 权 值 AW 算 法 以 及 快 速 双 边 滤 波 立 体 匹 配 FBS 算 法 实 现 了 动 态 规 划 DP 立 体 匹 配 算 法, 并 将 AW 和 FBS 算 法 作 为 DP 算 法 的 匹 配 代 价 聚 合 算 法 分 别 进 行 测 试 ; 实 现 了 单 扫 描 线 多 扫 描 线 算 法, 实 现 了 SGM+FW 以 及 SGM+AW 算 法 本 文 提 出 一 种 迭 代 的 SGM 算 法, 该 算 法 在 tsukuba 测 试 图 片 上 表 现 良 好, 且 时 间 消 耗 并 不 太 多 ( 为 SGM 算 法 的 -5 倍 处 理 时 间 ) 尽 管 如 此, 由 于 时 间 有 限, 本 文 仍 存 在 着 以 下 不 足 以 及 一 些 尚 待 改 进 的 地 方 : (1) 对 各 个 立 体 匹 配 算 法 的 测 试 并 不 严 格, 在 未 来 的 工 作 中, 将 考 虑 使 用 Middlebury 网 站 上 提 供 的 测 试 对 算 法 的 各 项 性 能 逐 一 进 行 测 试, 并 得 到 定 量 ( 准 确 度 误 匹 配 率 等 ) 的 指 标 () 本 文 提 出 的 迭 代 的 SGM 算 法 在 匹 配 代 价 和 平 滑 代 价 量 纲 上 还 有 改 进 的 空 间 (3) 本 文 最 终 通 过 三 维 点 云 图 表 现 三 维 重 建 结 果, 点 云 图 是 离 散 化 数 据, 随 着 重 建 比 例 的 放 大, 点 云 图 会 变 得 稀 疏, 呈 现 明 显 的 散 点 状 在 将 来 考 虑 进 行 点 云 网 格 化, 再 进 行 纹 理 映 射 以 解 决 这 个 问 题 59

66 作 者 在 读 期 间 科 研 成 果 介 绍 60

67 参 考 文 献 [1] 章 毓 晋. 图 像 理 解 与 一 计 算 机 视 觉, 北 京 : 清 华 大 学 出 版 社,000. [] 郑 志 刚. 高 精 度 摄 像 机 标 定 和 鲁 棒 立 体 匹 配 算 法 研 究 [D]. 中 国 科 学 技 术 大 学,008 [3] 刘 英 杰. 基 于 动 态 规 划 和 置 信 传 播 的 立 体 匹 配 算 法 的 研 究 [D]. 燕 山 大 学,011 [4] 赵 宗 涛. 计 算 机 视 觉 三 维 重 建 理 论 与 应 用 [D]. 西 北 大 学,004 [5] 周 星, 高 志 军. 立 体 视 觉 技 术 的 应 用 与 发 展 [J]. 工 程 图 学 学 报,010(4):50-55 [6] 于 辉, 左 洪 福, 黄 传 奇. 立 体 视 觉 在 航 空 发 动 机 无 损 检 测 中 的 应 用 [J]. 无 损 检 测,003(5):9-33 [7] 曾 一 庭. 基 于 立 体 视 觉 的 牙 模 三 维 重 建 系 统 的 研 究 [D]. 重 庆 大 学,009 [8] 马 颂 德, 张 正 友. 计 算 机 视 觉 - 计 算 理 论 与 算 法 基 础 [M], 科 学 出 版 社,1998. [9] 中 国 科 学 院 自 动 化 研 究 所 - 模 式 识 别 国 家 重 点 实 验 室. 摄 像 机 标 定 [EB/OL]. [10] A bdel-aziz Y I,Karara. HM Direct linear transformation into object space coordinates in Close-Range Photogrammetry[J].In:Proc Symposition on Close-Range Photogrammmetry,1971:1-18 [11] sai R Y.An efficient and accurate camera calibration technique for 3D machine vision[j].in:proc CVPR 86, [1] Zhang zheng you. A Flexible Camera Calibration by Viewing a Plane from Unknown Orientations,ICCV99 [13] 李 鹏, 王 军 宁. 摄 像 机 标 定 方 法 综 述 [J]. 山 西 电 子 技 术,007(4):77-79 [14] 宰 小 涛. 基 于 SIF 特 征 描 述 子 的 立 体 匹 配 算 法 研 究 [D]. 上 海 交 通 大 学.007 [15] Scharstein D, Szeliski R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[a]. International Journal of Computer Vision, 00, 47(1-3):7 4. [16] D. Scharstein. Matching images by comparing their gradient fields[a]. In ICPR, vol. 1, pp , [17] R. Zabih and J. Woodfill. Non-parametric local transforms for computing visual correspondence[a].in ECCV, vol. II, pp , [18] H. Hirschmuller, P. Innocent, and J. Garibaldi, Real-time correlation-based stereo vision with reduced border errors[a] Int. Journ. of Computer Vision, 47:1 3, 00 [19] M. Gerrits and P. Bekaert. Local Stereo Matching with Segmentation-based Outlier Rejection In Proc. Canadian Conf. on Computer and Robot Vision (CRV 006),pages 66-66, 006 [0] K. Yoon and I. Kweon, Adaptive support-weight approach for correspondence search, IEEE rans. PAMI, 8(4): , 006 [1] Yuri Boykov, Olga Veksler, and Ramin Zabih. Fast approximate energy minimization via graph cuts. IEEE ransactions on Pattern Analysis and Machine Intelligence, 3(11):1 139, November

68 [] 施 陈 博. 快 速 图 像 配 准 和 高 精 度 立 体 匹 配 算 法 研 究 [D]. 清 华 大 学,011 [3] 王 二 柱. 基 于 点 云 的 三 维 重 建 系 统 研 究 与 实 现 [D]. 哈 尔 滨 工 业 大 学,011 [4] 苏 晋. 摄 像 机 标 定 方 法 研 究 [D]. 东 北 大 学,010 [5] 杨 彦 景. 摄 像 机 标 定 与 畸 变 图 像 矫 正 算 法 的 设 计 与 实 现 [D]. 东 北 大 学,008 [6] R. Y. sai. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-shelf tv cameras and lenses. IEEE Journal of Robotics and Automation, 3(4):33 344, Aug [7] 姚 静. 摄 像 机 标 定 相 关 问 题 研 究 [D]. 南 京 理 工 大 学,01 [8] MORAVEC H P. owards automatic visual obstacle avoidance[c]. Proceeding of IJCA I. Cambridge.1977: [9] C.Harris, M.Stephens. A Combined Corner and Edge Detector[C].Proc of 4 th Alvey Vision Conference,1988: [30] J.Shi,J.Malik. Good features to track[c].ieee ransactions on Pattern Analysis and Machine Intelligence,000: [31] 陈 光. 亚 像 素 级 角 点 提 取 算 法 [D]. 吉 林 大 学,009 [3] CHRISOPH SOCK, ULRICH MÜHLMANN. Sub-pixel Corner Detection for racking Applications using CMOS Camera echnology[c].6th Workshop of the Austrian Association for Pattern Recognition (ÖAGM/AAPR), Graz Austria: [s. n.], 00: [33] J.A.Noble.Finding corners. Image and Vision Co mputing,1988,6 () : [34] 殷 虎 基 于 图 像 分 割 的 立 体 匹 配 算 法 研 究 [D]. 南 京 航 空 航 天 大 学,010 [35] M.Mc Donnel. Box-filtering techniques[c]. Computer Graphics and Image Processing 17:65-70,1981 [36] Bouguet JY. Perona P, Camera calibration from points and lines in dual-space geometry. Proc. European Conference on Computer Vision, [37] S. Mattoccia, S. Giardino,A. Gambini. Accurate and efficient cost aggregation strategy for stereo correspondence based on approximated joint bilateral filtering[c].asian Conference on Computer Vision (ACCV009) [38] H. Hirschmuller. Accurate and efficient stereo processing by semi-global matching and mutual information[c]. In IEEE Conference on Computer Vision and Pattern Recognition, volume, pages , San Diego, CA, USA, June

69 声 明 本 人 声 明 所 呈 交 的 学 位 论 文 是 本 人 在 导 师 指 导 下 进 行 的 研 究 工 作 及 取 得 的 研 究 成 果 据 我 所 知, 除 了 文 中 特 别 加 以 标 注 和 致 谢 的 地 方 外, 论 文 中 不 包 含 其 他 人 已 经 发 表 或 撰 写 过 的 研 究 成 果, 也 不 包 含 为 获 得 四 川 大 学 或 其 他 教 育 机 构 的 学 位 或 证 书 而 使 用 过 的 材 料 与 我 一 同 工 作 的 同 志 对 本 研 究 所 做 的 任 何 贡 献 均 已 在 论 文 中 作 了 明 确 的 说 明 并 表 示 谢 意 本 学 位 论 文 成 果 是 本 人 在 四 川 大 学 读 书 期 间 在 导 师 指 导 下 取 得 的, 论 文 成 果 归 四 川 大 学 所 有, 特 此 声 明 学 位 论 文 作 者 ( 签 名 ) 论 文 指 导 教 师 ( 签 名 ) 014 年 05 月 1 日 63

70 致 谢 首 先 我 在 这 里 向 所 有 给 予 我 帮 助 关 心 和 指 导 的 老 师 领 导 同 学 师 兄 们 表 示 衷 心 地 感 谢! 是 你 们 帮 助 我 在 学 业 上 和 人 生 道 路 上 茁 壮 地 成 长 在 大 四 上 学 期, 我 有 幸 成 为 王 老 师 技 术 讨 论 课 的 学 生, 王 老 师 渊 博 的 知 识 让 我 深 深 的 折 服 了, 在 王 老 师 的 课 堂 上, 前 沿 的 研 究 课 题 以 及 王 老 师 向 我 们 传 达 的 作 为 一 名 中 国 当 代 大 学 生 应 具 有 的 历 史 使 命 感 和 责 任 感, 都 让 我 坚 定 了 投 身 科 研 的 决 心 感 谢 张 磊 师 兄 为 我 的 论 文 提 出 宝 贵 的 意 见 和 建 议, 感 谢 王 老 师 对 我 毕 业 设 计 和 毕 业 论 文 的 悉 心 指 导, 感 谢 所 有 给 予 我 指 导 的 老 师 们, 是 你 们 将 计 算 机 科 学 的 魅 力 转 化 为 我 求 知 的 动 力 64

71 附 录 3 翻 译 ( 原 文 和 译 文 ) 翻 译 原 文 来 自 : Z. Zhang, A flexible new technique for camera calibration,ieee ransactions on Pattern Analysis and Machine Intelligence, (11): , 000. Link: 65

72 译 文 : 一 种 新 的 灵 活 摄 像 机 标 定 技 术 摘 要 论 文 提 出 一 种 新 的 灵 活 容 易 的 摄 像 机 标 定 技 术, 即 使 没 有 任 何 3d 几 何 或 者 计 算 机 视 觉 的 相 关 知 识, 它 只 需 要 摄 像 机 对 一 个 模 型 平 面 采 集 若 干 ( 至 少 两 个 ) 不 同 方 向 的 照 片, 即 可 出 色 的 完 成 标 定 无 论 是 摄 像 机 或 者 标 定 板 都 可 以 自 由 挪 动, 而 并 不 需 要 知 道 摄 像 机 的 姿 态 标 定 还 考 虑 了 摄 像 机 的 径 向 畸 变 论 文 提 出 的 程 序 由 一 个 闭 合 形 式 的 解, 以 及 基 于 最 大 似 然 准 则 的 非 线 性 优 化 文 中 提 到 的 方 法 在 计 算 机 模 拟 和 真 实 数 据 的 测 试 中 都 表 现 优 异 与 使 用 精 确 的 标 定 器 材 如 两 个 或 三 个 正 交 标 定 板 的 传 统 标 定 技 术 相 比, 论 文 提 出 的 方 法 非 常 灵 活 和 易 用 它 把 3D 计 算 机 视 觉 由 实 验 室 环 境 带 到 了 真 实 的 应 用 场 景 关 键 词 : 摄 像 机 标 定, 平 板 标 定, 维 模 型, 绝 对 二 次 曲 线, 射 影 变 换, 镜 头 畸 变, 闭 合 解, 最 大 似 然 估 计, 灵 活 设 定 1 背 景 摄 像 机 标 定 是 计 算 机 视 觉 领 域 里 从 二 维 图 像 提 取 三 维 空 间 信 息 必 不 可 少 的 步 骤 从 摄 影 社 区 ( 见 文 献,4), 到 最 近 的 计 算 机 视 觉 ( 见 文 献 9,8,3,7,6,4,17,6), 已 经 进 行 了 大 量 的 研 究 论 文 可 以 把 这 些 技 术 大 致 分 为 两 类 : 摄 影 测 量 标 定 和 自 标 定 摄 影 测 量 标 定 : 通 过 观 测 一 个 已 知 3d 空 间 几 何 参 数 的 高 精 度 标 定 物 体 来 进 行 摄 像 机 标 定 通 过 这 种 方 式, 能 过 获 取 到 精 确 的 结 果 标 定 物 体 通 常 由 两 个 或 者 相 互 正 交 的 标 定 板, 有 时 候, 仅 一 个 已 知 精 确 转 换 的 标 定 板 也 可 以 用 于 标 定 ( 见 文 献 3), 这 些 方 法 都 要 求 十 分 精 确 的 标 定 仪 器 以 及 复 杂 的 设 置 自 标 定 : 这 一 类 的 标 定 方 法 并 不 需 要 任 何 标 定 物 在 一 个 静 态 的 场 景 中 移 动 摄 像 机, 场 景 的 刚 性 仅 仅 依 靠 靠 图 像 信 息, 就 能 从 这 个 摄 像 机 的 移 动 中, 提 供 摄 像 机 内 参 两 个 约 束 ( 见 文 献 17,15) 因 此, 如 果 由 同 一 个 内 参 不 变 的 摄 像 机 拍 摄, 三 张 照 片 之 间 的 对 应 关 系 足 够 获 取 内 参 和 外 参, 论 文 便 能 通 过 这 些 参 数 进 行 大 致 的 3 维 重 建 虽 然 这 种 方 法 非 常 的 灵 活, 但 由 于 这 个 过 程 中 有 太 多 的 参 数 需 要 拟 合, 所 以 并 未 成 熟 应 用 起 来, 并 不 能 得 到 可 信 的 结 果 其 他 的 一 些 技 术 : 正 交 方 向 的 消 失 点 ( 文 献 3,14) 以 及 纯 旋 转 法 标 定 ( 文 献 11,1) 由 于 桌 面 视 觉 系 统 (DVS) 的 前 景 广 阔, 所 以 论 文 的 研 究 主 要 针 对 DVS 现 在 摄 像 机 越 来 越 普 遍 和 便 宜, 而 DVS 旨 在 非 计 算 机 视 觉 专 家 的 大 众 人 群 一 般 的 计 算 机 用 户 只 是 时 不 时 地 从 事 视 觉 工 作, 而 并 不 愿 意 为 昂 贵 的 设 备 投 资 因 此, 灵 活 鲁 棒 并 且 低 成 本 是 非 常 重 要 的 本 文 提 出 的 标 定 技 术 正 是 基 于 上 述 考 虑 而 开 发 的 本 文 提 出 的 方 法 只 需 要 摄 像 机 从 一 个 平 面 图 案 的 若 干 个 ( 至 少 两 个 ) 方 向 获 取 图 像 图 案 可 以 是 由 激 光 打 印 机 打 印 粘 在 一 个 硬 度 合 适 的 平 面 上 ( 如 一 本 硬 书 壳 ), 不 论 是 摄 像 机 或 者 图 案 都 能 用 手 移 动 摄 像 机 和 图 案 的 姿 态 不 需 要 预 先 知 道 由 于 论 文 只 是 用 了 D 度 量 信 息 而 非 3D 或 者 隐 式 的, 所 以 本 文 提 出 的 方 法 介 于 摄 影 测 量 标 定 和 自 标 定 方 法 之 间 : 在 计 算 机 模 拟 以 及 真 是 出 局 测 试 中 都 得 到 了 非 常 好 的 结 果 与 传 统 标 定 技 术 相 比, 本 文 提 出 的 方 法 非 常 的 灵 活 ; 与 自 标 定 技 相 比, 它 得 到 非 常 鲁 棒 的 结 果 论 文 相 信 这 项 技 术 将 让 3D 计 算 机 视 觉 从 实 验 室 环 境 上 升 到 实 际 应 用 的 台 阶 需 要 指 出 的 是,Billriggs[] 最 近 开 发 出 了 一 种 通 过 至 少 5 张 平 面 场 景 视 图 的 自 标 定 技 术, 他 的 方 法 比 本 文 提 出 的 方 法 更 为 灵 活, 但 是 初 始 化 却 相 当 困 难 Liebowitz 和 Zisserman[14] 描 述 了 一 种 矫 正 方 法, 它 通 过 已 知 的 度 量 信 息 比 如, 一 个 已 知 的 角 度 两 个 相 等 但 未 知 的 角 度 一 个 已 知 的 长 度 比 率 矫 正 图 案 的 透 视 图 他 们 虽 然 没 有 展 示 任 何 实 验 结 果, 但 是 他 们 认 为, 通 过 提 供 3 个 这 样 矫 正 之 后 的 图 案 可 以 标 定 摄 像 机 的 内 部 参 数 本 文 按 照 如 下 方 式 组 织 : 第 节 描 述 了 观 测 单 个 平 面 基 本 的 约 束 第 3 节 描 述 了 标 定 步 骤, 从 闭 合 形 式 解 开 始, 然 后 是 非 线 性 优 化, 还 有 径 向 畸 变 的 建 模 第 4 节 研 究 何 种 情 况 下 该 技 术 会 失 效 在 实 际 操 作 中, 可 以 非 常 容 易 避 免 这 样 的 情 况 第 5 节 提 供 了 实 验 结 果 论 文 使 用 计 算 机 模 拟 以 及 真 实 数 据 来 验 证 该 技 术 在 附 录 中, 论 文 提 供 了 一 些 实 现 的 细 节, 包 括 拟 合 模 型 平 面 和 它 图 像 之 间 单 应 性 矩 阵 的 技 术 基 本 的 方 程 论 文 通 过 观 测 单 一 平 面 来 考 察 摄 像 机 内 参 的 约 束, 本 小 节 开 始 将 列 出 本 文 用 到 了 一 些 记 号.1 表 示 法 66

73 一 个 维 的 点 由 m u v 表 示, 一 个 3D 点 由 M X Y Z 量 的 最 后 一 维 元 素 之 后 加 上 1 的 向 量 : m u v 1 和 M X Y Z 表 示, 论 文 使 用 来 表 示 在 向 1, 摄 像 机 使 用 常 用 的 针 孔 模 型 :3D 中 的 点 M 和 它 的 投 影 图 像 m 的 关 系 如 下 : sm A R t M (1) 其 中 s 是 任 意 的 比 例 因 素,(R,t), 叫 做 外 参, 分 别 为 真 实 的 世 界 坐 标 系 到 摄 像 机 坐 标 系 的 旋 转 和 平 移 变 换,A, 叫 做 摄 像 机 的 内 参, 形 如 : u0 A 0 v 其 中 (u 0,v 0) 为 光 心 的 坐 标,α 和 β 分 别 是 图 像 坐 标 系 u,v 的 比 例 因 子,γ 表 示 两 个 坐 标 轴 的 偏 斜 度 论 文 中 使 用 A 1 缩 略 表 示 ( A ) 1 或 者 ( A ). 平 面 模 型 和 它 的 图 像 之 间 的 单 应 性 矩 阵 不 失 一 般 性, 论 文 假 设 模 型 平 面 位 于 世 界 坐 标 系 中 的 Z=0 平 面 上, 让 r i 表 示 R 矩 阵 的 第 i 列, 从 (1) 有 : X u Y s v Ar1 r r3 t X Ar1 r t Y 1 论 文 依 然 使 用 M 表 示 模 型 平 板 上 的 点, 但 由 于 Z=0, M X Y, 反 过 来, M X Y, 所 以 模 型 上 的 点 M 和 它 对 应 的 图 像 上 的 点 m 通 过 一 个 单 应 性 矩 阵 H 联 系 起 来 : sm HM H A r r t () with 很 明 显,H 是 由 一 个 比 例 因 子 决 定 的 3*3 的 矩 阵.3 内 部 参 数 的 约 束 给 定 一 张 模 型 平 面 的 图 片, 可 以 估 算 出 一 个 单 应 性 矩 阵 ( 见 附 录 A), 论 文 记 为 H=[h 1,h,h 3], 由 () 有 : h h h = A r r t 其 中 λ 是 任 意 的 缩 放 因 子, 注 意 到 r 1,r 是 正 交 的, 有 : 1 h A A h (3) 1 0 h A A h h A A h (4) 以 上 是 对 于 给 定 的 一 个 单 应 性 矩 阵, 内 参 的 两 个 基 本 约 束 由 于 一 个 单 应 性 矩 阵 有 8 个 自 由 度, 外 参 有 6 个 参 数 (3 个 旋 转 参 数 3 个 平 移 参 数 ), 论 文 只 能 得 到 内 参 的 两 个 约 束 注 意 到 A - A -1 实 际 上 描 述 了 图 像 的 绝 对 二 次 型 [16]. 在 下 一 小 章 节 中, 论 文 将 给 出 一 个 几 何 意 义 上 的 解 释.4 几 何 意 义 论 文 现 在 把 (3)(4) 和 绝 对 二 次 型 联 系 起 来 在 摄 像 机 坐 标 系 中, 对 于 模 型 平 面, 按 照 论 文 的 通 常 习 惯, 不 难 证 明 等 式 : 1 67

74 x r3 y 0 rt z 3 w r1 其 中 w=0 表 示 无 穷 远 点, 反 之,w=1 这 两 个 平 面 在 无 穷 处 交 于 一 条 直 线, 论 文 很 容 易 发 现 0 和 r 0 是 该 条 直 线 上 的 两 个 特 殊 点 该 直 线 上 的 任 何 点 均 为 这 两 点 的 线 性 组 合, 即 : r1 r ar1 br x a b 现 在, 论 文 来 计 算 上 述 直 线 和 绝 对 二 次 型 的 交 点, 由 定 义 有, 点 x 即 虚 圆 点, 满 足 : xx 0, 即 : ( ar br ) ( ar br ) 0 或 者 a b 方 程 的 解 为 b ai, 其 中 i 1, 即, 两 个 交 点 即 : r1 ir x a 0 它 们 在 图 像 平 面 由 比 例 因 子 确 定 的 投 影 为 : m A( r 1 ir ) ( h 1 ih ) 1 点 m 在 绝 对 二 次 型 的 图 像 上, 可 以 由 A A [16] 表 示 成 如 下 形 式 : 实 部 和 虚 部 必 都 为 0 即 (3)(4). ( h ih) A A ( h ih ) 摄 像 机 标 定 这 一 节 将 给 出 如 何 高 效 地 解 决 摄 像 机 标 定 问 题 的 详 细 步 骤, 论 文 先 从 解 析 解 开 始, 然 后 基 于 最 大 似 然 规 则 进 行 非 线 性 优 化 最 后, 计 算 镜 头 畸 变, 得 到 解 析 解 和 非 线 性 解 3.1 闭 合 形 式 解 B11 B1 B13 1 B A A B1 B B 3 B 13 B3 B 33 令 1 v0 u0 1 ( v0 u0 ) v 0 v0 u0 ( v0 u0 ) v0 ( v0 u0 ) v 0 1 注 意 到 B 是 一 个 对 称 矩 阵, 定 义 一 个 六 维 的 向 量 b 令 H 的 第 i th 列 向 量 为 h h h h b B B B B B B (6) i i1 i i , 有 (5) 68

75 其 中 h Bh i j ij v b (7) vij hi 1hj1 hi 1hj hi hj1 hi hj hi 3hj1+ hi 1hj3 hi 3hj+ hi hj3 hi 3h j3 所 以, 给 定 一 个 单 应 性 矩 阵 的 两 个 基 本 约 束 (3)(4), 用 b 表 示 为 : v 1 0 b (8) (v 11 v ) 若 采 集 了 n 幅 模 型 平 面 的 图 片, 通 过 建 立 n 个 (8) 这 样 的 方 程, 有 : Vb 0 (9) 其 中 V 是 nⅹ6 的 矩 阵, 如 果 n 3, 可 以 通 过 比 例 因 子 唯 一 确 定 b 的 一 组 解, 如 果 n=, 可 以 加 上 倾 斜 因 子 γ=0, 如 [0,1,0,0,0,0]b=0, 相 当 于 在 方 程 组 (9) 中 添 加 了 一 个 等 式 ( 如 果 n=1, 最 多 可 以 解 出 内 参 矩 阵 中 的 两 个 参 数, 比 如, 假 设 u0,v0 是 已 知 的 ( 比 如, 位 于 图 像 中 心 ),) 并 且 γ=0, 这 实 际 上 就 是 论 文 基 于 眼 睛 和 嘴 共 面 这 一 合 理 假 设 的 头 部 姿 态 估 计 中 所 用 到 的 技 术 [19] (9) 的 解 是 论 文 熟 知 V V 的 最 小 特 征 值 所 对 应 的 特 征 向 量 ( 即 V 最 小 奇 异 值 所 对 应 的 奇 异 向 量 ) 一 旦 求 出 b 之 后, 便 能 计 算 出 摄 像 机 的 内 参 矩 阵 A, 详 细 过 程 见 附 录 B 而 当 A 已 知 后, 每 张 图 片 的 外 参 矩 阵 就 容 易 就 计 算 出 了 由 () 有 : 1 r A h r 1 1 A h 1 r r r t A h3 其 中 1/ A h 1/ A h, 当 然, 由 于 数 据 中 存 在 噪 声, 这 样 计 算 出 的 矩 阵 R r, r, r 并 1 3 不 一 定 能 满 足 旋 转 矩 阵 的 所 有 性 质 附 录 C 有 由 普 通 3*3 矩 阵 估 计 最 佳 的 旋 转 举 证 的 详 细 方 法 3. 最 大 似 然 估 计 由 于 上 述 解 是 通 过 最 小 化 代 数 距 离 而 求 得 的 结 果, 所 以 物 理 意 义 并 不 明 显 论 文 可 以 通 过 最 大 似 然 估 计 推 导 来 重 新 解 释 一 下 它 的 意 义 设 有 n 张 模 型 平 面 的 图 像, 每 一 个 模 型 平 面 上 有 m 个 点 假 设 图 像 上 的 点 存 在 独 立 分 散 的 噪 声 可 以 通 过 求 解 如 下 式 子 的 最 小 值 进 行 最 大 似 然 估 计 : n m mij m( A, Ri, ti, M j) (10) i1 j1 其 中 m( A, Ri, ti, M j ) 是 由 () 式 计 算 出 第 i 幅 图 像 上 点 M j 的 投 影 的 理 论 值 旋 转 矩 阵 R 可 以 通 过 一 个 3 维 向 量 参 数 化, 即 表 示 为 r,r 平 行 于 旋 转 轴, 大 小 等 于 旋 转 角 度 R 和 r 满 足 毛 里 求 斯 方 程 式 [5] 最 小 化 (10) 式 本 质 上 为 非 线 性 最 小 化 问 题, 可 以 通 过 Minpack[18] 实 现 的 Levenberg-Marquardt(LM) 算 法 求 解 而 LM 算 法 需 要 初 始 化 的 R, t i 1.. n,a 矩 阵 的 初 始 值 就 就 可 以 使 用 上 一 章 节 介 绍 的 算 法 i i 得 到 3.3 径 向 畸 变 至 此, 本 文 尚 未 考 虑 摄 像 机 的 径 向 畸 变 然 而, 通 用 摄 像 机 通 常 带 有 明 显 的 镜 头 畸 变, 有 其 是 径 向 畸 变 本 章 中, 只 考 虑 径 向 畸 变 的 前 两 个 因 素 读 者 可 以 参 考 [0,,4,6] 其 他 更 加 详 细 的 模 型 根 据 文 献 [,3,5] 中 的 报 告, 镜 头 失 真 主 要 是 由 径 向 畸 变 造 成 的, 有 其 与 第 一 个 因 子 密 切 相 关 另 外, 实 验 中 还 发 现 更 精 细 的 建 模 不 仅 没 有 多 大 效 果 ( 与 传 感 器 量 相 比, 可 以 忽 略 不 计 ), 反 而 会 导 致 数 值 不 稳 定 [,5] 令 ( uv, ) 为 理 想 ( 不 考 虑 畸 变 ) 的 像 素 点 坐 标,( uv, ) 为 实 际 对 应 图 像 上 的 点 坐 标 理 想 点 是 模 型 点 根 据 小 孔 成 像 模 型 的 投 影 点 同 理, ( xy, ) 和 ( xy, ) 分 别 是 理 想 ( 不 考 虑 畸 变 ) 的 成 像 坐 标 和 实 际 的 成 像 坐 标, 有 [,5] 69

76 x x x k1( x y ) k( x y ) y y y k1( x y ) k( x y ) 其 中 k1,k 为 径 向 畸 变 系 数 径 向 畸 变 和 理 论 成 像 平 面 原 点 重 合 由 u u0 ax y 和 v v0 y, 假 设 γ=0, 有 : u u (u u )[ k ( x y ) k ( x y ) ] (11) 0 1 v v (v v )[ k ( x y ) k ( x y ) ] (1) 0 1 迭 代 估 计 径 向 畸 变 由 于 径 向 畸 变 非 常 的 小, 有 的 时 候 可 以 使 用 3. 节 的 技 术, 直 接 忽 略 畸 变, 求 出 5 个 内 参 参 数 另 外, 可 以 在 求 出 其 他 的 参 数 之 后 再 估 计 k1,k 的 值 ; 当 其 他 参 数 已 知 时, 得 到 理 想 的 像 素 坐 标 (u,v), 然 后 每 幅 图 片 由 (11,1), 有 两 个 等 式 : (u u 0)( x y ) (u u 0)( x y ) k1 uu (v v0)( x y ) (v v0)( x y ) k vv 假 设 有 n 幅 图 片, 每 张 图 片 上 有 m 个 点, 就 能 得 到 mn 个 等 式, 写 成 矩 阵 的 形 式 为 : Dk d, 其 中 1 k k k 最 小 二 乘 解 为 : 1 ( k D D) D d 当 k1 和 k 求 得 之 后, 就 可 以 将 (11) 和 (1) 替 换 (10) 中 的 (,,, ) i i j (13) m A R t M 来 重 新 求 解 其 他 的 参 数, 论 文 可 以 反 复 迭 代 这 两 个 过 程 直 至 收 敛 完 整 的 最 大 似 然 估 计 在 实 验 中, 论 文 发 现 上 述 方 法 的 收 敛 速 度 太 慢 而 将 (10) 式 自 然 地 扩 展 为 : n m mij m( A, k1, k, Ri, ti, M j) (14) i1 j1 问 题 转 化 为 求 上 式 得 最 小 值 问 题 其 中 m( A, k1, k, Ri, ti, M j) 为 i 幅 图 片 中 M j 点 的 投 影, 见 () 以 及 (11) (1) 这 是 一 个 常 规 的 非 线 性 优 化 问 题, 可 以 使 用 由 Minpack[18] 实 现 的 LM 算 法 算 出 结 果 旋 转 同 样 使 用 3. 节 中 提 到 的 3 维 向 量 r 参 数 化,A 矩 阵 以 及 R, t i 1.. n 依 然 可 以 使 用 3.1 或 者 3. 节 中 的 方 法 k1,k 的 初 值 可 以 使 用 上 述 最 后 一 段 的 方 法, 或 者 直 接 令 为 小 节 推 荐 标 定 过 程 如 下 : 1 打 印 图 案 并 固 定 在 一 个 平 整 的 表 面 上 移 动 模 型 平 面 或 者 摄 像 机, 从 不 同 的 方 向 拍 摄 若 干 照 片 3 检 测 图 片 上 的 特 征 点 4 使 用 3.1 节 所 述 的 方 法 估 算 5 个 内 参 参 数 以 及 所 有 图 片 对 应 的 外 参 5 使 用 最 小 二 乘 法 估 算 径 向 畸 变 系 数 (13) 6 优 化 得 到 所 有 的 参 数 (14) 4 退 化 配 置 本 节 探 讨 附 加 的 图 片 不 为 摄 像 机 内 参 提 供 更 多 的 约 束 的 配 置 由 于 (3) 和 (4) 式 均 由 旋 转 矩 阵 衍 生 而 来, 如 果 R 与 R 1 相 关, 图 片 就 没 有 提 供 约 束 更 为 特 殊 的 情 况 是, 假 如 平 面 仅 仅 经 过 平 移 变 换, 即 R =R 1, 则 图 片 对 于 摄 像 机 标 定 可 有 可 无 接 下 来, 论 文 考 虑 更 为 复 杂 的 配 置 命 题 1 如 果 第 二 张 模 型 平 面 和 第 一 张 模 型 平 面 平 行, 则 第 二 个 单 应 性 矩 阵 不 产 生 额 外 的 约 束 证 明 假 设 R 绕 z 轴 旋 转 得 到 R 1, 即 : cos sin 0 R 1 sin cos 0 R 其 中 θ 为 旋 转 角 度 这 里 采 用 上 标 (1)() 分 别 表 示 图 片 1 和 图 片 的 向 量, 那 么 对 两 张 图 片 分 别 有 : i i 70

77 () () () (1) () (1) (1) h1 ( Ar cos Ar sin ) h (1) 1 (cos h sin ) () () () (1) () (1) (1) h ( Ar sin Ar cos ) h (1) 1 ( sin h cos ) 然 后, 图 片 的 第 一 个 约 束 (3) 变 成 : () () 1 () (1) 1 (1) h1 A A h [(cos sin )( h (1) 1 A A h ) (1) 1 (1) (1) 1 (1) cossin ( h A A h h A A h )], 1 1 该 式 实 际 上 与 H 1 的 两 个 约 束 线 性 相 关 同 理, 图 片 的 第 二 个 约 束 也 是 与 H 1 的 两 个 约 束 线 性 相 关, 因 此,H 并 没 有 增 加 更 多 的 约 束 条 件 结 果 实 际 上 是 不 言 而 喻 的, 因 为 平 行 的 平 面 相 交 于 无 穷 远 处, 根 据.4 节, 这 两 个 平 面 产 生 相 同 的 约 束 而 在 实 际 上 是 非 常 容 易 避 免 上 述 这 样 的 退 化 配 置 : 仅 仅 需 要 改 变 模 型 平 面 的 方 向 就 可 以 了 尽 管 在 模 型 平 面 做 纯 平 移 变 换 的 情 况 下, 本 文 提 出 的 方 法 将 失 效, 但 是 倘 若 这 个 变 换 时 已 知 的, 同 样 可 以 进 行 摄 像 机 标 定 详 细 过 程 参 考 附 录 D 5 实 验 结 果 采 用 计 算 机 模 拟 数 据 实 际 数 据 测 试 本 文 提 出 的 算 法 闭 合 形 式 解 主 要 包 括 奇 异 值 分 解 一 个 n * 6 的 小 规 模 矩 阵, 其 中 n 为 图 片 的 数 目 采 用 LM 非 线 性 细 化 算 法 大 概 需 要 3-5 次 迭 代 即 可 收 敛 5.1 计 算 机 模 拟 模 拟 摄 像 机 的 参 数 如 下 : ( 即 ),u 0=55,v 0=55, 图 片 的 分 辨 率 为 51*51 模 型 平 面 为 包 含 10*14=140 个 交 点 的 棋 盘 图 案 ( 因 此, 通 常 在 v 方 向 上 会 有 比 u 方 向 上 更 多 地 数 据 ) 模 型 平 板 为 18cm*5cm 平 面 的 方 向 由 一 个 3 维 向 量 r 表 示, 其 中 r 的 方 向 和 旋 转 轴 平 行, 大 小 为 旋 转 的 角 度 平 面 的 位 置 由 一 个 3 维 向 量 t 表 示 不 同 级 别 噪 声 对 性 能 的 影 响 在 这 个 实 验 中, 论 文 使 用 3 个 模 型 平 面, 参 数 分 别 为 : r 1 0,0,0, t1 9, 1.5,500, r 0,0,0, t 9, 1.5,510 1, r3 30, 30, 15 5, t3 10.5, 1.5,55 将 均 值 为 0, 标 准 差 为 σ 的 高 斯 噪 声 加 到 投 影 图 像 点 上 之 后 把 计 算 出 的 摄 像 机 的 参 数 和 实 际 的 参 数 相 比 较, 并 计 算 α 和 β 的 相 对 误 差, 以 及 u 0,v 0 的 绝 对 误 差 实 验 中, 在 0.1 像 素 到 1.5 像 素 范 围 内 改 变 噪 声 的 程 度 对 于 每 个 不 同 程 度 的 噪 声, 论 文 进 行 了 100 次 独 立 的 实 验, 并 将 实 验 的 平 均 值 作 为 结 果 从 表 1 中, 可 以 看 出, 误 差 随 着 噪 声 的 程 度 提 高 而 线 性 增 大 ( 这 里 没 有 给 出 γ 的 误 差 表, 但 是 也 有 相 同 的 性 质 ) α 和 β 的 相 对 误 差 不 超 过 0.3%,u 0,v 0 的 绝 对 误 差 为 1 像 素 左 右,u 0 的 误 差 大 于 v 0, 主 要 是 由 于 u 方 向 上 的 数 据 量 小 于 v 方 向 上 的 数 据 量, 上 文 也 有 提 及 平 面 数 量 对 性 能 的 影 响 这 个 实 验 探 究 平 面 的 数 目 ( 更 准 确 地 说, 是 模 型 平 面 的 图 片 数 目 ) 和 性 能 的 关 系 前 3 幅 图 片 模 型 平 面 的 方 向 和 位 置 和 上 文 中 的 一 样 从 第 4 幅 图 片 开 始, 论 文 先 随 机 的 选 择 一 个 空 间 中 的 旋 转 轴, 然 后 再 绕 着 这 个 轴 旋 转 30 度 每 组 实 验 照 片 数 目 从 到 16 张 不 等 每 组 从 不 相 关 的 角 度 ( 前 3 张 除 外 ) 以 及 使 用 均 值 为 0, 71

78 图 1 误 差 图 像 点 噪 声 水 平 折 线 图 图 误 差 图 片 数 量 折 线 图 标 准 差 为 0.5 像 素 的 随 机 噪 声 进 行 100 次 独 立 实 验 将 均 值 作 为 结 果, 如 图 所 示 可 以 看 到, 随 着 图 片 数 量 的 增 加, 误 差 逐 渐 减 小, 尤 其 当 图 片 数 量 从 增 加 到 3 时, 误 差 显 著 下 降 模 型 平 面 的 朝 向 和 性 能 的 关 系 本 实 验 测 试 模 型 平 面 与 成 像 平 面 之 间 的 角 度 对 性 能 的 影 响, 实 验 使 用 3 张 图 片, 图 片 的 角 度 由 如 下 方 式 产 生 : 平 行 于 成 像 平 面 ; 随 机 选 择 一 个 空 间 旋 转 轴, 然 后 将 模 型 平 面 绕 该 轴 旋 转 角 度 θ 同 样 将 均 值 为 0 标 准 差 为 0.5 像 素 的 高 斯 噪 声 附 加 到 图 片, 重 复 以 上 步 骤 100 次 求 得 平 均 误 差 θ 从 5 度 到 75 度 不 等 结 果 如 图 3 所 示 当 θ=5 度 时, 由 于 平 面 几 乎 互 相 平 行 ( 退 化 配 置 ),40% 的 测 试 失 效 理 论 上 在 45 度 左 右 时, 标 定 性 能 达 到 最 佳 水 平 注 意 到 在 实 际 情 况 中, 随 着 角 度 的 增 加, 由 于 透 视 缩 短, 角 点 检 测 的 精 度 下 降, 在 本 实 验 中, 并 未 考 虑 到 这 个 因 素 5. 实 际 数 据 本 文 提 出 的 方 法 在 笔 者 所 在 的 视 觉 组 以 及 微 软 研 究 院 的 图 像 组 中 广 泛 采 用 这 里 提 供 一 个 实 际 样 例 的 结 果 待 标 定 摄 像 机 为 一 现 成 的 6mm 镜 头 PULNiXCCD 摄 像 机 图 片 分 辨 率 为 640*480. 模 型 平 面 图 案 有 8*8 个 方 格, 即 56 个 角 点 图 案 尺 寸 为 17cm*17cm, 由 高 质 量 打 印 机 打 印, 并 固 定 在 玻 璃 板 上 图 3 误 差 模 型 平 面 与 成 像 平 面 角 度 折 线 图 表 1-5 张 图 片 的 实 际 数 据 如 图 4 所 示, 从 不 同 的 角 度 拍 摄 5 张 模 型 平 面 的 照 片, 可 以 看 出 图 片 中 明 显 的 镜 头 畸 变 其 中, 角 点 在 每 个 方 格 两 两 相 交 的 直 线 处 取 得 对 前,3,4 以 及 全 部 的 5 张 图 片 使 用 论 文 的 标 定 算 法, 结 果 如 表 1 所 示 每 组 有 3 列 值, 第 一 列 7

79 ( 初 始 值 ) 为 闭 合 形 式 解 第 二 列 ( 最 终 结 果 ) 为 最 大 似 然 估 计 结 果, 第 三 列 (σ) 为 标 准 差, 代 表 最 终 结 果 的 不 确 定 度 由 表 中 可 以 看 出, 闭 合 形 式 解 为 合 理 值, 最 终 的 估 计 结 果 不 论 是 使 用,3,4 或 者 5 幅 图 片 都 非 常 的 一 致 表 1 的 最 后 一 行 是 实 际 图 像 点 与 理 论 投 影 点 距 离 平 均 值 的 平 方 根 最 大 似 然 估 计 明 显 地 改 进 了 该 项 值 细 心 的 读 者 可 能 注 意 到 闭 合 形 式 解 与 最 大 似 然 估 计 优 化 值 中 k 1,k 不 太 一 致, 主 要 原 因 在 于, 在 闭 合 形 式 解 中, 摄 像 机 内 参 是 在 假 定 没 有 畸 变 下 计 算 的, 理 论 上 的 点 将 要 比 实 际 检 测 到 的 点 更 靠 近 图 片 中 心 随 后 的 畸 变 估 计 将 尽 量 增 加 比 例 系 数 以 延 展 外 部 点 从 而 缩 小 误 差 值, 而 实 际 上 畸 变 形 状 ( 正 参 数 k1, 也 称 为 枕 形 畸 变 ) 并 不 符 合 实 际 的 畸 变 形 状 ( 负 参 数 k1, 也 叫 做 桶 形 畸 变 ) 而 通 过 非 线 性 优 化 (MLE) 矫 正 得 到 最 后 正 确 的 畸 变 形 状 有 了 畸 变 参 数, 便 能 对 原 始 图 片 进 行 畸 变 矫 正 图 5 展 示 前 两 幅 这 样 矫 正 之 后 的 图 片, 可 与 图 4 中 前 幅 图 对 比, 可 以 清 晰 的 看 到 原 始 图 片 中 弯 曲 的 图 案 变 直 了 图 4 5 张 模 型 平 面, 带 有 提 取 的 角 点 ( 由 十 字 叉 标 出 ) 73

80 图 5 前 张 经 过 径 向 畸 变 矫 正 后 的 图 片 表 所 有 4 张 图 片 组 合 的 标 定 偏 差 标 定 结 果 的 变 化 在 表 1 中 展 示 了 到 5 张 照 片 的 标 定 结 果, 论 文 发 现 标 定 结 果 非 常 的 一 致 为 了 进 一 步 考 察 本 文 提 出 的 算 法 的 稳 定 性, 论 文 又 将 该 算 法 应 用 到 5 张 照 片 所 有 的 4 张 照 片 组 合 中 结 果 如 表 所 示, 其 中 例 如 第 三 列 (135) 代 表 第 一 第 二 第 三 第 五 这 四 张 图 片 最 后 两 列 显 示 了 这 5 组 实 验 的 均 值 和 样 本 偏 差 所 有 参 数 的 样 本 偏 差 都 非 常 小, 由 此 可 见, 本 文 提 出 的 算 法 非 常 的 稳 定 由 于 变 化 因 子 0.086/0.1401=0.6, 比 较 大, 倾 斜 因 子 γ 并 不 明 显 为 0, 实 际 上,γ=0.1401,α=83.85 相 当 于 度, 非 常 接 近 90 度, 也 就 是 图 片 的 两 个 坐 标 轴 论 文 还 计 算 过 每 四 幅 图 片 σ/β 的 值, 他 们 的 平 均 值 等 于 , 样 本 偏 差 为 , 所 以 非 常 接 近 1, 也 就 是 说, 像 素 都 是 方 形 的 基 于 图 片 的 建 模 应 用 论 文 用 上 文 标 定 的 摄 像 机 拍 摄 了 两 张 茶 罐 的 图 片 ( 见 图 6), 主 要 能 看 到 两 个 侧 面 在 每 个 侧 面 上 人 工 挑 选 了 8 个 匹 配 的 点, 使 用 论 文 之 前 开 发 的 [7] 移 动 重 建 软 件 对 这 茶 罐 的 16 个 匹 配 点 进 行 局 部 建 模 模 型 采 用 虚 拟 现 实 描 述 语 言,3 张 渲 染 后 的 图 片 如 图 7 所 示 每 个 侧 面 上 重 建 的 点 实 际 上 是 共 面 的, 论 文 还 计 算 了 两 个 重 建 的 平 面 的 角 度 为 94.7 度, 虽 然 论 文 并 不 知 道 实 际 值 到 底 是 多 少, 图 6 茶 罐 的 两 张 图 片 74

81 图 7 3 张 茶 罐 重 建 的 渲 染 图 片 但 是 茶 罐 的 两 个 侧 面 实 际 上 几 乎 是 相 互 垂 直 的 所 有 的 实 际 数 据 和 结 果 可 以 去 : 下 载 5.3 对 模 型 误 差 的 敏 感 度 如 上 文 描 述 的 例 子 一 样,D 模 型 平 面 是 由 高 质 量 的 打 印 机 打 印 而 成 尽 管 打 印 这 样 一 张 高 质 量 的 D 图 案 相 对 于 传 统 的 标 定 设 备 已 经 相 当 的 廉 价, 但 是 假 如 论 文 使 用 普 通 的 打 印 机 打 印, 或 者 图 案 并 不 是 固 定 在 一 个 平 坦 的 表 面 上, 这 个 D 模 型 平 面 都 有 可 能 存 在 一 些 不 精 确 之 处 本 节 将 要 研 究 本 文 提 出 的 标 定 算 法 对 于 模 型 不 精 确 的 敏 感 度 模 型 点 中 的 随 机 噪 声 论 文 将 进 行 同 上 一 节 一 样 的 实 际 测 试, 并 将 5 张 照 片 都 用 于 标 定 为 了 模 拟 模 型 误 差, 论 文 在 模 型 上 每 个 方 格 的 各 个 角 点 添 加 均 值 为 0 的 高 斯 噪 声 附 加 噪 声 的 标 准 差 由 每 个 方 格 边 长 的 1% 到 15%, 方 格 的 边 长 为 1.7cm( 更 精 确 地 讲,0.5 英 寸 ), 方 格 边 长 的 15% 也 即 mm 的 偏 差, 应 该 不 会 有 人 愿 意 用 这 么 差 的 模 型 吧 对 于 每 个 级 别 的 噪 声, 分 别 进 行 100 次 独 立 实 验, 计 算 平 均 误 差 ( 和 表 1 中 的 真 实 模 型 的 结 果 的 偏 差 ), 图 8 摄 像 机 标 定 对 模 型 点 中 高 斯 噪 声 的 敏 感 度 图 9 摄 像 机 标 定 对 系 统 性 球 形 扭 曲 的 敏 感 度 75