<4D F736F F D20BBF9D3DA B5C4CEDEC8CBBBFAD2A3B8D0D3B0CFF1C6A5C5E4CBE3B7A8D1D0BEBF>

Transcription

1 分 类 号 UDC 密 级 编 号 中 国 测 绘 科 学 研 究 院 硕 士 学 位 论 文 基 于 CUDA 的 无 人 机 遥 感 影 像 匹 配 算 法 研 究 张 文 豪 指 导 教 师 申 请 学 位 级 别 李 英 成 研 究 员 硕 士 学 科 专 业 名 称 摄 影 测 量 与 遥 感 论 文 提 交 日 期 2013 年 5 月 论 文 答 辩 日 期 2013 年 6 月 学 位 授 予 单 位 中 国 测 绘 科 学 研 究 院 答 辩 委 员 会 主 席 评 阅 人

2 A Dissertation Presented to Chinese Academy of Surveying and Mapping for the Degree of Master of Science The Research on UAV Remote Sensing Image Matching Algorithm Based on CUDA Zhang Wenhao (Photogrammetry and Remote Sensing) Supervised by Professor Li Yingcheng Chinese Academy of Surveying and Mapping Beijing, P.R.China June, 2013

3 摘 要 无 人 机 遥 感 系 统 具 有 造 价 低 操 作 灵 活 机 动 性 强 等 特 点, 近 年 来 在 测 绘 应 急 保 障 中 发 挥 了 重 要 的 作 用 然 而, 由 于 无 人 机 遥 感 影 像 具 有 倾 角 过 大 且 倾 斜 方 向 没 有 规 律 飞 行 平 台 不 稳 定 多 采 用 非 量 测 数 码 相 机 等 特 点, 给 影 像 的 后 处 理, 特 别 是 影 像 的 匹 配 带 来 了 很 大 困 难 另 外, 影 像 的 分 辨 率 高 像 幅 小 重 叠 度 大 导 致 获 取 的 数 据 量 大, 现 有 的 影 像 匹 配 算 法 效 率 较 低, 不 能 完 全 满 足 实 时 化 和 自 动 化 的 要 求 因 此, 影 像 匹 配 的 效 率 已 经 成 为 制 约 无 人 机 遥 感 系 统 发 挥 作 用 的 瓶 颈 近 年 来, 随 着 图 形 处 理 器 (Graphics Processing Unit,GPU) 软 硬 件 架 构 的 不 断 完 善, 其 浮 点 计 算 和 并 行 处 理 能 力 不 断 提 高, 已 经 成 为 高 性 能 通 用 计 算 领 域 的 研 究 热 点 CUDA(Compute Unified Device Architecture, 统 一 计 算 设 备 架 构 ) 是 基 于 CPU+GPU 全 新 的 异 构 并 行 编 程 模 型 和 软 件 开 发 环 境, 为 实 现 基 于 GPU 通 用 计 算 和 图 像 并 行 处 理 提 供 了 更 加 便 利 的 条 件 本 文 利 用 CUDA 实 现 了 基 于 GPU 的 无 人 机 遥 感 影 像 匹 配, 极 大 的 提 高 了 算 法 的 执 行 效 率 论 文 主 要 在 以 下 四 个 方 面 展 开 研 究 : (1) 无 人 机 遥 感 影 像 匹 配 前 的 预 处 理 无 人 机 遥 感 影 像 的 预 处 理 包 括 两 部 分 : 畸 变 差 改 正 和 图 像 Wallis 滤 波 根 据 无 人 机 遥 感 影 像 传 感 器 的 畸 变 差 模 型, 对 初 始 获 取 的 无 人 机 影 像 进 行 畸 变 差 改 正 并 针 对 无 人 机 影 像 曝 光 不 足 存 在 阴 影 等 问 题, 研 究 利 用 Wallis 滤 波 增 强 影 像 的 特 征, 提 高 匹 配 点 位 的 精 度 (2) 无 人 机 遥 感 影 像 匹 配 算 法 由 于 无 人 机 遥 感 影 像 具 有 旋 偏 角 较 大 重 叠 度 不 规 则 影 像 间 的 尺 度 差 异 大 等 特 点, 从 而 使 得 无 人 机 影 像 匹 配 存 在 精 度 差 效 率 低 的 问 题 根 据 此 问 题 重 点 研 究 尺 度 不 变 特 征 匹 配 算 法 (Scale Invariant Feature Transform,SIFT) 和 Harris 角 点 算 法 的 原 理 特 点 及 流 程, 将 两 种 算 法 引 入 到 无 人 机 遥 感 影 像 的 自 动 匹 配 中, 通 过 实 验 对 比 分 析 两 种 算 法 的 优 缺 点, 选 择 更 适 于 无 人 机 遥 感 影 像 匹 配 的 算 法 和 处 理 流 程 (3) 基 于 CUDA 的 CPU+GPU 异 构 并 行 计 算 技 术 I

4 研 究 GPU 的 硬 件 组 成 结 构 和 通 信 模 式 及 CUDA 的 软 件 体 系 结 构 和 编 程 模 型 依 据 GPU 硬 件 特 点 和 CUDA 编 程 特 点, 研 究 基 于 CUDA 的 CPU+GPU 异 构 并 行 计 算 模 式 (4) 基 于 CUDA 的 无 人 机 遥 感 影 像 匹 配 算 法 针 对 无 人 机 遥 感 影 像 匹 配 计 算 量 大 效 率 低 的 问 题, 利 用 GPU 强 大 的 计 算 能 力, 实 现 基 于 CUDA 并 行 处 理 的 畸 变 差 改 正 算 法 Wallis 滤 波 及 SITF 匹 配 初 步 探 索 了 所 提 出 的 算 法 在 相 对 定 向 和 快 速 拼 接 中 的 应 用 关 键 词 : 无 人 机, 畸 变 差 改 正,Wallis,SIFT,CUDA, 并 行 处 理 II

5 Abstract UAV remote sensing systems have the characteristics of low cost, flexible operation, and mobility. In recent years it has played an important role in mapping emergency support. However, due to the large angle of inclination of the UAV remote sensing image, unstable flying platform and the use of no-metric digital camera, these features give the post-processing of the image, particularly the image matching, great difficulties. In addition, high-resolution, small frame and large degree of overlap result a large amount of data. Existing image matching algorithm efficiency is low, it cannot fully meet the requirements of real-time and automation. Therefore, the efficiency of image matching has become a bottleneck restricting the UAV remote sensing systems play a more important role. In recent years, with the continuous improvement of the Graphics Processing Unit s (GPU) hardware and software architecture, the floating-point computing and parallel processing capabilities continue to improve, which has become the research focus of the high-performance general-purpose computing. Compute Unified Device Architecture (CUDA) is the heterogeneous parallel programming model and software development environment based on the CPU+GPU, which provides a more convenient condition for GPU-based general-purpose computing and image parallel processing computing. In this paper, with the CUDA programming model, realized the GPU-based UAV remote sensing image matching algorithm, which greatly improves the efficiency of the algorithm. This paper has studied the following four areas: (1) Pretreatment before the UAV Remote Sensing Image Matching UAV Remote Sensing Image preprocessing consists of two parts: distortion correction and Wallis filter. Research on the initial acquisition of UAV images distortion correction, according to the UAV remote sensing image sensor distortion model. And for the lack of exposure, shadows and other issues of the image, research Wallis filter to enhance the characteristics of the image to improve the accuracy of the match point. III

6 (2) UAV Remote Sensing Image Matching Algorithm UAV Remote Sensing Image existence of spin declination, overlap degrees irregular, the UAV image matching scale large difference between the image characteristics result in poor accuracy, low efficiency problem, this paper focuses on the principles, characteristics and processes of the Scale Invariant Feature Transform(SIFT) algorithm and Harris algorithm. The two algorithms are introduced into the automatic matching of the UAV Remote Sensing Image. By experimental comparison analysis of the advantages and disadvantages of the two algorithms, this paper researched the more suitable algorithm and process for UAV remote sensing image matching. (3) CUDA-Based CPU+GPU Heterogeneous Parallel Computing Technology The paper researched GPU hardware structure, communication mode, and software architecture and programming model of CUDA. To the characteristics of the GPU hardware characteristics and CUDA programming, the paper researched CUDA-based CPU+GPU heterogeneous parallel computing model. (4) UAV Remote Sensing Image Matching Algorithm Based on CUDA UAV remote sensing image matching is computationally intensive and inefficient. To use the GPU computing power, the paper realized the distortion correction algorithm, the Wallis filter and the UAV remote sensing image matching based on CUDA parallel processing. Preliminary exploration of the algorithm in the relative orientation and fast stitching Keywords: UAV; Distortion Correction; Wallis; SIFT; CUDA; Parallel Processing IV

7 目 录 摘 要... I Abstract... III 第 一 章 绪 论 研 究 背 景 及 意 义 国 内 外 研 究 现 状 无 人 机 遥 感 影 像 处 理 的 研 究 现 状 遥 感 影 像 匹 配 算 法 的 研 究 现 状 基 于 CUDA 遥 感 影 像 并 行 处 理 研 究 现 状 主 要 研 究 内 容 论 文 组 织 结 构... 7 第 二 章 无 人 机 遥 感 影 像 匹 配 前 预 处 理 引 言 无 人 机 影 像 畸 变 差 改 正 畸 变 差 改 正 模 型 畸 变 差 改 正 流 程 Wallis 滤 波 本 章 小 结 第 三 章 无 人 机 遥 感 影 像 匹 配 算 法 引 言 遥 感 影 像 匹 配 算 法 Harris 角 点 检 测 及 其 匹 配 算 法 Harris 角 点 检 测 原 理 Harris 角 点 检 测 的 步 骤 和 特 点 角 点 匹 配 方 法 SIFT 匹 配 算 法 SIFT 特 征 提 取 和 描 述 SIFT 特 征 匹 配 SIFT 匹 配 算 法 的 特 点 误 匹 配 点 剔 除 基 于 RANSAC 的 误 匹 配 剔 除 基 于 视 差 的 粗 差 剔 除 无 人 机 遥 感 影 像 匹 配 实 验 与 分 析 Harris 和 SIFT 匹 配 实 验 实 验 结 论 本 章 小 结 第 四 章 CUDA 的 并 行 计 算 平 台 引 言 CUDA 简 介 CUDA 的 架 构 CUDA 的 硬 件 架 构 CUDA 编 程 模 型 CUDA 的 存 储 器 模 型 V

8 4.4 基 于 CUDA 的 并 行 计 算 本 章 小 结 第 五 章 基 于 CUDA 的 无 人 机 遥 感 影 像 匹 配 算 法 研 究 引 言 基 于 CUDA 的 畸 变 差 改 正 算 法 研 究 算 法 分 析 与 设 计 实 验 与 分 析 基 于 CUDA 的 Wallis 滤 波 算 法 研 究 算 法 分 析 与 设 计 实 验 与 分 析 基 于 CUDA 的 SIFT 匹 配 算 法 研 究 算 法 分 析 与 设 计 实 验 与 分 析 基 于 CUDA 的 无 人 机 遥 感 影 像 匹 配 算 法 的 应 用 无 人 机 遥 感 影 像 初 始 相 对 定 向 无 人 机 遥 感 影 像 快 速 拼 接 本 章 小 结 第 六 章 总 结 与 展 望 总 结 展 望 参 考 文 献 攻 读 硕 士 学 位 期 间 发 表 的 论 文 及 参 加 的 项 目 致 谢 VI

9 第 一 章 绪 论 1.1 研 究 背 景 及 意 义 无 人 机 最 早 出 现 在 1917 年, 早 期 主 要 是 用 于 军 事 上 20 世 纪 80 年 代 以 来, 随 着 计 算 机 技 术 通 讯 技 术 的 迅 速 发 展, 无 人 机 开 始 作 为 民 用 遥 感 平 台 出 现, 其 续 航 时 间 从 几 小 时 到 几 十 小 时, 任 务 载 荷 从 几 公 斤 到 几 百 公 斤, 传 感 器 除 传 统 的 数 码 相 机 外 还 有 视 频 摄 像 机 LIDAR 多 光 谱 相 机 等 目 前 中 国 科 学 院 西 北 工 业 大 学 中 测 新 图 ( 北 京 ) 遥 感 技 术 有 限 责 任 公 司 北 京 国 遥 万 维 信 息 技 术 有 限 公 司 中 国 测 绘 科 学 研 究 院 北 京 朗 天 博 泰 科 技 有 限 公 司 北 京 测 科 空 间 信 息 技 术 有 限 公 司 等 多 家 单 位, 相 继 开 发 了 拥 有 技 术 知 识 产 权 的 无 人 机 遥 感 系 统 ( 如 图 1-1 所 示 ) 图 1-1 我 国 民 用 无 人 机 遥 感 系 统 研 发 情 况 目 前, 无 人 机 遥 感 系 统 已 经 应 用 于 农 林 遥 感 国 土 监 测 海 洋 监 测 环 境 监 测 水 文 地 质 勘 察 测 绘 制 图 气 象 预 测 灾 害 应 急 服 务 等 领 域 在 农 林 遥 感 方 面, 应 用 于 林 场 和 农 作 物 病 虫 害 监 测, 湿 地 调 查 等 ; 在 国 土 监 测 方 面, 应 用 于 国 土 资 源 执 法 监 察, 土 地 整 理 等 ; 在 海 洋 监 测 方 面, 应 用 于 海 岸 带 监 测, 海 洋 磁 力 探 测, 南 极 海 冰 形 态 和 皮 温 监 测 等 ; 在 环 境 监 测 方 面, 应 用 于 小 流 域 环 境 调 查, 高 山 地 区 环 境 监 测 等 ; 在 水 文 地 质 勘 察 方 面, 应 用 于 三 峡 消 落 带 调 查, 地 震 带 调 查 等 ; 在 气 象 方 面, 应 用 于 暴 雨 和 季 风 观 测, 温 度 气 压 等 常 规 探 测 等 ; 在 灾 害 应 1

10 急 方 面, 及 时 获 取 了 汶 川 特 大 地 震 青 海 玉 树 地 震 四 川 泥 石 流 重 庆 武 隆 山 体 垮 塌 四 川 雅 安 地 震 等 灾 区 第 一 手 高 分 辨 率 遥 感 资 料 ; 在 测 绘 制 图 方 面, 应 用 于 国 家 西 部 测 图 工 程 中, 完 成 了 青 藏 高 原 地 区 1:5 万 无 图 区 34 个 县 城 区 域 高 分 辨 率 航 摄 成 图 任 务 ; 在 小 城 镇 新 农 村 建 设 测 绘 保 障 方 面, 为 100 多 个 小 城 镇 新 农 村 提 供 了 测 绘 保 障 服 务 ; 在 重 大 工 程 测 绘 方 面, 为 公 路 铁 路 油 气 管 线 工 程 建 设 提 供 了 航 测 服 务 图 1-2 为 雅 安 地 震 后 当 天 获 取 的 无 人 机 影 像 图 图 1-2 震 后 芦 山 县 太 平 镇 无 人 机 影 像 图 与 传 统 的 航 空 和 航 天 遥 感 相 比, 无 人 机 遥 感 系 统 在 灾 害 应 急 和 测 绘 制 图 中 拥 有 独 特 的 优 势 [1] :1 飞 行 高 度 低, 不 必 申 请 空 域 ; 可 在 云 下 飞 行, 采 集 数 据 不 受 云 覆 盖 的 影 响, 弥 补 了 传 统 航 空 和 航 天 遥 感 的 不 足 ;2 机 动 性 强 适 应 性 高 成 本 低 受 天 气 影 响 小 ;3 分 辨 率 高, 采 用 数 码 相 机 时, 分 辨 率 可 以 达 到 10 厘 米 以 内, 因 此 可 以 制 作 大 比 例 尺 高 精 度 正 射 影 像 但 是 在 利 用 无 人 机 遥 感 系 统 进 行 摄 影 测 量 时 无 人 机 影 像 还 存 在 以 下 问 题 :1 航 向 重 叠 度 变 化 大, 影 像 的 倾 角 过 大 而 无 规 律 灰 度 不 一 致, 使 得 影 像 匹 配 难 度 大 精 度 低 ;2 像 幅 小 重 叠 度 大 分 辨 率 高 使 得 数 据 量 大, 严 重 影 响 了 数 据 的 处 理 效 率 ;3 普 通 数 码 相 机 镜 头 畸 变 2

11 大, 曝 光 不 充 分, 影 像 质 量 差 这 些 问 题 给 无 人 机 遥 感 影 像 的 处 理, 特 别 是 影 像 匹 配 带 来 了 很 大 困 难, 如 何 高 效 地 处 理 无 人 机 遥 感 数 据 是 亟 待 解 决 的 难 题 可 编 程 图 形 处 理 器 (GPU) 的 出 现 为 解 决 这 一 难 题 提 供 了 一 个 很 好 的 选 择 随 着 科 技 的 进 步 产 生 了 越 来 越 多 的 数 据, 如 卫 星 遥 感 影 像 的 处 理 气 象 预 报 基 因 工 程 分 子 动 力 学 模 拟 地 震 分 析 等 领 域, 数 据 规 模 已 经 达 到 TB 级 甚 至 PB 级, 我 们 已 经 进 入 了 前 所 未 有 的 大 数 据 时 代 因 此, 对 计 算 机 的 数 据 处 理 能 力 提 出 了 更 高 的 要 求 由 于 CPU 体 系 结 构 的 制 约, 其 大 部 分 资 源 都 用 于 庞 大 的 缓 存 和 复 杂 的 控 制 逻 辑, 实 际 的 计 算 单 元 十 分 有 限, 而 多 核 CPU 受 限 于 其 体 系 结 构, 并 不 能 满 足 日 益 增 加 的 大 量 数 据 的 计 算 需 求 [2] 因 此, 人 们 开 始 探 索 将 GPU 作 为 协 处 理 器 进 行 数 据 计 算 近 几 年 GPU 以 大 大 超 过 摩 尔 定 律 的 速 度 高 速 发 展, 极 大 地 提 高 了 计 算 机 图 形 处 理 的 速 度 和 质 量, 并 促 进 了 计 算 机 图 形 相 关 应 用 领 域 的 进 步 传 统 上,GPU 只 负 责 图 形 渲 染, 而 随 着 GPU 硬 件 的 快 速 发 展, 基 于 GPU 的 通 用 计 算 逐 渐 成 为 了 研 究 的 热 点 特 别 是 在 NVIDIA 推 出 了 CUDA 以 后, 极 大 的 降 低 了 GPU 通 用 计 算 开 发 的 难 度 基 于 GPU 的 通 用 计 算 在 图 像 视 频 编 解 码 高 清 视 频 转 换 数 学 计 算 图 像 处 理 计 算 生 物 学 和 化 学 流 体 力 学 模 拟 地 震 分 析 以 及 光 线 追 踪 等 领 域 取 得 了 许 多 进 展 [3] 因 此, 研 究 利 用 GPU 强 大 的 并 行 数 据 处 理 能 力, 进 行 无 人 机 遥 感 影 像 的 匹 配, 对 于 提 高 无 人 机 遥 感 影 像 的 处 理 效 率, 充 分 发 挥 无 人 机 遥 感 系 统 的 优 势 具 有 重 要 的 意 义 1.2 国 内 外 研 究 现 状 无 人 机 遥 感 影 像 处 理 的 研 究 现 状 目 前 遥 感 影 像 的 处 理 系 统 主 要 分 为 两 类 : 一 类 是 面 向 航 天 遥 感 影 像 处 理 和 分 析 的 软 件, 国 外 的 软 件 主 要 有 美 国 的 ENVI ERDAS IMAGING 加 拿 大 的 PCI Geomatica 德 国 的 ECognition 以 及 澳 大 利 亚 的 ERMapper [4], 国 内 有 北 京 泰 坦 公 司 的 Taitan Image, 中 国 测 绘 科 学 研 究 院 的 ImageInfo, 中 国 科 学 院 遥 感 应 用 研 究 所 的 IRSA; 另 一 类 是 面 向 航 空 影 像 和 高 分 辨 率 的 航 天 遥 感 影 像 的 数 字 摄 影 测 量 系 统, 国 外 有 Leica 公 司 的 Helava 系 统, 美 国 的 Image Station 系 统, 法 国 的 Pixel 3

12 Factory( 像 素 工 厂 ), 国 内 有 适 普 公 司 的 VirtuoZo, 武 汉 大 学 的 DPGrid, 中 国 测 绘 科 学 研 究 院 的 JX-4 和 PixelGrid 这 些 系 统 可 以 用 于 航 空 影 像 高 分 辨 率 卫 星 影 像 ( 如 IKONOS QuickBird SPOT-5 等 ) 的 摄 影 测 量 作 业, 一 般 都 具 有 空 中 三 角 测 量 绘 制 等 高 线 提 取 数 字 高 程 模 型 以 及 制 作 数 字 正 射 影 像 图 等 功 能 [5][6] 有 些 数 字 摄 影 测 量 系 统 已 经 开 发 了 专 门 的 无 人 机 遥 感 影 像 处 理 模 块, 如 DPGrid PixelGrid 可 以 进 行 无 人 机 遥 感 影 像 的 摄 影 测 量 处 理 ; 另 外, 中 国 测 绘 科 学 研 究 院 开 发 了 专 用 于 低 空 遥 感 影 像 处 理 的 软 件 MAP-AT 但 是 后 者 采 用 单 机 单 核 计 算, 处 理 效 率 不 高 ; 而 前 者 为 了 提 高 处 理 效 率 采 用 了 单 机 多 核 及 分 布 式 集 群 处 理 技 术, 当 有 多 台 计 算 机 接 入 高 速 网 络 时 计 算 效 率 较 高, 但 是 较 为 复 杂 且 不 便 于 携 带 遥 感 影 像 匹 配 算 法 的 研 究 现 状 遥 感 影 像 匹 配 主 要 分 为 两 类 : 基 于 灰 度 的 匹 配 和 基 于 特 征 的 匹 配 [7][36] (1) 基 于 灰 度 的 匹 配 基 于 灰 度 的 匹 配, 主 要 是 统 计 一 定 区 域 中 的 灰 度 信 息, 通 过 灰 度 信 息 来 建 立 模 板 图 像 与 待 匹 配 的 目 标 图 像 之 间 的 相 似 性 度 量, 最 后 使 用 一 种 搜 索 方 法, 寻 找 相 似 性 度 量 值 最 大 的 变 换 模 型 的 参 数 值, 从 而 达 到 识 别 同 名 点 的 目 的 通 常 使 用 的 灰 度 统 计 信 息 包 括 对 应 像 素 的 差 平 方 和 相 关 函 数 归 一 化 互 相 关 系 数 互 信 息 梯 度 等 在 图 像 灰 度 和 几 何 畸 变 不 大 的 情 况 下, 这 种 算 法 拥 有 较 好 的 精 度 然 而, 如 果 影 像 之 间 存 在 角 度 和 尺 度 上 的 偏 差, 待 匹 配 影 像 中 同 名 特 征 点 搜 索 范 围 的 确 定 是 一 个 突 出 的 问 题 特 别 是 在 影 像 之 间 有 较 大 的 亮 度 对 比 度 尺 度 或 者 角 度 的 差 异 时, 匹 配 效 果 较 差 (2) 基 于 特 征 的 图 像 匹 配 算 法 常 用 的 图 像 特 征 包 括 点 线 面 ( 或 者 区 域 ), 而 基 于 特 征 的 匹 配 主 要 分 为 4 个 步 骤 :1 提 取 影 像 之 间 的 同 名 特 征 ;2 利 用 一 组 参 数 对 同 名 特 征 进 行 描 述 ; 3 利 用 参 数 描 述 符 进 行 特 征 匹 配 ;4 利 用 匹 配 准 则 进 行 判 断 提 取 的 特 征 应 具 有 相 似 性 唯 一 性 易 检 测 性 和 抗 干 扰 性, 且 空 间 分 布 均 匀 基 于 点 特 征 的 匹 配 在 摄 影 测 量 中 应 用 较 为 普 遍, 点 特 征 包 括 角 点 线 段 交 点 水 域 油 田 等 区 域 的 中 心 点 高 曲 率 点 小 波 变 换 的 局 部 极 大 值 点 等 较 为 成 熟 4

13 的 点 特 征 提 取 算 法 有 Harris 算 子 Forstner 算 子 和 Moravec 算 子 等 近 年 来 SIFT 和 SURF 等 基 于 图 像 局 部 不 变 性 特 征 的 匹 配 算 法 成 为 了 图 像 匹 配 领 域 研 究 的 热 点 [8] SIFT 和 SURF 均 是 通 过 建 立 尺 度 空 间, 在 尺 度 空 间 寻 找 极 值 点, 然 后 对 于 极 值 点 进 行 描 述, 最 后 根 据 描 述 进 行 匹 配 这 种 方 法 提 取 的 特 征 点 对 于 缩 放 旋 转 光 照 都 具 有 一 定 的 鲁 棒 性, 因 此 适 合 于 多 源 遥 感 影 像 和 无 人 机 遥 感 影 像 的 匹 配 Lowe 于 1999 年 提 出 SIFT 算 法 [9], 并 于 2004 年 进 行 了 改 进, 改 进 后 的 SIFT 算 法 提 取 的 特 征 点 对 影 像 的 尺 度 变 化 角 度 差 异 对 比 度 以 及 光 照 变 化 具 有 一 定 的 鲁 棒 性 [10],SIFT 算 法 提 出 后 在 计 算 机 视 觉 医 学 图 像 处 理 以 及 遥 感 图 像 处 理 方 面 得 到 了 广 泛 的 研 究 和 应 用 ;Yan Ke 和 Rahul Sukthankar 于 2004 年 提 出 PCA-SIFT 算 法 [11], 是 一 种 SIFT 算 子 的 改 进 方 法, 主 旨 是 对 SIFT 算 子 进 行 降 维, 减 少 计 算 的 复 杂 度 ;Mikolajczy 于 2005 年 提 出 了 GLOH(Gradient Location and Orientation Histogram) 算 法 [12], 该 算 法 同 样 是 对 SIFT 算 法 的 延 伸, 相 对 于 SIFT 算 法 GLOH 算 法 在 计 算 特 征 描 述 子 的 时 候 采 用 了 圆 形 区 域 而 不 是 矩 形 区 域, Mikolajczyk 通 过 一 系 列 实 验, 对 SIFT GLOH shape context PCA-SIFT spin images steerable filters differential invariants complex filters moment invariants 和 cross_correlation 等 局 部 特 征 算 法 的 性 能 进 行 了 对 比, 证 明 GLOH 算 法 具 有 最 优 的 性 能 ;2006 年 BAY 等 人 提 出 了 SURF(Speeded Up Robust Features) 算 法 [13], 该 算 法 采 用 了 类 似 SIFT 算 法 思 想, 使 用 快 速 Hessian 矩 阵 检 测 出 特 征 点, 同 时 巧 妙 地 利 用 快 速 积 分 和 盒 子 滤 波, 在 继 承 SIFT 特 征 检 测 算 法 鲁 棒 性 抗 干 扰 性 的 同 时, 大 幅 改 进 了 特 征 的 提 取 速 度 ;2009 年,J.M.Morel 和 G.Yu 提 出 了 ASIFT 算 子 [14], 当 两 幅 图 像 存 在 较 大 仿 射 变 换 时, 该 方 法 比 SIFT 提 取 的 特 征 要 多, 适 合 应 用 在 近 景 摄 影 测 量 [15] 在 国 内 方 面, 李 玲 玲 等 提 出 了 一 种 基 于 SIFT 和 Harris-Affine 互 补 不 变 特 [16] 征 匹 配 的 自 动 匹 配 算 法, 适 用 于 尺 度 和 旋 转 角 有 较 大 差 异 的 情 况 ; 吕 文 涛 提 [17] 出 利 用 SIFT 算 法 进 行 雷 达 图 像 的 匹 配, 并 进 行 了 大 量 的 实 验 ; 霍 春 雷 等 提 出 了 一 种 基 于 SIFT 特 征 和 广 义 紧 互 对 原 型 对 距 离 的 遥 感 图 像 配 准 方 法, 增 加 了 正 [18] 确 匹 配 点 数 ; 刘 学 等 在 SURF 算 法 的 基 础 上, 提 出 了 构 建 颜 色 描 述 向 量 扩 展 SURF 描 述 符, 形 成 ESURF 描 述 符, 再 进 行 图 像 配 准 的 方 法, 该 算 法 能 够 充 分 5

14 利 用 彩 色 图 像 的 色 彩 信 息, 在 光 照 变 化 方 面 具 有 更 好 的 鲁 棒 性 基 于 CUDA 遥 感 影 像 并 行 处 理 研 究 现 状 GPU 是 显 示 3D 图 形 的 硬 件, 用 于 处 理 3D 图 像 渲 染 直 到 2001 年 NVIDIA 公 司 推 出 了 可 编 程 的 GPU, 此 时 基 于 图 形 硬 件 的 通 用 计 算 (General-purpose computing on graphics processing units,gpgpu) 开 始 得 到 关 注 然 而 这 一 时 期 的 GPGPU 开 发 直 接 使 用 图 形 学 API 编 程, 这 种 方 式 要 求 编 程 人 员 不 仅 要 熟 悉 自 己 需 要 实 现 的 算 法, 还 要 对 图 形 学 硬 件 和 编 程 接 口 有 深 入 的 了 解, 开 发 难 度 大, 成 本 高, 限 制 了 GPGPU 的 应 用 [2] 2007 年 NVIDIA 推 出 CUDA 编 程 模 型, 这 一 技 术 使 得 程 序 员 不 需 要 使 用 图 形 学 API 就 可 以 使 用 类 C 语 言 进 行 通 用 计 算 的 开 发, 程 序 经 过 NVCC 编 译 器 编 译 后, 可 直 接 在 GPU 上 运 行, 极 大 的 推 动 了 GPU 在 通 用 计 算 领 域 中 的 应 用 在 某 些 领 域 基 于 GPU 的 通 用 计 算 已 经 开 展 商 业 应 用 例 如, 在 多 媒 体 应 用 中 已 经 有 基 于 CUDA 实 现 的 图 像 视 频 编 解 码 高 清 视 频 转 换 软 件 ;Adobe 公 司 推 出 的 Flash 网 页 高 清 播 放 上 也 加 入 了 对 CUDA 的 支 持 ;Photoshop 在 最 新 版 的 CS5 版 本 里 也 加 入 了 GPU 加 速 的 支 持, 通 过 GPU 加 速 大 大 加 快 了 图 像 处 理 速 度 国 外 研 究 人 员 已 经 将 该 技 术 广 泛 应 用 于 石 油 勘 测 流 体 力 学 模 拟 分 子 动 力 学 仿 真 生 物 计 算 图 像 处 理 音 视 频 编 解 码 等 领 域, 获 得 了 几 倍 几 十 倍, 乃 至 上 百 倍 的 加 速 比 [3] 国 内 已 经 开 展 了 基 于 CUDA 框 架 的 GPU 并 行 计 算 技 术 在 遥 感 影 像 处 理 中 的 [19] 应 用 研 究 其 中, 杨 靖 宇 等 提 出 了 一 种 基 于 CUDA 的 遥 感 影 像 正 射 纠 正 [20] GPU-CPU 协 同 处 理 方 法, 实 现 了 重 采 样 操 作 的 GPU 细 粒 度 并 行 化 ; 康 俊 锋 等 提 出 了 基 于 GPU 加 速 的 遥 感 影 像 金 字 塔 创 建 算 法, 其 核 心 是 结 合 GPU 并 行 和 [21] CPU 串 行 提 高 重 采 样 的 计 算 效 率 ; 张 海 军 等 利 用 最 近 邻 算 法, 在 统 一 计 算 设 [22][23] 备 架 构 下, 实 现 了 对 遥 感 影 像 去 除 噪 声 的 并 行 处 理 ; 肖 汉 等 提 出 了 采 用 GPU 并 行 技 术 进 行 基 于 灰 度 的 影 像 匹 配 算 法, 并 在 执 行 配 置 高 速 存 储 和 全 局 存 储 三 个 方 面 进 行 优 化, 提 高 了 计 算 的 效 率 6

15 1.3 主 要 研 究 内 容 无 人 机 影 像 具 有 分 辨 率 高 像 幅 小 重 叠 度 大 旋 偏 大 等 特 点, 一 个 摄 区 的 影 像 多 达 上 千 张, 数 字 摄 影 测 量 中 传 统 的 灰 度 匹 配 很 难 适 应 无 人 机 遥 感 影 像 的 匹 配 特 点, 而 且 匹 配 效 率 低, 严 重 影 响 了 无 人 机 影 像 的 快 速 处 理 及 其 在 灾 害 应 急 响 应 中 的 应 用 本 文 对 影 像 预 处 理 基 于 特 征 的 匹 配 算 法 以 及 基 于 CUDA 的 无 人 机 影 像 快 速 匹 配 算 法 进 行 了 深 入 研 究, 主 要 研 究 内 容 如 下 : (1) 无 人 机 遥 感 影 像 匹 配 前 的 预 处 理 包 括 非 量 测 型 数 码 相 机 的 畸 变 差 改 正 和 基 于 Wallis 滤 波 的 图 像 增 强 (2) 无 人 机 遥 感 影 像 匹 配 算 法 重 点 分 析 Harris 角 点 算 法 和 SIFT 匹 配 算 法, 通 过 实 验 对 比 选 择 更 适 合 无 人 机 遥 感 影 像 匹 配 的 SIFT 算 法 研 究 了 基 于 RANSAC 的 误 匹 配 剔 除 和 基 于 视 差 的 粗 差 剔 除 方 法, 对 匹 配 的 初 始 数 据 进 行 提 纯 (3)CUDA 的 软 硬 件 架 构 和 基 于 CUDA 并 行 计 算 的 一 般 流 程 (4) 基 于 CUDA 的 无 人 机 遥 感 影 像 匹 配 算 法 研 究 利 用 CUDA 实 现 无 人 机 遥 感 影 像 的 畸 变 差 改 正 Wallis 滤 波 和 SIFT 匹 配, 并 介 绍 了 算 法 在 相 对 定 向 和 快 速 拼 接 方 面 的 应 用 1.4 论 文 组 织 结 构 全 文 共 分 六 章, 各 章 安 排 如 下 : 第 一 章 为 绪 论, 主 要 介 绍 了 本 文 的 研 究 背 景 研 究 意 义 相 关 技 术 的 国 内 外 研 究 现 状, 在 此 基 础 上 提 出 了 本 文 的 主 要 研 究 内 容 及 其 本 文 各 章 节 的 组 织 情 况 第 二 章 介 绍 了 无 人 机 影 像 匹 配 的 预 处 理 流 程, 包 括 畸 变 差 改 正 和 Wallis 滤 波 分 析 了 无 人 机 影 像 畸 变 差 的 来 源 以 及 畸 变 差 改 正 模 型 ; 分 析 了 Wallis 滤 波 的 特 性 和 算 法 流 程 第 三 章 分 析 了 无 人 机 遥 感 影 像 匹 配 算 法, 重 点 介 绍 了 Harris 角 点 检 测 基 于 相 关 系 数 的 灰 度 匹 配 SIFT 匹 配 算 法 并 分 析 了 基 于 RASANC 的 误 匹 配 剔 除 和 基 于 相 对 定 向 计 算 视 差 剔 除 粗 差 点 的 方 法 通 过 实 验 证 明 SIFT 匹 配 比 Harris 更 适 合 无 人 机 遥 感 影 像 的 匹 配 7

16 第 四 章 介 绍 了 CUDA 的 硬 件 架 构 编 程 模 型 以 及 CUDA 的 存 储 器 模 型, 并 给 出 了 基 于 CUDA 并 行 计 算 的 一 般 流 程 第 五 章 深 入 分 析 了 畸 变 差 改 正 算 法 Wallis 滤 波 算 法 和 SIFT 匹 配 算 法 的 流 程 及 特 点, 对 算 法 中 涉 及 到 的 对 大 规 模 数 据 进 行 相 同 且 独 立 的 计 算, 进 行 了 基 于 CUDA 的 并 行 设 计, 通 过 实 验 证 明 了 算 法 的 正 确 性 和 高 效 性 对 所 提 出 算 法 在 相 对 定 向 和 影 像 快 速 拼 接 方 面 的 应 用 进 行 了 初 步 探 索 第 六 章 是 总 结 与 展 望 对 本 文 所 做 的 工 作 进 行 了 全 面 总 结, 在 此 基 础 上 对 将 来 的 工 作 进 行 了 展 望 8

17 第 二 章 无 人 机 遥 感 影 像 匹 配 前 预 处 理 2.1 引 言 无 人 机 遥 感 系 统 搭 载 的 相 机 多 为 非 量 测 型 数 码 相 机, 其 镜 头 畸 变 大, 使 得 图 像 中 的 实 际 像 点 坐 标 偏 离 理 论 像 点 的 位 置 坐 标 这 破 坏 了 像 点 投 影 中 心 和 相 应 的 物 方 点 之 间 的 共 线 关 系, 使 得 所 测 量 的 像 点 坐 标 产 生 误 差, 影 响 了 后 续 匹 配 拼 接 空 中 三 角 测 量 正 射 纠 正 等 处 理 的 精 度 因 此 在 进 行 后 续 处 理 之 前 首 先 要 对 影 像 进 行 畸 变 差 改 正 此 外, 预 处 理 的 另 一 个 目 的 是 增 强 影 像 特 征, 减 少 影 像 上 的 噪 声 和 阴 影 对 匹 配 点 的 数 量 精 度 以 及 点 位 分 布 的 影 响 在 无 人 机 获 取 原 始 数 据 的 过 程 中 存 在 不 同 的 干 扰, 例 如 平 台 的 晃 动 地 形 的 起 伏 大 气 散 射 光 照 条 件 等, 同 时 由 于 普 通 数 码 相 机 CCD 波 段 响 应 能 力 和 镜 头 曝 光 速 度 等 因 素 的 影 响, 导 致 获 取 的 影 像 曝 光 不 足 对 比 度 低 存 在 阴 影 以 及 含 有 噪 声 因 此, 在 进 行 匹 配 之 前 需 要 对 影 像 进 行 增 强, 本 文 中 影 像 预 处 理 主 要 包 括 畸 变 差 改 正 和 Wallis 滤 波 增 强 本 章 分 析 了 无 人 机 影 像 畸 变 差 的 来 源, 介 绍 了 畸 变 差 改 正 的 模 型, 制 定 了 畸 变 差 改 正 的 流 程 同 时, 介 绍 了 Wallis 滤 波 算 法 和 实 现 流 程 2.2 无 人 机 影 像 畸 变 差 改 正 由 于 无 人 机 遥 感 平 台 载 荷 小, 摄 影 测 量 专 业 的 航 摄 仪 如 UCD SWDC ADS40 等 均 无 法 在 无 人 机 平 台 上 使 用 目 前 还 没 有 专 业 的 适 用 于 测 绘 行 业 的 无 人 机 航 摄 仪, 因 此 无 人 机 平 台 上 搭 载 的 多 为 非 量 测 型 数 码 相 机, 由 于 没 有 进 行 严 格 的 几 何 校 正, 其 镜 头 畸 变 大, 所 获 取 的 影 像 中 各 像 点 产 生 不 同 程 度 的 几 何 变 形, 影 响 了 无 人 机 影 像 后 续 的 匹 配 空 三 加 密 正 射 纠 正 以 及 拼 接 处 理 的 精 度 [24][25] 畸 变 差 改 正 可 以 消 除 影 像 的 镜 头 畸 变, 为 后 续 处 理 提 供 精 确 的 初 始 数 据 因 此, 畸 变 差 改 正 已 经 成 为 无 人 机 遥 感 影 像 处 理 过 程 中 必 不 可 少 的 基 础 工 作 畸 变 差 改 正 模 型 非 量 测 型 数 码 相 机 主 要 畸 变 参 数 包 括 : 镜 头 的 安 装 误 差 镜 头 的 光 学 畸 变 以 9

18 及 面 阵 内 畸 变 [26][27] (1) 镜 头 安 装 误 差 镜 头 安 装 误 差 主 要 是 指 CCD 的 投 影 中 心 和 像 主 点 不 重 合 而 引 起 的 像 主 点 偏 移, 用 x, ) 表 示 ( 0 y0 (2) 光 学 畸 变 差 光 学 畸 变 差 是 指 相 机 物 镜 系 统 设 计 制 作 和 装 配 误 差 所 引 起 的 像 点 偏 离 其 正 确 成 像 位 置 的 点 位 误 差 光 学 畸 变 差 包 含 了 径 向 畸 变 差 和 偏 心 畸 变 差 两 类 径 向 畸 变 差 使 像 点 沿 径 向 偏 离 其 准 确 位 置 ; 偏 心 畸 变 差 是 由 于 镜 头 光 学 中 心 和 几 何 中 心 不 一 致 引 起 的 误 差, 它 使 像 点 沿 径 向 和 垂 直 于 径 向 都 偏 离 于 正 确 位 置 1 径 向 畸 变 差 x xkr ( kr kr) y y( k r k r k r ) (2.1) 其 中, x y 为 像 点 坐 标 ; k 1 k 2 k 3 为 径 向 畸 变 参 数 ; 2 偏 心 畸 变 差 r 2 2 x y x p ( r 2 x ) 2p xy y p ( r 2 y ) 2p xy (2.2) 其 中, p 1 p2 为 偏 心 畸 变 参 数 (3) 面 阵 内 畸 变 差 面 阵 内 畸 变 参 数 有 两 个,CCD 非 正 方 形 比 例 系 数,CCD 非 正 交 性 畸 变 系 数, 计 算 公 式 为 : x x y y 0 (2.3) 综 合 以 上 分 析, 无 人 机 采 用 非 量 测 型 数 码 相 机 的 畸 变 差 改 正 模 型 为 : x ( x x )( k r k r k r ) p ( r 2( x x ) ) 2 p ( x x )( y y ) ( x x ) ( y y ) 0 0 y ( y y )( k r k r k r ) p ( r 2( y y ) ) 2 p ( x x )( y y ) ( x x ) ( y y ) 0 0 (2.4) 2 2 其 中, x y 为 像 点 坐 标 改 正 值 ; r ( x x ) ( y y 0 0 ) 10

19 2.2.2 畸 变 差 改 正 流 程 在 进 行 畸 变 差 改 正 前 首 先 要 获 取 相 机 的 畸 变 改 正 参 数, 目 前, 国 内 通 常 采 用 澳 大 利 亚 墨 尔 本 大 学 的 Australis 软 件 完 成 对 相 机 的 检 校 本 文 采 用 间 接 法 进 行 畸 变 差 改 正, 改 正 过 程 是 利 用 已 知 的 相 机 畸 变 参 数, 根 据 畸 变 差 改 正 模 型 计 算 改 正 后 影 像 的 每 个 像 元 在 原 始 影 像 中 的 位 置, 然 后 利 用 插 值 算 法 从 原 始 影 像 中 计 算 像 素 值, 并 将 该 值 赋 给 改 正 后 影 像 的 相 应 位 置, 最 后 保 存 影 像 完 成 畸 变 差 改 正 无 人 机 影 像 的 畸 变 差 改 正 流 程 如 图 2-1 所 示, 畸 变 差 改 正 前 后 的 影 像 如 图 2-2 所 示 图 2-1 无 人 机 影 像 畸 变 差 改 正 流 程 图 (a) 畸 变 差 改 正 前 (b) 畸 变 差 改 正 后 图 2-2 无 人 机 影 像 畸 变 差 改 正 前 后 对 比 2.3 Wallis 滤 波 在 无 人 机 影 像 的 获 取 过 程 中, 由 于 光 照 条 件 拍 摄 角 度 地 形 起 伏 传 感 器 位 置 等 因 素, 使 得 影 像 中 的 地 物 具 有 阴 影, 而 且 阴 影 的 分 布 并 不 均 匀 Wallis 滤 11

20 波 是 一 种 局 部 的 影 像 变 换, 它 使 影 像 反 差 小 的 区 域 反 差 增 大, 影 像 反 差 大 的 区 域 反 差 减 小, 使 得 影 像 中 灰 度 的 微 小 变 化 信 息 得 到 增 强, 因 此 在 增 加 影 像 对 比 度 的 同 时 压 制 噪 声 [28] 因 此, 可 以 在 一 定 程 度 上 消 除 地 物 阴 影 和 分 布 不 均 的 情 况 在 影 像 匹 配 中,Wallis 滤 波 可 以 增 加 特 征 提 取 时 特 征 点 的 数 量, 在 影 像 匹 配 中 可 降 低 错 匹 配 的 概 率 和 减 小 匹 配 的 不 确 定 性, 从 而 增 强 影 像 匹 配 的 可 靠 性 和 精 度 [29] Wallis 滤 波 的 原 理 是 将 局 部 影 像 的 灰 度 均 值 和 方 差 映 射 到 给 定 的 灰 度 均 值 和 方 差 值, 以 使 不 同 影 像 具 有 近 似 的 色 调 亮 度 与 反 差, 公 式 如 式 2.5 cs f f ( xy, ) [ gxy (, ) m)] bm (1 bm ) cs (1 c) s g f g g f (2.5) 其 中, g( x, y ) 为 原 始 影 像 中 点 ( x, y ) 的 灰 度 值 ; f ( x, y ) 为 点 ( x, y ) 经 Wallis 变 换 后 的 影 像 灰 度 值 ; m g s g 为 原 始 影 像 g( x, y ) 中 以 点 ( x, y ) 为 中 心 的 大 小 为 (2N 1) (2M 1) 的 窗 口 计 算 得 到 的 原 始 影 像 的 局 部 灰 度 均 值 和 方 差 ; m f s f 为 结 果 影 像 f ( x, y ) 中 局 部 灰 度 均 值 和 方 差 的 目 标 值 ;c 为 影 像 方 差 的 扩 展 常 数, c [0,1] ;b 为 影 像 的 亮 度 系 数, b [0,1], 当 b 1时 影 像 均 值 被 强 制 到 m, 当 b 0时, 影 像 均 值 被 强 制 到 m 式 2.5 也 可 表 示 为 : g f ( xy, ) gxyr (, ) r (2.6) 1 0 f cs f 其 中, r 1 cs (1 c) s g f r bm (1 b r) m, r 0 和 r 1 分 别 为 加 性 系 数 和 乘 性 ; 0 f 1 g 系 数 由 于 Wallis 滤 波 实 质 是 分 块 调 整 原 始 影 像 的 灰 度 均 值 和 方 差, 因 此 对 于 彩 色 影 像 可 以 转 换 为 灰 度 图 像 再 进 行 Wallis 滤 波 或 者 分 别 对 每 个 波 段 进 行 Wallis 滤 波 Wallis 滤 波 的 实 现 过 程 如 下 : (1) 把 影 像 分 为 互 不 重 叠 的 格 网 区 域, 每 个 格 网 区 域 都 有 一 个 左 上 角 点 与 之 相 同 但 边 长 较 长 的 滤 波 区 域 与 之 对 应, 可 知 滤 波 区 域 是 相 互 重 叠 的 此 外, 格 网 区 域 的 尺 度 对 应 于 要 增 强 的 纹 理 模 式 的 尺 度 ; 12

21 (2) 计 算 各 滤 波 区 域 的 灰 度 均 值 与 方 差, 将 其 灰 度 均 值 和 方 差 赋 给 对 应 的 格 网 区 域 ; (3) 灰 度 均 值 和 方 差 的 目 标 值 分 别 设 定 为 127 和 之 间 的 数 值, 其 中 后 者 应 随 着 区 域 尺 度 的 减 小 而 减 小 以 防 止 大 量 像 素 的 灰 度 值 被 饱 和 ( 即 落 于 [0, 255] 之 外 ) 然 后 计 算 出 各 区 域 的 加 性 系 数 r 0 和 乘 性 系 数 r ; 1 (4) 由 于 各 滤 波 区 域 相 差 较 大, 导 致 各 格 网 区 域 之 间 的 r 0 和 r 1 有 较 大 差 异, 因 此 采 用 双 线 性 插 值 的 方 法 计 算 每 个 像 素 的 r 0 和 r ; 1 (5) 利 用 插 值 后 的 每 个 像 素 的 r 0 和 r, 1 计 算 出 像 素 新 的 灰 度 值 Wallis 滤 波 流 程 图 如 图 2-3 所 示,Wallis 滤 波 效 果 如 图 2-4 所 示 图 2-3 Wallis 滤 波 流 程 图 (a) 原 始 影 像 (b)wallis 滤 波 后 影 像 图 2-4 Wallis 滤 波 ( m 127, s 50, c 65, b 0.75 ) f f 13

22 2.4 本 章 小 结 本 章 研 究 了 无 人 机 影 像 匹 配 前 所 需 要 进 行 的 预 处 理 工 作, 主 要 包 括 : (1) 分 析 非 量 测 型 数 码 相 机 的 畸 变 差 模 型 和 改 正 方 法, 介 绍 了 畸 变 差 改 正 流 程 (2) 分 析 Wallis 滤 波 在 影 像 匹 配 中 的 作 用 和 实 现 的 过 程 14

23 第 三 章 无 人 机 遥 感 影 像 匹 配 算 法 3.1 引 言 无 人 驾 驶 的 飞 机 飞 艇 等 低 空 遥 感 平 台 由 于 自 身 的 操 控 特 性 及 受 风 力 的 影 响, 与 有 人 驾 驶 飞 机 及 卫 星 平 台 相 比 平 台 稳 定 性 较 差, 很 难 严 格 按 照 预 定 的 航 线 飞 行, 数 码 相 机 的 姿 态 也 不 可 能 保 持 近 似 垂 直 摄 影, 因 此 所 拍 摄 的 影 像 可 能 存 在 较 大 的 偏 角 或 旋 角 此 外, 无 人 机 遥 感 平 台 搭 载 的 是 普 通 数 码 相 机, 相 机 曝 光 不 充 分, 导 致 影 像 对 比 度 低, 影 像 模 糊 另 外, 一 般 无 人 机 飞 行 高 度 较 低, 受 到 地 形 起 伏 以 及 建 筑 物 的 影 响, 获 取 的 相 邻 影 像 上 存 在 较 大 的 投 影 差, 更 增 加 了 匹 配 同 名 点 的 难 度 [30] 本 章 介 绍 了 遥 感 影 像 常 用 的 匹 配 算 法, 重 点 研 究 了 Harris 角 点 提 取 和 尺 度 旋 转 不 变 性 (SIFT) 算 法 的 原 理 通 过 对 两 种 算 法 的 实 验 对 比, 最 终 选 用 SIFT 作 为 无 人 机 影 像 的 匹 配 算 法, 同 时 研 究 了 基 于 RASANC(Random Sample Consensus) 的 误 匹 配 剔 除 和 基 于 相 对 定 向 计 算 视 差 的 粗 差 剔 除 算 法 3.2 遥 感 影 像 匹 配 算 法 图 3-1 遥 感 影 像 匹 配 流 程 图 15

24 影 像 匹 配 是 数 字 摄 影 测 量 与 遥 感 领 域 的 重 要 研 究 课 题 之 一, 是 进 行 遥 感 影 像 配 准 拼 接 摄 影 测 量 中 空 中 三 角 测 量 的 前 提 影 像 匹 配 主 要 分 为 两 类 : 基 于 灰 度 的 匹 配 和 基 于 特 征 的 匹 配 遥 感 影 像 匹 配 流 程 [31], 如 图 3-1 所 示 3.3 Harris 角 点 检 测 及 其 匹 配 算 法 Harris 算 法 是 由 Chris Harris 和 M.J.Stephens 在 1988 年 提 出 的 一 种 角 点 检 测 的 方 法 [32] 这 种 算 子 受 信 号 处 理 中 自 相 关 函 数 的 启 发, 其 基 本 思 想 是 : 计 算 图 像 灰 度 的 一 阶 导 数, 估 算 自 相 关 矩 阵, 当 某 一 像 素 点 的 自 相 关 矩 阵 的 特 征 值 非 常 大 时, 则 认 为 该 点 为 角 点 Harris 角 点 检 测 和 匹 配 算 法 的 流 程 如 图 3-2 所 示 图 3-2 Harris 角 点 检 测 和 匹 配 流 程 图 Harris 角 点 检 测 原 理 Harris 角 点 检 测 原 理 可 以 直 观 的 理 解 为 : 图 像 中 一 个 局 部 窗 口 在 不 同 方 向 进 行 少 量 的 偏 移, 通 过 研 究 窗 口 内 图 像 亮 度 值 的 变 化 来 检 测 角 点 如 果 某 一 点 向 任 意 方 向 发 生 小 小 的 偏 移 就 会 引 起 灰 度 的 很 大 变 化, 就 说 明 该 点 是 角 点 窗 口 内 图 像 亮 度 的 变 化 可 分 为 以 下 三 种 情 况 [8] : (1) 窗 口 内 图 像 的 亮 度 值 恒 定, 所 有 方 向 的 偏 移 不 会 引 起 亮 度 值 的 变 化, 如 图 3-3(a) 所 示 ; 16

25 (2) 窗 口 跨 越 一 条 边, 沿 着 这 条 边 的 偏 移 不 会 引 起 亮 度 值 变 化, 但 是 与 边 垂 直 方 向 的 偏 移 会 引 起 亮 度 值 很 大 的 变 化, 如 图 3-3(b) 所 示 ; (3) 窗 口 包 含 一 个 孤 立 的 点 或 者 角 点, 那 么 所 有 不 同 方 向 的 偏 移 都 会 引 起 亮 度 值 很 大 的 变 化, 如 图 3-3(c) 所 示 (a) 窗 口 内 亮 度 值 恒 定 (b) 窗 口 跨 越 一 条 边 (c) 窗 口 包 含 角 点 图 3-3 Harris 角 点 检 测 的 原 理 对 于 图 像 I ( x, y ), 当 在 点 ( x, y ) 处 平 移 ( x, y) 后 的 自 相 似 性, 可 以 通 过 自 相 关 函 数 给 出 : 2 (3.1) cxy (,, x, y) wuv (, ) Iuv (, ) Iu ( xv, y) ( uv, ) W( xy, ) 其 中, W( x, y ) 是 以 点 ( x, y ) 为 中 心 的 窗 口, wuv (, ) 为 加 权 函 数, 它 既 可 以 为 常 数, 2 2 ( x) ( y) 也 可 以 是 高 斯 加 权 函 数 w exp( ) 2 2 经 过 泰 勒 展 开, 式 3.1 可 表 示 为 : ( uv, ) W( xy, ) 2 cxy (,, x, y) wuv (, ) Iuv (, ) Iu ( xv, y) x wuv (, ) Ix( uv, ), Iy( uv, ) ( uv, ) W( xy, ) y x x, y M( x, y) y 2 (3.2) Harris 算 法 计 算 各 像 素 沿 不 同 方 向 的 平 均 灰 度 变 化, 选 取 最 小 值 作 为 对 应 像 素 点 的 角 点 响 应 值 R, 计 算 公 式 为 : trace 2 R det M M (3.3) A B 其 中,det M 为 矩 阵 M 的 行 列 式 ; tracem 为 矩 阵 M 的 迹 ; 为 经 验 常 数, 取 B C 17

26 值 范 围 det M AC B 1 2 trace M A C (3.4) Harris 角 点 检 测 的 步 骤 和 特 点 (1)Harris 角 点 检 测 的 步 骤 如 下 : 1 计 算 图 像 I(x,y) 在 X 和 Y 两 个 方 向 的 梯 度 I x I y I I I ( 1,0,1) ( 1,0,1) T x I ; Iy I (3.5) x y 2 计 算 两 个 方 向 梯 度 的 乘 积 I I I ; I I I ; I I I (3.6) 2 2 x x x y y y xy x y 3 使 用 高 斯 函 数 对 I I 2 y 和 I xy 进 行 高 斯 加 权 ( 取 σ=1), 生 成 矩 阵 M 的 元 素 2 2 ( x) ( y) A B 和 C w exp( ) x A I w; B I w; C I w (3.7) 2 2 x y xy 4 计 算 每 像 元 的 Harris 角 点 响 应 值 R, 并 计 算 R 是 否 大 于 设 定 阈 值 threshold trace 2 R det M M R threshold (3.8) 5 如 果 R 大 于 阈 值, 则 在 w w(w 为 奇 数 ) 邻 域 内 进 行 非 最 大 值 抑 制, 局 部 最 大 值 点 即 为 图 像 中 的 角 点 (2)Harris 角 点 检 测 的 特 点 包 括 : 1 计 算 简 单 :Harris 算 子 中 只 用 到 灰 度 的 一 阶 差 分 以 及 滤 波, 操 作 简 单 2 提 取 的 点 特 征 均 匀 而 且 合 理 :Harris 算 子 对 图 像 中 的 每 个 点 都 计 算 其 兴 趣 值, 然 后 在 邻 域 中 选 择 最 优 点 实 验 表 明, 在 纹 理 信 息 丰 富 的 区 域,Harris 算 子 可 以 提 取 出 大 量 有 用 的 特 征 点, 而 在 纹 理 信 息 少 的 区 域, 提 取 的 特 征 点 则 较 少 3 稳 定 :Harris 算 子 的 计 算 公 式 中 只 涉 及 到 一 阶 导 数, 因 此 对 图 像 旋 转 灰 度 变 化 噪 声 影 响 和 视 点 变 换 不 敏 感, 它 也 是 比 较 稳 定 的 一 种 点 特 征 提 取 算 子 Harris 算 子 的 局 限 性 主 要 在 于 它 对 尺 度 很 敏 感, 不 具 有 尺 度 不 变 性 另 外 由 18

27 于 像 元 是 否 接 受 为 角 点, 是 由 响 应 阈 值 决 定 的, 因 此 Harris 角 点 对 于 阈 值 的 选 取 较 为 敏 感 角 点 匹 配 方 法 对 于 检 测 出 的 角 点, 可 以 采 用 灰 度 相 关 的 方 法 进 行 角 点 的 匹 配 其 原 理 是 以 检 测 出 的 角 点 为 中 心, 选 择 N N大 小 的 窗 口, 逐 一 计 算 图 像 间 各 窗 口 的 相 关 性, 以 某 种 相 关 性 测 度 判 断 两 角 点 是 否 为 匹 配 点 灰 度 匹 配 中 的 相 似 性 测 度 主 要 有 归 一 化 相 关 系 数 测 度 协 方 差 测 度 相 关 函 数 测 度 差 平 方 和 测 度 差 绝 对 值 和 测 度 其 中 归 一 化 相 关 系 数 法 是 一 种 常 用 的 角 点 匹 配 方 法, 是 标 准 化 的 协 方 差 函 数, 具 有 灰 度 线 性 变 换 的 不 变 性 去 除 了 低 频 背 景 亮 度 信 息 的 干 扰, 有 一 定 的 抗 噪 声 能 力 本 文 在 角 点 匹 配 中 选 用 的 是 归 一 化 相 关 系 数 法, 公 式 如 下 [36] Qi (, j) w h m w n h [ I( m xn, y) I( xy, )] [ I( m xn, y) I( xy, )] w h w h 2 2 [ I1( m xn, y) I1( xy, )] [ I2( m xn, y) I2( xy, )] m wn h m w n h (3.9) 其 中, I 1 ( xy, ) 与 I ( xy, ) 2 分 别 表 示 左 右 两 幅 图 像 中 像 素 点 ( x, y ) 处 的 灰 度 值, 相 关 窗 口 大 小 为 (2w 1) (2h 1), I 1 (, xy ) I 2 (, xy ) 表 示 窗 口 内 图 像 的 像 素 均 值 Qi (, j ) 取 值 范 围 为 [ 1,1], Qi (, j ) 的 值 越 大, 说 明 i 和 j 两 个 角 点 的 相 关 程 度 越 高 归 一 化 相 关 系 数 法 只 利 用 了 图 像 的 灰 度 信 息, 当 两 幅 影 像 亮 度 对 比 度 旋 偏 角 和 尺 度 差 异 过 大 时, 灰 度 匹 配 将 失 去 相 关 性, 不 能 正 确 得 到 两 幅 影 像 的 匹 配 点 对 3.4 SIFT 匹 配 算 法 SIFT 算 法 是 基 于 图 像 特 征 尺 度 选 择 的 思 想, 建 立 图 像 的 多 尺 度 空 间, 在 不 同 尺 度 下 检 测 特 征 点, 确 定 特 征 点 位 置 的 同 时 确 定 其 所 在 尺 度, 以 达 到 抗 缩 放 的 目 的, 剔 除 一 些 对 比 度 较 低 的 点 以 及 边 缘 相 应 点, 提 取 旋 转 不 变 特 征 描 述 符 以 达 到 抗 几 何 变 换 的 目 的 SIFT 算 法 检 测 的 点 特 征 是 图 像 的 局 部 特 征, 该 特 征 对 平 移 旋 转 尺 度 缩 放 亮 度 变 化 保 持 不 变 性, 对 视 角 变 化 仿 射 变 化 噪 声 也 保 持 一 定 程 度 的 稳 定 19

28 性 SIFT 特 征 匹 配 的 步 骤 如 下 :1 建 立 尺 度 空 间 ;2 尺 度 空 间 极 值 点 检 测 ;3 关 键 点 位 置 的 精 确 定 位 及 去 除 不 稳 定 的 点 ;4 关 键 点 主 方 向 的 计 算 ;5 在 关 键 点 处 提 取 特 征 描 述 符 ;6 利 用 特 征 描 述 符 进 行 两 幅 影 像 的 特 征 匹 配 SIFT 匹 配 算 法 流 程 如 图 3-4 所 示 生 成 尺 度 空 间 图 像 A 图 像 B 极 值 点 检 测 精 确 定 位 极 值 点 SIFT 特 征 提 取 确 定 特 征 点 主 方 向 特 征 匹 配 生 成 特 征 点 的 描 述 子 误 匹 配 剔 除 图 3-4 SIFT 匹 配 算 法 流 程 SIFT 特 征 提 取 和 描 述 (1) 生 成 高 斯 尺 度 空 间 和 高 斯 差 分 尺 度 空 间 尺 度 空 间 理 论 最 早 出 现 于 计 算 机 视 觉 领 域, 其 目 的 是 模 拟 图 像 数 据 的 多 尺 度 特 征, 是 检 测 不 变 特 征 的 基 础 Koenderink [33] 证 明 高 斯 卷 积 核 是 实 现 尺 度 变 换 的 唯 一 变 换 核,Lindeberg [34] 进 一 步 证 明 高 斯 核 是 实 现 尺 度 变 换 的 唯 一 线 性 变 换 核 高 斯 尺 度 空 间 的 核 心 思 想 是 将 原 始 图 像 与 高 斯 函 数 做 卷 积, 通 过 高 斯 函 数 参 数 的 不 断 变 化, 获 得 图 像 多 尺 度 下 的 空 间 序 列, 从 而 检 测 在 尺 度 变 化 时 依 然 稳 定 的 特 征 一 幅 二 维 图 像 的 尺 度 空 间 定 义 : 其 中, Gxy (,, ) 是 尺 度 可 变 高 斯 函 数 : L( x, y, ) Gxy (,, ) I( x, y) (3.10) 20

29 1 2 2 ( x y ) 2 Gxy (,, ) e /2 (3.11) 2 其 中,( x, y ) 是 空 间 坐 标, 符 号 * 表 示 卷 积, I(, xy ) 代 表 图 像 的 像 素 位 置, 是 尺 度 空 间 因 子, 也 是 高 斯 核 函 数 的 方 差, 值 越 小 表 示 图 像 被 平 滑 的 越 少, 相 应 的 尺 度 也 就 越 小 大 尺 度 对 应 于 图 像 的 概 貌 特 征, 小 尺 度 对 应 于 图 像 的 细 节 特 征 图 3-5 表 示 了 3 组 5 层 的 高 斯 尺 度 空 间 图 3-5 高 斯 尺 度 空 间 为 了 更 有 效 的 在 尺 度 空 间 中 检 测 稳 定 的 关 键 点,Lowe 提 出 了 高 斯 差 分 尺 度 空 间 选 择 高 斯 差 分 函 数 主 要 有 两 个 原 因, 首 先,DOG 算 子 计 算 简 单, 只 需 要 将 两 个 高 斯 平 滑 后 的 图 像 L( x, y, ) 相 减 即 能 得 到, 执 行 效 率 较 高 ; 其 次, Lindeberg 研 究 发 现 高 斯 差 分 DOG(Difference of Gaussian) 是 尺 度 归 一 化 LOG (Laplacian of Gaussian) 的 一 个 很 好 近 似, 而 尺 度 归 一 化 的 LOG 间 具 有 真 正 的 尺 度 不 变 性, 因 此 其 检 测 出 的 特 征 点 稳 定 性 较 好 高 斯 差 分 尺 度 空 间 定 义 为 : Dxy (,, ) ( Gxy (,, k ) G( x, y, )) I( x, y) Lxy (,, k ) L( x, y, ) (3.12) 其 中,k 是 常 数 因 子 图 3-6 表 示 了 3 组 4 层 的 高 斯 差 分 尺 度 空 间 21

30 图 3-6 高 斯 差 分 尺 度 空 间 SIFT 算 法 的 尺 度 空 间 金 字 塔 共 O 组, 每 组 有 S+3 层 (S 为 高 斯 差 分 尺 度 空 间 中 可 检 测 到 的 极 值 点 层 数 ) 在 构 造 尺 度 空 间 第 一 组 金 字 塔 时, 第 一 层 的 高 斯 卷 积 核 为, 以 后 每 一 层 的 高 斯 卷 积 核 均 是 其 前 一 层 的 k 倍 剩 余 每 一 组 的 第 一 层 的 图 像 均 由 其 前 一 组 高 斯 卷 积 核 为 2 的 图 像 降 采 样 得 到 相 邻 的 高 斯 图 像 做 差, 即 得 到 高 斯 差 分 图 像, 如 图 3-7 所 示 4 k 3 k 2 k k 3 k 2 k k 4 k 3 k 2 k k 3 k 2 k k 图 3-7 SIFT 尺 度 空 间 (2) 极 值 点 检 测 22

31 在 高 斯 差 分 图 像 上, 对 每 个 像 元 同 尺 度 的 8 个 相 邻 点 和 上 下 相 邻 尺 度 对 应 的 2 9 个 点 共 26 个 点 进 行 比 较, 以 确 保 在 尺 度 空 间 和 二 维 图 像 空 间 都 检 测 到 极 值 点 如 果 检 测 点 是 极 大 值 或 者 极 小 值, 则 将 该 点 视 为 关 键 点 如 图 3-8 所 示 图 3-8 DOG 尺 度 空 间 局 部 极 值 检 测 (3) 精 确 定 位 极 值 点 并 删 除 不 稳 定 的 点 对 于 选 定 的 关 键 点, 需 要 通 过 尺 度 空 间 函 数 Dxy (,, ) 的 泰 勒 二 次 展 开 式 进 行 最 小 二 乘 拟 合, 计 算 拟 合 曲 面 的 极 值 来 进 一 步 确 定 关 键 点 的 精 确 位 置 和 尺 度 同 时 由 于 低 对 比 度 的 点 和 边 缘 点 易 受 到 噪 声 的 干 扰 而 变 的 不 稳 定, 因 此 需 要 删 除 这 两 类 点 过 程 如 下 : 1 精 确 定 位 极 值 点 高 斯 差 分 尺 度 空 间 Dxy (,, ) 泰 勒 展 开 如 下 : T 2 D 1 T D DX ( ) D X X X 2 X 2 X (3.13) 对 上 式 求 导, 并 令 其 为 0, 得 到 精 确 的 位 置 : 2 1 ˆ D D 2 X (3.14) X X 当 ˆX ( 相 对 于 插 值 中 心 点 的 偏 移 量 ) 在 任 何 方 向 上 的 偏 移 大 于 0.5 时, 意 味 着 插 值 中 心 点 已 经 偏 移 到 它 的 邻 近 点 上, 所 以 这 样 的 点 需 要 删 除 2 去 除 低 对 比 度 的 点 23

32 把 式 3.14 带 入 式 3.15 中 只 取 前 两 项 可 得 : T ˆ 1 D DX ( ) D Xˆ 2 X (3.15) 当 D( Xˆ ) 0.03时 ( 假 设 图 像 的 灰 度 值 是 在 0-1 之 间 ), 其 响 应 值 过 小, 这 样 的 点 易 受 噪 声 的 干 扰 而 变 得 不 稳 定, 所 以 要 删 除 3 删 除 边 缘 响 应 点 由 于 DOG 对 图 像 中 的 边 缘 有 比 较 强 的 响 应 值, 而 边 缘 点 往 往 是 不 稳 定 的, 因 此 需 要 删 除 这 些 点 一 个 平 坦 的 DOG 响 应 峰 值 往 往 在 横 跨 边 缘 的 地 方 有 较 大 的 主 曲 率, 而 在 垂 直 边 缘 的 方 向 有 较 小 的 主 曲 率, 而 主 曲 率 可 以 通 过 2 2 的 Hessian 矩 阵 H 求 出 : H D D xx xy D D xy yy (3.16) H 的 特 征 值 和 代 表 x 和 y 方 向 的 梯 度, Tr( H ) 表 示 矩 阵 H 对 角 线 元 素 之 和, Det( H ) 表 示 矩 阵 H 的 行 列 式 : Tr( H ) D D xx yy Det( H ) D D ( D ) 2 xx yy xy (3.17) 假 设 是 较 大 的 特 征 值, 而 是 较 小 的 特 征 值, 令 r, 则 : Tr( H ) ( ) ( r ) ( r 1) (3.18) 2 Det( H ) r r ( r 1) 公 式 r 2 的 值 在 两 个 特 征 值 相 等 时 最 小, 随 着 r ( r 1) 的 增 大 而 增 大, r 2 值 越 大, 说 明 两 个 特 征 值 的 比 值 越 大, 即 在 某 一 个 方 向 的 梯 度 值 越 大, 而 在 另 一 个 方 向 的 梯 度 值 越 小, 而 边 缘 恰 恰 就 是 这 种 情 况 所 以 为 了 剔 除 边 缘 响 应 点, 需 要 Tr( H ) ( r 1) 让 该 比 值 小 于 一 定 的 阈 值 因 此 设 定 阈 值 r, 若 Det( H ) r 2 2, 则 认 为 该 点 是 边 缘 点, 需 要 删 除 (4) 计 算 关 键 点 主 方 向 为 了 保 证 匹 配 过 程 中 图 像 旋 转 的 不 变 性, 需 要 根 据 检 测 到 的 极 值 点 的 局 部 图 24

33 像 结 构 为 每 个 关 键 点 指 定 主 方 向 对 于 己 经 检 测 到 的 极 值 点, 若 它 的 尺 度 值 为, 根 据 这 一 尺 度 值, 可 得 到 最 接 近 这 一 尺 度 值 的 高 斯 图 像 : L( x, y) Gxy (,, ) I( x, y) (3.19) 则 计 算 以 极 值 点 为 中 心 的 局 部 图 像 梯 度 的 幅 值 和 方 向 的 计 算 公 式 如 下 :, 1 L x, y 1 1, 1, m x, y L x 1, y L x 1, y L x, y 1 L x, y 1 xy, tan L x y L x y L x y (3.20) 在 以 关 键 点 为 中 心 的 邻 域 窗 口 内 采 样, 并 用 直 方 图 统 计 邻 域 像 素 的 梯 度 方 向 梯 度 直 方 图 的 范 围 是 0~360 度, 其 中 每 10 度 一 个 柱, 总 共 36 个 柱 直 方 图 的 峰 值 则 代 表 了 该 关 键 点 处 邻 域 梯 度 的 主 方 向, 即 作 为 该 关 键 点 的 方 向 如 图 3-9 所 示 图 3-9 由 梯 度 方 向 直 方 图 确 定 主 梯 度 方 向 在 梯 度 方 向 直 方 图 中, 当 存 在 另 一 个 相 当 于 主 峰 值 80% 能 量 的 峰 值 时, 则 将 这 个 方 向 作 为 该 关 键 点 的 辅 方 向, 以 增 强 匹 配 的 鲁 棒 性 (5) 生 成 关 键 点 描 述 子 描 述 的 目 的 是 在 关 键 点 计 算 后, 用 一 组 向 量 将 这 个 关 键 点 描 述 出 来, 这 个 描 述 子 不 但 包 括 关 键 点, 也 包 括 关 键 点 周 围 对 其 有 贡 献 的 像 素 点, 用 来 作 为 目 标 匹 配 的 依 据 1) 确 定 计 算 描 述 子 所 需 的 特 征 区 域 以 特 征 点 为 中 心, 特 征 区 域 为 : p p m B 1 2 m B 1 2 (3.21) 25

34 其 中 :m=3,b p =4,σ 为 特 征 点 所 在 层 的 尺 度 2) 将 特 征 区 域 图 像 梯 度 的 位 置 和 方 向 旋 转 一 个 方 向 角, 旋 转 为 关 键 点 的 主 方 向, 以 确 保 旋 转 不 变 性 那 么 旋 转 角 度 后 新 坐 标 为 : xˆ cos sin x yˆ sin cos y (3.22) 3) 取 一 个 m B m B 大 小 的 图 像 区 域, 并 将 其 等 间 隔 划 分 为 B B 个 子 p p p p 区 域, 每 个 间 隔 m 像 元 在 每 个 子 区 域 内 计 算 8 个 方 向 的 梯 度 方 向 直 方 图, 绘 制 每 个 梯 度 方 向 的 累 加 值 形 成 一 个 种 子 点 最 终 形 成 4 4 8=128 维 的 SIFT 特 征 矢 量, 如 图 3-10 所 示 图 3-10 SIFT 描 述 子 计 算 方 法 4) 特 征 向 量 归 一 化 处 理 为 了 减 小 较 大 梯 度 的 模 的 影 响, 可 以 设 定 一 个 阈 值, 使 特 征 向 量 中 的 128 项 均 小 于 等 于 该 阈 值, 再 对 特 征 向 量 进 行 一 次 归 一 化 Lowe 算 法 中 设 定 此 阈 值 为 0.2 归 一 化 处 理 的 步 骤 : 1 将 用 三 维 数 组 存 储 的 梯 度 转 换 为 用 一 维 数 组 存 储, 一 维 数 组 的 大 小 为 对 128 个 梯 度 进 行 归 一 化 处 理 3 将 归 一 化 后 的 梯 度 值 限 制 在 0.2, 如 果 某 一 个 归 一 化 后 的 梯 度 值 大 于 0.2, 则 该 梯 度 值 将 被 直 接 取 值 为 再 次 进 行 梯 度 归 一 化 处 理 5 对 每 一 个 梯 度 值 乘 以 一 个 系 数 ( 经 验 值 为 512), 将 浮 点 的 梯 度 值 转 化 为 整 数 如 果 乘 积 大 于 512, 则 该 梯 度 值 就 为 512, 否 则 为 乘 积 值 26

35 3.4.2 SIFT 特 征 匹 配 当 两 幅 图 像 的 SIFT 特 征 向 量 生 成 后, 采 用 关 键 点 特 征 向 量 的 欧 式 距 离 作 为 两 幅 图 像 中 关 键 点 的 相 似 性 判 定 度 量 取 一 幅 图 像 中 的 一 个 关 键 点, 计 算 其 与 另 一 幅 图 像 中 每 个 关 键 点 的 欧 式 距 离, 如 果 最 近 的 距 离 与 次 近 的 距 离 的 比 值 小 于 设 定 的 阈 值, 则 接 受 这 一 对 匹 配 点 另 外, 为 了 减 少 关 键 点 搜 索 的 时 间, 可 以 建 立 k-d 树, 利 用 BBF(Best Bin First) 算 法 进 行 搜 索, 该 算 法 在 文 献 [8][38] 中 有 详 细 介 绍 SIFT 特 征 匹 配 的 效 果 如 图 3-11 所 示 图 3-11 SIFT 特 征 匹 配 效 果 SIFT 匹 配 算 法 的 特 点 (1)SIFT 特 征 点 是 在 尺 度 空 间 上 提 取 的 稳 定 的 点, 因 此 具 有 尺 度 不 变 性 (2) 根 据 邻 域 的 梯 度 方 向 信 息, 设 定 了 关 键 点 的 主 方 向, 并 统 计 了 旋 转 后 的 邻 域 信 息, 因 此 具 有 旋 转 不 变 性 (3) 利 用 归 一 化 的 128 维 向 量 对 关 键 点 进 行 描 述, 从 而 对 亮 度 和 光 照 具 有 不 变 性 (4) 对 于 的 邻 域 和 4 4 的 子 区 域 都 进 行 了 类 似 于 高 斯 函 数 的 加 权 处 理, 强 化 中 心 区 域, 淡 化 边 缘 区 域 的 影 响 子 区 域 的 划 分 同 时 弥 补 丢 失 的 位 置 信 息, 增 强 辨 别 力 27

36 SIFT 算 法 的 这 些 特 性 使 得 其 十 分 适 合 无 人 机 遥 感 影 像 的 匹 配,SIFT 算 法 可 以 解 决 由 于 无 人 机 飞 行 不 稳 定 导 致 的 尺 度 变 化 大 旋 偏 角 大 视 角 变 化 大 等 问 题 但 是 SIFT 匹 配 算 法 依 然 存 在 以 下 问 题 : (1)SIFT 提 取 的 特 征 点 精 度 不 高 SIFT 特 征 点 是 在 DOG 尺 度 空 间 上 提 取 的 斑 点 (Blob), 定 位 精 度 没 有 角 点 特 征 高 特 别 是 由 于 尺 度 空 间 金 字 塔 是 经 过 降 采 样 产 生 的, 在 上 层 金 字 塔 上 提 取 的 特 征 点, 精 度 较 低 在 本 文 后 续 的 试 验 中 证 明 当 不 进 行 降 采 样, 只 采 用 一 组 尺 度 空 间 时, 提 取 的 点 位 精 度 可 以 控 制 在 一 个 像 素 内 (2) 提 取 SIFT 特 征 点 过 程 中 需 要 建 立 高 斯 和 高 斯 差 分 尺 度 空 间, 在 进 行 特 征 描 述 时 特 征 向 量 的 维 数 过 高, 使 得 计 算 过 于 复 杂 计 算 量 大 计 算 时 间 长 特 别 是 无 人 机 遥 感 影 像 的 像 幅 小, 重 叠 度 大, 分 辨 率 高, 一 个 架 次 就 可 获 取 上 千 张 影 像, 一 个 摄 区 的 数 据 量 很 大 导 致 无 人 机 影 像 匹 配 的 时 间 长, 计 算 效 率 低, 这 严 重 影 响 了 无 人 机 影 像 的 后 续 处 理 因 此 本 文 提 出 利 用 GPU 的 并 行 处 理 能 力 进 行 SIFT 匹 配, 从 而 提 高 处 理 效 率 3.5 误 匹 配 点 剔 除 由 于 图 像 中 局 部 区 域 的 灰 度 和 纹 理 相 似, 匹 配 时 会 存 在 错 误 匹 配 点 ( 如 图 3-16 所 示 ), 这 些 点 会 影 响 到 后 续 处 理, 因 此 需 要 剔 除 这 些 误 匹 配 点 在 计 算 机 视 觉 中 一 般 采 用 随 机 抽 样 一 致 性 算 法 (RANSAC) 剔 除 误 匹 配 [35], 摄 影 测 量 中 利 用 相 对 定 向 计 算 视 差 的 方 法 进 行 匹 配 点 粗 差 的 剔 除 基 于 RANSAC 的 误 匹 配 剔 除 RANSAC 可 以 提 纯 数 据, 剔 除 误 匹 配 点 基 于 RANSAC 算 法 的 误 匹 配 剔 除 的 思 想 是 : (1) 选 择 合 适 的 模 型 F 该 模 型 用 于 估 计 匹 配 点 之 间 的 变 换 关 系, 即 : A( x, y) F* B( x, y) (3.23) (2) 从 匹 配 点 集 (A,B) 中 随 机 选 择 p 个 点, 用 于 计 算 选 定 模 型 的 各 参 数 ; (3) 在 点 集 B 中 选 择 除 (2) 中 p 个 点 之 外 的 所 有 点, 将 其 中 代 入 模 型 计 算 变 换 后 的 点 集 A 1 ; 28

37 (4) 计 算 匹 配 点 和 变 换 后 的 点 之 差 d: d A( x, y) A( x, y) 1 (3.24) d 小 于 规 定 的 阈 值 则 将 其 对 应 的 点 视 为 内 点, 当 内 点 数 与 总 匹 配 点 数 之 比 满 足 一 定 比 例 时 停 止 计 算, 否 则 返 回 (2) 中 继 续 迭 代 RANSAC 算 法 充 分 利 用 了 所 有 的 初 始 匹 配 点 集, 具 有 很 强 的 鲁 棒 性, 即 使 错 误 匹 配 点 的 比 例 超 过 50%, 依 然 能 够 提 取 正 确 的 数 据 但 是, 在 无 人 机 遥 感 影 像 匹 配 中, 利 用 RANSAC 剔 除 粗 差 后 的 匹 配 点 存 在 一 定 的 聚 集 现 象, 从 而 使 点 位 分 布 不 均 匀 这 是 由 于 无 人 机 遥 感 影 像 分 辨 率 高, 纹 理 信 息 丰 富, 因 而 提 取 的 点 位 较 多, 随 机 选 择 的 4 个 点 可 能 相 距 很 近, 而 使 得 选 择 的 模 型 陷 入 局 部 最 优 ( 如 图 3-18) 另 外, 地 形 起 伏 以 及 视 角 的 变 化 使 得 模 型 的 选 择 比 较 困 难 因 此 本 文 提 出 将 图 像 划 分 为 N N 的 块, 首 先 随 机 选 择 4 块, 然 后 在 每 个 块 内 随 机 选 择 1 个 匹 配 点, 从 而 尽 量 保 证 选 择 的 初 始 点 位 均 匀 本 文 选 用 的 模 型 为 投 影 变 换 矩 阵, 具 体 步 骤 如 下 : (1) 设 样 本 数 k 为 无 穷 大, 样 本 计 数 器 为 0, 影 像 分 为 N N 块 ; (2) 从 N N 块 中 随 机 选 择 4 块, 每 块 中 随 机 选 择 1 个 匹 配 点 对, 求 解 投 影 变 换 系 数 M; (3) 利 用 投 影 变 换 系 数 计 算 其 余 点 的 误 差 d, 计 算 所 有 误 差 的 中 值 med(d), 根 据 中 值 计 算 内 点 的 阈 值 t, 5 t 1.96 ; 当 n>=2m 时 : med d n m,n 是 样 本 个 数,m 为 计 算 模 型 参 数 需 要 的 数 据 量 ; (4) 根 据 阈 值 判 断 内 点, 统 计 内 点 的 个 数, 并 计 算 误 匹 配 的 概 率 : 内 点 总 数 ; 特 征 点 总 数 log(1 ) (5) 样 本 计 数 器 t 加 1, 计 算 样 本 数 k,η=0.99; 4 log(1 ) (6) 当 k<t 或 者 t>500 时 停 止 计 算, 否 则 返 回 (2) 迭 代 计 算 ; (7) 选 取 内 点 数 量 最 多 的 集 合 作 为 最 佳 内 点 集 合, 利 用 该 内 点 集 合 重 新 计 算 投 影 系 数 29

38 RANSAC 剔除误匹配的流程如图 3-12 所示 图 3-12 RANSAC 剔除误匹配点的流程 图 3-13 表明初始匹配结果中存在误匹配点 图 3-14 表明 RANSAC 过程中 未对影像分块 导致剔除错误点的同时也剔除了大量的正确点 而且使得点位聚 集在一起 图 3-15 表明先对影像分块再剔除误匹配的方法在剔除误匹配的同时 保留了正确的点 而且点位分布较均匀 30

39 图 3-13 SIFT 初 始 匹 配 点 (826 个 点 ) 图 3-14 未 分 块 RANSAC 剔 除 误 匹 配 效 果 (194 个 点 ) 图 3-15 本 文 RANSAC 剔 除 误 匹 配 效 果 (691 个 点 ) 31

40 3.5.2 基 于 视 差 的 粗 差 剔 除 RANSAC 剔 除 误 匹 配 点 后, 依 然 存 在 少 量 粗 差 点 另 外, 如 果 RANSAC 的 收 敛 参 数 设 置 不 合 理, 在 剔 除 误 匹 配 点 的 同 时 还 会 剔 除 大 量 的 正 确 点 因 此 在 利 用 RANSAC 剔 除 误 匹 配 点 后, 本 文 选 择 利 用 摄 影 测 量 中 相 对 定 向 计 算 视 差 的 方 法 去 除 误 差 较 大 的 点 相 对 定 向 是 根 据 两 张 影 像 的 同 名 点 计 算 成 像 时 两 者 之 间 的 相 对 位 置 关 系, 包 括 三 个 线 元 素 (X,Y,Z) 和 三 个 角 元 素 (φ,ω,κ) 根 据 相 对 定 向 元 素 可 以 计 算 各 同 名 点 的 视 差, 当 同 名 点 的 视 差 大 于 两 倍 的 中 误 差 时 可 以 认 为 其 为 粗 差 点 基 于 视 差 的 匹 配 点 粗 差 剔 除 算 法, 考 虑 了 成 像 时 影 像 的 相 对 位 置 关 系, 与 RASANC 相 比 其 更 适 合 无 人 机 遥 感 影 像 的 成 像 特 点 但 是 相 对 定 向 对 初 始 点 位 的 精 度 要 求 较 高, 否 则 会 出 现 定 向 失 败 的 情 况, 因 此, 可 以 首 先 利 用 RANSAC 剔 除 误 匹 配 点, 然 后 再 利 用 相 对 定 向 方 法, 计 算 同 名 点 的 视 差, 进 行 匹 配 粗 差 点 的 剔 除 相 对 定 向 分 为 单 独 像 对 的 相 对 定 向 和 连 续 像 对 的 相 对 定 向, 本 文 采 用 连 续 像 对 的 相 对 定 向 方 法, 其 原 理 如 图 3-16 所 示, 详 细 介 绍 可 以 参 考 文 献 [36] Z 2 Y 2 Z 1 S 2 X 2 S 1 Y 1 v u B Z B Y 2 2 B X X 1 a1 a2 ( X1, Y1, Z1) ( X 2, Y2, Z2) 其 误 差 方 程 为 : A 图 3-16 连 续 法 相 对 定 向 32

41 v YX Nd Z Y Nd X Nd B d Y B dv q (3.25) 2 q ( 2 ) 2 x Z2 Z2 Z2 x 其 中, v 为 相 对 定 向 元 素, ( X 1, Y 1, Z 1 ) 和 ( X 2, Y2, Z 2) 分 别 为 左 右 影 像 的 投 影 中 心, B Y B X, B Z B X v, N BxZ X Z B X X Z 1 z B Z B X N X Z X Z x 2 z 2, , q NY NY B 1 2 Y 当 有 5 个 以 上 匹 配 点 时, 可 以 采 用 最 小 二 乘 的 方 法 求 外 方 位 元 素 的 最 优 解 根 据 两 张 影 像 的 外 方 位 元 素, 计 算 出 每 个 匹 配 点 的 视 差, 进 而 求 出 中 误 差, 删 除 大 于 两 倍 中 误 差 的 匹 配 点 基 于 相 对 定 向 计 算 视 差 的 方 法 剔 除 粗 差 的 效 果 如 图 3-20 所 示 (a) 原 始 匹 配 点 (b)ransac 剔 除 误 匹 配 点 后 33

42 (c)ransac 剔 除 误 匹 配 点 后 利 用 相 对 定 向 剔 除 粗 差 点 图 3-17 相 对 定 向 计 算 视 差 方 法 剔 除 粗 差 点 图 3-17 表 明 在 利 用 RANSAC 算 法 剔 除 误 匹 配 点 后, 利 用 相 对 定 向 计 算 视 差 的 方 法, 可 以 进 一 步 提 纯 数 据, 剔 除 粗 差 点 3.6 无 人 机 遥 感 影 像 匹 配 实 验 与 分 析 本 节 利 用 Harris 角 点 匹 配 和 SIFT 匹 配 算 法 进 行 无 人 机 影 像 的 匹 配 实 验, 研 究 适 合 于 无 人 机 影 像 的 匹 配 算 法 本 文 从 提 取 点 的 数 量 及 有 效 性 匹 配 的 成 功 率 和 计 算 的 效 率 三 个 方 面 对 Harris 和 SIFT 匹 配 算 法 进 行 评 价 (1) 实 验 配 置 1 CPU 为 4 核 Intel i5; GB 内 存 ; 3 32 位 Win7 操 作 系 统 ;4 开 发 环 境 为 VS2008 (2) 实 验 数 据 选 用 了 三 种 不 同 地 形 特 征 的 无 人 机 影 像 : 大 面 积 的 水 域 ( 图 3-18(a)) 纹 理 信 息 丰 富 的 城 区 ( 图 3-18(b)) 地 形 起 伏 较 大 的 山 区 ( 图 3-18 (c)); 像 幅 大 小 均 为 (a) 水 域 (b) 城 区 (c) 山 区 图 3-18 实 验 采 用 的 影 像 34

43 (3) 匹 配 的 流 程 如 图 3-19 所 示 Harris SIFT 图 像 A 图 像 B 图 像 A 图 像 B 畸 变 差 改 正 畸 变 差 改 正 Wallis 滤 波 Wallis 滤 波 改 进 的 Harris 算 法 提 取 角 点 提 取 SIFT 特 征 点 并 进 行 描 述 基 于 归 一 化 相 关 的 灰 度 匹 配 基 于 欧 式 距 离 的 匹 配 RANSAC 剔 除 误 匹 配 点 RANSAC 剔 除 误 匹 配 点 相 对 定 向 剔 除 粗 差 点 相 对 定 向 剔 除 粗 差 点 图 3-19 Harris 角 点 匹 配 和 SIFT 匹 配 流 程 Harris 和 SIFT 匹 配 实 验 Harris 匹 配 参 数 设 置 与 节 中 相 同,Harris 匹 配 效 果 如 图 3-20 所 示 35

44 (a) 水 域 (b) 城 区 (c) 山 区 图 3-20 Harris 匹 配 效 果 在 SIFT 匹 配 算 法 中 参 数 设 置 对 匹 配 效 果 有 一 定 的 影 响, 主 要 有 尺 度 空 间 的 组 数 每 组 尺 度 空 间 的 层 数 以 及 最 近 距 离 和 次 近 距 离 比 值 的 阈 值, 作 者 通 过 大 量 的 实 验 发 现 : 相 邻 的 无 人 机 影 像 有 尺 度 变 化, 大 多 不 会 超 过 两 倍, 而 且 影 像 的 重 叠 度 较 大, 一 般 均 可 以 获 取 足 够 数 量 的 匹 配 点 因 此 本 文 试 验 中 只 建 立 了 一 组 高 斯 空 间, 每 组 有 五 个 高 斯 层, 最 近 距 离 和 次 近 距 离 比 值 的 阈 值 为 0.4 SIFT 匹 配 效 果 如 图 3-21 所 示 36

45 (a) 水 域 (b) 城 区 (c) 山 区 图 3-21 SIFT 匹 配 效 果 37

46 Harris 和 SIFT 特 征 点 提 取 和 匹 配 效 果 及 时 间 统 计 如 表 3-1 和 表 3-2 所 示 表 3-1 Harris 和 SIFT 匹 配 效 果 对 比 图 像 匹 配 算 法 特 征 点 数 初 始 匹 配 点 数 剔 除 误 匹 配 后 点 数 水 域 Harris SIFT 左 :2491 右 :2259 左 :15556 右 : 城 区 Harris SIFT 左 :3322 右 :3651 左 :10624 右 : 山 区 Harris SIFT 左 :1217 右 :1116 左 :27568 右 : 表 3-2 Harris 和 SIFT 匹 配 时 间 对 比 ( 单 位 /ms) 图 像 匹 配 算 法 畸 变 差 改 正 时 间 Wallis 滤 波 时 间 提 取 特 征 点 时 间 匹 配 和 粗 差 剔 除 时 间 总 时 间 水 域 Harris SIFT 左 : 右 : 左 : 右 : 城 区 Harris SIFT 左 : 右 : 左 : 右 : 山 区 Harris SIFT 左 : 右 : 左 : 右 : 从 图 3-23 和 图 3-24 中 可 以 直 观 的 看 出,SIFT 算 法 对 于 不 同 地 形 特 征 的 适 应 性 远 好 于 Harris 算 法 表 3-1 进 一 步 说 明 了 SIFT 的 优 点, 表 3-2 中 Harris 匹 配 38

47 比 SIFT 匹 配 所 用 的 时 间 短, 但 是 Harris 提 取 的 特 征 点 数 和 匹 配 的 点 数 都 远 远 少 于 SIFT 以 下 从 提 取 点 的 数 量 及 有 效 性 匹 配 的 成 功 率 和 计 算 的 效 率 对 两 种 算 法 进 行 比 较 (1) 提 取 点 的 数 量 及 有 效 性 从 图 3-22 中 可 以 看 出,SIFT 提 取 的 特 征 点 要 远 远 多 于 Harris 提 取 的 角 点 特 征 点 的 有 效 性 定 义 为 最 终 成 功 匹 配 的 点 数 与 提 取 的 特 征 点 数 之 比 图 3-23 表 明 SIFT 特 征 点 比 Harris 特 征 点 的 有 效 性 要 高, 特 别 是 在 水 域 和 山 区 纹 理 稀 少 匹 配 困 难 的 区 域 SIFT 表 现 更 佳 Harris SIFT 水 域 ( 左 ) 水 域 ( 右 ) 城 区 ( 左 ) 城 区 ( 右 ) 山 区 ( 左 ) 山 区 ( 右 ) 图 3-22 Harris 和 SIFT 提 取 特 征 点 数 对 比 Harris SIFT 水 域 城 区 山 区 图 3-23 Harris 和 SIFT 提 取 特 征 点 有 效 性 对 比 (2) 匹 配 的 成 功 率 匹 配 的 成 功 率 等 于 成 功 匹 配 的 点 数 除 以 初 始 匹 配 的 点 数 图 3-24 表 明 在 不 同 地 形 区 域 SIFT 匹 配 成 功 率 要 高 于 Harris 39

48 水 域 城 区 山 区 Harris SIFT (3) 计 算 的 效 率 图 3-24 Harris 和 SIFT 匹 配 成 功 率 对 比 图 3-25 表 明 Harris 提 取 角 点 的 时 间 很 稳 定, 主 要 由 图 像 的 大 小 决 定,SIFT 提 取 特 征 点 的 时 间 与 点 的 个 数 有 关, 而 且 远 远 大 于 Harris 提 取 特 征 点 的 时 间 这 是 由 于 Harris 是 只 对 每 个 像 素 计 算 一 阶 微 分, 而 SIFT 需 要 计 算 高 斯 尺 度 空 间 和 高 斯 差 分 尺 度 空 间, 而 且 需 要 计 算 每 个 点 的 主 方 向 和 128 维 描 述 子 图 3-26 表 明 SIFT 计 算 的 总 时 间 比 Harris 长, 但 是 当 Harris 角 点 增 加 时, 其 计 算 时 间 会 急 剧 增 加, 而 SIFT 较 稳 定 这 是 因 为 SIFT 在 匹 配 时 建 立 了 k-d 树, 减 少 了 匹 配 时 的 搜 索 时 间, 而 Harris 采 用 的 相 关 系 数 的 匹 配 效 率 较 低 Harris SIFT 水 域 ( 左 ) 水 域 ( 右 ) 城 区 ( 左 ) 城 区 ( 右 ) 山 区 ( 左 ) 山 区 ( 右 ) 图 3-25 Harris 和 SIFT 提 取 特 征 点 的 时 间 对 比 ( 单 位 /ms) 40

49 水 域 城 区 山 区 Harris SIFT 图 3-26 Harris 和 SIFT 特 征 点 提 取 和 匹 配 的 总 时 间 对 比 ( 单 位 /ms) 实 验 结 论 通 过 以 上 实 验 可 知 SIFT 算 法 整 体 表 现 要 优 于 Harris 算 法, 因 此 本 文 选 择 SIFT 算 法 进 行 无 人 机 影 像 的 匹 配 但 是 SIFT 计 算 时 间 较 长, 这 严 重 制 约 了 无 人 机 影 像 的 处 理 效 率 因 此 本 文 提 出 利 用 基 于 CUDA 的 GPU 并 行 处 理 进 行 无 人 机 影 像 的 匹 配, 从 而 提 高 影 像 的 处 理 效 率, 使 得 无 人 机 可 以 充 分 发 挥 其 快 速 响 应 的 优 势 本 文 采 用 的 无 人 机 影 像 匹 配 流 程 如 图 3-27 所 示 图 3-27 无 人 机 遥 感 影 像 匹 配 流 程 图 3.7 本 章 小 结 (1) 介 绍 了 Harris 角 点 提 取 算 法 和 相 关 系 数 匹 配 算 法 (2) 介 绍 了 SIFT 算 法 的 原 理 流 程 以 及 特 点 指 出 SIFT 算 法 主 要 存 在 的 两 个 问 题, 效 率 和 精 度 41

50 (3) 研 究 了 RANSAC 误 匹 配 剔 除 和 基 于 相 对 定 向 计 算 视 差 的 粗 差 剔 除 算 法 (4) 通 过 实 验 对 比 证 明 了 SIFT 算 法 更 适 用 于 无 人 机 影 像 的 匹 配 42

51 第 四 章 CUDA 的 并 行 计 算 平 台 4.1 引 言 随 着 社 会 信 息 化 的 不 断 发 展, 我 们 已 经 进 入 了 大 数 据 的 时 代, 如 卫 星 遥 感 影 像 的 处 理 气 候 预 报 基 因 工 程 分 子 动 力 学 模 拟 等, 数 据 规 模 已 经 达 到 TB 级 甚 至 更 多, 这 对 于 计 算 机 的 计 算 能 力 提 出 了 更 高 的 要 求 然 而, 由 于 CPU 体 系 结 构 限 制, 其 大 部 分 片 上 资 源 都 用 来 做 控 制 和 缓 存, 实 际 的 计 算 单 元 十 分 有 限, 无 法 满 足 日 益 增 多 的 计 算 需 求 GPU 则 在 处 理 能 力 和 存 储 器 带 宽 上 相 对 于 CPU 有 明 显 的 优 势 ( 如 图 4-1 和 图 4-2 所 示 ) 在 GPU 上, 大 部 分 芯 片 面 积 都 用 做 计 算 单 元, 使 得 GPU 计 算 能 力 较 高 在 架 构 上, 目 前 的 主 流 GPU, 如 NVIDIA 的 GPU, 采 用 了 统 一 架 构 单 元, 并 且 实 现 了 较 细 粒 度 的 线 程 间 通 信, 应 用 范 围 得 到 了 较 大 扩 展 早 期 研 究 者 使 用 GPGPU( 基 于 GPU 的 通 用 计 算 ) 技 术,GPGPU 的 缺 点 在 于 其 硬 件 可 编 程 性 低 以 及 应 用 程 序 开 发 难 度 很 大 直 到 2007 年 NVIDIA 推 出 了 CUDA( 统 一 计 算 设 备 架 构 ), 使 得 通 用 计 算 真 正 在 GPU 上 大 量 实 现, 并 取 得 了 显 著 的 性 能 提 升 [37] GFlop/s CPU GPU 年 2004 年 2005 年 2006 年 2007 年 2008 年 2009 年 图 4-1 GPU 与 CPU 单 浮 点 计 算 能 力 对 比 43

52 GB/s 年 2004 年 2005 年 2006 年 2007 年 2008 年 2009 年 CPU GPU 图 4-2 GPU 与 CPU 带 宽 对 比 本 章 介 绍 了 CUDA 的 特 点, 详 细 研 究 了 CUDA 的 编 程 模 型, 存 储 器 模 型 以 及 软 件 体 系 4.2 CUDA 简 介 2007 年 NVIDIA 推 出 了 CUDA, 它 包 含 一 整 套 软 件 体 系, 将 GPU 作 为 并 行 计 算 设 备, 支 持 通 用 的 并 行 计 算 CUDA 使 用 C 语 言 为 基 础, 并 进 行 了 扩 展, 因 此 大 大 降 低 了 开 发 门 槛, 程 序 用 NVCC 编 译 器 编 译 后, 可 直 接 在 GPU 上 运 行 同 时,CUDA 在 驱 动 程 序 和 函 数 库 上 都 在 不 断 完 善 和 扩 充, 在 CUDA 官 方 库 中 提 供 了 FFT( 快 速 傅 里 叶 变 换 ) BLAS( 线 性 代 数 计 算 库 ), 使 得 开 发 者 在 做 大 规 模 计 算 上 更 方 便 [2][3] CUDA 具 有 以 下 特 性 : (1) 统 一 的 软 硬 件 架 构 设 计,CUDA 只 针 对 NVIDIA 公 司 生 产 的 GPU, 因 此 其 软 硬 件 设 计 是 统 一 的 (2)GPU 具 有 更 大 的 带 宽, 并 在 内 部 实 现 了 数 据 缓 存 和 大 规 模 线 程 管 理 (3)CUDA 程 序 采 用 标 准 C 语 言 编 写, 并 且 逐 步 支 持 C++ 语 法 (4) 提 供 了 标 准 数 学 函 数 库, 包 括 FFT 和 BLAS (5)CUDA 驱 动 可 以 和 DirectX OpenGL 进 行 交 互 操 作 CUDA 为 开 发 人 员 有 效 利 用 GPU 的 强 大 性 能 提 供 了 条 件, 极 大 的 推 动 了 GPU 在 通 用 计 算 领 域 中 的 应 用 44

53 4.3 CUDA 的 架 构 CUDA 的 硬 件 架 构 CUDA 的 硬 件 架 构 即 CUDA 对 应 的 NVIDIA GPU 的 架 构 GPU 与 CPU 架 构 对 比 如 图 4-3 所 示,GPU 主 要 由 大 量 的 计 算 单 元 组 成, 缩 小 了 缓 存 和 控 制 单 元, 因 此 适 合 于 大 规 模 数 据 的 并 行 计 算 图 4-3 CPU 和 GPU 架 构 对 比 基 于 CUDA 的 GPU 体 系 架 构 的 基 本 单 元 是 流 处 理 器, 即 SP(Streaming Multiprocessor), 每 个 SP 即 为 一 个 CUDA 核, 拥 有 独 立 的 寄 存 器 和 指 令 集 一 般 8 个 SP 可 以 组 成 一 个 流 多 处 理 器 SM(Streaming Multiprocessor),SM 相 当 于 一 个 完 整 的 处 理 器, 拥 有 独 立 的 完 整 前 端, 除 SP 外 还 包 括 取 指 译 码 发 射 等 单 元, 一 个 SM 的 SP 之 间 共 享 控 制 逻 辑 和 指 令 缓 存 SM 的 架 构 如 图 4-4 所 示 图 4-4 SM 架 构 CUDA 编 程 模 型 CUDA 编 程 模 型 在 设 计 结 构 上 采 用 了 异 构 编 程 的 模 式, 将 CPU 作 为 主 机 端 (HOST),GPU 作 为 设 备 端 (DEVICE) 在 这 个 结 构 模 型 中,CPU 和 GPU 协 45

54 同 工 作 CPU 负 责 进 行 整 个 系 统 中 逻 辑 性 较 强 的 事 务 处 理 和 串 行 计 算, 以 及 GPU 上 线 程 的 创 建 显 存 的 申 请 与 数 据 存 取 等 工 作 ;GPU 则 负 责 系 统 中 大 规 模 数 据 的 高 度 并 行 化 计 算 当 执 行 一 个 CUDA 程 序 时, 每 个 核 函 数 (Kernel) 负 责 执 行 GPU 端 的 计 算, kernel 由 Grid-Block-Thread 三 级 结 构 进 行 线 程 管 理, 控 制 线 程 的 个 数 和 执 行 方 式 kernel 以 线 程 网 格 (Grid) 的 形 式 组 织, 每 个 线 程 网 格 由 若 干 个 线 程 块 (Block) 组 成, 每 个 Block 由 一 个 SM 负 责 执 行, 同 一 时 刻 可 以 有 多 个 活 动 线 程 块 在 一 个 SM 上 等 待 执 行 当 一 个 Block 进 行 同 步 或 者 访 问 显 存 等 高 延 迟 操 作 时, 另 一 个 Block 就 可 以 取 而 代 之, 占 用 GPU 资 源, 最 大 限 度 利 用 SM 的 运 算 能 力 Block 内 的 线 程 之 间 可 以 共 享 数 据 每 个 线 程 块 由 若 干 个 线 程 (Thread) 组 成, 而 Block 中 的 每 一 个 线 程 则 由 一 个 CUDA 核 执 行 各 Block 是 并 行 执 行 的,Block 间 无 法 通 信, 也 没 有 执 行 顺 序 以 32 个 线 程 组 成 一 个 Warp 指 令 并 发 执 行 程 序, 各 线 程 有 独 立 的 指 令 地 址 和 寄 存 器 在 一 个 流 多 处 理 器 中, 同 时 有 多 个 活 动 的 Warp, 当 一 个 Warp 因 为 读 取 数 据 延 迟 时, 其 它 的 Warp 开 始 计 算, 依 靠 庞 大 的 Warp 数 量 来 弥 补 GPU 缓 存 小 的 缺 点 在 实 际 运 行 中,CUDA 会 将 一 个 block 最 多 分 割 为 16 个 Warps 执 行 CUDA 的 编 程 模 型 如 图 4-5 所 示 图 4-5 CUDA 编 程 模 型 46

55 4.3.3 CUDA 的 存 储 器 模 型 CUDA 的 存 储 器 模 型 包 括 : 寄 存 器 (Register) 局 部 存 储 器 (Local Memory) 共 享 存 储 器 (Shared Memory) 常 数 存 储 器 (Constant Memory) 纹 理 存 储 器 (Texture Memory) 和 全 局 存 储 器 (Global Memory) 其 中, 寄 存 器 和 共 享 存 储 器 是 内 置 于 GPU 芯 片 上 的, 而 其 它 存 储 器 在 GPU DRAM 上 CUDA 存 储 器 模 型 如 图 4-6 所 示 ( 双 向 箭 头 表 示 线 程 能 对 该 内 存 进 行 读 写 操 作, 单 向 箭 头 表 示 线 程 对 该 内 存 进 行 只 读 操 作 ) 图 4-6 CUDA 存 储 器 模 型 (1) 寄 存 器 是 GPU 片 上 的 高 速 缓 存 器, 执 行 单 元 访 问 寄 存 器 延 迟 极 低 但 是 SM 拥 有 的 寄 存 器 的 数 量 是 一 定 的, 因 此 每 个 CUDA 核 能 够 使 用 的 寄 存 器 单 元 是 有 限 的 在 核 函 数 内 部 声 明 一 个 变 量 时, 系 统 会 为 每 一 个 线 程 创 建 一 个 私 有 变 量, 因 此 设 置 总 线 程 数 时 应 该 考 虑 寄 存 器 单 元 大 小, 否 则 会 造 成 资 源 不 足 (2) 局 部 存 储 器 是 对 寄 存 器 的 补 充, 如 果 寄 存 器 被 消 耗 完, 数 据 将 被 存 储 在 局 部 存 储 器 中 局 部 存 储 器 不 是 片 上 的 寄 存 器, 也 没 有 缓 存, 因 此 访 问 速 度 很 慢, 应 尽 量 避 免 局 部 存 储 器 的 使 用 (3) 共 享 存 储 器 也 是 GPU 片 内 的 高 速 存 储 器, 它 是 一 块 可 以 被 同 一 个 Block 47

56 内 线 程 访 问 的 可 读 写 存 储 器, 在 整 个 线 程 块 的 生 存 期 中 都 有 效 访 问 共 享 存 储 器 的 速 度 几 乎 和 寄 存 器 一 样 快, 是 实 现 线 程 块 内 线 程 通 信 的 最 好 方 法 (4) 全 局 存 储 器 位 于 显 存,CPU 和 GPU 都 可 以 进 行 读 写 访 问, 在 目 前 的 GPU 架 构 中, 全 局 存 储 器 没 有 缓 存 因 此, 即 使 全 局 存 储 器 提 供 了 很 高 的 带 宽, 但 是 仍 然 有 较 高 的 访 问 延 迟, 为 了 有 效 的 利 用 全 局 存 储 器 带 宽, 必 须 遵 守 合 并 访 存 要 求 (5) 常 数 存 储 器 是 只 读 显 存 因 为 拥 有 缓 存, 因 此 其 访 问 速 度 要 比 全 局 存 储 器 快 但 是 其 空 间 较 小, 通 常 用 于 存 储 需 要 频 繁 访 问 的 只 读 参 数 (6) 纹 理 存 储 器 也 是 一 种 只 读 存 储 器 由 GPU 用 于 纹 理 渲 染 的 图 形 专 用 单 元 发 展 而 来, 可 以 通 过 纹 理 缓 存 加 速 读 取 纹 理 存 储 器 适 合 用 于 实 现 图 像 处 理, 支 持 一 维 二 维 和 三 维 纹 理 以 上 六 种 存 储 器 的 属 性 见 表 4-1 表 4-1 CUDA 中 各 存 储 器 的 属 性 存 储 器 类 型 访 问 权 限 空 间 大 小 访 问 速 度 读 写 寄 存 器 单 个 线 程 非 常 有 限 快 读 写 局 部 存 储 器 单 个 线 程 有 限 慢 读 写 共 享 存 储 器 块 内 所 有 线 程 非 常 有 限 快 读 写 全 局 存 储 器 所 有 线 程 大 慢 读 写 常 数 存 储 器 所 有 线 程 有 限 慢 只 读 纹 理 存 储 器 所 有 线 程 大 慢 只 读 4.4 基 于 CUDA 的 并 行 计 算 由 于 在 CUDA 架 构 中,GPU 与 硬 盘 之 间 没 有 直 接 的 接 口, 因 此 显 存 中 处 理 的 数 据 需 要 从 主 机 内 存 中 传 入, 处 理 的 结 果 也 需 要 传 输 到 主 机 内 存 中, 通 过 主 机 内 存 保 存 到 硬 盘 中 CUDA 进 行 并 行 计 算 的 流 程 如 图 4-7 所 示 48

57 图 4-7 CUDA 并 行 计 算 流 程 4.5 本 章 小 结 本 章 介 绍 了 CUDA 及 其 特 性, 详 细 分 析 了 CUDA 的 硬 件 架 构 编 程 模 型 以 及 存 储 器 模 型, 最 后 给 出 了 基 于 CUDA 并 行 计 算 的 一 般 流 程 49

58 第 五 章 基 于 CUDA 的 无 人 机 遥 感 影 像 匹 配 算 法 研 究 5.1 引 言 从 节 中 可 知 对 两 张 无 人 机 影 像 进 行 匹 配 需 要 消 耗 将 近 40 秒 的 时 间, 处 理 上 千 张 影 像 的 时 间 就 会 超 过 十 个 小 时, 这 将 严 重 制 约 无 人 机 快 速 响 应 的 能 力 因 此 本 文 提 出 利 用 CUDA 进 行 并 行 处 理, 实 现 了 基 于 CUDA 的 畸 变 差 改 正 Wallis 滤 波 和 SIFT 匹 配, 从 而 极 大 的 提 高 了 无 人 机 影 像 的 处 理 效 率 本 文 提 出 的 基 于 CUDA 的 无 人 机 遥 感 影 像 匹 配 流 程 如 图 5-1 图 5-1 无 人 机 遥 感 影 像 匹 配 流 程 图 5.2 基 于 CUDA 的 畸 变 差 改 正 算 法 研 究 算 法 分 析 与 设 计 (1) 算 法 分 析 畸 变 差 改 正 的 过 程 是 : 根 据 畸 变 差 改 正 模 型 计 算 改 正 后 影 像 的 每 个 像 元 在 原 始 影 像 中 的 位 置, 然 后 利 用 某 种 插 值 算 法 从 原 始 影 像 中 计 算 像 素 值, 并 将 该 值 赋 给 改 正 后 影 像 的 相 应 位 置, 最 后 保 存 影 像 完 成 畸 变 差 改 正 由 以 上 分 析 可 知, 畸 变 差 改 正 过 程 中 涉 及 到 的 对 大 量 数 据 进 行 相 同 的 计 算 包 括 两 部 分, 分 别 是 逐 像 元 的 计 算 畸 变 差 改 正 值 以 及 插 值 计 算 像 素 值 因 此 可 以 在 GPU 上 进 行 并 行 计 算, 提 高 运 算 效 率 (2) 算 法 设 计 根 据 (1) 中 的 分 析, 将 计 算 量 大 耗 时 长 的 畸 变 差 改 正 值 计 算 和 插 值 计 算 50