车载实时图像全景拼接系统.doc

摘 要 :...3 1 引 言...4 1.1 全 景 图 像...4 1.2 实 时 全 景 图 像 拼 接 的 应 用...4 1.3 全 景 图 像 拼 接 的 研 究 现 状...5 2 系 统 方 案...6 2.1 系 统 概 述...6 2.2.1 系 统 开 发 平 台 EC5-1719CLDNA...7 2.2.2 拼 接 方 案...7 2.2.3 视 频 采 集...9 2.2.4 集 中 电 源 供 电...9 2.3 系 统 框 架...10 2.4 系 统 功 能 和 指 标...10 2.4.1 服 务 器 端 主 要 实 现 的 功 能...10 2.4.2 摄 像 头 和 视 频 采 集 卡 实 现 功 能...10 2.4.3 客 户 端 功 能...10 3 硬 件 系 统...10 3.1 摄 像 头 模 块...11 3.2 视 频 采 集 卡 模 块...11 3.3 集 中 电 源 模 块...12 3.4 无 线 传 输 模 块...12 4 软 件 系 统...12 算 法 描 述...12 4.1 算 法 概 述...12 4.2 坐 标 系 变 换...13 4.3 图 像 几 何 变 换...14 4.4 SIFT 算 法...17 软 件 实 现...22 4.5 软 件 开 发 环 境...22 4.6 服 务 器...22 4.7 客 户 终 端...26 4.8 无 线 通 信...27 4.9 软 件 界 面...29 4.10 函 数 模 块...30 4.11 多 线 程...31 4.12 优 化 工 具...32 5 系 统 测 试 方 案...32 5.1 系 统 功 能 测 试 设 备...32 5.2 系 统 测 试 过 程...32 5.2.1 多 路 实 时 图 像 拼 接 测 试...32 5.2.2 视 频 速 率 测 试...34 5.2.3 视 频 传 输 测 试...34 6 系 统 开 发 总 结...34 1

6.1 系 统 特 色 与 不 足...34 6.1.1 系 统 的 特 色...34 6.1.2 系 统 的 不 足...35 6.2 应 用 前 景 展 望...35 附 录 一 : 参 考 文 献...36 附 录 二 : 源 代 码 和 程 序 清 单...36 2

车 载 实 时 图 像 全 景 拼 接 系 统 摘 要 : 本 文 主 要 介 绍 了 一 套 实 时 图 像 全 景 拼 接 系 统. 该 系 统 以 研 祥 公 司 推 出 的 EC5-1719CLDNA 嵌 入 式 开 发 板 为 基 础 平 台, 基 于 WinXP 操 作 系 统, 通 过 CMOS 摄 像 头 外 加 视 频 采 集 卡 获 取 外 部 图 像 数 据, 采 用 SIFT 核 心 算 法 来 实 现 对 周 围 环 境 的 实 时 全 景 拼 接 功 能. 整 个 软 件 部 分 采 用 了 多 线 程 的 技 术, 并 且 运 用 了 Intel 提 供 的 优 化 工 具 进 行 优 化, 使 核 心 功 能 达 到 实 时 的 效 果 ; 同 时 通 过 无 线 网 卡, 平 台 还 可 以 实 现 将 拼 接 好 的 视 频 以 无 线 的 方 式 传 给 客 户 端. 整 体 功 能 强 大, 界 面 友 好, 车 载 的 定 位 使 得 系 统 具 有 更 加 机 动 灵 活 的 特 点. 关 键 字 : 全 景 拼 接,SIFT 算 法, 多 线 程,EC5-1719CLDNA, 视 频, 无 线 传 输 Vehicle Real-time Image Panorama System Abstract: A set of real-time image panoramic stitching system is introduced in this paper. The system is mainly supported by embedded technology.in our design,a X86 based platform which is supplied by EVOC Company and equiped with windows XP proffesional OS is needed.first, pictures are got with video capture card and CMOS cameras.then,the pictures are processed by SIFT core algorithms.at last,all pictures are perfectly stitched in one panorama.compared with traditional solution, parallel program and multi-threaded technology optimized by Intel VTune Performance Analyzer is adopted.through the system,real-time video can be seen on a client terminal.images are transported through wireless network card fluently because of JPEG-compressing.It can be carried easily by Vehicles. Keywords:Panorama,SIFT arithmetic,multi-thread,ec5-1719cldna,video, Wireless communication. 3

1 引 言 1.1 全 景 图 像 人 眼 睛 正 常 视 角 约 为 水 平 90 度, 垂 直 视 角 70 度, 但 人 类 从 没 停 止 过 对 宽 广 视 角 的 追 求, 广 阔 的 场 景 氛 围, 宏 大 壮 观 的 画 面, 往 往 给 人 以 强 烈 的 视 觉 冲 击 效 果. 从 广 义 上 讲, 视 角 超 过 人 的 正 常 视 角 的 图 像 就 是 一 副 全 景 图 象. 而 我 们 这 里 说 的 全 景 图 象 特 指 水 平 视 角 360 度, 垂 直 视 角 180 度 的 图 像. 全 景 图 像 实 际 上 只 是 一 种 对 周 围 景 象 以 某 种 几 何 关 系 进 行 映 射 生 成 的 平 面 图 片, 此 图 像 最 大 的 三 个 特 点 是 : a) 全 : 全 方 位, 全 面 的 展 示 了 360 度 球 型 范 围 内 的 所 有 景 致 ; b) 景 : 实 景, 真 实 的 场 景, 三 维 全 景 大 多 是 在 照 片 基 础 之 上 拼 合 得 到 的 图 像, 最 大 限 度 的 保 留 了 场 景 的 真 实 性 ; c) 三 维 : 三 维 立 体 的 效 果, 虽 然 照 片 都 是 平 面 的, 但 是 通 过 软 件 处 理 之 后 得 到 的 三 维 全 景, 却 能 给 人 以 三 维 立 体 的 空 间 感 觉, 使 观 者 犹 如 身 在 其 中. 全 景 图 像, 通 常 可 以 采 用 宽 视 角 镜 头 的 相 机 拍 摄 全 景 相 机 拍 摄 回 转 连 续 拍 照 法 拍 摄 软 件 拼 接 等 多 种 方 法 获 得. 利 用 广 角 镜 头 可 以 得 到 大 视 角 图 像, 但 在 一 幅 低 分 辨 率 的 图 像 中 得 到 超 宽 视 角 会 损 失 景 物 中 物 体 的 分 辨 率. 而 且, 广 角 镜 头 的 图 像 边 缘 会 难 以 避 免 的 产 生 扭 曲 变 形, 运 用 视 角 更 宽 的 鱼 眼 摄 像 头 更 是 存 在 这 种 问 题. 全 景 相 机 价 格 昂 贵, 图 象 效 果 也 并 不 理 想, 且 实 时 性 较 差. 对 于 回 转 连 续 拍 照 法 拍 摄, 则 需 要 一 定 的 技 巧, 且 图 像 最 终 还 是 需 要 拼 接 才 能 形 成 一 张 完 整 的 全 景 图 像. 综 合 成 本, 图 象 质 量 来 考 虑, 图 像 的 软 件 拼 接 都 要 优 于 前 两 种 方 法. 但 是 一 般 所 说 的 图 像 软 件 拼 接, 首 先 需 要 得 到 多 幅 图 象, 然 后 拼 接 后 获 得 全 景 图 象, 不 适 于 实 时 的 场 合. 我 们 选 择 8 路 标 准 视 角 的 摄 像 头, 同 时 摄 取 水 平 范 围 360 度, 垂 直 范 围 180 度 的 图 像, 采 用 先 进 的 图 象 拼 接 算 法, 结 合 Intel 多 核 处 理 器 的 强 大 运 算 能 力, 拼 接 生 成 无 变 形, 高 质 量 的 全 景 图 象 ; 同 时 达 到 实 时 的 要 求, 以 满 足 更 广 范 围 的 应 用. 1.2 实 时 全 景 图 像 拼 接 的 应 用 实 时 全 景 图 像 拼 接, 不 仅 能 为 我 们 带 来 超 宽 视 觉 享 受 的 全 景 图 象, 而 且 在 虚 拟 现 实 电 影 特 效 制 作 医 学 图 像 太 空 遥 感 技 术 外 星 球 探 测 军 事 等 领 域 有 着 关 键 性 的 作 用. 目 前, 图 像 拼 接 已 成 为 图 像 绘 制 计 算 机 视 觉 计 算 机 图 形 学 和 图 像 处 理 等 领 域 的 重 要 研 究 课 题. 在 虚 拟 现 实 领 域 中, 通 过 全 景 图 的 深 度 信 息 抽 取, 恢 复 场 景 的 三 维 信 息, 进 而 建 立 出 三 维 模 型. 用 户 在 这 样 的 虚 拟 环 境 中 可 作 一 点 作 水 平 环 视 以 及 一 定 范 围 内 的 俯 视 和 仰 视, 同 时 允 许 在 环 视 的 过 程 中 动 态 地 改 变 焦 距. 在 电 影 制 作 过 程 中, 有 时 为 了 展 现 如 指 环 王 中 气 势 宏 大, 超 宽 视 角 的 战 争 场 面, 仅 仅 靠 拍 摄 是 无 法 完 成 的, 通 过 多 个 摄 像 机 拍 摄, 然 后 拼 接 是 一 种 最 佳 的 选 择. 在 医 学 图 像 处 理 方 面, 显 微 镜 或 超 声 波 的 视 野 较 小, 医 师 无 法 通 过 一 幅 图 像 进 行 诊 视, 同 时 对 于 大 目 标 图 像 的 数 据 测 量 也 需 要 把 不 完 整 的 图 像 拼 接 为 一 个 整 4

体. 所 以 把 相 邻 的 各 幅 图 像 拼 接 起 来 是 实 现 远 程 数 据 测 量 和 远 程 会 诊 的 关 键 环 节. 在 遥 感 技 术 领 域 中, 利 用 全 景 图 像 拼 接 技 术 将 遥 感 卫 星 拍 摄 到 的 有 失 真 地 面 图 像 拼 接 成 比 较 准 确 的 完 整 图 像, 作 为 进 一 步 研 究 的 依 据. 在 外 星 球 探 测 领 域, 人 类 借 助 探 测 器 上 的 摄 像 头 来 观 测 外 星 球. 然 而 摄 像 头 的 视 角 范 围 有 限, 为 了 避 免 管 中 窥 豹, 只 见 一 斑 的 缺 陷, 同 时 又 要 达 到 实 时 观 测 的 效 果, 实 时 全 景 图 象 拼 接 几 乎 是 唯 一 的 选 择. 在 军 事 领 域 的 夜 视 成 像 技 术 中, 无 论 夜 视 微 光 还 是 红 外 成 像 设 备 都 会 由 于 摄 像 器 材 的 限 制 而 无 法 拍 摄 视 野 宽 阔 的 图 片, 更 不 用 说 360 的 环 形 图 片 了. 但 是 在 实 际 应 用 中, 很 多 时 候 需 要 将 360 所 拍 摄 的 很 多 张 图 片 合 成 一 张 图 片, 从 而 可 以 使 观 察 者 可 以 观 察 到 周 围 的 全 部 情 况. 使 用 图 像 拼 接 技 术, 在 根 据 拍 摄 设 备 和 周 围 景 物 的 情 况 进 行 分 析 后, 就 可 以 将 通 过 转 动 的 拍 摄 器 材 拍 摄 的 涵 盖 周 围 360 度 景 物 的 多 幅 图 像 进 行 拼 接, 从 而 实 时 地 得 到 超 大 视 角 甚 至 是 360 角 的 全 景 图 像. 这 在 红 外 预 警 中 起 到 了 很 大 的 作 用. 从 以 上 方 面 可 以 看 出, 图 像 拼 接 技 术 的 应 用 前 景 十 分 广 阔, 深 入 研 究 图 像 拼 接 技 术 有 着 很 重 要 的 意 义. 1.3 全 景 图 像 拼 接 的 研 究 现 状 全 景 图 像 拼 接 是 近 几 年 来 的 研 究 热 点, 其 核 心 技 术 就 是 图 像 匹 配 技 术. 关 于 图 像 匹 配 技 术 有 很 多. 相 关 度 算 法 是 其 中 一 种, 它 最 早 由 在 1975 年 由 Kuglin 和 Hines 提 出, 具 有 场 景 无 关 性, 能 够 将 纯 粹 二 维 平 移 的 图 像 精 确 地 对 齐. 后 来, DeCastr 和 Mornadi 提 出 了 DeCastro 算 法, 该 算 法 使 用 傅 里 叶 变 换 确 定 旋 转 对 齐. 该 算 法 后 来 由 Reddy 和 Chaterji 改 进, 大 大 减 少 了 图 像 需 要 转 换 的 数 量. 基 于 几 何 特 征 的 图 像 匹 配 方 法 也 是 图 像 匹 配 技 术 中 的 一 种.1994 年, BlaszkaT.,RachidDeriche 通 过 二 维 高 斯 模 糊 过 滤 可 以 得 到 一 些 低 级 特 征 模 型, 如 边 模 型 角 模 型 和 顶 点 模 型. 以 此 为 基 础, 后 来 有 越 来 越 多 的 人 开 始 研 究 基 于 这 些 图 像 中 的 低 级 特 征 进 行 图 像 拼 接 的 方 法.1997 年, Zoghlamil-FaugeraSO-DericheR 提 出 基 于 几 何 角 模 型 的 图 像 对 齐 算 法, 因 为 角 模 型 提 供 了 比 坐 标 点 更 多 的 信 息 ; 接 着 在 1999 年,BoaP.,XuD. 提 出 利 用 小 波 变 换 提 取 保 留 边 的 视 觉 模 型 进 行 图 像 对 齐 ; 而 NielsenF. 则 提 出 基 于 几 何 点 特 征 优 化 的 匹 配 方 法.2000 年,Knag E,Cohen I,Mdeion G. 提 出 了 基 于 图 像 的 高 级 特 征 进 行 图 像 拼 接 的 方 法, 他 们 是 利 用 特 征 图 像 关 系 图 来 进 行 图 像 对 齐. 通 过 利 用 图 像 的 低 级 特 征 到 后 来 利 用 其 高 级 特 征, 人 们 对 图 像 的 分 析 和 理 解 日 益 深 入, 图 像 拼 接 技 术 的 研 究 也 逐 渐 成 熟 起 来. 同 样 也 是 在 1999 年, 加 拿 大 的 David Lowe 教 授 提 出 了 SIFT 算 法. 其 匹 配 能 力 较 强, 可 以 处 理 两 幅 图 像 之 间 发 生 平 移 旋 转 仿 射 变 换 情 况 下 的 匹 配 问 题, 甚 至 在 某 种 程 度 上 对 任 意 角 度 拍 摄 的 图 像 也 具 备 较 为 稳 定 的 特 征 匹 配 能 力. 在 国 内, 图 像 拼 接 技 术 起 步 比 较 晚, 但 是 近 几 年 来 迅 速 发 展 起 来 了.1997 年, 王 小 睿 等 提 出 并 实 现 了 一 种 自 动 图 像 配 准 方 法, 用 于 图 像 的 高 精 度 配 准, 但 实 际 上 它 只 是 一 种 使 用 互 相 关 系 数 作 为 相 似 性 测 度 的 半 自 动 的 图 像 配 准 方 法.1998 年, 张 祖 勋 等 提 出 了 采 用 多 级 影 像 概 率 松 弛 整 体 匹 配 技 术, 用 于 不 同 传 感 器 不 同 空 间 分 辨 率 的 遥 感 影 像 的 快 速 配 准.2001 年, 清 华 大 学 的 研 究 人 员 提 出 了 一 种 针 对 图 像 拼 接 过 程 中 计 算 量 与 拼 接 精 度 之 间 进 行 折 衷 的 方 案, 该 方 案 用 三 角 架 保 5

证 摄 像 机 基 本 绕 垂 直 轴 旋 转, 但 是 不 对 摄 像 机 的 旋 转 角 度 作 严 格 限 制. 2 系 统 方 案 2.1 系 统 概 述 本 系 统 主 要 以 嵌 入 之 星 开 发 板 为 基 础 平 台, 整 个 系 统 安 置 于 一 辆 运 动 的 小 车 上. 如 下 图, 首 先 通 过 8 路 标 准 视 角 镜 头 的 CMOS 摄 像 头 和 视 频 采 集 卡 获 取 水 平 视 角 360 度, 垂 直 视 角 180 度 的 图 像 ; 然 后 由 平 台 对 8 路 图 象 进 行 无 缝 的 全 景 拼 接, 得 到 全 景 图 象, 并 且 在 系 统 自 带 的 触 摸 屏 幕 上 显 示 拼 接 得 到 的 全 景 图 象, 同 时 可 完 成 图 象 的 存 储. 此 外, 我 们 还 为 系 统 添 加 了 无 线 传 输 的 功 能 : 系 统 采 用 服 务 器 客 户 端 架 构 模 式, 整 个 系 统 通 过 无 线 网 卡 接 入 无 线 局 域 网, 从 而 可 接 入 Internet. 使 整 个 联 网 用 户 都 可 看 到 实 时 的 全 景 图 象. 通 过 触 摸 屏, 可 对 系 统 参 数 进 行 设 置. 视 频 采 集 卡 8 路 摄 像 头, 采 集 360 度 空 间 范 围 ( 柱 状 空 间 区 域 ) 触 摸 屏 电 源 部 件 2 U 嵌 入 之 星 存 储 客 户 端 2.2 系 统 方 案 论 证 6

我 们 在 选 定 方 案 之 前, 先 对 本 次 嵌 入 式 大 赛 平 台 进 行 全 面 的 研 究 和 分 析, 下 面 先 对 平 台 进 行 介 绍 : 2.2.1 系 统 开 发 平 台 EC5-1719CLDNA EC5-1719CLDNA( 嵌 入 之 星 ) 是 一 款 采 用 Intel 笔 记 本 电 脑 芯 片 组 945GM 设 计 的 高 性 能 单 板 电 脑. 主 要 特 色 如 下 : 在 板 高 性 能 Intel Core Duo 2/Core Duo, Pentium M 和 单 核 Celeron M 处 理 器 (CPU 型 号 可 选 ); 南 北 桥 之 间 采 用 带 宽 达 10Gb/s 的 直 接 媒 体 接 口 DMI; 单 个 SODIMM 插 槽 (200 针 ), 支 持 1GB DDR2 533 和 667MHz 频 率 内 存 ; 采 用 了 Intel 第 四 代 图 形 引 擎, 其 图 形 核 心 工 作 频 率 高 达 400MHz, 图 形 性 能 比 915G 高 出 30%~40%; 串 行 ATA 接 口 ; 双 管 道, 多 显 示 接 口 ;VGA,LVDS,DVI,TV. 此 外,EC5-1719CLDNA( 嵌 入 之 星 ) 还 提 供 高 性 价 比 的 丰 富 I/O 功 能 及 I/O 扩 展 槽 : 一 个 33MHz 32-bit PCI-104PLUS 插 槽, 一 个 PCI-Ex4 插 槽, 一 个 10M/100/1000Mbps 网 络 接 口 AC97 Audio 接 口 一 个 键 盘 / 鼠 标 接 口 一 个 40 针 标 准 ATA-100/66/33 IDE 接 口 一 个 TYPEIICF 接 口 四 个 串 口 一 个 并 口 四 个 USB2.0 高 速 接 口 看 门 狗 定 时 器. EC5-1719CLDNA( 嵌 入 之 星 ) 以 其 高 性 能 低 功 耗 和 丰 富 的 扩 展 接 口 使 用 户 无 需 增 加 任 何 部 件 即 可 使 用, 可 广 泛 应 用 于 网 络 安 全 仪 器 仪 表 军 事 多 媒 体 查 询 智 能 产 品 各 种 嵌 入 式 领 域. 平 台 双 核 的 强 大 运 算 功 能 让 我 们 把 目 标 定 位 在 了 图 像 处 理 方 面, 最 终 确 定 了 实 时 图 像 全 景 拼 接 系 统 这 个 题 目. 下 面 是 我 们 的 具 体 方 案 论 证 : 2.2.2 拼 接 方 案 在 进 行 全 景 拼 接 时, 从 坐 标 变 换 的 角 度 来 看, 有 多 种 拼 接 方 式. 主 要 包 括 柱 面 拼 接 球 面 拼 接 以 及 平 面 拼 接. 下 面 是 这 三 种 拼 接 方 案 的 对 比 分 析. (1). 柱 面 拼 接 柱 面 拼 接 在 圆 柱 面 上 进 行, 拼 接 效 果 如 图 2.1 所 示 : 7

图 2.1 柱 面 拼 接 上 面 为 柱 面 拼 接 效 果 图, 将 两 幅 输 入 图 像 先 通 过 坐 标 变 换 投 影 到 柱 面, 再 根 据 H 矩 阵 计 算 图 像 平 移 矩 阵, 对 图 像 作 相 对 平 移 融 合 即 可 得 到 拼 接 图, 由 上 图 可 知, 这 样 可 以 得 到 不 错 的 拼 接 效 果. (2). 球 面 拼 接 球 面 拼 接 在 球 面 上 进 行, 拼 接 效 果 如 图 2.2 所 示 : 图 2.2 球 面 拼 接 在 球 面 坐 标 系 中 对 两 幅 输 入 图 像 进 行 拼 接, 得 到 的 拼 接 效 果 也 很 完 美. (3). 平 面 拼 接 直 接 对 两 幅 平 面 图 像 进 行 接 接, 效 果 如 图 2.3: 图 2.3 平 面 拼 接 平 面 拼 接 直 接 在 平 面 坐 标 系 对 两 幅 图 像 进 行 拼 接, 由 上 图 可 见, 也 可 以 得 到 较 好 的 效 果. 对 上 面 三 种 拼 接 效 果 进 行 对 比 分 析, 我 们 可 以 得 出 以 下 结 论. a. 柱 面 拼 接 : 符 合 理 论 上 的 实 际 视 野 模 型, 直 接 采 用 平 移 实 现 图 像 拼 接, 但 对 摄 像 头 有 严 格 的 要 求, 必 须 保 证 图 片 间 只 有 平 移, 而 没 有 旋 转 等 变 换, 但 实 际 上 摄 像 头 很 难 满 足 这 样 苛 刻 的 要 求. b. 球 面 拼 接 : 也 是 一 种 实 际 视 野 模 型, 在 球 坐 标 系 下 完 成 图 像 拼 接, 实 际 证 明 拼 接 效 果 最 好, 但 由 于 需 要 完 成 坐 标 转 换, 同 时 完 成 一 些 其 他 的 图 像 预 处 理, 8

因 此 计 算 量 较 大. c. 平 面 拼 接 : 最 简 单 的 拼 接 模 型, 数 学 理 论 最 简 单, 可 以 实 现 图 像 间 拼 接, 但 如 果 空 间 变 换 较 大, 则 拼 接 图 像 会 产 生 较 大 变 形, 不 符 合 人 眼 观 看 习 惯, 但 计 算 量 最 小. 如 果 想 采 用 平 面 拼 接 技 术, 则 需 对 摄 像 头 进 行 严 格 的 布 局 放 置. 2.2.3 视 频 采 集 全 景 视 频 拼 接 需 要 采 用 多 个 摄 像 头, 嵌 入 之 星 平 台 配 有 4 个 USB 接 口, 我 们 曾 考 虑 采 用 USB 摄 像 头 采 集 视 频, 采 用 DirectShow 采 集 USB 摄 像 头 视 频 可 达 到 每 秒 50 帧 的 采 集 速 率, 同 时 使 用 2 个 USB 摄 像 头 也 可 得 到 不 错 的 效 果, 但 同 时 使 用 3 个 摄 像 头 以 后, 会 造 成 系 统 负 担 太 重, 无 法 正 常 捕 获 视 频, 证 明 这 一 方 案 不 可 行. 平 台 还 配 有 PCI-E 接 口, 于 是 我 们 想 到 采 用 图 像 采 集 卡 完 成 多 路 视 频 的 采 集, 天 敏 视 频 采 集 卡 VC8000E 与 平 台 接 口 相 合,VC8000E 系 统 配 置 需 求 见 表 1: 表 1 VC8000E 系 统 配 置 需 求 CPU 赛 扬 2.4G 以 上 主 板 芯 片 组 Intel 845 或 更 高 内 存 256DDR 或 更 高 硬 盘 80G, 至 少 分 两 个 区 显 卡 16M 以 上 独 立 显 卡, 支 持 DirectShowt 和 Overlay 技 术 操 作 系 统 Windows XP, DirectX 9.0 以 上 嵌 入 之 星 平 台 的 硬 件 资 源 完 全 满 足 表 1 中 的 配 置 要 求, 因 此 本 作 品 选 用 了 天 敏 公 司 的 VC8000E 视 频 采 集 卡 来 采 集 由 CMOS 摄 像 头 传 回 的 视 频 信 息. 2.2.4 集 中 电 源 供 电 由 于 摄 像 头 采 用 的 是 以 电 池 供 电 的 模 式. 电 池 在 供 电 过 程 中, 由 于 摄 像 头 要 消 耗 功 率, 所 以 电 压 会 下 降. 电 压 下 降 后, 摄 像 头 由 于 供 电 不 稳 定 的 缘 故, 使 得 摄 取 的 图 像 质 量 不 如 人 意. 所 以 为 了 维 持 摄 像 头 输 入 电 压 的 稳 定, 我 们 采 用 了 DC-DC 的 模 块. 电 压 宽 范 围 输 入 可 从 6V~15V. 输 出 电 压 恒 定 12V. 为 了 选 择 给 摄 像 头 供 电 的 电 源, 我 们 做 了 一 个 集 中 电 源 供 电 模 块, 集 中 供 电 模 块 功 耗 测 试 见 表 2. 表 2 摄 像 头 功 耗 测 试 摄 像 头 路 数 / 输 入 电 压 /V 输 入 电 流 /A 功 耗 /W 路 1 12.00 0.19 2.28 2 12.00 0.37 4.44 3 12.00 0.56 6.72 4 12.00 0.75 9.00 5 12.00 0.93 11.16 6 12.00 1.12 13.44 7 12.00 1.30 15.60 8 12.00 1.49 17.08 测 试 结 果 分 析 : 从 测 试 结 果, 我 们 可 以 发 现 当 输 入 电 压 为 12V 时, 每 路 摄 像 9

头 功 耗 约 为 2.3W.8 路 总 共 消 耗 17W 左 右 的 功 率. 所 以 我 们 选 择 了 两 路 12V 输 出, 电 流 1A 的 DC 转 换 模 块, 在 保 证 摄 像 头 稳 定 供 电 的 情 况 下, 可 以 满 足 系 统 的 功 耗 要 求. 2.2.5 无 线 网 络 系 统 需 要 将 拼 接 视 频 传 送 到 客 户 端, 通 信 我 们 采 用 无 线 网 络, 由 于 平 台 上 并 没 有 无 线 网 卡, 于 是 我 们 决 定 采 用 USB 无 线 网 卡 DWL-G122.DWL-G122 是 一 款 即 插 即 用 的 USB 无 线 网 卡. 它 是 基 于 Wi-Fi 标 准 的, 和 多 种 操 作 系 统 兼 容. 由 USB 供 电, 无 线 传 输 速 度 可 以 达 到 54Mbps. 传 输 压 缩 后 的 视 频 完 全 可 以 达 到 满 意 的 效 果. 2.3 系 统 框 架 系 统 采 用 C/S 模 式, 由 服 务 器 端 和 客 户 端 组 成. 其 中 服 务 器 端 以 EC5-1719CLDNA 为 核 心, 包 括 了 电 源 系 统 和 存 储 系 统. 外 扩 了 视 频 采 集 卡 和 摄 像 头. 摄 像 头 采 用 的 是 模 拟 摄 像 头, 配 以 8 路 视 频 采 集 卡, 摄 像 头 摄 像, 通 过 S-Video 端 口 将 模 拟 信 号 传 输 给 视 频 采 集 卡. 视 频 采 集 卡 对 模 拟 信 号 进 行 处 理, 然 后 经 PCI-E 插 槽 送 给 平 台. 平 台 接 收 到 数 据 之 后, 对 数 据 进 行 预 处 理, 随 后 采 用 软 件 算 法 进 行 图 像 拼 接. 拼 接 后, 服 务 器 端 通 过 无 线 网 络 将 视 频 传 输 给 客 户 端, 在 客 户 端 接 收 显 示. 同 时, 增 加 语 音 提 示 功 能 使 得 整 个 系 统 显 得 更 加 人 性 化, 人 机 交 互 界 面 通 过 触 摸 屏 来 实 现, 使 得 人 机 交 互 更 加 方 便 直 观. 2.4 系 统 功 能 和 指 标 本 系 统 的 主 要 功 能 是 实 现 图 像 的 实 时 全 景 拼 接. 并 通 过 无 线 网 络 将 拼 接 的 视 频 送 回 客 户 端. 功 能 指 标 主 要 是 达 到 全 景 图 像 实 时 的 无 缝 拼 接, 以 及 视 频 传 输. 2.4.1 服 务 器 端 主 要 实 现 的 功 能 (1) 获 取 视 频 采 集 卡 采 集 过 来 的 数 据. (2) 将 图 像 进 行 预 处 理, 如 将 图 像 进 行 缩 放 等 变 换. (3) 对 图 像 进 行 全 景 拼 接. (4) 实 现 视 频 存 储 与 显 示. (5) 控 制 无 线 网 卡 进 行 数 据 的 无 线 传 输. 2.4.2 摄 像 头 和 视 频 采 集 卡 实 现 功 能 (1)8 路 摄 像 头 实 现 对 水 平 360 度, 垂 直 180 度 范 围 内 图 像 的 拍 摄. (2) 视 频 采 集 卡 : 接 收 摄 像 头 的 图 像. (3) 视 频 采 集 卡 : 对 图 像 进 行 前 端 处 理, 将 模 拟 信 号 转 化 为 数 字 信 号. (4) 视 频 采 集 卡 : 将 转 化 并 进 行 前 端 处 理 后 的 数 字 信 号 通 过 PCI-E 插 槽 传 输 给 平 台. 2.4.3 客 户 端 功 能 (1) 接 收 服 务 器 端 传 输 过 来 的 数 据. (2) 将 图 像 数 据 进 行 显 示. 3 硬 件 系 统 10

3.1 摄 像 头 模 块 定 好 题 目 后, 我 们 就 开 始 寻 找 合 适 的 摄 像 头. 从 USB 摄 像 头 到 S-video 接 口 的 摄 像 头. 从 CCD 的 摄 像 头 到 CMOS 的 摄 像 头. 出 于 各 种 考 虑, 我 们 最 终 选 择 了 一 款 CMOS 摄 像 头. 该 摄 像 头 为 Super-mimi Color Camera. 采 用 1/3-inch 的 图 像 传 感 器 芯 片. 摄 像 头 的 一 些 具 体 参 数 如 下 : 表 3 摄 像 头 具 体 参 数 视 频 格 式 PAL 格 式 有 效 像 素 628*582 图 像 尺 寸 5.78*4.19 水 平 解 晰 度 380lines 最 低 照 度 0.2LUX 供 电 电 压 12V 功 率 消 耗 200mw 该 摄 像 头 采 用 3.6mm 镜 头, 在 焦 平 面 上 视 角 为 92. 我 们 采 用 8 个 这 样 的 摄 像 头, 均 匀 环 绕 分 布 在 一 个 正 八 边 形 上 可 以 获 取 水 平 视 角 360 度, 垂 直 视 角 180 度 的 图 像 摄 像 头 模 块 如 图 3.1 所 示 : 图 3.1 摄 像 头 模 块 3.2 视 频 采 集 卡 模 块 我 们 采 用 天 敏 VC8000E 视 频 采 集 卡 进 行 视 频 采 集,VC8000E 可 同 时 采 集 8 路 实 时 视 频, 每 路 可 达 到 每 秒 25 帧 的 采 集 速 率, 正 好 符 合 我 们 实 时 图 像 全 景 视 频 拼 接 的 需 要. VC8000E 卡 是 专 门 针 对 系 统 开 发 商 进 行 多 路 视 频 开 发 的 PCI-E 视 频 卡, 视 频 主 芯 片 为 SAA7134. 它 采 用 PCI-E X1 总 线 作 为 数 据 存 取 通 道, 并 采 用 了 最 新 MPEG4 压 缩 算 法, 平 均 每 路 每 小 时 50-120M, 使 图 像 采 集 速 度 更 快, 可 以 采 集 到 更 多 通 道 和 更 大 尺 寸 的 视 频 图 像. 它 提 供 完 整 的 二 次 开 发 包, 通 过 该 SDK, 可 以 使 用 VB,VC 等 编 程 软 件 进 行 系 统 设 计, 完 成 对 动 态 AVI 图 像 捕 获. 考 虑 到 视 频 处 理 的 需 要, 本 作 品 选 用 了 VC 对 该 视 频 卡 作 二 次 开 发. 11

3.3 集 中 电 源 模 块 本 次 实 验, 我 们 采 用 了 8 个 CMOS 摄 像 头. 而 摄 像 头 都 是 采 用 电 池 供 电, 为 了 减 小 系 统 的 庞 杂 性, 我 们 自 己 动 手 做 了 一 块 集 中 供 电 模 块. 该 模 块 采 用 两 个 DC-DC 转 换 器, 一 路 输 入,8 路 输 出.DC-DC 转 换 器 的 型 号 为 YIHONGTAI 生 产 的 YD12-12S12. 该 模 块 采 用 宽 范 围 输 入 (6V~15V), 输 出 电 压 恒 定 12V. 恒 定 电 压 的 输 出 为 摄 像 头 的 稳 定 供 电 提 供 了 保 障. 集 中 电 源 模 块 如 图 3.2: 图 3.2 集 中 供 电 模 块 3.4 无 线 传 输 模 块 出 于 系 统 的 无 线 传 输 的 流 畅 性 模 块 稳 定 性 和 性 价 比 的 考 虑, 我 们 选 择 了 USB 接 口 的 D-link. 型 号 为 :DWL-G122.DWL-G122 是 一 款 即 插 即 用 的 USB 无 线 网 卡. 它 是 基 于 Wi-Fi 标 准 的, 和 多 种 操 作 系 统 兼 容. 由 USB 供 电, 无 线 传 输 速 度 可 以 达 到 54Mbps. 在 设 置 好 基 本 的 网 关 和 IP 地 址 后, 服 务 器 端 和 客 户 终 端 之 间 就 可 以 实 现 无 线 传 输 了. 算 法 描 述 4 软 件 系 统 4.1 算 法 概 述 图 像 拼 接 技 术 一 直 是 近 些 年 来 的 研 究 热 点.1981 年,Lucas and Kanade 提 出 区 域 匹 配 算 法, 通 过 平 移 实 现 图 像 拼 接, 得 到 了 广 泛 的 应 用, 但 只 对 平 移 图 像 有 效 ; 随 后, 基 于 特 征 点 的 图 像 匹 配 算 法 得 到 了 广 泛 的 关 注 和 研 究, 其 中 最 主 要 的 特 征 点 是 角 点, 先 后 出 现 了 基 于 MORAVEC 算 子,HARRIS 算 子 的 角 点 检 测 算 法, 角 点 检 测 算 法 对 于 图 像 的 平 移, 旋 转, 缩 放 等 变 换 不 敏 感, 性 质 稳 定, 因 此 可 用 于 特 征 匹 配. 基 于 角 点 的 特 征 匹 配 算 法, 可 以 较 好 地 解 决 图 像 匹 配 问 题, 特 别 是 HARRIS 算 子, 由 于 其 良 好 的 性 能, 一 直 被 广 泛 采 用, 但 HARRIS 算 子 存 在 一 个 缺 陷, 即 它 在 检 测 特 征 点 时, 只 是 在 某 一 尺 度 上 检 测 的, 并 不 具 备 尺 度 不 变 性. 在 此 基 础 上,1999 年 D.G.Lowe 提 出 SIFT(Scale Invariant Feature Transform ) 算 法, 满 足 SIFT 特 征 的 特 征 点 同 时 具 有 尺 度 不 变 性. 因 此, 本 系 统 采 用 SIFT 算 法 进 行 图 像 拼 接. 12

4.2 坐 标 系 变 换 图 像 拼 接 需 要 在 特 定 的 坐 标 系 下 进 行, 下 面 先 对 坐 标 系 变 换 进 行 介 绍 : 1. 圆 柱 坐 标 系 : 如 图 1 所 示, 数 码 相 机 拍 摄 的 一 张 实 景 图 像 J,P(x,y) 是 实 景 图 像 J 上 的 任 意 一 个 像 素 点. 则 P 在 照 相 机 坐 标 系 下 的 坐 标 为 : W H x, y, f 2 2 其 中,W 和 H 分 别 是 实 景 图 像 J 的 宽 度 和 高 度. 我 们 把 圆 柱 面 的 中 心 设 为 照 相 机 坐 标 系 的 原 点, 并 以 数 码 相 机 的 像 素 焦 距 f 作 为 圆 柱 面 的 半 径, 下 面 求 出 像 素 点 在 圆 柱 面 上 的 投 影 点 Q 在 柱 面 全 景 图 像 中 的 坐 标 ( x, y ). 如 图 4.1 所 示 : 可 得 投 影 点 Q 的 坐 标 ( x, y ) 为 : 图 4.1 柱 面 投 影 示 意 图 x W arctan 2 W x = f + f arctan f 2 f f ( y H 2) H y = + 2 2 2 ( x W 2) + f 式 (1) 是 将 实 景 图 像 J 上 的 任 意 一 个 像 素 点 P(x,y) 柱 面 正 投 影 到 柱 面 全 景 图 像 上 一 个 像 素 点 Q( x, y ) 的 投 影 公 式. 利 用 该 公 式 就 可 以 将 平 面 图 像 正 投 影 到 圆 柱 面 上. (2). 球 坐 标 系 : 如 图 4.2 所 示, 世 界 坐 标 系 为 XYZ, 照 相 机 坐 标 系 为 xyz. () 1 13

图 4.2 球 面 投 影 示 意 图 设 照 相 机 的 拍 摄 方 向 为 (α,β); 实 景 图 像 上 任 意 一 个 像 素 点 P 的 图 像 坐 标 (x,y) ; P 在 球 面 全 景 图 像 上 的 对 应 点 为 P, 点 P 在 球 面 全 景 图 像 上 的 图 像 坐 标 为 ( x, y ) ; 点 P(x,y) 在 xyz 中 的 坐 标 为 ( x c, y c, z c ), 其 在 XYZ 下 的 坐 标 ( x w, y w, z w ) ; 投 影 点 P 的 三 维 参 数 坐 标 是 (a,b,c). 则 有 : xw cosβ 0 sinβ 1 0 0 xc y w 0 1 0 0 cosα sinα y = c 2 z w sinβ 0 cosβ 0 sinα cosα f 由 此, 我 们 可 以 推 导 出 球 面 全 景 图 像 上 任 意 一 点 P ( x, y ) 与 球 面 空 间 中 视 ( ) 线 为 (α,β) 的 图 像 上 一 点 P(x,y) 的 函 数 之 间 的 对 应 关 系. 当 c 0时 : x cosα + y sinβ + f sinαcos β x = f arccos c c 2 2 xc + ( ycsinβ + f cos β ) π y = f + arctan c 2 2 2 xc + ( ycsinβ + f cos β) 当 c< 0时 : y cosβ f sin β xc cosα + ycsinβ + f sinαcos β x = f arccos 2π 2 2 xc + ( ycsinβ + f cos β ) π yc cosβ f sin β y = f + arctan 2 2 2 xc + ( ycsinβ + f cos β ) ( 3) ( 4) 4.3 图 像 几 何 变 换 图 像 处 理 中, 几 何 变 换 是 必 不 可 少 的, 下 面 介 绍 几 种 常 用 的 图 像 几 何 变 换 : 14

(1). 图 像 平 移 如 图 4.3 所 示, 初 始 坐 标 为 (x 0,y 0) 的 点 经 过 平 移 (t x,t y)( 以 向 右, 向 下 为 正 方 向 ) 后, 坐 标 变 为 (x 1,y 1). 这 两 点 之 间 的 关 系 是 x 1=x 0+t x,y 1=y 0+t y. 图 4.3 平 移 示 意 图 以 矩 阵 的 形 式 表 示 为 : 1 0 0 = tx ty 1 [ x y 1] [ x y 1] 0 1 0 ( 5) 1 1 0 0 (2). 图 像 旋 转 图 4.4 旋 转 示 意 图 将 一 个 点 顺 时 针 旋 转 a 角 后 的 坐 标 变 换 公 式, 如 图 4.4 所 示,r 为 该 点 到 原 点 的 距 离, 在 旋 转 过 程 中,r 保 持 不 变 ;b 为 r 与 x 轴 之 间 的 夹 角. 旋 转 前 :x 0=rcosb;y 0=rsinb 旋 转 a 角 度 后 : x 1=rcos(b-a)=rcosbcosa+rsinbsina=x 0cosa+y 0sina; y 1=rsin(b-a)=rsinbcosa-rcosbsina=-x 0sina+y 0cosa; 以 矩 阵 的 形 式 表 示 : 15

[ x y 1] = [ x y 1] sinθ cosθ 0 ( 6) 1 1 0 0 cosθ sinθ 0 0 0 1 (3). 图 像 缩 放 假 设 放 大 因 子 为 r,(x1,y1) 为 目 标 点 坐 标,(x,y) 为 源 点 坐 标, 缩 放 的 变 换 矩 阵 很 简 单 : [ x y 1] = [ x y 1] 0 r 0 ( 7) 1 1 0 0 r 0 0 0 0 1 (4). 仿 射 变 换 仿 射 平 面 到 自 身 的 一 类 变 换, 最 重 要 的 性 质 是 保 持 点 的 共 线 性 ( 或 共 面 性 ) 以 及 保 持 直 线 的 平 行 性. 点 P 经 过 仿 射 变 换 到 点 P 的 示 意 图 如 图 4.5 所 示 : 图 4.5 仿 射 变 换 示 意 图 uuuur 其 中, OO = a13e1+ a23e2, e 1 = ae 11 1+ a21e2, e 2 = a12e1+ a22e2 P(x,y) 经 仿 射 变 换 得 到 P 点 坐 标 为 : { x = a x + a y + a 11 12 13 () 8 y = a x + a y + a 21 22 23 (5). 透 视 变 换 透 视 变 换 是 中 心 投 影 的 射 影 变 换, 由 于 这 种 映 射 相 当 于 将 原 图 象 重 新 投 影 到 另 一 个 成 象 面 上, 故 称 之 为 重 投 影 变 换, 示 意 图 如 图 4.6 所 示 : 16

图 4.6 仿 射 变 换 示 意 图 设 (x, y) 是 坐 标 平 面 XOY 中 的 一 点,(x,y ) 是 (x,y) 在 坐 标 平 面 X OY 中 对 应 的 象 点, 则 有 ax+ a y+ a x = ax+ a y+ a 11 12 13 31 32 33 a x+ a y+ a y = a x+ a y+ a 21 22 23 31 32 33 11 12 13 = 21 22 23 31 32 33 ( 9) a a a 其 中 H a a a, H为 透 视 变 换 矩 阵 a a a 4.4 SIFT 算 法 系 统 采 用 SIFT 算 法 完 成 图 像 拼 接, 下 面 对 SIFT 算 法 进 行 详 细 的 介 绍 4.4.1 图 像 多 尺 度 表 示 尺 度 空 间 理 论 最 早 出 现 于 计 算 机 视 觉 领 域 时 其 目 的 是 模 拟 图 像 数 据 的 多 尺 度 特 征.Koendetink 证 明 高 斯 卷 积 核 是 实 现 尺 度 变 换 的 唯 一 变 换 核, 而 Lindeberg 等 人 则 进 一 步 证 明 高 斯 核 是 唯 一 的 线 性 核. 二 维 高 斯 函 数 定 义 如 下 : 2 2 2 1 ( x + y )/2σ G( xy,, σ) = e 2 ( 10) 2πσ 代 表 了 高 斯 正 态 分 布 的 方 差. 一 幅 二 维 图 像, 在 不 同 尺 度 下 的 尺 度 空 间 表 示 可 由 图 像 与 高 斯 核 卷 积 得 到 : (,, σ ) = (,, σ ) (, ) ( 11) L x y G x y I x y 式 (11) 中,(x,y) 代 表 图 像 的 像 素 位 置,σ 称 为 尺 度 空 间 因 子, 其 值 越 小 则 表 征 该 图 像 被 平 滑 的 越 少, 相 应 的 尺 度 也 就 越 小. 大 尺 度 对 应 于 图 像 的 概 貌 特 征, 小 尺 度 对 应 于 图 像 的 细 节 特 征.L 代 表 了 图 像 的 尺 度 空 间. 4.4.2 SIFT 算 法 实 现 过 程 17

(1) 提 取 SIFT 特 征 点 David G.Lowe 在 2004 年 总 结 了 现 有 的 基 于 不 变 量 技 术 的 特 征 检 测 方 法, 并 正 式 提 出 了 一 种 基 于 尺 度 空 间 的 对 图 像 缩 放 旋 转 甚 至 仿 射 变 换 保 持 不 变 性 的 图 像 局 部 特 征 描 述 算 子 -SIFT 算 子, 其 全 称 是 Scale Invariant Feature Transform, 即 尺 度 不 变 特 征 变 换. SIFT 算 法 首 先 在 尺 度 空 间 进 行 特 征 检 测, 并 确 定 关 键 点 (Keypoints) 的 位 置 和 关 键 点 所 处 的 尺 度, 然 后 使 用 关 键 点 邻 域 梯 度 的 主 方 向 作 为 该 点 的 方 向 特 征, 以 实 现 算 子 对 尺 度 和 方 向 的 无 关 性. SIFT 算 法 提 取 的 SIFT 特 征 向 量 具 有 如 下 特 性 : a) SIFT 特 征 是 图 像 的 局 部 特 征, 其 对 旋 转 尺 度 缩 放 亮 度 变 化 保 持 不 变 性, 对 视 角 变 化 仿 射 变 换 噪 声 也 保 持 一 定 程 度 的 稳 定 性. b) 独 特 性 好, 信 息 量 丰 富, 适 用 于 在 海 量 特 征 数 据 库 中 进 行 快 速 准 确 的 匹 配. c) 多 量 性, 即 使 少 数 的 几 个 物 体 也 可 以 产 生 大 量 SIFT 特 征 向 量. d) 高 速 性, 经 优 化 的 SIFT 匹 配 算 法 甚 至 可 以 达 到 实 时 的 要 求. e) 可 扩 展 性, 可 以 很 方 便 的 与 其 他 形 式 的 特 征 向 量 进 行 联 合. Lowe 在 图 像 二 维 平 面 空 间 和 DoG(Difference-of-Gaussian) 尺 度 空 间 中 同 时 检 测 局 部 极 值 以 作 为 特 征 点, 以 使 特 征 具 备 良 好 的 独 特 性 和 稳 定 性.DoG 算 子 定 义 为 两 个 不 同 尺 度 的 高 斯 核 的 差 分, 其 具 有 计 算 简 单 的 特 点, 是 归 一 化 LoG 算 子 的 近 似.DoG 算 子 如 式 (11) 所 示 : (,, σ) = ( (,, σ) (,, σ) ) (, ) = L( xyk,, σ) L( xy,, σ) ( 12) D xy G xyk G xy I xy 对 于 图 像 上 的 点, 计 算 其 在 每 一 尺 度 下 DoG 算 子 的 响 应 值, 这 些 值 连 起 来 得 到 特 征 尺 度 轨 迹 曲 线. 特 征 尺 度 曲 线 的 局 部 极 值 点 即 为 该 特 征 的 尺 度. 尺 度 轨 迹 曲 线 上 完 全 可 能 存 在 多 个 局 部 极 值 点, 这 时 可 认 为 该 点 有 多 个 特 征 尺 度. SIFT 特 征 匹 配 算 法 包 括 两 个 阶 段, 第 一 阶 段 是 SIFT 特 征 的 生 成, 即 从 多 幅 待 匹 配 图 像 中 提 取 出 对 尺 度 缩 放 旋 转 亮 度 变 化 无 关 的 特 征 向 量 ; 第 二 阶 段 是 SIFT 特 征 向 量 的 匹 配. 下 面 本 文 来 具 体 介 绍 一 下 SIFT 算 法. 一 幅 图 像 SIFT 特 征 向 量 的 生 成 算 法 总 共 包 括 4 步 : 1 尺 度 空 间 极 值 检 测, 以 初 步 确 定 关 键 点 位 置 和 所 在 尺 度. 图 4.7 DoG 尺 度 空 间 局 部 极 值 检 测 图 4.10 为 DoG 尺 度 空 间 的 三 个 相 邻 尺 度. 在 检 测 尺 度 空 间 极 值 时, 图 中 标 记 为 叉 号 的 像 素 需 要 跟 包 括 同 一 尺 度 的 周 围 邻 域 8 个 像 素 和 相 邻 尺 度 对 应 位 置 的 周 围 邻 域 9 2 个 像 素 总 共 26 个 像 素 进 行 比 较, 以 确 保 在 尺 度 空 间 和 二 维 图 像 空 间 都 18

检 测 到 局 部 极 值. 2 通 过 拟 和 三 维 二 次 函 数 以 精 确 确 定 关 键 点 的 位 置 和 尺 度, 同 时 去 除 低 对 比 度 的 关 键 点 和 不 稳 定 的 边 缘 响 应 点 ( 因 为 DoG 算 子 会 产 生 较 强 的 边 缘 响 应 ), 以 增 强 匹 配 稳 定 性 提 高 抗 噪 声 能 力. 3 利 用 关 键 点 邻 域 像 素 的 梯 度 方 向 分 布 特 性 为 每 个 关 键 点 指 定 方 向 参 数, 使 算 子 具 备 旋 转 不 变 性. m xy L x y L x y L xy L xy θ = + + 2 2 (, ) = ( ( + 1, ) ( 1, )) + ( (, + 1 ) (, 1) ) ( xy, ) atan2 ( L( xy, 1 ) L( xy, 1 )) /( L( x 1, y) L( x 1, y) ) ( ) 式 (13) 为 (x,y) 处 梯 度 的 模 值 和 方 向 公 式. 其 中 L 所 用 的 尺 度 为 每 个 关 键 点 各 自 所 在 的 尺 度. 在 实 际 计 算 时, 我 们 在 以 关 键 点 为 中 心 的 邻 域 窗 口 内 采 样, 并 用 直 方 图 统 计 邻 域 像 素 的 梯 度 方 向. 梯 度 直 方 图 的 范 围 是 0~360 度, 其 中 每 10 度 一 个 柱, 总 共 36 个 柱. 直 方 图 的 峰 值 则 代 表 了 该 关 键 点 处 邻 域 梯 度 的 主 方 向, 即 作 为 该 关 键 点 的 方 向. 图 4.11 是 采 用 7 个 柱 时 使 用 梯 度 直 方 图 为 关 键 点 确 定 主 方 向 的 示 例. ( 13) 图 4.8 由 梯 度 方 向 直 方 图 确 定 主 梯 度 方 向 在 梯 度 方 向 直 方 图 中, 当 存 在 另 一 个 相 当 于 主 峰 值 80% 能 量 的 峰 值 时, 则 将 这 个 方 向 认 为 是 该 关 键 点 的 辅 方 向. 一 个 关 键 点 可 能 会 被 指 定 具 有 多 个 方 向 ( 一 个 主 方 向, 一 个 以 上 辅 方 向 ), 这 可 以 增 强 匹 配 的 鲁 棒 性. 至 此, 图 像 的 关 键 点 已 检 测 完 毕, 每 个 关 键 点 有 三 个 信 息 : 位 置 所 处 尺 度 方 向. 由 此 可 以 确 定 一 个 SIFT 特 征 区 域 ( 在 实 验 章 节 用 椭 圆 或 箭 头 表 示 ). 4 生 成 SIFT 特 征 向 量. 首 先 将 坐 标 轴 旋 转 为 关 键 点 的 方 向, 以 确 保 旋 转 不 变 性. 图 4.9 由 关 键 点 邻 域 梯 度 信 息 生 成 特 征 向 量 接 下 来 以 关 键 点 为 中 心 取 8 8 的 窗 口. 图 5 左 部 分 的 中 央 黑 点 为 当 前 关 键 点 的 位 置, 每 个 小 格 代 表 关 键 点 邻 域 所 在 尺 度 空 间 的 一 个 像 素, 箭 头 方 向 代 表 该 像 素 的 梯 度 方 向, 箭 头 长 度 代 表 梯 度 模 值, 图 中 蓝 色 的 圈 代 表 高 斯 加 权 的 范 围 ( 越 靠 近 关 键 点 的 像 素 梯 度 方 向 信 息 贡 献 越 大 ). 然 后 在 每 4 4 的 小 块 上 计 算 8 个 方 向 的 梯 度 方 向 直 方 图, 绘 制 每 个 梯 度 方 向 的 累 加 值, 即 可 形 成 一 个 种 子 点, 如 图 4.12 右 部 分 所 示. 此 图 中 一 个 关 键 点 由 2 2 共 4 个 种 子 点 组 成, 每 个 种 子 点 有 8 个 方 向 向 量 信 息. 这 种 邻 域 方 向 性 信 息 联 合 的 思 想 增 强 了 算 法 抗 噪 声 的 能 力, 同 时 对 于 19

含 有 定 位 误 差 的 特 征 匹 配 也 提 供 了 较 好 的 容 错 性. 实 际 计 算 过 程 中, 为 了 增 强 匹 配 的 稳 健 性,Lowe 建 议 对 每 个 关 键 点 使 用 4 4 共 16 个 种 子 点 来 描 述, 这 样 对 于 一 个 关 键 点 就 可 以 产 生 128 个 数 据, 即 最 终 形 成 128 维 的 SIFT 特 征 向 量. 此 时 SIFT 特 征 向 量 已 经 去 除 了 尺 度 变 化 旋 转 等 几 何 变 形 因 素 的 影 响, 再 继 续 将 特 征 向 量 的 长 度 归 一 化, 则 可 以 进 一 步 去 除 光 照 变 化 的 影 响. (2). 找 出 图 像 中 的 匹 配 点 找 出 特 征 点 后, 需 进 一 步 找 出 两 幅 图 像 中 的 特 征 匹 配 点, 从 而 进 行 图 像 配 准 图 像 拼 接, 特 征 匹 配 点 可 以 通 过 最 近 邻 方 法 得 到, 具 体 实 现 我 们 采 用 在 K-d tree 基 础 上 改 进 的 最 近 邻 搜 索 方 法. 1 K-d tree: k-d 树 又 称 为 多 维 二 进 制 搜 索 树, 其 中 k 表 示 搜 索 空 间 的 维 数.k-d 树 是 二 叉 检 索 树 的 扩 展,k-d 树 的 每 一 层 将 空 间 分 成 两 个. 树 的 顶 层 结 点 按 一 维 进 行 划 分, 下 一 层 结 点 按 另 一 维 进 行 划 分, 以 此 类 推, 各 个 维 循 环 往 复. 划 分 要 使 得 在 每 个 结 点, 存 储 在 子 树 中 大 约 一 半 的 点 落 入 一 侧, 而 另 一 半 落 入 另 一 侧. 当 一 个 结 点 中 的 点 数 少 于 给 定 的 最 大 点 数 时, 划 分 结 束. k-d 树 的 数 据 结 构 决 定 了 能 够 减 少 查 询 量, 因 为 很 多 结 点 不 必 被 考 虑, 而 且 k-d 树 提 供 了 一 种 高 效 机 制 去 查 询 与 待 查 记 录 的 最 接 近 记 录, 从 而 大 大 减 低 了 寻 找 最 佳 匹 配 的 计 算 量.k-d 树 搜 索 算 法 可 以 很 容 易 的 描 述 为 一 递 归 算 法.k-d 树 搜 索 时 交 替 的 使 用 识 别 器 与 各 个 维 的 关 键 码 进 行 比 较, 不 断 缩 小 搜 索 范 围, 直 到 找 到 需 要 的 点 为 止.k-d 树 的 搜 索 过 程 对 于 低 维 度 空 间 效 率 非 常 高, 但 对 高 维 度 空 间 其 执 行 效 率 就 会 明 显 的 下 降. 2 BBF(Best-Bin-First): 最 近 邻 搜 索 基 于 k-d 树 搜 索 算 法 对 高 维 度 空 间 搜 索 效 率 较 低,BBF 是 对 它 的 一 种 改 进 算 法. 实 际 上,k-d 树 搜 索 算 法 大 部 分 时 间 花 费 在 检 查 结 点 上, 并 且 只 有 一 部 分 结 点 满 足 最 近 邻 条 件. 我 们 可 以 采 用 一 种 近 似 的 最 近 邻 算 法, 我 们 可 以 通 过 限 制 k-d 树 中 叶 子 结 点 数, 对 叶 结 点 设 一 个 最 大 数 目 从 而 可 以 缩 短 搜 索 时 间. 这 个 改 进 虽 然 对 k-d 树 快 速 找 到 最 近 邻 点 有 一 定 数 量 上 的 提 高, 但 是 还 只 是 根 据 k-d 树 的 结 构 来 决 定 叶 子 结 点 的 检 查 顺 序, 也 就 是 说 只 考 虑 已 存 储 的 结 点 位 置, 并 没 有 考 虑 到 被 查 询 结 点 的 位 置. 一 种 简 单 的 优 化 改 进 方 法 就 是 以 结 点 和 被 查 询 结 点 距 离 递 增 的 顺 序 来 搜 索 结 点, 结 点 和 被 查 询 结 点 的 距 离 是 指 它 们 之 间 的 最 短 距 离. 上 面 的 改 进 方 法 可 以 用 一 个 优 先 级 队 列 很 容 易 的 实 现. 在 最 近 邻 NN 搜 索 过 程 中, 当 沿 着 一 个 方 向 的 分 支 搜 索 一 结 点 时, 优 先 级 队 列 就 会 被 加 入 一 个 成 员, 该 成 员 记 录 了 该 结 点 相 关 的 信 息, 包 括 当 前 结 点 在 树 中 的 位 置 和 该 结 点 与 被 查 询 结 点 之 间 的 距 离. 当 一 个 页 结 点 已 经 被 搜 索 到 以 后, 则 从 优 先 级 队 列 的 队 首 删 除 一 项, 然 后 再 搜 索 包 含 最 近 邻 结 点 的 的 其 他 分 支.BBF(Best Bin First) 搜 索 策 略 对 最 近 邻 搜 索 算 法 有 了 较 大 的 提 高. 我 们 采 用 关 键 点 特 征 向 量 的 欧 式 距 离 来 作 为 两 幅 图 像 中 关 键 点 的 相 似 性 判 定 度 量. 取 图 像 1 中 的 某 个 关 键 点, 并 找 出 其 与 图 像 2 中 欧 式 距 离 最 近 的 前 两 个 关 键 点, 在 这 两 个 关 键 点 中, 如 果 最 近 的 距 离 除 以 次 近 的 距 离 少 于 某 个 比 例 阈 值, 20

则 接 受 这 一 对 匹 配 点. 降 低 这 个 比 例 阈 值,SIFT 匹 配 点 数 目 会 减 少, 但 更 加 稳 定. 在 我 们 的 程 序 中 取 阈 值 为 0.49, 图 4.13 为 两 个 CMOS 摄 像 头 捕 获 图 像 的 匹 配 图, 可 以 看 出 匹 配 是 完 美 的. 图 4.10 特 征 点 的 匹 配 图 (3) 计 算 图 像 变 换 矩 阵 得 到 两 幅 图 像 间 的 特 征 匹 配 点 后, 即 可 通 过 采 用 随 机 抽 样 一 致 性 算 法 RANSAC(random sample consensus) 得 到 图 像 变 换 的 透 视 变 换 矩 阵, 具 体 过 程 如 下 : (1) 在 匹 配 点 数 据 集 中 取 样, 采 用 8 点 算 法 进 行 基 本 矩 阵 初 始 估 计, 得 到 基 本 矩 阵 F. (2) 计 算 距 离, 划 分 数 据 为 局 内 点 和 局 外 点. (3) 记 录 当 前 初 始 估 计 的 基 本 矩 阵 和 局 内 点 的 数 目 并 进 行 比 较, 保 存 局 内 点 数 目 最 多 的 基 本 矩 阵. (4) 将 以 上 步 骤 循 环 n 次, 构 造 出 n 个 基 本 子 集. (5) 得 到 局 内 点 最 多 的 基 本 矩 阵 初 始 估 计 F 和 相 应 局 内 点. (6) 将 所 有 局 内 点 重 新 利 用 8 点 估 计 算 法 得 到 基 本 矩 阵 F. (4) 图 像 融 合 矩 阵 生 成 之 后, 然 后 进 行 图 像 拼 接. 在 这 里 我 们 首 先 确 定 图 像 间 的 重 叠 部 分, 即 匹 配 特 征 点 所 在 的 两 幅 图 像 的 公 共 部 分. 接 着 将 两 幅 图 像 进 行 重 采 样, 注 册 到 一 幅 新 的 空 白 图 像 中 形 成 一 幅 融 合 图 像, 融 合 过 程 中 采 用 前 面 求 出 的 H 矩 阵. 在 拼 接 过 程 中, 对 于 重 叠 部 分 的 平 滑 处 理 我 们 采 用 渐 入 渐 出 的 方 法, 即 在 重 叠 部 分 由 第 一 幅 图 像 慢 慢 过 渡 到 第 二 幅 图 像. 我 们 可 以 设 一 个 渐 变 因 子 为 0<d<1, 21

对 于 两 幅 图 像 p1 p2, 结 果 P=d P1 +(1-d) P2, 其 中 d 的 值 由 1 渐 变 到 0,d 的 取 值 与 重 叠 边 界 的 距 离 有 关. 软 件 实 现 4.5 软 件 开 发 环 境 此 次 开 发 我 们 以 Microsoft Visual C++ 6.0 为 软 件 开 发 环 境, 采 用 Intel 资 助 的 开 源 计 算 机 视 觉 库 OpenCV 来 进 行 开 发.OpenCV 由 一 系 列 C 函 数 和 少 量 C++ 类 构 成, 实 现 了 图 像 处 理 和 计 算 机 视 觉 方 面 的 很 多 通 用 算 法. OpenCV 拥 有 包 括 300 多 个 C/C++ 函 数 的 跨 平 台 的 中 高 层 API. 它 不 依 赖 与 其 它 的 外 部 库, 尽 管 也 可 以 使 用 某 些 外 部 库. OpenCV 对 非 商 业 应 用 和 商 业 应 用 都 是 免 费 (FREE) 的.( 细 节 参 考 发 布 版 本 的 license). 另 外 OpenCV 也 为 Intel 公 司 的 Integrated Performance Primitives (IPP) 提 供 了 透 明 接 口. 这 意 味 着 如 果 有 为 特 定 处 理 器 ( 当 然 是 INTEL 的 处 理 器 了 ) 优 化 的 的 IPP 库, OpenCV 将 在 运 行 时 自 动 加 载 这 些 库.OpenCV 库 函 数 主 要 的 功 能 有 : a. 图 像 数 据 的 操 作 ( 分 配 释 放 复 制 设 置 和 转 换 ). b. 图 像 是 视 频 的 输 入 输 出 I/O ( 文 件 与 摄 像 头 的 输 入 图 像 和 视 频 文 件 输 出 ). c. 矩 阵 和 向 量 的 操 作 以 及 线 性 代 数 的 算 法 程 序 ( 矩 阵 积 解 方 程 特 征 值 以 及 奇 异 值 等 ). d. 各 种 动 态 数 据 结 构 ( 列 表 队 列 集 合 树 图 等 ). e. 基 本 的 数 字 图 像 处 理 ( 滤 波 边 缘 检 测 角 点 检 测 采 样 与 差 值 色 彩 转 换 形 态 操 作 直 方 图 图 像 金 字 塔 等 ). f. 结 构 分 析 ( 连 接 部 件 轮 廓 处 理 距 离 变 换 各 自 距 计 算 模 板 匹 配 Hough 变 换 多 边 形 逼 近 直 线 拟 合 椭 圆 拟 合 Delaunay 三 角 划 分 等 ). g. 摄 像 头 定 标 ( 发 现 与 跟 踪 定 标 模 式 定 标 基 本 矩 阵 估 计 齐 次 矩 阵 估 计 立 体 对 应 ). h. 运 动 分 析 ( 光 流 运 动 分 割 跟 踪 ). i. 目 标 识 别 ( 特 征 法 隐 马 尔 可 夫 模 型 :HMM). j. 基 本 的 GUI ( 图 像 与 视 频 显 示 键 盘 和 鼠 标 事 件 处 理 滚 动 条 ). k. 图 像 标 注 ( 线 二 次 曲 线 多 边 形 画 文 字 ). 可 见, 采 用 OpenCV 进 行 图 像 处 理 是 非 常 方 便 的, 我 们 在 程 序 中 大 量 使 用 了 OpenCV 库 函 数, 同 时 我 们 采 用 Intel 编 译 器, 以 方 便 对 程 序 进 行 优 化. 4.6 服 务 器 服 务 器 端 模 块 以 多 线 程 的 方 式 运 行. 以 界 面 线 程 为 主 线 程, 根 据 程 序 运 行 的 过 程 然 后 启 动 子 进 程. 软 件 实 现 的 功 能 主 要 包 括 视 频 采 集 实 时 图 像 拼 接 实 时 图 像 传 输 等. 其 软 件 流 程 图 如 图 4.11 所 示 : 22

图 4.11 服 务 器 端 软 件 流 程 图 4.6.1 视 频 采 集 卡 部 分 的 软 件 设 计 我 们 以 天 敏 公 司 的 VC8000E 为 硬 件 基 础, 在 其 基 础 上 进 行 了 二 次 开 发. 视 频 采 集 卡 主 要 对 外 部 摄 像 头 采 集 过 来 的 数 据 进 行 处 理. 其 中 软 件 部 分 包 括 打 开 板 卡 设 备, 注 册 回 调 函 数 设 置 捕 获 参 数 开 始 捕 获 视 频 存 储 图 像 数 据 以 及 关 闭 板 卡 设 备 等 一 些 操 作. 软 件 流 程 图 如 图 4.12: 图 4.12 视 频 采 集 卡 软 件 部 分 设 计 图 23

视 频 采 集 卡 采 集 的 图 像 格 式 为 YUV, 而 程 序 其 他 部 分 所 处 理 的 图 像 格 式 均 为 RGB 格 式, 因 此 采 集 图 像 后 应 先 对 图 像 格 式 进 行 转 换, 将 YUV 格 式 转 换 为 RGB 格 式 数 据, 以 方 便 后 续 图 像 处 理. 4.6.2 SIFT 算 法 部 分 设 计 SIFT 特 征 匹 配 流 程 如 图 4.13 所 示 : 图 4.13 SIFT 特 征 匹 配 流 程 图 4.6.3 视 频 显 示 部 分 采 用 DrawDib 函 数 组 实 现 视 频 显 示 MicroSoft 针 对 与 设 备 无 关 位 图 DIB, 在 其 WIN32 SDK 的 Multimedia 中 提 供 了 一 组 绘 制 DIB 位 图 的 高 性 能 函 数 组. 它 们 支 持 8 为 16 位 24 位 32 位 图 象 深 度 的 DIB. 它 可 以 对 图 象 进 行 拉 伸 和 抖 动 的 功 能, 还 支 持 图 象 的 解 压 数 据 流 以 及 更 多 的 显 示 适 配 器. 它 只 支 持 颜 色 信 息 表 格 式 为 DIB_RGB_COLORS 格 式 的 图 象 不 支 持 DIB_PAL_COLORS 和 DIB_PAL_INDICES, 只 支 持 SRCCOPY 光 栅 操 作 模 式. DrawDib 函 数 直 接 写 入 视 频 内 存, 因 此 具 有 良 好 的 图 形 显 示 能 力. DrawDib 函 数 组 操 作 过 程 : (1) 调 用 DrawDibOpen 初 始 化 DrawDib 函 数 组. (2) 调 用 DrawDibBegin 初 始 化 设 备 场 景, (3) 调 用 DrawDibDraw 显 示 图 象 (4) 调 用 DrawDibClose 释 放 设 备 场 景 显 示 部 分 软 件 流 程 图 如 图 4.14 所 示 : 24

图 4.14 视 频 显 示 流 程 图 4.6.4 视 频 存 储 部 分 OpenCV 提 供 了 视 频 读 写 接 口, 并 可 对 视 频 进 行 指 定 格 式 压 缩, 图 4.15 是 该 部 分 的 程 序 流 程 : 图 4.15 视 频 存 储 部 分 流 程 图 关 键 函 数 说 明 如 下 : CvVideoWriter* cvcreatevideowriter( const char* filename, int fourcc, double fps, CvSize frame_size, int is_color=1 ); // 创 建 视 频 文 件 写 入 器 filename : 输 出 视 频 文 件 名. fourcc : 四 个 字 符 用 来 表 示 压 缩 帧 的 编 码 器 fps : 被 创 建 视 频 流 的 帧 率 frame_size : 视 频 流 的 大 小. is_color : 如 果 非 零, 编 码 器 将 希 望 得 到 彩 色 帧 并 进 行 编 码 ; 否 则, 是 灰 度 帧 int cvwriteframe( CvVideoWriter* writer, const IplImage* image ); 25

// 写 入 一 帧 到 一 个 视 频 文 件 中 void cvreleasevideowriter( CvVideoWriter** writer ); // 释 放 视 频 写 入 器 4.6.5 视 频 传 输 部 分 设 计 本 系 统 的 定 位 是 做 一 个 便 携 式 的 视 频 采 集, 拼 接 系 统. 它 具 有 独 立 的 功 能, 可 以 向 外 界 提 供 信 息, 而 通 信 接 口 便 是 无 线 网 络. 具 体 流 程 图 如 图 4.16 所 示 : 图 4.16 视 频 传 输 部 分 4.6.6 视 频 压 缩 部 分 拼 接 产 生 的 全 景 视 频, 每 帧 图 像 比 较 大, 由 于 网 络 带 宽 有 限, 如 果 直 接 传 输 不 可 能 达 到 实 时 性 要 求, 因 此 必 须 对 视 频 进 行 压 缩. 目 前, 有 各 种 各 样 的 视 频 压 缩 算 法, 并 且 有 相 应 的 库 可 供 调 用, 考 虑 到 视 频 压 缩 将 会 占 用 较 多 系 统 资 源, 而 且 由 于 视 频 拼 接 运 算 量 较 大, 每 秒 钟 传 输 的 视 频 数 量 受 到 限 制, 为 了 节 约 系 统 资 源, 我 们 直 接 采 用 静 态 压 缩, 将 一 帧 帧 图 像 压 缩 后 传 输 到 客 户 端. 实 验 证 明, 这 种 工 作 模 式 是 有 效 的, 真 正 制 约 系 统 实 时 性 能 的 是 视 频 拼 接 的 速 度, 而 不 是 网 络 传 输. 采 用 OpenCV 的 cvsaveimage 函 数 对 图 像 进 行 JPEG 压 缩, 压 缩 率 可 达 到 10 倍 左 右, 将 图 像 压 缩 保 存 成 文 件, 然 后 将 压 缩 文 件 发 送 到 客 户 端, 客 户 端 接 收 到 文 件 后 进 行 解 压 显 示. 4.7 客 户 终 端 客 户 端 模 块 也 以 界 面 线 程 为 主 要 线 程. 实 现 的 主 要 功 能 是 接 收 视 频. 其 流 程 图 如 图 4.17 所 示 : 26

图 4.17 客 户 端 软 件 流 程 图 4.8 无 线 通 信 平 台 完 成 视 频 采 集, 拼 接 后, 通 过 无 线 网 络 将 全 景 视 频 传 输 到 客 户 端, 采 用 Internet 接 口, 通 过 Socket 套 接 字 实 现. Socket 通 常 被 称 作 " 套 接 字 ", 用 于 描 述 IP 地 址 和 端 口 信 息, 应 用 程 序 通 过 " 套 接 字 " 向 网 络 发 出 请 求 或 者 应 答 网 络 请 求.Socket 接 口 是 访 问 Internet 使 用 最 广 泛 的 方 法,socket 提 供 了 进 程 通 信 的 端 点, 进 程 通 信 之 前, 双 方 首 先 必 须 各 自 创 建 一 个 端 点, 服 务 器 端 的 socket 称 之 为 Server, 客 户 端 socket 称 之 为 Client, 通 信 双 方 建 立 起 socket 连 接 以 后 就 可 以 成 功 进 行 通 信. Socket 中 的 IP 地 址 即 为 本 机 IP, 端 口 理 论 上 可 以 任 意 进 行 分 配, 只 要 client 采 用 与 server 相 同 的 端 口 就 能 成 功 进 行 连 接, 但 一 般 而 言,1024 以 下 的 端 口 属 于 系 统 保 留 端 口 ( 如 80 端 口 被 http 服 务 所 使 用 ), 因 而 用 户 程 序 通 常 采 用 1024 以 上 的 端 口, 以 免 不 同 程 序 间 发 生 冲 突. Socket 分 为 两 种 : 流 式 Socket(SOCK_STREAM) 和 数 据 报 式.Socket(SOCK_DGRAM). 流 套 接 口 针 对 于 面 向 连 接 的 TCP 服 务 应 用, 提 供 了 双 向 的, 有 序 的, 无 重 复 并 且 无 记 录 边 界 的 数 据 流 服 务. 数 据 报 套 接 口 对 应 于 无 连 接 的 UDP 服 务 应 用, 支 持 双 向 的 数 据 流, 但 并 不 保 证 是 可 靠, 有 序, 无 重 复 的. 为 了 保 证 可 靠 的 文 件 传 输, 本 系 统 中 采 用 面 向 TCP 协 议 的 流 式 socket. (1). 服 务 器 / 客 户 机 模 式. 在 网 络 中 向 其 他 计 算 机 提 供 服 务 的 计 算 机 称 为 服 务 器, 接 收 服 务 的 计 算 机 称 为 客 户 机. 服 务 器 / 客 户 机 模 式 结 构 简 单 清 晰, 便 于 管 理, 因 此 成 为 目 前 计 算 机 网 络 中 采 用 最 多 的 工 作 模 式.socket 正 是 面 向 服 务 器 / 客 户 机 模 式 而 设 计 的, 服 务 器 与 客 户 机 之 间 通 过 socket 建 立 连 接 的 流 程 如 下 : A. 服 务 器 端 : 1: 创 建 套 接 字 (WSAStartup()); 2: 绑 定 套 接 字 到 IP 地 址 和 特 定 端 口 (bind()); 27

3: 进 行 监 听 模 式 等 待 连 接 请 求 (listen()); 4: 请 求 到 来 后, 接 受 连 接 请 求, 建 立 用 于 此 次 连 接 的 套 接 字 (accept()), 继 续 监 听 其 他 用 户 的 连 接 请 求 ; 5: 创 建 线 程 (AfxBeginThread()), 向 客 户 机 传 送 文 件 (send()); 6: 关 闭 套 接 字 (WSACleanup()). 由 于 采 用 非 阻 塞 模 式, 因 此 在 传 输 过 程 中 可 能 发 生 WSAEWOULDBLOCK 的 错 误, 有 了 文 件 长 度, 就 可 以 确 保 传 输 的 正 确 性 和 完 整 性, 伪 代 码 如 下 : While(iSendLength<iTotalLength) // 未 发 送 完 { isend = send(); // 本 次 传 输 字 节 数 isendlength = isendlength + isend; // 总 共 传 输 字 节 数 } B. 客 户 机 端 : 1: 创 建 套 接 字 (WSAStartup()); 2: 向 服 务 器 发 出 连 接 请 求 (connect()); 3: 从 服 务 器 接 收 文 件 (recv()); 4: 关 闭 套 接 字 (WSACleanup()). 只 要 服 务 器 端 发 送 的 数 据 没 有 接 收 完 毕, 客 户 机 便 会 收 到 FD_READ 消 息, 在 相 应 的 消 息 处 理 函 数 中 便 可 以 进 行 接 收 : If(iRecvLength<iTotalLength) // 未 接 收 完 { irecv = recv(); // 本 次 接 收 字 节 数 WriteFile(); // 写 入 文 件 } Else // 接 收 完 毕 { CloseFile(); } (2). 消 息 机 制 为 了 提 高 程 序 运 行 效 率, 使 socket 工 作 于 非 阻 塞 模 式, 使 用 Windows API WSAAsyncSelect(), 该 函 数 提 供 消 息 响 应 机 制, 使 socket 处 于 事 件 监 听 状 态, 只 要 有 相 应 的 事 件 发 生, 就 会 调 用 相 应 的 消 息 处 理 函 数. 服 务 器 端 成 功 创 建 socket 后 调 用 WSAAsyncSelect() 使 socket 监 听 FD_ACCEPT 消 息, 当 客 户 端 发 出 连 接 请 求 时 服 务 器 将 收 到 消 息, 进 而 接 收 客 户 端 的 连 接 请 求 (accept()), 成 功 建 立 连 接 后, 再 次 调 用 WSAAsyncSelect(), 使 socket 对 FD_READ FD_CLOSE 消 息 进 行 监 听, 当 客 户 机 向 服 务 器 发 送 消 息 或 客 户 机 退 出 时 服 务 器 将 收 到 消 息, 从 而 进 行 相 应 的 处 理. 客 户 端 处 理 相 对 简 单, 在 和 服 务 器 成 功 建 立 连 接 后, 只 需 调 用 一 次 WSAAsyncSelect(), 对 FD_READ FD_CLOSE 消 息 进 行 监 听. (3). 文 件 传 输 28

视 频 传 输 通 过 将 图 像 压 缩 成 图 片 文 件 后 进 行 传 输, 为 了 保 证 文 件 可 靠 地 进 行 传 输, 必 须 建 立 一 定 的 传 输 格 式, 本 系 统 中 通 过 在 文 件 内 容 前 加 入 一 个 结 构 体 信 息 头 来 实 现, 结 构 体 定 义 如 下 : struct FILEINFO { char filename[100]; // 文 件 名 int ifilelength; // 文 件 长 度 }; 4.9 软 件 界 面 服 务 器 软 件 界 面 包 括 以 下 几 部 分 : 1) 各 路 视 频 单 独 显 示 2) 拼 接 视 频 显 示. 3) 功 能 按 钮. 图 4.18 服 务 器 软 件 界 面 如 图, 上 部 面 板 显 示 4 路 摄 像 头 采 集 视 频, 中 部 面 板 显 示 拼 接 视 频, 下 部 面 板 为 用 户 操 作 区. 客 户 端 软 件 界 面 包 括 以 下 几 部 分 : 1) 视 频 显 示 29

2) 功 能 按 钮 界 面 截 图 如 图 4.19 所 示 : 图 4.19 客 户 端 软 件 界 面 上 部 面 板 显 示 接 收 视 频, 下 部 面 板 为 用 户 操 作 区. 4.10 函 数 模 块 下 面 列 出 了 本 系 统 所 使 用 的 一 些 主 要 函 数 模 块 名. double Surplus(double A[],int m,int n);// 求 矩 阵 行 列 式 参 数 说 明 :A 为 矩 阵 指 针,m 为 矩 阵 行 数,n 为 矩 阵 列 数 返 回 值 : 矩 阵 A 的 行 列 式 double* MatrixInver(double A[],int m,int n);// 矩 阵 转 置 参 数 说 明 :A 为 矩 阵 指 针,m 为 矩 阵 行 数,n 为 矩 阵 列 数 返 回 值 : 矩 阵 A 的 转 置 矩 阵 double* MatrixOpp(double A[],int m,int n);// 矩 阵 求 逆 参 数 说 明 :A 为 矩 阵 指 针,m 为 矩 阵 行 数,n 为 矩 阵 列 数 返 回 值 : 矩 阵 A 的 逆 矩 阵 void WarpPerspective(IplImage *src,iplimage *dst, double *n);// 双 线 性 插 值 透 视 变 换 30

参 数 说 明 :src 为 源 图 像,dst 为 目 标 图 像,p 为 透 视 变 换 矩 阵 bool Generate(IplImage *img1, IplImage *img2, IplImage **xformed, struct feature* feat1, int n1, struct feature* feat2, int n2, int *x_right, int *x_left, double **h_inv, int** ymin, int** ymax,int *ox,int *oy); // 生 成 拼 接 参 数 // 参 数 说 明 : img1: 左 图 img2: 右 图 xformed: 拼 接 图 feat1:img1 的 特 征 点 数 组 n1: img1 的 特 征 点 数 目 feat2:img2 的 特 征 点 数 组 n2: img2 的 特 征 点 数 目 x_right: 重 叠 区 域 右 边 界 x_left: 重 叠 区 域 左 边 界 h_inv: 透 视 变 换 矩 阵 ymin: 透 视 变 换 图 像 最 高 点 坐 标 ymax: 透 视 变 换 图 像 最 低 点 坐 标 ox:img2 在 拼 接 图 像 中 的 X 坐 标 oy:img2 在 拼 接 图 像 中 的 Y 坐 标 // 返 回 值 : 生 成 拼 接 参 数 是 否 成 功 void Stitch(IplImage *img1, IplImage *img2, IplImage *xformed, double *h_inv, int* ymin, int* ymax, int x_right, int x_left); // 利 用 拼 接 参 数 进 行 图 像 拼 接 void SaveImage(); void SaveVideo(); // 保 存 图 片 // 保 存 视 频 LRESULT OnAccept(WPARAM wparam, LPARAM lparam); // 网 络 连 接 LRESULT OnReadClose(WPARAM wparam,lparam lparam); // 网 络 收 发 4.11 多 线 程 本 程 序 总 体 上 可 分 为 四 个 大 的 线 程 : (1). 用 户 界 面 线 程 (2). 视 频 采 集 线 程 (3). 视 频 拼 接 线 程 (4). 视 频 传 输 线 程 其 中, 用 户 界 面 线 程 为 主 线 程, 维 护 整 个 程 序 的 运 行, 其 他 三 个 线 程 为 子 线 程, 完 成 特 定 的 功 能. 31

void CALLBACK VCAPrcVidCapCallBack(DWORD dwcard, BYTE dwsize); // 视 频 采 集 线 程 UINT FormImg(LPVOID pparam); // 视 频 拼 接 线 程 UINT SendFrame(LPVOID pparam); // 视 频 传 输 线 程 *pbuff,dword 在 各 个 独 立 的 线 程 里 面, 又 采 用 OpenMP 实 现 并 行 计 算, 最 大 限 度 地 提 高 程 序 对 CPU 的 使 用 率, 充 分 发 挥 多 核 平 台 的 优 势. 4.12 优 化 工 具 为 了 使 软 件 运 行 的 更 加 流 畅, 我 们 采 用 了 Intel 公 司 提 供 的 一 些 软 件 优 化 工 具 来 对 程 序 进 行 优 化. 主 要 用 到 了 OpenMP. OpenMP 应 用 程 序 接 口 API 是 在 共 享 存 储 体 系 结 构 上 的 一 个 编 程 模 型, 其 包 括 : 编 译 制 导 运 行 库 例 程 和 环 境 变 量 三 大 部 分, 并 支 持 增 量 并 行 化, 用 于 实 现 并 行 性 运 算 的 优 化 解 决 方 法. OpenMP 基 于 fork-join 的 编 程 模 式 而 设 计 OpenMP 程 序 起 初 以 一 条 单 线 程 的 形 式 运 行. 如 果 希 望 在 程 序 中 利 用 并 行, 那 么 就 需 将 额 外 的 线 程 进 行 分 支, 以 创 建 线 程 组. 这 些 线 程 在 称 为 并 行 区 域 的 代 码 区 域 内 并 行 执 行. 在 并 行 区 域 末 尾, 将 等 待 所 有 线 程 全 部 完 成 工 作, 并 将 其 重 新 结 合 在 一 起. 那 时, 最 初 线 程 或 主 线 程 将 继 续 执 行, 直 到 遇 到 下 一 个 并 行 区 域 ( 或 程 序 结 束 ). 采 用 OpenMP 优 化 后, 程 序 占 用 资 源 比 原 来 少 多 了, 程 序 运 行 也 更 加 流 畅. 5 系 统 测 试 方 案 系 统 性 能 主 要 体 现 在 两 个 方 面 : 一 是 图 像 拼 接 的 效 果 上, 二 是 图 像 拼 接 速 率. 图 像 拼 接 的 效 果 好 坏 取 决 于 算 法 的 完 善 性. 算 法 对 拼 接 后 的 图 像 进 行 融 合, 融 合 程 度 越 好, 越 能 够 实 现 无 缝 拼 接. 实 时 性 则 由 系 统 运 算 速 率 决 定, 利 用 平 台 提 供 的 双 核 CPU, 同 时 采 用 双 线 程 编 程, 并 行 计 算, 对 程 序 优 化, 有 望 实 现 图 像 拼 接 的 实 时 性, 下 面 是 具 体 的 测 试 方 案 : 5.1 系 统 功 能 测 试 设 备 (1). 嵌 入 之 星 平 台, 即 EC5-1719CLDNA 日 立 硬 盘 摄 像 头 视 频 采 集 卡 触 摸 屏 DC ATX 电 源 模 块 DC DC 电 源 模 块 适 配 器 电 源. (2). 无 线 传 输 模 块 D-Link. (3). 直 流 稳 压 电 源, 型 号 :SG1733SB3A. (4). 比 较 理 想 的 柱 面 模 型. (5). 机 箱 模 型. 5.2 系 统 测 试 过 程 5.2.1 多 路 实 时 图 像 拼 接 测 试 在 测 试 过 程 中, 我 们 开 始 从 两 路 进 行 拼 接, 逐 渐 进 行 多 路 图 像 的 拼 接. 下 面 是 我 们 分 别 对 1 2 3 4 号 摄 像 头 进 行 从 两 路 到 4 路 的 拼 接 效 果 图. 32

(1).4 路 摄 像 头 实 时 图 像 的 截 屏, 各 摄 像 头 图 像 截 屏 分 别 如 图 5.1, 图 5.2, 图 5.3, 图 5.4 所 示 : 图 5.1 1 号 摄 像 头 截 屏 图 5.2 2 号 摄 像 头 截 屏 图 5.3 3 号 摄 像 头 截 屏 图 5.4 4 号 摄 像 头 截 屏 (2). 两 路 实 时 图 像 拼 接 的 截 图 对 上 面 1,2 号 摄 像 头 进 行 拼 接 后, 截 图 如 图 5.5 所 示 : 图 5.5 1,2 号 两 路 摄 像 头 实 时 拼 接 截 图 (3). 三 路 实 时 图 像 拼 接 的 截 图 对 上 面 1,2 号 摄 像 头 进 行 拼 接 后, 截 图 如 图 5.6 所 示 : 33

图 5.6 1,2,3 号 三 路 摄 像 头 实 时 拼 接 截 图 (4). 四 路 实 时 图 像 拼 接 的 截 图 图 5.7 1,2,3,4 号 四 路 摄 像 头 实 时 拼 接 截 图 5.2.2 视 频 速 率 测 试 经 过 测 试, 视 频 拼 接 速 率 可 达 到 每 秒 15 帧, 小 车 以 正 常 速 度 运 动 时, 可 在 显 示 屏 上 看 到 流 畅 的 全 景 图 像. 5.2.3 视 频 传 输 测 试 平 台 将 拼 接 视 频 通 过 无 线 网 络 传 输 到 客 户 端, 基 本 可 达 到 同 步 的 效 果. 6 系 统 开 发 总 结 6.1 系 统 特 色 与 不 足 6.1.1 系 统 的 特 色 (1). 系 统 具 有 全 景 图 像 拼 接 的 功 能. (2). 对 全 景 图 像 的 拼 接 可 达 到 实 时 的 效 果. (3). 系 统 可 通 过 无 线 网 络 将 拼 接 视 频 传 输 到 Internet, 可 以 方 便 地 获 取 数 据. (4). 基 于 车 载 的 定 位, 使 得 系 统 具 有 机 动 灵 活 的 特 性. (5). 除 了 主 功 能 外, 我 们 在 系 统 上 还 附 加 了 其 他 一 些 辅 助 功 能, 比 如 能 够 实 现 视 频 的 存 储 以 及 显 示, 还 添 加 了 语 音 提 示 功 能. (6). 具 有 较 好 的 人 机 交 互 界 面, 简 约, 但 符 合 系 统 的 需 求. (7). 系 统 具 有 非 常 广 泛 的 应 用. 如 可 以 运 用 到 军 事 坦 克 机 动 车 辆 上 ; 安 防 方 面, 则 可 以 应 用 本 系 统 进 行 360 全 方 位 的 监 察 ; 再 有 就 是 如 探 月 车 等 太 空 探 测 上 等 等. 34

6.1.2 系 统 的 不 足 本 系 统 在 一 定 程 度 上 实 现 了 实 时 图 像 的 全 景 拼 接. 但 是 系 统 也 还 存 在 着 如 下 的 一 些 不 足 之 处. 比 如, 系 统 的 硬 件 比 较 简 单. 由 于 本 系 统 的 核 心 是 放 在 实 时 图 像 的 全 景 拼 接 上, 所 以 主 要 是 基 于 软 件 的 一 大 系 统. 另 外 摄 像 头 的 选 型 存 在 着 一 定 的 问 题. 该 摄 像 机 的 焦 距 一 定, 使 得 系 统 在 进 行 拼 接 的 时 候 只 能 对 一 定 距 离 的 实 时 图 像 才 能 够 达 到 良 好 的 效 果. 6.2 应 用 前 景 展 望 近 年 来, 图 像 拼 接 已 经 成 为 国 内 的 一 个 研 究 热 点, 静 态 图 像 拼 接 的 研 究 已 经 比 较 成 熟, 但 实 时 视 频 拼 接 方 面 的 研 究 较 少, 但 图 像 的 实 时 全 景 拼 接 有 着 及 其 广 泛 的 应 用. 如 在 军 事 上, 可 以 利 用 该 技 术 来 及 时 了 解 战 场 的 全 面 情 况 ; 在 安 防 领 域, 可 以 利 用 它 来 进 行 实 时 监 控 ; 在 外 太 空 探 索 过 程 中, 全 景 拼 接 也 可 以 派 上 用 场, 比 如 探 月 车 可 以 载 上 本 系 统. 在 其 他 诸 如 虚 拟 现 实 等 领 域, 这 使 得 实 时 全 景 图 像 拼 接 系 统 的 研 究 很 有 必 要 也 很 迫 切. 由 于 技 术 水 平 有 限, 我 们 这 个 作 品 是 在 二 维 的 情 形 下 进 行 拼 接 的. 而 关 于 3D 图 像 的 研 究 则 是 我 们 这 个 作 品 的 一 个 改 善 与 发 展 的 契 机 点. 通 过 实 现 3D 建 模, 采 用 本 系 统 所 采 用 的 算 法 或 者 融 合 其 他 图 像 处 理 技 术 等, 我 们 相 信 可 以 开 发 出 3D 实 时 图 像 拼 接 的 产 品. 同 时, 如 果 本 系 统 能 够 和 图 像 的 识 别 与 跟 踪 的 技 术 结 合 起 来 的 话, 则 会 成 为 一 件 更 加 完 善 和 应 用 更 广 泛 的 作 品. 35

附 录 一 : 参 考 文 献 附 录 二 : 源 代 码 和 程 序 清 单 36