第 卷 第 期 年 月 公 路 交 通 科 技... 文 章 编 号 : ( ) 基 于 图 像 融 合 的 驾 驶 员 视 觉 增 强 技 术 研 究 邢 素 霞, 陈 天 华, 李 婧 娴 ( 北 京 工 商 大 学 计 算 机 与 信 息 工 程 学 院, 北 京 ) 摘 要 : 针 对 低 能 见 度 下 小 波 变 换 的 图 像 融 合 方 法 中, 简 单 的 加 权 融 合 降 低 图 像 的 对 比 度 和 亮 度, 导 致 驾 驶 员 的 视 觉 效 果 较 差 的 问 题, 提 出 了 在 小 波 低 频 近 似 分 量 和 高 频 细 节 分 量 采 用 不 同 的 融 合 规 则 低 频 近 似 分 量 集 中 了 图 像 的 大 部 分 能 量, 采 用 区 域 能 量 比 例 加 权 的 融 合 规 则, 可 以 提 高 图 像 的 亮 度 ; 高 频 细 节 分 量 包 含 了 图 像 细 节, 采 用 区 域 标 准 差 比 例 加 权 的 融 合 规 则, 可 以 提 高 图 像 的 对 比 度 通 过 红 外 与 可 见 光 图 像 融 合 实 验 表 明 : 该 图 像 融 合 方 法 可 以 有 效 提 高 图 像 的 亮 度 和 对 比 度, 适 于 低 能 见 度 下 的 图 像 视 觉 增 强 关 键 词 : 交 通 工 程 ; 视 觉 增 强 ; 小 波 变 换 ; 图 像 融 合 ; 红 外 图 像 中 图 分 类 号 : 文 献 标 识 码 :,, (,,, ) :,.,.,.,. : ; ; ; ; 引 言 在 雾 雨 雪 沙 尘 等 低 能 见 度 恶 劣 天 气 条 件 下, 道 路 环 境 的 可 视 性 变 差, 驾 驶 员 通 过 视 觉 获 得 道 路 环 境 信 息 不 足, 极 易 发 生 车 辆 碰 撞 冲 出 行 车 道 等 恶 性 交 通 事 故, 导 致 车 毁 人 亡 改 善 驾 驶 员 的 可 视 范 围 增 强 驾 驶 员 的 视 觉 效 果 是 智 能 交 通 领 域 的 一 个 重 [ - ] 要 研 究 课 题 驾 驶 员 视 觉 增 强 技 术 是 利 用 各 种 传 感 器 和 先 进 技 术, 增 强 驾 驶 员 在 雨 雾 光 线 不 足 条 件 下 的 视 觉 效 果 传 统 的 图 像 增 强 方 法 对 改 善 图 像 质 量 发 挥 了 重 要 作 用, 随 着 图 像 增 强 技 术 的 不 断 发 展, 信 息 融 合 技 术 已 经 成 为 图 像 增 强 的 主 要 手 段 图 像 融 合 可 以 综 合 利 用 多 源 图 像 的 冗 余 性 和 互 补 性, 获 取 对 同 一 场 景 更 精 确 更 全 面 更 可 靠 的 图 像 描 述 按 照 图 像 融 合 的 层 次 可 以 分 为 像 素 级 特 征 级 和 决 策 级 个 层 次 像 素 级 的 图 像 融 合 信 息 更 丰 富 可 靠, 有 利 于 进 一 步 分 析 处 理 和 理 解 目 前 常 用 的 像 素 级 图 像 融 合 方 法 有 简 单 加 权 法 多 分 辨 率 金 字 塔 分 [ ] 解 法 小 波 变 换 法 等 由 于 小 波 变 换 方 法 具 有 分 解 收 稿 日 期 : 基 金 项 目 : 北 京 市 优 秀 人 才 培 养 资 助 项 目 ( ); 北 京 市 教 委 科 技 计 划 项 目 ( ) 作 者 简 介 : 邢 素 霞 ( -), 女, 山 东 荷 泽 人, 讲 师, 博 士, 研 究 方 向 为 光 电 信 号 采 集 与 处 理 图 像 处 理.( @. )
公 路 交 通 科 技 第 卷 的 非 冗 余 性, 使 得 分 解 后 的 图 像 数 据 总 量 不 会 增 大, 另 外, 小 波 分 解 具 有 很 好 的 方 向 性, 不 同 方 向 上 的 高 频 分 量 更 加 符 合 人 类 视 觉 特 性 需 要, 使 得 小 波 变 换 的 图 像 融 合 方 法 得 到 广 泛 的 关 注, 也 提 出 了 许 多 小 波 系 数 的 融 合 方 法 这 些 融 合 方 法 目 前 大 多 应 用 在 小 波 高 [ ] 频 分 量 上, 主 要 有 灰 度 值 选 大 [ ] [ ] [ -] 均 方 差 能 量 对 比 度 熵 或 多 参 量 积 等 方 法 而 在 近 似 分 量 的 融 合 上 关 注 较 少, 大 多 采 用 简 单 加 权 平 均 的 方 法 由 于 近 似 分 量 包 括 了 图 像 的 大 部 分 能 量, 简 单 的 加 权 平 均 容 易 导 致 图 像 能 量 丢 失, 图 像 亮 度 变 暗 小 波 系 数 高 频 分 量 包 括 了 图 像 的 细 节, 在 图 像 上 表 现 为 图 像 的 清 晰 度 根 据 红 外 传 感 器 的 雾 雨 雪 尘 的 穿 透 能 力 强, 可 见 光 图 像 的 对 比 度 和 清 晰 度 相 对 较 高 以 及 雾 天 景 物 图 像 相 对 晴 天 景 物 图 像 不 清 晰, 对 比 度 明 显 退 化 [ ] 的 特 点, 本 文 提 出 了 近 似 分 量 能 量 比 例 加 权 高 频 分 量 采 用 区 域 标 准 差 比 例 加 权 的 图 像 融 合 方 法, 以 有 效 提 高 低 能 见 度 下 驾 驶 员 的 视 觉 效 果 算 法 原 理 算 法 原 理 如 图 假 设 分 别 为 两 幅 配 准 后 待 融 合 的 红 外 与 可 见 光 图 像, 首 先 经 过 多 分 辨 率 小 波 分 解, 根 据 小 波 系 数 的 特 点, 低 频 分 量 与 高 频 分 量 分 别 采 用 能 量 与 标 准 差 的 方 法 进 行 融 合, 融 合 后 的 小 波 [ ] 系 数 经 小 波 反 变 换 得 到 融 合 图 像 图 基 于 区 域 能 量 与 标 准 差 图 像 融 合 框 架.. 二 维 离 散 小 波 理 论 二 维 图 像 的 小 波 分 解 通 常 采 用 离 散 的 小 波 变 换 假 设 二 维 尺 度 函 数 可 以 分 解 为 低 通 和 高 通 滤 波 器 两 部 分, 分 别 用 ( 低 通 ) 和 ( 高 通 ) 表 示, 则 按 照 快 速 算 法, 对 二 维 图 像 在 尺 度 - 上 的 小 波 分 [ 解 公 式 如 下 ] : = -, = -, = -, = -, ( ) 式 中, 分 别 对 应 于 图 像 - 的 低 频 成 分 垂 直 水 平 对 角 方 向 的 高 频 成 分 与 之 相 应 的 小 波 重 构 公 式 如 下 : - = + 其 中, + + 分 别 为 的 共 轭 转 置 矩 阵 ( ) 小 波 变 换 将 源 图 像 通 过 不 同 的 滤 波 器, 将 图 像 分 为 近 似 分 量 和 细 节 分 量, 即 低 频 部 分 和 高 频 部 分, 高 频 分 量 又 分 为 水 平 垂 直 和 对 角 个 分 量 图 像 的 进 一 步 分 解 仅 对 低 频 分 量 进 行, 如 果 对 图 像 进 行 层 小 波 分 解, 将 有 ( + ) 个 不 同 的 频 率 分 量, 其 中 包 括 个 高 频 分 量 和 一 个 低 频 分 量. 图 像 融 合 方 法 图 像 融 合 方 法 直 接 影 响 到 融 合 图 像 的 效 果 像 素 级 图 像 融 合 要 求 提 取 各 源 图 像 中 的 细 节, 最 终 在 融 合 图 像 中 显 示 对 于 多 波 段 图 像, 源 图 像 间 存 在 较 大 的 互 补 信 息, 如 红 外 图 像 反 映 了 场 景 中 所 有 物 体 的 红 外 辐 射 的 强 弱, 即 温 度 的 高 低, 因 此 可 以 识 别 伪 装 目 标 ; 而 可 见 光 图 像 依 靠 物 体 的 反 射 光 成 像, 与 背 景 亮 度 和 物 体 的 反 射 系 数 由 关, 它 包 含 了 整 个 可 见 光 波 段 及 近 红 外 波 段 的 所 有 信 息 由 此 可 见, 红 外 与 可 见 光 图 像 中 都 蕴 含 了 目 标 与 背 景 的 信 息, 只 是 所 蕴 含 的 比 例 不 同, 在 图 像 的 融 合 过 程 中, 如 果 简 单 地 通 过 选 大 或 选 小, 往 往 会 造 成 信 息 的 较 大 丢 失, 因 此, 小 波 系 数 的 选 择 上 应 采 用 比 例 加 权 的 方 法 ( ) 低 频 融 合 算 子 根 据 小 波 系 数 的 特 点, 小 波 变 换 低 频 系 数 反 映 了 图 像 的 亮 度, 即 能 量, 因 此 在 低 频 系 数 的 融 合 中 应 采 用 区 域 能 量 加 权 的 方 法, 而 区 域 加 权 的 方 法 相 对 单 像 素 加 权 的 方 法 更 能 反 映 图 像 相 邻 区 域 的 相 关 性 克 服 基 于 像 素 点 的 融 合 方 法 中 的 模 糊 效 应 和 对 噪 声 误 配 准 的 敏 感 性 这 里 采 用 的 窗 口 模 板 设 分 别 为 两 幅 待 融 合 图 像 的 低 频 系 数, 为 融 合 的 低 频 系 数, 则 : α= (, )=α (, )+β (, ), ( ) =- ( ) 高 频 融 合 算 子 =- =- (, ) (, )+ =- =-, (, ) =- β = -α ( ) 小 波 变 换 的 高 频 系 数 主 要 反 映 了 图 像 的 细 节, 而 标 准 差 是 评 价 图 像 对 比 度 清 晰 度 的 一 个 重 要 指 标, 因 此 本 文 采 用 区 域 标 准 差 比 例 加 权 的 方 法 融 合 小 波 分 解
第 期 邢 素 霞, 等 : 基 于 图 像 融 合 的 驾 驶 员 视 觉 增 强 技 术 研 究 高 频 系 数 窗 口 模 板 采 用 设 分 别 为 两 幅 待 融 合 图 像 在 水 平 方 向 上 的 高 频 系 数, 为 融 合 的 水 平 高 频 系 数, 则 根 据 标 准 差 公 式 : = = ( (, )- ), ( ) = 分 别 计 算 两 幅 图 像 中 心 像 素 在 的 窗 口 下 的 水 平 系 数 标 准 差, 分 别 记 为 :,, 其 中 分 别 为 像 素 在 图 像 中 的 行 和 列 记 : 则 : =, ( ) + (, )= (, )+( - ) (, ), ( ) 同 理, 可 以 得 出 融 合 图 像 在 垂 直 和 对 角 方 向 上 的 高 频 系 数 : (, )= (, )+( - ) (, ), ( ) (, )= (, )+( - ) (, ), ( ) 式 中, 分 别 为 ( ) 窗 口 下 垂 直 和 对 角 线 高 频 分 量 的 标 准 差 比 例 加 权 系 数, (, ) (, ) 为 图 像 中 像 素 (, ) 在 垂 直 和 对 角 方 向 的 系 数, (, ) (, ) 为 图 像 中 像 素 (, ) 在 垂 直 和 对 角 方 向 的 系 数, (, ) (, ) 为 融 合 后 图 像 在 (, ) 在 垂 直 和 对 角 方 向 上 的 系 数, 简 称 / ) 方 法 ( ) 是 本 文 提 出 的 方 法 在 所 有 方 法 的 试 验 中, 选 取 的 区 域 大 小 均 为 在 小 波 分 解 层 数 上, 根 据 作 者 对 大 量 小 波 分 解 的 试 验 分 析, 小 波 分 解 层 具 有 更 好 的 融 合 效 果 本 文 采 用 层 小 波 分 解. 红 外 与 可 见 光 图 像 融 合 试 验 图 图 中 ( ) ( ) 分 别 为 待 融 合 的 红 外 与 可 见 光 图 像, ( ) ~ ( ) 分 别 为 采 用 / / / / / / 方 法 得 到 的 融 合 图 像 图 是 有 烟 雾 的 情 况 下 获 得 的 图 像, 在 可 见 光 图 像 中 近 处 的 标 杆 清 晰 可 见, 但 由 于 烟 雾 的 遮 挡, 远 处 的 车 辆 无 法 看 到 ; 在 红 外 图 像 中, 仅 能 看 到 远 处 车 灯 通 过 图 像 融 合 后, 近 处 的 标 杆 远 处 的 车 灯 烟 雾 等 均 可 见, 但 由 于 融 合 算 法 的 不 同, 视 觉 效 果 不 同 在 小 波 系 数 近 似 分 量 取 平 均 的 两 种 方 法 ( / 和 / ) 中, 图 像 的 亮 度 偏 暗 ; 近 似 分 量 采 用 区 域 能 量 比 例 加 权 的 方 法 中, 图 像 的 亮 度 明 显 提 高, 从 主 观 视 觉 效 果 上 很 难 区 分 种 方 法 的 差 异 试 验 结 果 及 分 析 为 了 验 证 方 法 的 有 效 性, 本 文 选 取 了 两 组 低 能 见 度 和 低 照 度 下 的 红 外 与 可 见 光 图 像, 通 过 仿 真 软 件, 对 本 文 算 法 和 其 他 种 不 同 的 方 法 进 行 仿 真 试 验, 分 别 是 : ( ) 近 似 分 量 取 平 均, 细 节 分 量 取 最 大 ( -,, 简 称 / ); ( ) 近 似 分 量 取 平 均, 细 节 分 量 区 域 能 量 选 大 (,, 简 称 / ); ( ) 近 似 分 量 区 域 能 量 比 例 加 权, 细 节 分 量 区 域 能 量 选 大 (,, 简 称 / ); ( ) 近 似 分 量 区 域 能 量 比 例 加 权, 细 节 分 量 区 域 标 准 差 加 权 (, -, 简 称 / ); ( ) 近 似 分 量 区 域 能 量 比 例 加 权, 细 节 分 量 区 域 标 准 差 选 大 (, -, 简 称 / ); ( ) 近 似 分 量 区 域 能 量 比 例 加 权, 细 节 分 量 区 域 能 量 标 准 差 积 选 大 (, - 图 低 能 见 度 下 图 像 融 合 结 果. 图 为 光 线 较 暗 环 境 下 的 图 像 在 红 外 图 像 中 近 处 的 行 人 和 远 处 的 车 辆 清 晰 可 见, 但 图 像 的 对 比 度 不 够 ; 可 见 光 图 像 中 远 方 的 车 辆 隐 约 可 见, 但 近 处 的 行 人 不 可 见, 但 背 景 图 像 的 层 次 较 为 分 明, 对 比 度 较 好 在 融 合 图 像 中, 近 似 分 量 区 域 能 量 比 例 加 权 的 得 到 的 幅 图 像 比 简 单 平 均 得 到 图 像 亮 度 要 高, 并 且 背 图 低 照 度 下 不 同 算 法 的 融 合 图 像.
公 路 交 通 科 技 第 卷 景 图 像 的 对 比 度 也 高. 融 合 试 验 性 能 评 价 与 分 析 对 图 和 图 的 客 观 评 价 结 果 分 别 如 表 和 表 所 示 使 用 的 几 种 评 价 标 准 分 别 为 均 值 信 息 熵 标 准 差 互 信 息 和 综 合 评 价 指 标 其 中 互 信 息 定 义 [, 为 ] : 其 中, ( (, )+ (, ) (,, )= ( )+ ( ), ( ), )= = =, (, ), (, ) ( ) ( ), ( ) 式 中,, 为 两 幅 图 像 归 一 化 联 合 灰 度 直 方 图 分 布 ; 为 灰 度 级 数, 表 示 融 合 后 的 图 像 ; ( ), ( ) 分 别 表 示 两 幅 源 图 像 的 信 息 熵 该 式 的 数 值 范 围 在 [ -, ] 之 间, 数 值 越 大, 表 示 两 幅 图 像 的 互 信 息 量 越 多, 两 幅 图 像 的 相 似 度 就 越 高 表 和 表 中 可 以 看 出, 各 种 方 法 得 到 的 互 信 息 差 别 不 大 [, ] 综 合 图 像 质 量 评 价 指 标 定 义 为 (,, )=λ (, )+( +λ) (, ), 其 中, σ = - = σσ : ( ) (, )= σ σσ + σ +σ, ( ) ( (, )- )( (, )- ), = ( ) 式 中, λ 为 权 重 系 数, 式 ( ) 反 映 了 图 像 的 亮 度 对 比 度 失 真 以 及 融 合 图 像 和 源 图 像 的 相 关 系 数, 其 值 在 [ -, ] 之 间, 越 接 近, 融 合 图 像 的 质 量 越 好 从 表 和 表 看 出, 表 中 的 几 种 图 像 融 合 方 法 得 到 的 综 合 指 标 相 当 因 此, 互 信 息 和 综 合 指 标 别 表 中 方 法 的 优 劣 表 图 中 融 合 图 像 客 观 性 能 评 价 结 果 几 乎 无 法 区.. / / / / / / 均 值...... 信 息 熵...... 标 准 差...... 互 信 息........... 表 图 中 融 合 图 像 客 观 性 能 评 价 结 果.. / / / / / / 均 值...... 信 息 熵...... 标 准 差...... 互 信 息............ 在 以 提 高 图 像 的 清 晰 度 和 对 比 度 为 主 要 目 的 的 低 能 见 度 下 的 图 像 融 合 中, 图 像 的 标 准 差 应 是 衡 量 图 像 融 合 质 量 的 主 要 指 标 从 表 和 表 可 以 看 出, 高 频 分 量 以 区 域 标 准 差 的 方 法 得 到 的 标 准 差 明 显 高 于 其 他 方 法, 其 中 区 域 标 准 差 比 例 加 权 的 方 法 最 高, 图 像 的 清 晰 度 也 高, 这 与 主 观 视 觉 效 果 是 一 致 的 图 像 的 灰 度 均 值 反 映 了 图 像 的 亮 度, 图 像 的 亮 度 一 般 在 中 值 偏 低 时 有 更 好 的 视 觉 效 果 本 文 采 用 的 图 像 灰 度 范 围 为 [, ], 因 此 图 像 均 值 在 左 右 有 比 较 好 的 整 体 视 觉 效 果 从 表 中 看 出, 区 域 能 量 比 例 的 加 权 的 方 法 使 图 像 的 亮 度 得 到 明 显 提 升, 这 对 源 图 像 亮 度 不 够 的 情 况 非 常 合 适, 如 图, 但 对 足 够 亮 的 源 图 像, 会 使 融 合 图 像 亮 度 过 高, 反 而 使 视 觉 效 果 下 降, 如 图 信 息 熵 表 明 图 像 中 所 包 含 的 信 息, 值 越 大 越 好 从 表 中 看, 区 域 能 量 比 例 和 标 准 差 比 例 加 权 的 方 法 得 到 信 息 熵 最 高 综 合 以 上 试 验 结 果 说 明 :( ) 小 波 系 数 的 近 似 分 量 采 用 区 域 能 量 法 可 以 得 到 更 好 的 图 像 亮 度 效 果 ; ( ) 在 小 波 系 数 的 细 节 分 量 上 采 用 区 域 标 准 差 的 方 法 可 以 得 到 更 好 的 图 像 对 比 度 和 清 晰 度 结 论 低 能 见 度 及 低 照 度 下 的 驾 驶 员 视 觉 增 强 技 术 对 安 全 道 路 交 通 至 关 重 要, 而 图 像 融 合 技 术 是 图 像 增 强 技 术 的 有 效 手 段 本 文 采 用 小 波 变 换 的 方 法, 提 出 了 一 种 有 效 的 图 像 融 合 规 则 在 该 方 法 中, 近 似 分 量 上 采 用 区 域 能 量 比 例 加 权 细 节 分 量 采 用 区 域 标 准 差 比 例 加 权 的 图 像 融 合 方 法 通 过 对 低 照 度 和 低 能 见 度 下 的 红 外 和 可 见 光 图 像 的 融 合 试 验 表 明, 该 方 法 可 以 明 显 改 善 低 照 度 和 低 能 见 度 下 的 图 像 亮 度, 增 加 图 像 的 对 比 度 和 信 息 熵, 使 图 像 更 加 清 晰, 具 有 更 好 的 融 合 效 果 由 于 该 试 验 是 通 过 仿 真 实 现 的, 算 法 的 实 时 性 有 待 于 进 一 步 试 验 验 证
第 期 邢 素 霞, 等 : 基 于 图 像 融 合 的 驾 驶 员 视 觉 增 强 技 术 研 究 参 考 文 献 : : [ ] 王 荣 本, 郭 烈, 金 立 生. 智 能 车 辆 安 全 辅 助 驾 驶 技 术 研 究 近 况 [ ]. 公 路 交 通 科 技,, (): -.,,. - [ ].,, (): -. [ ] 张 艳 红, 欧 博, 孙 晓 光. 大 雾 天 气 高 速 公 路 交 通 事 故 成 因 分 析 及 解 决 措 施 [ ]. 中 国 科 技 信 息, ( ):.,,. - [ ]., ( ):. [ ],,. :, [ ]. &,, (): -. [ ]. - : [ ].,, (): -. [ ]. [ ]. -,, ( ): -. [ ] 刘 磊, 张 红, 王 莎. 基 于 小 波 变 换 的 全 局 能 量 图 像 融 合 算 法 [ ]. 吉 林 大 学 学 报 : 工 学 版, ( 增 刊 ): -.,,. [ ]. :, ( ): -. [ ] 王 贞 俭. 基 于 能 量 标 准 差 积 的 极 化 图 像 融 合 [ ]. 中 国 图 像 图 形 学 报,, (): -.. [ ].,, (): -. [ ] 刘 贵 喜, 陈 文 锦, 刘 纯 虎. 基 于 方 向 对 比 度 和 区 域 标 准 差 的 图 像 融 合 方 法 [ ]. 仪 器 仪 表 学 报,, (): -.,,. [ ].,, (): -. [ ] 葛 雯, 高 立 群. 基 于 模 糊 熵 和 非 分 离 小 波 变 换 的 图 像 融 合 算 法 [ ]. 计 算 机 科 学., (): -.,. [ ].,, (): -. [ ] 郝 静 涛. 基 于 信 息 融 合 技 术 的 驾 驶 员 视 觉 增 强 系 统 研 究 [ ]. 武 汉 : 武 汉 理 工 大 学,.. ' [ ]. :.. [ ]. [ ]. : -,. [ ] 邢 素 霞, 陈 天 华, 孙 梅. 红 外 与 微 光 图 像 融 合 质 量 评 价 方 法 研 究 [ ]. 红 外 技 术,, (): -.,,. [ ]., (): -. [ ] 胡 良 梅, 高 隽, 何 柯 峰. 图 像 融 合 质 量 评 价 方 法 的 研 究 [ ]. 电 子 学 报, ( 增 ): -.,,. [ ]., ( ): -. ( 上 接 第 页 ),,,. - [ ].,, (): -. [ ] 唐 中 富, 姚 泽 华, 钱 剑 雄, 等. 基 于 模 糊 评 价 和 层 次 分 析 法 的 客 运 索 道 安 全 评 价 方 法 研 究 [ ]. 中 国 安 全 科 学 学 报,, (): -.,,,. - [ ].,, (): -. [ ] 巩 航 军. 高 速 公 路 隧 道 运 营 安 全 综 合 评 价 研 究 [ ]. 西 安 : 长 安 大 学, : -.. - [ ], : ', : -.