基于网络的高光谱数据库建模、构建

Transcription

1 引 言 引 言 伴 随 着 信 息 时 代 的 来 临, 科 学 数 据 已 成 为 信 息 化 技 术 快 速 发 展 的 一 个 关 键 据 统 计, 人 类 社 会 最 近 30 年 所 积 累 的 科 学 数 据 总 量 已 经 超 过 了 人 类 5000 年 发 展 历 史 所 积 累 的 数 据 量 总 和 尤 其 是 美 国, 它 所 拥 有 的 数 据 库 总 量 占 全 世 界 总 量 的 一 半 以 上 20 世 纪 70 年 代, 随 着 计 算 机 技 术 的 飞 速 发 展, 美 国 科 学 数 据 库 的 开 发 如 雨 后 春 笋 般 地 发 展 起 来, 而 发 展 最 快 的 领 域 就 是 地 球 科 学 1990 年, 美 国 航 空 航 天 局 建 立 了 分 布 式 最 活 跃 数 据 档 案 中 心 群, 它 标 志 着 美 国 国 家 层 面 上 对 科 学 数 据 库 建 设 和 共 享 工 作 的 高 度 重 视 该 数 据 库 中 更 是 包 括 诸 如 地 物 光 谱 数 据 库 陆 地 资 源 卫 星 遥 感 数 据 库 等, 它 们 是 国 家 空 间 信 息 基 础 设 施 建 设 的 重 要 组 成 部 分, 其 主 要 服 务 对 象 就 是 政 府 决 策 国 家 重 大 科 研 项 目 国 家 各 个 科 研 群 体 以 及 企 业 部 门, 在 国 家 的 科 技 发 展 国 民 经 济 建 设 和 国 防 建 设 中 发 挥 了 巨 大 的 作 用 遥 感 已 成 为 地 球 空 间 信 息 获 取 的 主 要 技 术 手 段, 而 地 物 波 谱 研 究 是 遥 感 理 论 与 应 用 技 术 发 展 的 基 础, 正 如 在 童 庆 禧 院 士 和 田 国 良 研 究 员 合 著 的 中 国 典 型 地 物 波 谱 及 其 特 征 分 析 一 书 中 所 写 的 那 样, 遥 感 技 术 的 基 本 任 务, 就 是 在 以 电 磁 波 辐 射 为 表 现 形 式 并 在 传 递 媒 介 复 杂 多 变 的 环 境 信 息 中, 通 过 各 种 有 效 手 段 来 收 集 处 理 分 析 和 提 取 所 需 要 的 特 征, 达 到 认 识 识 别 研 究 对 象 的 存 在 状 况 和 动 态 的 目 的 这 就 要 求 深 入 研 究 环 境 要 素 的 电 磁 波 辐 射 信 息 的 发 生 变 化 转 换 和 传 输 规 律, 提 高 遥 感 技 术 的 作 用 有 人 认 为 : 遥 感 技 术 就 是 一 个 收 集 分 配 处 理 和 分 析 电 磁 波 辐 射 信 息 的 系 统, 这 种 观 点 从 物 理 和 技 术 的 角 度 来 看, 无 疑 是 十 分 正 确 的 高 光 谱 分 辨 率 ( 简 称 为 高 光 谱 ) 遥 感 或 成 像 光 谱 遥 感 技 术 的 发 展 是 过 去 二 十 多 年 中 人 类 在 对 地 观 测 方 面 所 取 得 重 大 技 术 突 破 之 一, 是 当 前 遥 感 的 前 沿 技 术 ( 陈 述 彭 等,1998) 它 融 合 了 成 像 技 术 和 光 谱 技 术, 其 核 心 特 点 是 图 谱 合 一, 即 能 够 获 取 目 标 的 连 续 窄 波 段 的 图 像 数 据 的 技 术 高 光 谱 技 术 自 从 诞 生 以 来, 就 以 其 丰 富 的 光 谱 维 信 息 显 著 区 别 于 传 统 的 遥 感 技 术, 在 地 质 植 被 生 态 土 壤, 以 及 城 市 应 用 等 方 面 的 研 究 中 取 得 了 引 人 注 目 的 成 果, 已 经 成 为 当 前 遥 感 的 一 个 重 要 发 展 方 向, 高 光 谱 分 辨 率 遥 感 信 息 的 分 析 处 理 集 中 于 光 谱 维 上 进 行 图 像 信 息 的 展 开 和 定 量 分 析 通 过 高 光 谱 成 像 所 获 取 的 地 球 表 面 图 像 包 含 了 丰 富 的 空 间 辐 射 和 光 谱 三 重 信 息, 因 此, 自 从 70 年 代 末, 美 国 喷 气 推 进 实 验 室 (JPL) 在 美 国 宇 航 局 (NASA) 支 持 下 首 先 对 成 像 光 谱 仪 进 行 概 念 设 计 和 研 究 (Goetz,1992) 以 来, 地 物 目 标 识 别 和 属 性 探 测 以 及 高 光 谱 成 像 仪 的 开 发 一 直 是 遥 感 的 一 个 重 要 方 法 和 技 术 发 展 方 向 航 空 成 像 光 谱 仪 已 经 发 展 成 熟, 现 在 运 行 的 有 美 国 的 WIS AVIRIS, 加 拿 大 CASI SFSI, 澳 大 利 亚 的 HYMAP(Cudahy et al,2000;farrand,2000;martini et al,2000;peters et al,2000) 和 我 国 的 PHI OMIS 等 (Tong Qingxi,1998) 在 航 天 领 域 中, 除 人 们 所 熟 知 的 美 国 对 地 观 测 系 统 (EOS) 计 划 中 的 中 分 辨 率 成 像 光 谱 仪 (MODIS) 和 欧 洲 空 间 局 的 中 分 辨 率 成 像 光 谱 仪 (MERIS) 之 外, 搭 栽 220 通 道 高 光 谱 仪 Hyperion 的 EO-1 卫 星 已 经 升 空, 而 另 一 颗 载 有 高 光 谱 遥 感 器 的 Orbview4 也 1

2 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 即 将 发 射 可 以 预 料, 在 二 十 一 世 纪 初, 空 间 高 光 谱 成 像 卫 星 将 成 为 对 地 观 测 中 的 一 项 重 要 前 沿 技 术, 在 地 球 资 源 开 发 利 用 及 地 球 环 境 监 测 中 发 挥 越 来 越 重 要 的 作 用, 高 光 谱 遥 感 实 用 化 的 时 代 即 将 到 来, 开 展 高 光 谱 遥 感 的 基 础 和 应 用 研 究 在 我 国 已 具 有 重 要 的 意 义 和 迫 切 的 需 求 图 1.1 为 高 光 谱 遥 感 技 术 的 示 意 图 我 们 把 高 光 谱 遥 感 获 取 如 图 所 示 的 二 维 空 间 一 维 光 谱 的 数 据 立 方 体 称 为 图 像 立 方 体 利 用 高 光 谱 遥 感 图 像 立 方 体, 一 方 面 可 以 通 过 目 标 的 空 间 几 何 形 状 信 息 对 目 标 特 征 进 行 分 析 识 别 和 定 位, 另 一 方 面, 可 以 通 过 目 标 的 波 谱 特 性 来 确 认 目 标 或 揭 示 目 标 更 丰 富 的 本 质 属 性 图 1-1 高 光 谱 遥 感 技 术 示 意 图 当 前 定 量 遥 感 已 成 为 新 世 纪 遥 感 科 学 发 展 的 最 显 著 特 征, 定 量 遥 感 研 究 更 离 不 开 波 谱 数 据 库 的 有 力 支 持 现 如 今 国 内 的 遥 感 应 用 水 平 参 差 不 齐, 遥 感 基 础 研 究 条 件 建 设 严 重 不 足, 对 于 高 光 谱 这 样 的 新 技 术 更 是 如 此 同 时 在 计 算 机 方 面, 数 据 库 技 术 已 经 很 好 的 解 决 了 数 据 存 储 查 询 更 新 维 护 等 基 本 需 要, 如 何 能 把 两 者 很 好 的 结 合 起 来, 尤 其 是 在 高 光 谱 的 图 谱 合 一 的 特 性 上 有 所 发 展, 是 一 个 很 重 要 的 课 题 在 数 据 库 中 可 以 将 前 人 辛 苦 的 工 作 成 果, 处 理 分 析 过 的 标 准 样 本 数 据 存 储 起 来, 这 对 于 后 人 相 应 方 面 的 工 作 是 很 大 的 贡 献 在 高 光 谱 应 用 的 直 接 方 向 上, 图 像 处 理 分 析 分 类 等 工 作, 有 一 个 样 本 丰 富 功 能 强 大 的 数 据 库 用 于 比 对 借 鉴 分 析 整 合 数 据 等 等, 都 将 是 一 个 很 有 力 的 支 持 在 数 据 存 储 的 基 础 上, 如 果 可 以 结 合 数 据 处 理, 加 以 网 络 化, 将 对 推 动 高 光 谱 技 术 的 发 展, 密 切 国 内 国 际 同 行 的 2

3 引 言 交 流 沟 通 与 合 作 起 到 重 要 的 作 用 近 年 来, 数 据 仓 库 技 术 日 益 成 熟, 可 以 针 对 不 同 的 应 用 需 求 所 关 注 的 问 题, 重 新 整 合 数 据 库 数 据, 进 行 综 合 和 分 割, 并 采 用 多 维 查 询 模 式, 从 而 实 现 数 据 挖 掘 (Data Mining, 简 记 为 DM) 这 项 技 术 已 经 大 量 应 用 在 商 业 领 域, 在 GIS 领 域 中 也 已 有 应 用, 它 在 分 析 海 量 数 据 的 内 在 联 系, 进 行 决 策 支 持 方 面 取 得 了 显 著 的 成 果 如 果 我 们 可 以 借 鉴 这 类 先 进 的 技 术, 努 力 探 索 数 据 挖 掘 技 术 应 用 在 遥 感 数 据 方 面, 特 别 是 高 光 谱 数 据, 以 希 望 深 入 分 析 试 验 中 所 取 得 的 生 物 参 量 光 谱 图 像 之 间 潜 在 的 联 系, 必 将 会 进 一 步 推 动 高 光 谱 技 术 的 发 展 和 应 用 尤 其 是 经 过 若 干 年 的 发 展, 高 光 谱 遥 感 已 经 积 累 了 很 多 的 数 据 和 经 验, 如 何 把 他 们 整 合 在 一 起, 将 实 验 性 的 工 作 成 果 向 应 用 转 化, 已 经 是 当 前 很 重 要 的 课 题 之 一, 也 已 经 有 很 多 实 际 研 究 涉 及 到 了 这 方 面 的 工 作, 比 如 :863 项 目 中 的 地 物 标 准 波 谱 库 精 准 农 业 高 光 谱 数 据 库 等 等 同 时, 从 应 用 实 践 的 角 度 出 发, 人 们 还 希 望 能 够 把 对 高 光 谱 数 据 的 各 种 分 析 功 能 与 数 据 库 的 存 储 整 理 特 点 相 结 合, 这 样 就 可 以 把 原 有 的 典 型 的 标 准 地 物 的 信 息 和 新 采 集 的 地 物 信 息 加 以 比 对 分 析 精 练, 从 而 迅 速 准 确 的 确 定 目 标 的 类 别 性 状 等 等, 这 样 就 可 以 形 成 一 套 完 整 实 用 的 高 光 谱 应 用 系 统 比 如 : 农 业 中 加 入 高 光 谱 信 息 与 作 物 理 化 参 量 的 回 归 分 析 ; 岩 矿 应 用 中 比 对 测 量 光 谱 与 标 准 光 谱 从 而 识 别 矿 物 成 分 等 等 这 就 对 我 们 构 建 数 据 库 提 出 了 更 高 的 要 求, 不 但 要 实 现 数 据 库 的 基 本 功 能, 还 要 考 虑 附 加 的 分 析 功 能, 尤 其 是 系 统 的 可 扩 展 性, 因 为 需 求 也 许 会 不 断 地 提 出, 良 好 的 扩 展 性 将 为 系 统 未 来 的 发 展 打 下 坚 实 的 基 础 同 时 在 这 个 信 息 通 讯 日 益 发 达 的 时 代, 如 何 能 利 用 目 前 先 进 的 网 络 技 术, 让 我 们 的 成 果 能 够 尽 量 为 更 多 的 遥 感 专 业 人 员 服 务, 甚 至 将 来 为 野 外 等 实 地 工 作 服 务 也 是 很 有 意 义 的 课 题 之 一 当 前 的 网 络 技 术 已 经 在 向 着 无 线 技 术 方 向 不 断 前 进, 并 且 有 了 很 重 大 的 突 破, 蓝 牙 WI-FI 迅 驰 这 一 系 列 新 鲜 的 名 词 不 断 的 出 现 在 无 线 网 络 应 用 的 领 域 里 这 就 意 味 着 网 络 可 以 摆 脱 网 线 的 羁 绊 在 更 加 自 由 的 天 空 里 驰 骋, 这 对 于 遥 感 领 域 也 是 一 个 重 要 的 消 息! 试 想 如 果 我 们 可 以 建 成 一 个 功 能 强 大 数 据 丰 富 的 网 络 数 据 库, 那 么 在 野 外 工 作 的 高 光 谱 遥 感 工 作 者, 只 要 简 单 拥 有 一 台 具 有 无 线 上 网 功 能 的 笔 记 本 电 脑, 就 可 以 现 场 比 对 采 得 的 样 本 和 数 据 库 中 的 标 准 样 本, 从 而 迅 速 的 得 出 结 论, 也 可 以 以 先 进 的 数 码 科 技, 将 新 的 数 据 图 片 等 及 时 添 加 进 数 据 库 供 在 其 他 野 外 实 地 工 作 和 实 验 室 中 的 科 技 人 员 使 用 可 见 网 络 化 对 于 数 据 库, 尤 其 是 高 光 谱 遥 感 数 据 库 应 用 有 着 无 限 的 意 义, 正 是 基 于 这 种 考 虑, 本 系 统 把 数 据 库 系 统 的 网 络 化 作 为 本 系 统 的 一 个 重 要 方 向 综 上 所 述, 本 次 研 究 主 要 以 现 有 的 高 光 谱 数 据 为 前 提 和 基 础, 力 求 建 立 一 个 基 于 网 络 的 高 光 谱 数 据 库 系 统, 该 系 统 除 了 具 有 数 据 库 基 础 的 数 据 存 储 查 询 添 加 删 除 等 功 能, 还 应 针 对 需 求, 具 备 一 些 简 单 的 数 据 分 析 功 能, 同 时 力 求 针 对 高 光 谱 数 据 的 特 点, 做 一 些 能 够 在 网 络 媒 体 上 体 现 高 光 谱 数 据 图 谱 合 一 特 点 的 研 究 同 时, 在 当 前 数 据 库 的 新 热 点 数 据 仓 库 和 数 据 挖 掘 的 概 念 上, 本 文 针 对 高 光 谱 应 用 的 现 状 进 行 了 初 步 的 探 讨, 提 出 了 一 些 3

4 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 有 益 的 探 索 本 篇 论 文 共 分 七 个 章 节, 第 一 章 从 传 统 的 光 谱 数 据 库 介 绍 开 始, 针 对 高 光 谱 数 据 的 特 点 和 数 据 库 实 践, 提 出 了 创 新 性 的 高 光 谱 数 据 库 的 概 念, 它 点 明 了 整 篇 论 文 的 理 论 核 心, 说 明 了 本 系 统 的 理 论 价 值 和 创 新 性 从 第 二 章 开 始 从 全 系 统 需 求 分 析 设 计 开 发 的 角 度, 围 绕 高 光 谱 数 据 库 这 个 概 念, 从 五 个 方 面 共 分 五 个 章 节 进 行 论 述 第 二 章 的 重 点 是 高 光 谱 数 据 库 的 需 求, 这 是 整 个 系 统 的 出 发 点 和 源 头 第 三 章 第 四 章 第 五 章 分 别 从 基 于 网 络 的 光 谱 数 据 库 子 系 统 基 于 网 络 的 数 据 分 析 子 系 统 基 于 网 络 的 光 谱 图 像 子 系 统 等 三 个 子 系 统 全 面 介 绍 了 整 个 高 光 谱 数 据 库 系 统 的 设 计 方 案 与 建 设 实 施, 并 提 出 了 在 高 光 谱 数 据 库 系 统 中 的 数 据 存 储 规 范 以 及 ORACLE 数 据 平 台 下 的 数 据 存 储 模 式, 并 进 行 了 比 较 和 分 析 这 对 于 以 后 类 似 的 高 光 谱 数 据 库 系 统 的 构 建 具 有 重 要 的 借 鉴 意 义 其 中 在 第 三 章 里, 整 体 所 采 用 的 网 络 服 务 平 台 和 前 台 界 面 也 做 了 详 细 的 介 绍 第 六 章 结 合 当 前 数 据 库 发 展 的 最 新 热 点 数 据 仓 库 和 数 据 挖 掘, 对 在 高 光 谱 数 据 方 面 的 应 用 前 景, 进 行 了 前 瞻 性 的 研 究 高 光 谱 数 据 数 据 量 大, 关 系 紧 密, 如 果 能 够 成 功 的 应 用 数 据 仓 库 和 数 据 挖 掘, 将 会 有 很 光 明 的 应 用 前 景 第 七 章 是 结 论, 总 结 了 全 文 的 创 新 点 与 特 色, 同 时 对 系 统 的 发 展 做 了 进 一 步 的 展 望 综 上 所 述, 本 篇 论 文 紧 密 围 绕 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 这 一 主 题, 分 七 个 章 节 逐 步 展 开 论 述, 论 文 结 构 如 图 1 所 示 I 高 光 谱 数 据 库 系 统 系 统 需 求 分 析 II 基 于 网 络 的 光 谱 数 据 库 子 系 统 III 基 于 网 络 的 数 据 分 析 子 系 统 IV 基 于 网 络 的 光 谱 图 像 子 系 统 V 数 据 仓 库 应 用 于 高 光 谱 数 据 的 初 步 探 讨 VI 结 论 VII 与 参 量 化 图 1 论 文 组 织 结 构 4

5 第 一 章 高 光 谱 数 据 库 系 统 概 念 与 逻 辑 结 构 第 一 章 高 光 谱 数 据 库 系 统 概 念 与 逻 辑 结 构 目 前, 在 遥 感 技 术 领 域, 国 内 国 外 都 已 经 建 成 了 一 些 光 谱 数 据 库, 但 其 存 储 内 容 多 为 单 条 光 谱 曲 线 的 集 合 如 引 言 中 提 到 的, 高 光 谱 数 据 的 特 点 就 是 图 像 与 光 谱 的 紧 密 结 合, 这 与 一 般 的 光 谱 数 据 还 有 很 大 区 别, 在 不 断 深 入 的 用 于 存 储 高 光 谱 数 据 的 数 据 库 开 发 实 践 过 程 中, 本 文 提 出 一 个 全 新 的 概 念 高 光 谱 数 据 库 1.1 光 谱 数 据 库 发 展 现 状 目 前 已 经 有 一 些 研 究 机 构 在 长 期 工 作 的 基 础 上, 建 立 了 一 些 光 谱 的 数 据 库 借 鉴 他 们 的 成 果, 吸 取 他 们 的 长 处 对 于 我 们 开 展 这 项 研 究 会 有 很 大 的 帮 助 目 前 已 有 的 一 些 国 外 光 谱 数 据 库 在 高 光 谱 遥 感 方 面, 国 外 比 国 内 起 步 要 早 一 些, 发 展 也 要 快 一 些, 国 外 已 经 建 立 了 几 个 光 谱 方 面 的 数 据 库, 主 要 有 : 1 IGCP 264 光 谱 库 : 由 美 国 IGCP 264 项 目 于 1990 年 收 集 建 立, 包 括 由 5 种 光 谱 仪 测 量 所 得 到 的 5 个 光 谱 库, 它 们 是 : (1) 科 罗 拉 多 大 学 空 间 对 地 研 究 中 心 (SCES) 采 用 改 制 的 Beckman5270 双 光 路 反 射 光 谱 仪 测 量 的 光 谱 光 谱 分 辨 率 为 3.8nm, 重 采 样 成 1nm 分 辨 率 (2)SCES 采 用 GER 公 司 SIRIS 便 携 式 野 外 光 谱 仪 测 量 的 光 谱 SIRIS 是 单 光 路 三 个 光 栅 的 光 谱 仪, 第 一 个 光 栅 波 长 范 围 为 350nm 1080nm; 第 二 个 为 1080nm 2500nm; 第 三 个 为 1800nm 2500nm (3)SCES 采 用 PIMAⅡ 野 外 光 谱 仪 在 实 验 室 条 件 下 测 得 的 光 谱, 光 谱 分 辨 率 约 为 2.5nm (4) 布 朗 大 学 采 用 Relab 光 谱 仪 测 量 的 光 谱 光 谱 分 辨 率 为 2 13nm, 在 nm 范 围 内 重 采 样 成 5nm (5)USGS 丹 佛 光 谱 实 验 室 采 用 计 算 机 控 制 的 Beckman 光 谱 仪 测 量 的 光 谱 光 谱 分 辨 率 在 可 见 光 范 围 为 0.2nm, 在 近 红 外 为 0.5nm 2 John Hopkins 大 学 光 谱 库 : 采 用 Beckman 和 FTIR 光 谱 仪 测 量 测 量 对 象 包 括 各 种 火 成 岩, 变 形 岩, 沉 积 岩, 雪, 土 壤, 水 体, 矿 物, 植 被 以 及 人 工 目 标 等 多 类 物 质 (Korb,1996;Salisbury, 1994) 3 JPL 的 ASTER 光 谱 库 : 采 用 Beckman5240 光 谱 仪 测 量 包 括 160 种 矿 物 岩 石 在 微 米, 微 米, 小 于 45 微 米 三 种 微 粒 尺 度 下 的 光 谱, 以 研 究 微 粒 尺 度 与 光 谱 之 间 的 关 系 光 谱 波 段 宽 度 在 nm 之 间 为 1 4nm, nm 之 间 小 于 20nm, nm 之 间 为 20 40nm(Grove,1992) 另 外, 在 许 多 遥 感 商 用 软 件 中 也 包 括 高 光 谱 数 据 库 模 块 如 在 ENVI 软 件 中 拥 有 波 谱 库 管 理 编 辑 及 分 析 模 块, 它 包 含 了 美 国 地 质 调 查 局 的 USGS 光 谱 库, 喷 气 推 进 实 验 室 的 JPL 标 准 物 质 成 份 波 谱 库,John Hopking 大 学 2-25μm 热 红 外 及 植 被 波 谱 库, 用 户 可 查 看 建 立 重 5

6 采 样 标 准 波 谱 库 和 自 己 的 波 谱 库, 从 而 使 用 户 可 进 行 物 质 成 份 热 红 外 分 析 和 植 被 分 析 在 PCI 软 件 的 高 光 谱 分 析 (Hyperspectral Data Analysis) 模 块 中 也 提 供 了 基 于 USGS 光 谱 库 发 展 的 高 光 谱 地 物 库, 并 支 持 用 户 有 限 光 谱 通 道 的 光 谱 库, 即 可 由 用 户 自 行 组 合 成 有 限 光 谱 通 道 ( 如 个 ) 的 光 谱 曲 线 库 它 同 时 提 供 用 户 各 种 光 谱 分 析 能 力, 自 动 地 物 判 识 ( 根 据 光 谱 特 点 ) 等 功 能, 用 户 可 用 上 述 工 具 对 高 光 谱 影 像 进 行 辅 助 的 或 半 自 动 的 地 物 判 识, 或 结 合 PCI 软 件 的 多 光 谱 分 析 (Multispectral Analysis) 和 神 经 元 网 络 分 类 模 块 及 其 他 影 像 解 译 方 法 进 行 地 物 判 识 在 ERDAS 软 件 的 高 光 谱 工 具 模 块 (Hyperspectral tools) 中, 也 包 括 JPL,USGS, 以 及 用 户 自 定 义 的 光 谱 库 基 于 FOXPRO 的 HIPAS 数 据 库 中 科 院 遥 感 所 高 光 谱 室 是 国 内 在 这 一 领 域 开 展 工 作 比 较 早 的 一 个 单 位, 在 积 累 了 多 年 的 数 据 和 实 践 经 验 之 后, 为 了 更 好 的 整 理 已 有 的 工 作 成 果, 高 光 谱 室 以 微 软 的 VISUAL FOXPRO 为 平 台 建 立 了 一 套 挂 靠 于 图 像 分 析 系 统 HIPAS 的 相 对 独 立 的 高 光 谱 数 据 库 系 统 里 面 收 集 了 土 壤 岩 矿 水 体 植 被 和 人 工 物 体 五 大 类 目 标, 包 涵 了 对 象 的 光 谱 数 据 测 量 的 地 学 属 性 数 据, 例 如 : 风 速 云 量 太 阳 高 度 角 等 测 量 的 仪 器 参 数 等 等 本 课 题 最 初 就 是 在 此 基 础 上 提 出 的, 为 了 适 应 数 据 的 不 断 增 长 以 及 更 大 范 围 应 用 的 需 求, 所 以 希 望 能 从 普 通 的 桌 面 数 据 库 平 台 FOXPRO 向 大 型 的 数 据 库 平 台 ORACLE 发 展 所 以 这 里 我 先 介 绍 一 下 基 于 FOXPRO 的 高 光 谱 数 据 库 图 2-1 基 于 FOXPRO 的 高 光 谱 数 据 库 数 据 输 入 界 面

7 第 一 章 高 光 谱 数 据 库 系 统 概 念 与 逻 辑 结 构 该 系 统 主 要 实 现 了 数 据 库 基 本 的 查 询 检 索 添 加 删 除, 修 改 等 功 能, 可 以 为 对 象 的 光 谱 画 出 曲 线, 并 且 可 以 实 现 去 除 包 络 线, 以 突 现 特 征 波 段 下 面 几 幅 图 是 该 系 统 最 主 要 的 界 面, 其 中 反 映 出 了 查 询 出 来 的 数 据 对 象 的 各 种 属 性 以 及 其 光 谱 曲 线 可 以 看 到 该 系 统 已 经 有 了 最 初 步 的 分 析 功 能, 如 : 去 除 包 络 线 显 示 特 征 波 段, 计 算 太 阳 高 度 角 等 图 2-2 基 于 FOXPRO 的 高 光 谱 数 据 库 查 询 结 果 界 面 图 2-3 光 谱 曲 线 及 特 征 波 段 界 面 可 见, 在 光 谱 数 据 库 方 面, 前 人 已 经 做 了 很 多 的 工 作, 可 以 基 本 上 满 足 对 光 谱 曲 线 的 查 询 等 操 作 这 为 本 文 的 成 果 打 下 了 良 好 的 基 础 7

8 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 1.2 高 光 谱 数 据 库 概 念 的 提 出 引 言 中 已 经 提 到, 高 光 谱 数 据 有 着 其 与 众 不 同 的 特 点, 所 以 决 定 了 在 数 据 库 开 发 方 面 也 有 其 与 众 不 同 的 特 点, 也 就 诞 生 其 高 光 谱 数 据 库 这 个 全 新 的 概 念 高 光 谱 数 据 库 系 统 是 专 门 面 向 高 光 谱 数 据, 体 现 图 谱 合 一 特 性, 综 合 了 光 谱 数 据 库 光 谱 分 析 功 能 和 数 据 挖 掘 功 能 于 一 体 的 专 用 数 据 库 系 统 它 与 通 常 意 义 上 的 光 谱 数 据 库 最 大 的 不 同 在 于 它 不 仅 存 储 室 内 或 野 外 光 谱 辐 射 计 获 取 的 目 标 光 谱 数 据, 它 还 可 以 存 储 以 图 像 立 方 体 形 式 存 在 的 高 光 谱 图 像 光 谱 数 据, 并 根 据 用 户 需 要, 可 以 从 标 准 图 像 数 据 块 中 提 取 所 要 求 的 任 意 象 元 级 上 的 光 谱 曲 线 高 光 谱 数 据 库 在 以 下 两 个 方 面 具 有 非 常 现 实 的 意 义 : 一 是 面 向 近 地 面 的 地 面 成 像 光 谱 辐 射 计, 二 是 从 航 空 或 航 天 层 次 上 开 展 的 地 面 光 谱 遥 感 成 像 测 量 (1) 目 前, 国 际 上 主 要 的 光 谱 辐 射 计 均 采 用 点 测 量 模 式, 只 获 得 测 量 对 象 的 光 谱 曲 线 然 而 任 何 对 地 观 测 都 有 尺 度 效 应 的 问 题, 在 遥 感 器 视 场 角 不 变 的 情 况 下, 不 同 的 遥 感 飞 行 高 度 对 应 不 同 的 象 元 地 面 大 小 野 外 光 谱 测 量 所 对 应 的 地 面 视 场 范 围 与 光 谱 图 像 象 元 的 大 小 相 对 应 是 图 像 光 谱 定 标 质 量 好 坏 的 一 个 关 键 因 素, 而 目 前 野 外 光 谱 辐 射 计 在 均 难 以 做 到 地 面 视 场 的 精 确 设 定 在 目 前 成 像 光 谱 遥 感 科 学 与 技 术 发 展 中, 无 论 是 航 空 还 是 航 天 成 像 光 谱 仪, 其 图 像 反 映 的 是 像 元 尺 度 上 的 光 谱 信 息 而 现 有 地 面 光 谱 光 谱 辐 射 计 又 只 适 合 点 状 地 物 的 光 谱 测 量, 两 种 仪 器 之 间 在 空 间 尺 度 上 衔 接 的 不 够 紧 密, 因 此 在 象 元 组 分 光 谱 分 析 混 合 象 元 分 结 等 问 题 上 缺 乏 创 新 性 和 精 确 的 测 量 手 段 有 鉴 于 此, 地 面 成 像 光 谱 辐 射 计 的 研 制 已 经 提 上 议 事 日 程 它 不 仅 保 留 了 地 面 光 谱 测 量 的 特 点, 也 具 有 精 确 设 定 视 场 范 围 和 高 地 面 分 解 力 的 优 势, 尤 其 适 合 于 混 合 光 谱 研 究 和 可 变 尺 度 下 的 象 元 光 谱 组 构 分 析 但 是 目 前 的 光 谱 数 据 库 还 没 有 考 虑 到 应 对 这 种 集 图 像 与 光 谱 为 一 体 的 地 面 成 像 光 谱 辐 射 计 数 据, 高 光 谱 数 据 库 概 念 的 提 出 和 系 统 建 设 将 可 有 效 解 决 这 个 问 题 (2) 另 外, 高 光 谱 数 据 库 在 军 事 侦 察 中 也 具 有 十 分 重 要 的 意 义 美 国 海 军 研 究 办 公 室 (ONR) 和 海 军 研 究 实 验 室 制 定 了 一 个 高 光 谱 遥 感 技 术 发 展 计 划 (HRST) 即 Hyperspectral Remote Sensing Technology Program 其 核 心 就 是 要 研 制 和 发 射 美 国 海 军 的 地 球 制 图 观 测 卫 星 NEMO, 以 作 为 海 军 的 大 型 高 光 谱 数 据 的 基 准 平 台 它 所 带 的 COIS 高 光 谱 成 像 仪 可 以 获 取 地 面 分 辨 率 60 或 30 米 210 波 段 的 高 光 谱 图 像 立 方 体 数 据 由 于 无 法 到 别 的 国 家 进 行 地 面 光 谱 测 量 工 作, 通 过 这 一 计 划, 美 国 军 方 就 通 过 光 谱 成 像 方 式 来 建 立 世 界 范 围 内 50 个 热 点 地 区 的 高 光 谱 数 据 集 因 此, 相 应 的 高 光 谱 数 据 库 的 建 设 是 十 分 必 要 的 从 以 上 两 点 可 以 看 出, 面 对 这 种 新 型 光 谱 测 量 仪 器 以 及 光 谱 测 量 方 式 的 出 现, 高 光 谱 数 据 库 都 具 有 十 分 重 要 的 意 义 8

9 第 一 章 高 光 谱 数 据 库 系 统 概 念 与 逻 辑 结 构 1.3 高 光 谱 数 据 库 系 统 ( 逻 辑 结 构 ) 的 基 本 组 成 一 个 完 整 的 高 光 谱 数 据 库 系 统 应 该 有 如 下 的 组 成 部 分 : 核 心 部 分 是 高 光 谱 图 像 样 本 库 系 统 ; 为 了 保 证 数 据 的 多 样 性, 以 及 和 地 面 光 谱 的 匹 配, 基 于 已 有 技 术 的 光 谱 数 据 库 辅 助 系 统 是 必 要 的 ; 为 了 扩 展 数 据 库 的 功 能, 在 存 储 搜 索 等 基 本 功 能 上 丰 富 数 据 库 的 应 用, 建 立 一 个 高 光 谱 数 据 分 析 系 统 会 有 很 大 的 帮 助 ; 在 整 个 数 据 库 系 统 之 上, 面 向 高 光 谱 海 量 数 据 集 的 带 有 数 据 挖 掘 功 能 的 数 据 仓 库 将 为 高 光 谱 数 据 的 应 用 提 供 更 广 阔 的 空 间 ; 最 后 由 前 台 界 面 系 统 与 用 户 交 互, 得 到 其 关 心 的 条 件 并 返 回 其 需 要 的 结 果 下 面 将 各 系 统 功 能 进 行 详 细 描 述 : (1) 高 光 谱 图 像 样 本 库 系 统 : 这 是 高 光 谱 数 据 库 系 统 的 核 心 所 在, 它 主 要 负 责 高 光 谱 样 本 图 像 光 谱 数 据 以 及 其 对 应 的 属 性 数 据 的 存 储 查 询 浏 览 添 加 修 改 删 除 等 基 本 操 作, 其 中 存 储 的 可 以 是 地 面 成 像 光 谱 辐 射 计 或 者 航 空 航 天 高 光 谱 成 像 仪 采 集 的 图 像 光 谱 数 据, 其 兼 容 性 保 证 各 种 光 谱 波 段 设 置 的 高 光 谱 成 像 仪 采 集 的 样 本 均 可 以 存 储 同 时, 出 于 应 用 角 度 的 考 虑, 在 库 中 存 放 的 应 该 是 经 过 纠 正 处 理 的 标 准 图 像 光 谱 数 据, 同 时 其 相 应 的 属 性 中 不 但 可 以 包 括 地 学 测 量 方 面 的 属 性 数 据, 还 可 以 面 向 需 求 扩 展 到 经 纬 度 信 息 乃 至 分 类 信 息 (2) 光 谱 数 据 库 辅 助 系 统 : 高 光 谱 数 据 库 系 统 是 来 源 于 已 有 的 光 谱 数 据 库 系 统 之 上 的, 而 且 现 有 的 很 多 高 光 谱 航 空 航 天 成 像 仪 还 是 需 要 地 面 调 查, 取 得 地 面 光 谱 的 配 合, 所 以 建 议 一 个 光 谱 数 据 库 辅 助 子 系 统 无 论 从 技 术 角 度 还 是 应 用 角 度 都 是 很 有 必 要 的 目 前 国 内 光 谱 数 据 库 系 统 技 术 也 尚 不 成 熟, 建 立 一 套 综 合 了 光 谱 图 片 其 他 属 性 数 据, 和 高 光 谱 数 据 库 处 于 同 一 个 大 型 数 据 库 平 台 下 的 光 谱 数 据 库 系 统 既 可 以 为 高 光 谱 数 据 库 起 到 必 要 的 辅 助 作 用, 也 可 以 进 一 步 提 高 我 国 光 谱 数 据 库 的 发 展 水 平 如 果 可 以 将 其 网 络 化, 则 将 极 大 的 扩 展 系 统 的 应 用 范 围, 后 面 提 到 的 附 加 的 数 据 分 析 系 统 也 将 进 一 步 促 进 光 谱 数 据 库 的 应 用 (3) 高 光 谱 数 据 分 析 系 统 : 为 了 满 足 科 研 的 需 要, 作 为 一 个 成 熟 的 数 据 库 应 用 系 统, 光 有 数 据 库 基 本 的 管 理 功 能 是 不 够 的 尤 其 是 高 光 谱 数 据 中 富 含 了 很 多 信 息, 相 应 的 处 理 模 型 方 法 也 已 经 作 了 很 多 的 研 究, 将 一 些 常 见 的 处 理 方 法 软 件 化, 为 全 系 统 搭 建 一 套 高 光 谱 数 据 分 析 子 系 统 将 极 大 的 促 进 高 光 谱 数 据 库 系 统 的 应 用 范 围, 给 高 光 谱 研 究 应 用 带 来 极 大 的 便 利 (4) 带 有 数 据 挖 掘 功 能 的 数 据 仓 库 : 一 景 分 辨 率 的 高 光 谱 图 像 数 据 就 将 含 有 1M 条 光 谱 曲 线, 如 果 每 条 光 谱 曲 线 有 100 个 波 段, 就 将 是 100M 的 数 据 量, 明 显 可 以 看 出 高 光 谱 数 据 是 典 型 的 海 量 数 据 同 时, 高 光 谱 图 像 光 谱 数 据 具 有 很 强 空 间 几 何 信 息, 相 互 之 间 具 有 复 杂 的 关 系, 多 景 同 类 图 像 之 间 更 会 有 复 杂 的 关 系, 这 就 给 利 用 数 据 仓 库 整 合 数 据, 再 进 行 数 据 挖 掘 提 供 了 良 好 的 基 础 数 据 挖 掘 数 据 仓 库 正 是 当 前 数 据 库 发 展 的 前 沿 和 热 点, 其 目 标 就 在 于 数 据 积 累 的 基 础 上, 深 入 探 索 数 据 间 的 关 系 与 规 律, 从 而 得 到 进 一 步 有 价 值 得 信 息 和 结 论 可 以 9

10 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 预 见, 将 数 据 挖 掘 数 据 仓 库 应 用 于 高 光 谱 数 据 必 将 有 光 明 的 前 景 (5) 前 台 界 面 系 统 : 它 的 目 标 很 明 确 就 是 和 用 户 交 互, 得 到 其 意 见 并 反 馈 其 需 要 的 信 息 这 也 是 系 统 中 最 富 于 变 化 的 一 部 分, 从 形 式 上 讲 它 可 以 采 取 网 络 化 或 者 单 机 运 行 两 种 方 式, 各 有 优 势, 但 网 络 化 必 将 是 发 展 的 趋 势 ; 从 开 发 而 言 则 有 许 多 常 见 的 工 具 可 以 选 用 ; 从 样 式 上, 则 随 着 开 发 的 投 入 可 以 不 断 改 进 由 高 光 谱 图 像 样 本 库 系 统 光 谱 数 据 库 辅 助 系 统 高 光 谱 数 据 分 析 系 统 以 及 带 有 数 据 挖 掘 功 能 的 数 据 仓 库 等 就 构 成 了 一 个 面 向 高 光 谱 数 据 应 用 的 完 整 的 高 光 谱 数 据 库 系 统 从 这 些 子 系 统 的 设 计 可 以 看 出, 高 光 谱 数 据 库 系 统 这 个 崭 新 的 概 念 必 将 为 高 光 谱 应 用 开 创 一 个 崭 新 的 局 面 1.4 高 光 谱 数 据 库 系 统 的 开 发 及 应 用 过 程 高 光 谱 数 据 库 系 统 的 开 发 与 应 用 可 以 分 为 下 列 几 个 步 骤 : (1) 系 统 需 求 分 析 : 高 光 谱 数 据 库 系 统 可 能 会 因 为 应 用 的 领 域 不 同 在 个 别 子 系 统 中 有 不 同 的 设 计 和 变 化, 充 分 的 进 行 系 统 需 求 分 析 可 以 明 确 用 户 的 需 要, 从 而 进 行 相 应 的 设 计, 为 开 发 工 作 的 实 施 打 下 坚 实 的 基 础 (2) 高 光 谱 数 据 结 构 设 计 : 前 面 提 到 了, 高 光 谱 数 据 数 据 量 非 常 大, 而 且 直 接 和 图 像 紧 密 联 系, 再 加 上 其 他 的 属 性 数 据, 因 此, 在 数 据 库 中 的 数 据 结 构 设 计 直 接 影 响 到 整 个 高 光 谱 数 据 库 系 统 的 性 能 在 国 内, 光 谱 数 据 库 的 建 设 也 不 成 熟, 如 何 在 大 型 数 据 库 平 台 上 合 理 的 存 储 光 谱 数 据 也 是 一 个 新 的 课 题 (3) 数 据 库 前 台 界 面 设 计 : 随 着 不 同 的 用 户 需 求, 这 是 变 化 比 较 大 的 一 个 部 分 数 据 结 构 设 计 好 将 使 得 整 个 高 光 谱 数 据 库 系 统 可 以 在 各 种 前 台 界 面 下 给 出 结 果, 返 回 信 息 但 总 体 上 讲, 无 论 采 用 什 么 样 的 软 件 语 言, 无 非 是 单 机 版 和 网 络 化 两 种 方 案, 其 各 自 有 各 自 的 用 途, 但 毫 无 疑 问, 网 络 化 可 以 促 进 数 据 的 交 流 共 享 与 应 用, 必 将 是 发 展 的 方 向 (4) 数 据 分 析 系 统 设 计 : 根 据 不 同 应 用 领 域 用 户 的 需 求, 如 : 岩 矿 农 业 城 市 等 等, 他 们 关 注 的 波 段 目 标 结 果 并 不 一 致, 所 以 这 个 部 分 将 是 全 系 统 中 变 化 最 大 的 (5) 数 据 获 取 : 数 据 获 取 可 以 分 为 两 个 部 分, 数 据 采 集 + 数 据 整 理 数 据 采 集 是 指 用 地 面 成 像 光 谱 辐 射 计 或 者 航 空 航 天 高 光 谱 成 像 仪 采 集 的 图 像 光 谱 数 据, 以 及 用 地 面 光 谱 辐 射 计 采 集 的 地 面 点 光 谱 数 据 整 理 则 包 括 基 本 的 数 据 处 理 工 作, 包 括 结 合 GPS 系 统 的 定 标 定 位 几 何 纠 正 辐 射 纠 正 等 等, 这 样 做 的 目 的 就 是 使 高 光 谱 数 据 库 中 的 数 据 标 准 化 为 使 用 做 好 准 备 (6) 数 据 入 库 并 使 用 : 最 后 就 是 将 前 面 整 理 好 的 数 据 按 照 数 据 库 设 定 的 数 据 结 构, 分 门 别 类 的 存 入 数 据 库 中 如 果 能 够 网 络 化, 则 可 以 实 现 远 程 访 问, 乃 至 工 作 现 场 的 访 问 同 时, 其 附 加 的 数 据 分 析 子 系 统 也 可 以 在 应 用 过 程 中 起 到 重 10

11 第 一 章 高 光 谱 数 据 库 系 统 概 念 与 逻 辑 结 构 要 的 辅 助 作 用 本 文 后 面 几 章 将 按 照 上 述 思 路 具 体 介 绍 一 个 高 光 谱 数 据 库 原 型 系 统 的 建 立, 并 在 前 台 界 面 实 现 网 络 化, 这 样 为 今 后 全 系 统 的 建 立 和 完 善 奠 定 了 坚 实 的 基 础 1.5 本 章 小 结 本 章 作 为 全 文 的 第 一 章, 点 明 了 全 文 的 核 心 概 念, 高 光 谱 数 据 库 系 统 是 专 门 面 向 高 光 谱 数 据, 体 现 高 光 谱 图 谱 合 一 特 性, 综 合 了 光 谱 数 据 库 光 谱 分 析 功 能 和 数 据 挖 掘 功 能 于 一 体 的 专 用 数 据 库 系 统 从 现 有 的 国 内 外 光 谱 数 据 库 发 展 现 状 讲 起, 提 出 全 新 的 高 光 谱 数 据 库 系 统 的 概 念, 然 后 对 全 系 统 的 组 成 概 貌 以 及 开 发 应 用 的 过 程 都 做 了 比 较 详 细 的 介 绍 后 面 各 章 都 将 围 绕 如 何 建 立 一 个 高 光 谱 数 据 库 原 型 系 统 而 展 开 最 后 本 节 将 以 关 系 图 2 来 表 示 整 个 带 有 创 新 性 的 高 光 谱 数 据 库 系 统 的 概 念 图 2 高 光 谱 数 据 库 系 统 概 念 示 意 图 11

12 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 第 二 章 系 统 需 求 特 点 与 整 体 结 构 2.1 系 统 需 求 分 析 正 如 引 言 所 提 到 的, 高 光 谱 的 应 用 范 围 非 常 广 泛, 不 同 的 应 用 可 能 会 有 不 同 的 需 求, 而 作 为 一 个 工 程 项 目 而 言, 具 有 明 确 的 需 求 对 于 整 个 设 计 思 想 的 形 成 功 能 模 块 的 设 计 系 统 的 开 发 乃 至 类 函 数 和 变 量 的 设 计 都 是 十 分 重 要 的 本 次 研 究 除 了 为 高 光 谱 数 据 库 系 统 建 立 原 型 之 外, 主 要 是 依 托 于 由 北 京 农 业 信 息 技 术 研 究 中 心 承 担 的 北 京 市 自 然 科 学 基 金 资 助 的 重 点 项 目 面 向 精 准 农 业 的 作 物 光 谱 信 息 系 统 研 究 该 研 究 的 一 个 主 要 目 标 就 是 将 提 供 一 个 具 有 易 维 护, 易 操 作, 便 移 植, 便 扩 展 功 能 的 面 向 农 业 的 作 物 光 谱 数 据 库 系 统, 为 用 户 提 供 查 询, 检 索, 分 析 处 理, 共 享 与 交 流 等 服 务 ; 为 成 像 光 谱 遥 感 定 量 化 理 论 研 究 和 应 用 服 务 该 项 目 有 比 较 清 楚 明 确 的 需 求 已 经 整 理 好 的 数 据 集, 这 正 好 可 以 作 为 高 光 谱 数 据 库 系 统 中 光 谱 数 据 库 辅 助 系 统 来 设 计 具 体 而 言 主 要 需 求 有 : (1) 图 像 样 本 库 模 块 : 作 为 高 光 谱 数 据 库 系 统 发 展 的 核 心 研 究 内 容, 希 望 能 够 在 数 据 平 台 上 建 立 一 个 能 够 反 映 高 光 谱 图 谱 合 一 特 点 的 图 像 样 本 库 这 项 功 能 在 envi 等 高 光 谱 数 据 处 理 软 件 中 已 经 得 到 实 现, 但 是 在 数 据 库 平 台 下, 乃 至 网 络 环 境 中 还 鲜 有 实 现 (2) 高 光 谱 数 据 存 储 和 应 用 的 研 究 : 本 系 统 的 一 个 关 键 是 设 计 良 好 的 数 据 结 构, 使 得 光 谱 信 息 与 图 像 信 息 能 够 很 好 的 相 结 合 同 时, 在 大 型 数 据 库 平 台 上 建 立 光 谱 数 据 库 在 国 内 也 是 前 沿 的 课 题, 能 够 建 立 实 用 性 的 数 据 规 范, 对 于 光 谱 以 及 高 光 谱 数 据 库 系 统 都 是 很 重 要 的 (3) 网 络 环 境 下 的 发 布 : 为 了 使 高 光 谱 数 据 库 系 统 能 够 得 到 最 大 的 发 展, 为 之 建 立 网 络 平 台 无 疑 将 是 最 有 利 也 是 最 有 用 的 解 决 方 案 这 可 以 使 得 系 统 在 可 能 的 情 况 下 为 尽 可 能 多 的 研 究 人 员 用 户 服 务 对 于 光 谱 数 据 库 这 也 是 一 个 崭 新 的 课 题 (4) 为 光 谱 数 据 建 立 数 据 库 : 以 小 麦 玉 米 为 主 的 作 物 全 生 育 期 的 生 长 动 态 光 谱 及 其 相 关 环 境 信 息 ( 如 测 量 时 间 地 点 天 气 条 件 测 量 仪 器 等 ) 为 主 要 数 据 源, 选 用 ORACLE 开 发 环 境, 采 用 面 向 对 象 的 编 程 方 法, 最 终 形 成 一 个 易 维 护, 易 操 作, 便 移 植, 便 扩 展 的 光 谱 数 据 库 (5) 拓 展 原 有 的 光 谱 数 据 库 系 统 : 将 数 据 库 平 台 从 FOXPRO 移 植 到 ORACLE 上, 为 系 统 扩 容, 以 及 向 更 大 规 模 发 展 打 下 基 础 ; 保 持 数 据 库 的 基 本 功 能, 如 : 查 询 添 加 修 改 删 除 等 等 ; 提 供 更 加 容 易 扩 展 的 接 口 规 范, 以 利 于 更 广 范 围 的 应 用 ; 为 了 便 于 数 据 共 享 与 交 流, 希 望 能 在 网 络 的 平 台 上 发 布 ; 进 一 步 丰 富 其 应 用 性 的 数 据 处 理 功 能 等 等 (6) 光 谱 分 析 功 能 模 块 : 为 了 研 究 以 小 麦 和 玉 米 为 主 的 作 物 全 生 育 期 光 谱 特 征 及 其 在 不 同 水 肥 等 环 境 因 子 作 用 下 的 变 化 规 律, 深 入 探 讨 光 谱 诊 断 机 理, 本 数 据 库 将 具 有 一 定 的 光 谱 分 析 功 能, 比 如 光 谱 重 采 样 ; 去 包 络 线 ; 有 限 特 征 参 量 提 取, 包 括 : 12

13 第 二 章 系 统 需 求 特 点 与 整 体 结 构 红 边 红 谷 绿 峰 黄 边 NDVI 等 ; 光 谱 和 生 化 参 量 线 性 回 归 统 计 分 析 ; 导 数 光 谱 等 等 ; 也 是 高 光 谱 数 据 库 系 统 分 析 模 块 的 一 个 原 型 系 统 (7) 系 统 的 扩 展 性 : 首 先 需 要 考 虑 的 是 不 同 高 光 谱 仪 器 数 据 的 存 储, 其 次 这 个 系 统 还 应 该 考 虑 将 来 可 能 会 有 更 多 的 分 析 功 能 不 断 的 加 入, 而 且 可 能 会 有 新 的 数 据 模 型 加 入, 所 以 在 系 统 设 计 时, 考 虑 到 系 统 的 延 展 性, 可 扩 展 性 2.2 系 统 特 点 从 上 面 的 讨 论 和 系 统 需 求 分 析 中, 我 们 可 以 看 出, 本 研 究 需 要 考 虑 的 方 面 很 多, 并 且 具 有 其 与 以 往 数 据 库 系 统 不 同 的 特 点, 完 成 整 个 系 统 的 设 计 与 建 设, 具 体 来 讲 主 要 需 要 面 对 如 下 几 个 主 要 的 问 题 : (1) FOXPRO 是 属 于 桌 面 型 的 中 小 型 数 据 库,ORACLE 则 是 很 不 相 同 的 大 型 的 数 据 库 平 台, 数 据 管 理 系 统, 数 据 结 构 等 等 都 复 杂 许 多, 由 此 决 定, 从 后 台 的 数 据 结 构 数 据 管 理 系 统 到 前 台 的 界 面 系 统 都 不 可 能 照 搬 FOXPRO 下 的 设 计, 需 要 重 新 进 行 整 理 规 划 (2) 高 光 谱 数 据 集 中 最 重 要 的 是 光 谱 数 据, 而 光 谱 数 据 又 有 与 众 不 同 的 很 多 特 点, 这 些 直 接 决 定 了 设 计 的 复 杂 性 A. 一 个 对 象 对 应 几 十 波 段 乃 至 上 千 波 段 不 等 的 数 据, 而 且 每 个 波 段 的 数 据 都 可 能 需 要 单 独 提 出, 以 用 作 分 析 或 者 计 算, 这 就 为 数 据 结 构 的 设 计 提 出 了 问 题 B. 高 光 谱 仪 器 林 林 总 总, 会 有 不 同 的 波 段 设 置, 不 同 的 对 象 很 可 能 采 取 不 同 仪 器 测 量, 也 就 是 一 个 库 中 可 能 有 多 个 波 段 数 的 光 谱 数 据 作 为 一 个 兼 容 性 好 的 数 据 库 需 要 考 虑 到 这 些 情 况, 要 能 适 应 各 种 数 据 C. 高 光 谱 数 据 的 图 谱 合 一 的 特 性, 需 要 将 变 化 性 很 强 的 光 谱 数 据 与 图 像 数 据 很 好 的 结 合 在 一 起, 这 也 需 要 对 数 据 结 构 进 行 精 心 的 设 计 在 考 虑 到 上 述 因 素 的 同 时, 数 据 库 尤 其 是 基 于 网 络 环 境 的 数 据 库, 其 查 询 时 的 读 取 速 度 也 是 特 别 需 要 注 意 的 问 题 (3) 在 网 络 条 件 下 进 行 数 据 库 设 计 与 在 普 通 的 软 件 环 境 下 设 计 数 据 库 又 有 着 很 多 不 同 的 因 素, 如 : 速 度 读 取 方 式 等 等 (4) 这 个 研 究 项 目 中, 高 光 谱 数 据 的 其 他 属 性 也 比 较 复 杂, 种 类 繁 多 而 且 几 乎 都 是 查 询 的 检 索 关 键 字, 如 何 能 够 兼 顾 数 据 结 构 的 简 洁 性 与 适 度 冗 余 性, 从 而 兼 顾 速 度 安 全 性 和 存 储 空 间 也 是 一 个 需 要 慎 重 的 问 题 (5) 在 为 网 络 环 境 设 计 的 大 型 数 据 库 ORACLE 中, 图 片 的 存 储 也 有 多 种 可 以 考 虑 的 方 式, 现 在 常 见 的 是 以 文 件 的 方 式 存 放 于 操 作 系 统 之 中, 但 如 何 能 够 针 对 高 光 谱 数 据 的 特 点, 选 择 一 种 合 适 的 方 式 是 本 项 目 一 个 需 要 考 虑 的 问 题 (6) 本 系 统 除 了 需 要 实 现 数 据 库 的 基 本 功 能, 而 且 要 外 加 很 多 分 析 功 能 模 块 设 计, 这 在 系 统 整 体 结 构 的 设 计 上 提 出 了 新 的 要 求 13

14 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 难 度 由 此 可 见, 这 项 研 究 工 作 具 有 很 重 要 的 意 义, 同 时 在 设 计 开 发 操 作 时 也 具 有 相 当 的 2.3 系 统 总 体 结 构 针 对 各 项 需 求, 全 系 统 需 要 从 图 像 样 本 库 子 系 统, 光 谱 数 据 库 子 系 统, 网 络 服 务 子 系 统 以 及 前 台 发 布 子 系 统 来 进 行 整 体 结 构 设 计, 同 时 需 要 专 门 考 虑 数 据 分 析 处 理 系 统 本 文 将 分 别 就 这 几 个 系 统 一 一 详 述, 这 节 将 把 总 体 的 技 术 路 线 以 及 设 计 思 想 进 行 一 个 概 括 性 的 描 述 全 系 统 逻 辑 结 构 设 计 三 层 网 络 服 务 模 式 首 先 本 系 统 整 体 上 采 用 了 网 络 服 务 模 式 是 由 数 据 库 应 用 特 点 出 发 的 一 方 面, 数 据 共 享, 数 据 互 连 正 在 成 为 各 行 各 业 努 力 达 到 的 一 个 信 息 化 目 标, 高 光 谱 数 据 自 然 也 不 例 外, 而 且 随 着 有 线 无 线 网 络 的 不 断 发 展, 数 据 库 网 络 化 更 加 有 利 于 数 据 库 系 统 在 实 际 应 用 中 所 发 挥 的 作 用 ; 同 时, 作 为 一 个 大 型 的 数 据 库 系 统, 不 可 能 要 求 每 一 个 用 户 都 去 购 买 一 套 价 格 昂 贵 的 ORACLE 数 据 平 台, 而 且 就 数 据 库 系 统 的 维 护 更 新 升 级 等 等 也 需 要 专 业 人 员 操 作, 那 么 如 何 能 够 让 一 个 数 据 库 系 统 能 够 有 更 多 的 用 户 使 用, 网 络 解 决 方 案 就 是 一 条 根 本 出 路 它 忽 略 了 物 理 距 离, 只 要 授 予 用 户 权 限, 用 户 就 可 以 在 任 何 支 持 网 络 的 地 方 访 问 使 用 数 据 库 系 统, 这 也 是 多 数 数 据 库 系 统 要 以 网 络 形 式 开 发 的 一 个 主 要 原 因 在 网 络 服 务 刚 刚 兴 起 的 阶 段 是 比 较 流 行 的 是 两 层 的 网 络 服 务 模 式, 即 client/server 模 式 两 层 体 系 结 构 在 实 际 应 用 中 已 暴 露 出 一 些 问 题 如 : 客 户 机 直 接 ( 或 通 过 存 储 过 程 ) 访 问 数 据 库, 所 有 客 户 机 均 访 问 数 据 库, 不 利 于 安 全 控 制, 难 以 防 止 黑 客 的 恶 意 攻 击 同 时, 网 络 流 量 很 大, 易 形 成 网 络 瓶 颈 还 会 造 成 数 据 库 访 问 瓶 颈 及 数 据 库 连 接 数 过 多, 影 响 数 据 库 的 响 应 速 度, 降 低 系 统 性 能 另 外, 两 层 应 用 体 系 结 构 还 有 维 护 扩 展 方 面 的 问 题 当 前 流 行 的 网 络 服 务 结 构 是 三 层 网 络 服 务 结 构, 由 于 分 布 式 技 术 不 断 发 展, 在 一 些 大 型 企 业 管 理 系 统 中, 三 层 结 构 逐 渐 取 代 了 两 层 结 构 三 层 结 构 是 在 分 布 式 技 术 成 熟 之 后 建 立 起 来 的, 它 的 基 本 思 想 是 将 用 户 界 面 同 企 业 逻 辑 分 离, 把 信 息 系 统 按 功 能 划 分 为 用 户 层 中 间 层 和 数 据 层 三 大 块, 分 别 放 置 在 相 同 或 不 同 的 硬 件 平 台 上 (1) 用 户 层 : 也 称 表 示 层, 是 信 息 系 统 的 用 户 接 口 部 分, 即 人 机 界 面, 是 用 户 与 系 统 间 交 互 信 息 的 窗 口, 主 要 功 能 是 指 导 操 作 人 员 使 用 界 面, 输 入 数 据 输 出 结 果 它 并 不 拥 有 企 业 逻 辑, 或 只 拥 有 部 分 不 涉 及 企 业 核 心 机 密 的 应 用 逻 辑 (2) 中 间 层 : 也 称 用 户 逻 辑 层, 是 应 用 的 主 体, 包 括 了 系 统 中 核 心 的 和 易 变 的 企 业 逻 辑 ( 规 划 运 作 方 法 管 理 模 式 等 ), 它 的 功 能 是 接 收 输 入, 处 理 后 返 回 结 果 (3) 数 据 层 : 数 据 层 即 数 据 库 平 台, 主 要 由 数 据 库 管 理 系 统 (DBMS) 负 责 管 理, 包 括 对 数 据 库 的 读 写 和 维 护 等 等, 能 够 迅 速 执 行 大 量 数 据 的 更 新 和 检 索 14

15 第 二 章 系 统 需 求 特 点 与 整 体 结 构 三 层 结 构 与 过 去 的 两 层 结 构 相 比 有 如 下 优 点 : (1) 进 程 管 理 : 通 过 对 服 务 进 程 的 管 理, 使 得 在 正 常 情 况 下, 能 用 尽 量 少 的 服 务 进 程 处 理 尽 量 多 的 请 求, 减 少 进 程 的 启 动 / 终 止 次 数 在 峰 值 情 况 下, 控 制 服 务 进 程 的 总 数, 使 得 服 务 器 在 设 定 的 负 载 下 工 作, 不 被 压 跨 总 之, 通 过 中 间 件 对 服 务 进 程 的 有 效 管 理, 可 以 使 系 统 在 额 定 的 功 率 下 稳 定 工 作, 当 请 求 服 务 的 数 量 超 过 了 服 务 器 的 处 理 速 度 时, 中 间 件 会 把 请 求 排 队 进 行 缓 冲 (2) 保 持 和 复 用 数 据 库 连 接 : 服 务 进 程 访 问 数 据 库 都 要 和 数 据 库 建 立 连 接, 如 打 开 和 关 闭 数 据 库 等 中 间 件 通 过 采 用 长 驻 服 务 进 程 的 手 段, 使 得 与 数 据 库 的 连 接 被 保 持 和 复 用, 从 而 大 大 减 少 与 数 据 库 连 接 的 次 数 和 时 间 (3) 优 化 了 系 统 结 构 : 将 系 统 分 为 三 层 ( 或 多 层 ), 业 务 逻 辑 放 在 应 用 服 务 层, 软 件 的 维 护 集 中 在 应 用 服 务 层, 客 户 端 的 维 护 就 相 对 简 单 多 了, 有 利 于 软 件 维 护 及 系 统 管 理 (4) 提 高 了 应 用 系 统 的 安 全 性 : 将 客 户 端 与 数 据 库 隔 离 起 来, 客 户 端 无 权 限 直 接 访 问 数 据 库, 有 利 于 安 全 管 理, 可 有 效 防 止 恶 意 攻 击 还 可 以 利 用 中 间 件 的 安 全 管 理 特 性 进 一 步 加 强 权 限 控 制 管 理 (5) 卓 越 的 扩 展 能 力 : 若 要 提 高 系 统 性 能 处 理 速 度, 可 增 加 应 用 服 务 器, 分 担 一 部 分 应 用 服 务 工 作 即 可, 而 原 来 的 应 用 服 务 器 几 乎 可 以 不 动 (6) 减 少 网 络 数 据 流 量 和 提 高 数 据 库 响 应 速 度 : 两 层 应 用 体 系 结 构 中 客 户 机 直 接 ( 或 通 过 存 储 过 程 ) 访 问 数 据 库, 会 造 成 数 据 库 访 问 瓶 颈 及 网 络 瓶 颈, 从 而 降 低 了 整 个 系 统 的 性 能 三 层 应 用 体 系 结 构 中, 应 用 服 务 层 的 引 入 有 效 地 解 决 了 网 络 瓶 颈 和 数 据 库 连 接 数 过 多 引 起 数 据 库 性 能 下 降 的 问 题 应 用 服 务 层 往 往 有 多 台 服 务 器, 可 有 效 地 解 决 客 户 机 访 问 服 务 层 瓶 颈 应 用 服 务 器 与 数 据 库 服 务 器 ( 物 理 距 离 很 近 ) 可 方 便 地 采 用 宽 带 网 连 接, 不 会 产 生 与 数 据 库 服 务 层 网 络 瓶 颈 (7) 提 高 系 统 性 能 : 三 层 应 用 体 系 结 构 能 更 好 地 调 整 应 用 体 系, 还 可 利 用 中 间 件 的 特 点 来 选 择 路 由 平 衡 负 载, 提 高 整 个 系 统 的 性 能 总 的 来 说, 三 层 应 用 体 系 结 构 使 系 统 的 性 能 安 全 性 扩 展 性 有 了 很 大 的 提 高, 也 方 便 了 系 统 的 维 护 和 管 理 本 系 统 的 逻 辑 结 构 设 计 作 为 一 个 网 络 环 境 下 的 高 光 谱 数 据 库 系 统, 借 鉴 当 前 流 行 的 网 络 服 务 模 式, 本 研 究 也 将 体 系 结 构 设 计 为 基 于 一 个 三 层 的 分 布 式 环 境 ( 图 2-1) 这 个 三 层 系 统 模 型, 即 客 户 层 应 用 逻 辑 层 ( 含 WEB 服 务 器 和 各 类 应 用 服 务 器 群 ) 数 据 库 层 ( 数 据 库 服 务 器 群 ) 在 这 三 个 逻 辑 层 中 的 应 用 单 元 通 过 一 组 符 合 业 界 标 准 的 协 议 服 务 和 软 件 连 接 器 连 接 起 来 这 样, 各 级 用 户 实 际 上 处 于 理 论 上 的 平 等 地 位, 实 际 的 区 别 取 决 于 操 作 用 户 端 软 件 的 人 员 单 位 的 授 权 差 异, 这 种 差 异 由 系 统 的 安 全 控 制 部 分 管 理 和 引 导 15

16 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 本 网 络 数 据 库 系 统 的 功 能 结 构 划 分 : (1) 客 户 层 : 基 于 通 用 浏 览 器 的 各 类 用 户 与 系 统 的 人 机 界 面, 负 责 人 机 交 互, 接 受 用 户 提 交 的 各 种 信 息 和 要 求, 并 以 文 字 图 片 或 者 曲 线 的 方 式 反 映 给 用 户 查 询 分 析 的 结 果 (2) 应 用 逻 辑 层 : 一 般 包 括 应 用 服 务 器 和 网 络 服 务 器 是 各 类 数 据 对 外 服 务 系 统, 负 责 应 对 用 户 端 对 数 据 中 心 的 请 求, 与 数 据 库 层 通 信, 提 供 数 据 和 功 能 服 务, 对 数 据 进 行 分 析 处 理, 以 及 提 供 相 关 网 络 调 节 功 能 (3) 数 据 库 层 : 基 于 ORAClE 平 台, 负 责 存 储 用 户 有 权 可 访 问 利 用 的 数 据, 它 负 责 用 户 对 直 接 数 据 库 访 问 操 作, 这 些 访 问 操 作 由 数 据 服 务 中 心 的 服 务 系 统 根 据 用 户 访 问 的 需 求 而 制 定 需 要 考 虑 数 据 的 安 全 一 致 性 易 维 护 管 理 易 更 新 等 指 标 数 据 仓 库 高 光 谱 数 据 库 光 谱 数 据 高 光 谱 数 据 库 属 性 数 据 数 据 库 层 光 谱 分 析 应 用 程 序 应 用 服 务 应 用 服 务 器 (APP Server) 网 络 服 务 器 (Web Server) 数 据 服 务 应 用 逻 辑 层 公 众 型 用 户 ( 通 用 浏 览 器 ) 通 用 用 户 ( 通 用 浏 览 器 ) 高 级 用 户 ( 通 用 浏 览 器 ) 系 统 用 户 ( 通 用 浏 览 器 ) 用 户 层 图 2-4 系 统 体 系 结 构 16

17 第 二 章 系 统 需 求 特 点 与 整 体 结 构 系 统 物 理 结 构 设 计 作 为 一 个 完 整 的 数 据 库 系 统, 硬 件 的 合 理 配 置 对 于 最 大 限 度 的 发 挥 系 统 的 能 力, 保 证 整 个 系 统 的 运 行 有 着 至 关 重 要 的 作 用 硬 件 的 疏 忽 很 可 能 会 导 致 系 统 访 问 的 缓 慢 资 源 配 置 的 不 合 理 瓶 颈 的 出 现 等 等 干 扰 系 统 正 常 运 行 的 问 题 作 为 我 们 一 个 规 模 不 大 的 应 用 系 统, 无 法 和 真 正 的 商 用 系 统 相 比, 所 以 这 些 设 计 可 能 并 不 是 全 部 都 能 够 实 现, 但 是 作 为 一 个 完 整 的 系 统 设 计 这 个 方 面 是 不 可 或 缺 的 其 整 体 设 计 见 图 2-5 在 开 发 实 现 中, 数 据 库 网 管 工 作 站 应 用 服 务 器 网 络 服 务 器 均 集 中 与 一 台 计 算 机 上, 防 火 墙 则 是 集 成 在 路 由 服 务 器 中 数 据 库 群 光 谱 数 据 网 管 工 作 站 属 性 数 据 应 用 服 务 器 Web 服 务 器 服 务 器 群 防 火 墙 路 由 器 广 域 网 用 户 用 户 用 户 用 户 群 图 2-5 高 光 谱 数 据 库 系 统 物 理 结 构 图 17

18 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 开 发 环 境 基 于 上 述 设 计 思 想, 针 对 已 有 需 求 的 特 点, 本 系 统 立 足 于 已 有 的 环 境, 选 用 了 一 些 比 较 常 见 的 开 发 组 建 和 开 发 语 言, 这 对 于 降 低 开 发 难 度, 便 于 系 统 未 来 扩 展, 增 强 易 维 护 性 等 等 都 是 必 要 的 基 本 的 开 发 环 境 是 在 WINDOWS XP SP1+SP2 的 环 境 下, 后 台 数 据 库 平 台 已 经 由 需 求 选 定 在 国 际 上 通 用 的 大 型 数 据 库 开 发 环 境 ORACLE 开 发, 该 系 统 具 有 易 于 管 理, 可 靠 性 好, 便 于 扩 展 等 优 势, 采 用 面 向 对 象 的 编 程 方 法, 本 系 统 采 用 的 ORACLE9i( ) 数 据 库 访 问 则 是 由 基 本 的 SQL 语 言 以 及 ORACLE 中 的 PL/SQL 语 言 开 发 完 成 前 台 界 面 中 的 静 态 部 分 采 用 html 语 言, 动 态 部 分 以 及 中 间 层 数 据 分 析 模 块 的 开 发 则 采 用 SUN 公 司 出 品 的 jsp 和 javabean 网 络 开 发 语 言 和 组 件, 这 套 开 发 工 具 基 本 采 用 JAVA 语 言 的 语 法, 也 是 采 用 面 向 对 象 的 编 程 方 法, 具 有 多 平 台 适 用 性, 方 便 灵 活, 简 便 易 学, 封 装 性 好 等 特 点, 特 别 适 合 于 网 络 开 发 中 间 层 选 用 了 Apache+Tomcat 这 一 网 络 服 务 组 件 作 为 网 络 服 务 器 和 应 用 服 务 器, 这 是 当 前 网 络 服 务 模 式 中 非 常 流 行 的 一 个 配 置 方 式, 具 有 全 免 费, 配 置 灵 活 等 特 点, 是 SUN 公 司 官 方 网 站 的 推 荐 配 置 整 个 系 统 最 终 结 果 具 有 易 维 护, 易 操 作, 便 移 植, 便 扩 展 功 能 等 特 点 2.4 本 章 小 结 本 章 开 始 从 总 结 系 统 需 求 : 建 立 图 像 样 本 库 模 块 ; 高 光 谱 数 据 存 储 和 应 用 的 研 究 ; 网 络 环 境 下 的 发 布 ; 为 光 谱 数 据 建 立 数 据 库 ; 拓 展 原 有 的 光 谱 数 据 库 系 统 ; 建 立 光 谱 分 析 功 能 模 块 ; 设 计 系 统 的 扩 展 性 等 入 手, 结 合 本 研 究 的 具 体 内 容, 深 入 分 析 了 高 光 谱 数 据 库 系 统 特 点 与 难 点 : 数 据 库 FOXPRO 平 台 向 ORACLE 平 台 迁 移 ; 高 光 谱 数 据 的 多 变 性 采 集 平 台 的 多 样 性 图 谱 合 一 特 性 ; 网 络 环 境 下 数 据 库 结 构 设 计 ; 其 他 辅 助 属 性 的 复 杂 性 ; 图 片 数 据 存 储 方 式 以 及 分 析 功 能 模 块 设 计 等 等, 从 而 为 全 系 统 的 开 发 做 好 了 准 备 同 时, 本 章 还 介 绍 了 全 系 统 的 开 发 环 境 以 及 为 网 络 化 应 用 而 设 计 的, 分 为 用 户 层 中 间 层 和 数 据 库 层 的 三 层 整 体 系 统 结 构 18

19 第 三 章 基 于 网 络 的 光 谱 数 据 库 子 系 统 3.1 已 有 数 据 整 理 工 作 第 三 章 基 于 网 络 的 光 谱 数 据 库 子 系 统 在 此 研 究 的 开 始 阶 段, 整 理 了 原 FOXPRO 数 据 库 的 大 量 数 据, 而 且 重 新 整 理 合 并 了 其 结 构, 虽 然 由 于 没 有 提 出 更 具 体 的 需 求, 最 后 实 现 时 也 没 有 这 部 分 数 据, 但 是 这 项 工 作 为 今 后 在 此 项 目 的 基 础 上, 整 合 装 入 这 些 数 据 会 起 到 很 重 要 的 作 用 原 库 数 据 结 构 将 6 个 部 分 的 数 据 一 共 以 47 个 表 来 存 储, 这 样 查 询 时 可 能 会 比 较 频 繁 的 进 行 多 表 链 接, 容 易 降 低 读 取 效 率, 所 以 我 将 之 整 合 为 8 个 表, 主 要 是 将 很 多 只 表 征 一 个 字 段 属 性 的 表 合 并 入 主 表 之 中 因 为 库 中 的 数 据 一 旦 输 入, 则 主 要 是 用 作 查 询 检 索, 与 会 频 繁 修 改 的 商 业 数 据 不 同, 所 以 合 并 在 一 起 有 利 于 提 高 效 率 其 关 系 图 如 图 3-1 所 示 图 中, 文 本 框 中 的 都 是 原 库 中 的 表 名, 线 上 为 被 合 并 表 中 的 的 主 键, 线 下 为 合 并 表 中 的 连 接 字 段, 线 上 没 有 标 识 的 则 是 最 后 整 理 剩 下 的 表 合 并 之 后 的 数 据 主 要 存 储 于 envirome,instrume,manmade,rock,rock_ana,soil, Vegetati,Water 等 8 个 表 中, 各 自 对 应 于 通 用 属 性 及 光 谱 数 据 仪 器 相 关 属 性 数 据 人 工 目 标 属 性 数 据 岩 矿 属 性 数 据 岩 矿 化 学 成 分 属 性 数 据 土 壤 属 性 数 据 植 被 属 性 数 据 水 体 属 性 数 据 这 样 就 比 较 合 理 的 兼 顾 了 查 询 效 率 存 储 空 间 等 问 题, 为 今 后 入 库 做 好 了 准 备 3.2 数 据 来 源 本 系 统 光 谱 数 据 库 子 系 统 采 用 的 数 据 源, 主 要 来 自 于 北 京 市 自 然 科 学 基 金 资 助 重 点 项 目 北 京 市 自 然 科 学 基 金 面 向 精 准 农 业 的 作 物 光 谱 数 据 库 研 究 的 支 持 其 中 的 数 据 是 2002 年 中 科 院 遥 感 所 与 北 京 农 业 科 学 院 合 作 在 小 汤 山 精 准 农 业 示 范 基 地 地 面 测 得 的, 使 用 的 仪 器 是 美 国 生 产 的 ASD-500 高 光 谱 仪, 波 段 范 围 从 350nm-2500nm 这 套 数 据 体 现 了 上 面 提 到 的 高 光 谱 数 据 的 普 遍 特 点, 每 个 样 本 都 有 其 高 光 谱 数 据, 相 应 的 配 套 属 性 数 据, 其 中 包 括 : 测 量 属 性 数 据, 如 : 云 量 风 速 等 天 气 资 料 数 据, 仪 器 名 称 测 量 时 间 等 测 量 相 关 数 据, 叶 面 积 指 数 含 氮 量 含 水 量 等 理 化 参 量 数 据, 以 及 每 个 样 本 相 应 的 图 片 数 据 19

20 Province ce Cloudine ne cloudsha instrume platform datatype wind_di r unit province cloudiness cloudshape platform datatype wind_dire unit envirome manmade rock soil vegetati water 图 3-1 FOXPRO 高 光 谱 数 据 库 数 据 结 构 整 理 一 览 slopedire Man_name characte shape slopeangele type bottom pollu_inte pollute_cond condition watername slopedir Man_name characte Shape slopang type bottom Pollu_in Pollute_co Water_co watername condition weathering construct rockname stru_cons decade row_dire grow_cond fertilize irrigate phenology Conditio weatheri Construc Rockname Stru_con Decade Rack_ana Row_dir e growcond fertiliz irrigate phenolog tightness eros_type originrock utility quality humidity originsoil landforms rough drain_cond Tightness Crostype Originro utility quality humidity Originso landform rough draincon 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 20

21 第 三 章 基 于 网 络 的 光 谱 数 据 库 子 系 统 3.3 数 据 结 构 设 计 数 据 结 构 设 计 主 要 指 数 据 在 数 据 库 中 的 存 储 模 式, 这 是 整 个 系 统 的 根 本 所 在, 数 据 集 中 在 这 里, 整 个 系 统 能 否 顺 利 的 运 行, 运 行 的 是 否 通 畅 很 大 程 度 上 取 决 于 这 部 分 实 现 的 好 坏 这 部 分 主 要 是 由 当 前 很 为 流 行 的 大 型 数 据 库 平 台 ORACLE 来 实 现 相 关 技 术 背 景 ORACLE 数 据 库 平 台 是 有 美 国 甲 骨 文 公 司 (ORACLE) 开 发 的, 该 公 司 自 1977 年 诞 生 第 一 个 数 据 产 品, 到 现 在 已 经 发 展 到 了 ORACLE9i,11i, 其 在 数 据 库 市 场 的 份 额 一 直 都 居 于 前 列 这 是 整 个 系 统 的 一 个 核 心, 主 要 负 责 数 据 的 存 放 整 理 保 护, 结 合 这 个 应 用 需 求 而 言, 他 的 优 势 在 于 : (1)ORACLE 是 一 个 成 熟 的 大 型 的 数 据 库 应 用 开 发 软 件, 具 有 良 好 的 可 用 性 易 管 理 性 易 维 护 性 易 移 植 性 和 可 靠 的 安 全 性 (2)ORACLE 在 管 理 上 可 以 赋 予 不 同 用 户 不 同 的 角 色 和 权 限, 可 以 动 态 静 态 多 种 方 式 进 行 数 据 库 的 备 份, 从 而 最 大 限 度 的 保 证 了 数 据 库 的 安 全 性 (3)ORACLE 突 破 传 统 的 关 系 数 据 库 理 论, 引 入 了 面 向 对 象 技 术 借 助 对 象 的 封 装 继 承 和 多 态 性,ORACLE 能 以 最 便 于 应 用 的 模 式 存 放 结 构 化 和 非 结 构 化 数 据 这 使 得 系 统 能 很 容 易 地 用 多 维 格 式 来 存 放 数 据 (4)ORACLE 8i 是 第 一 个 专 门 为 Internet 的 开 发 和 发 布 而 设 计 的 数 据 平 台, 在 网 络 方 面 的 性 能 上 比 较 出 众, 尤 其 是 和 同 样 在 网 络 方 面 具 有 优 势 的 java 语 言 相 结 合, 为 本 系 统 将 来 多 用 户 远 程 访 问 大 范 围 应 用 提 供 了 技 术 保 障 我 们 这 里 更 是 采 用 了 更 进 一 步 的 ORACLE9i (5)ORACLE9i 进 一 步 强 化 了 ORACLE 对 网 络 功 能 的 支 持, 在 原 有 单 一 的 数 据 库 平 台 基 础 上, 集 成 了 ORACLE 自 己 开 发 的 网 络 应 用 服 务 器, 即 :IAS, 其 中 包 括 自 带 了 Apache Web Server, 并 增 强 了 对 JAVA 开 发 语 言 的 支 持, 例 如 : 对 JAVA XML SQL 的 一 体 化 支 持, 更 加 完 善 的 J2EE 平 台 等 等 (6)ORACLE 具 有 强 大 的 分 布 式 数 据 处 理 能 力 和 数 据 集 成 能 力, 这 样 为 数 据 库 系 统 在 大 型 化 之 后, 还 能 够 保 持 良 好 的 系 统 特 性, 比 如 : 可 靠 的 稳 定 性 访 问 的 快 速 性 等 提 供 了 有 力 的 保 障 (7) 作 为 一 个 大 型 数 据 库,ORACLE 为 数 据 仓 库 的 数 据 集 成 提 供 了 有 立 的 支 持, 提 供 了 完 善 的 数 据 仓 库 解 决 方 案, 也 就 是 在 存 贮 了 大 量 数 据 的 后 期 的 综 合 分 析 工 作 方 面 也 有 不 错 的 设 计, 这 为 本 高 光 谱 数 据 库 系 统 未 来 的 发 展, 发 掘 已 有 数 据 间 潜 在 地 联 系 提 供 了 技 术 支 持 其 主 要 结 构 如 下 图, 数 据 库 平 台 是 全 系 统 的 心 脏, 是 数 据 存 放 的 核 心, 是 各 种 诉 求 的 最 21

22 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 终 目 的 地, 其 安 装 配 置 性 能 调 整 本 身 也 是 一 项 复 杂 的 工 作 子 库 2 子 库 1 分 并 行 布 处 式 理 DBMS 人 机 界 面 子 库 n 数 据 仓 库 支 持 系 统 数 据 仓 库 图 3-2 数 据 库 结 构 图 数 据 结 构 设 计 流 程 这 里 主 要 指 的 是 数 据 库 中 存 储 结 构 的 逻 辑 设 计, 其 内 容 包 括 了 对 应 于 概 念 级 的 概 念 模 式, 即 数 据 库 管 理 系 统 要 处 理 的 数 据 库 全 局 逻 辑 结 构, 也 包 括 了 对 应 于 用 户 级 的 外 模 式 整 个 设 计 过 程 可 分 为 5 个 阶 段, 如 下 图 3-3 所 示 需 求 分 析 概 念 结 构 设 计 逻 辑 结 构 设 计 物 理 结 构 设 计 数 据 库 建 设 图 3-3 高 光 谱 数 据 管 理 子 系 统 设 计 流 程 根 据 上 述 流 程, 整 个 过 程 可 以 细 化 为 : (1) 需 求 分 析, 上 文 已 有, 不 再 赘 述 ; (2) 根 据 制 定 的 测 量 标 准 和 规 范, 对 应 于 各 个 测 量 参 量, 设 计 概 念 模 式, 分 析 数 据 间 关 系, 得 到 核 心 的 数 据 作 为 主 键, 确 定 连 接 关 系 ; (3) 结 合 关 系 数 据 库 设 计 规 范, 考 虑 到 数 据 存 储 的 冗 余 性 数 据 查 询 的 效 率, 进 行 合 理 的 逻 辑 结 构 设 计, 规 划 到 数 据 表 这 一 层 ; (4) 结 合 硬 件 基 础 和 数 据 库 存 放 原 理, 进 行 合 理 的 物 理 结 构 设 计, 以 保 证 数 据 能 够 得 到 最 有 效 的 存 放, 并 有 一 定 的 冗 余 度 以 保 证 数 据 的 安 全 ; (5) 实 施 数 据 库 建 设 其 中 逻 辑 结 构 的 设 计 是 最 为 核 心 的 部 分, 他 决 定 了 最 基 本 的 数 据 库 存 储 单 位 表 的 结 22

23 第 三 章 基 于 网 络 的 光 谱 数 据 库 子 系 统 构, 这 也 就 决 定 了 整 个 系 统 中 数 据 的 输 入 输 出, 它 将 根 本 性 影 响 到 整 个 系 统 的 性 能 逻 辑 结 构 设 计 逻 辑 结 构 设 计 主 要 是 指 数 据 在 ORACLE 平 台 下 的 数 据 库 中 存 储 的 逻 辑 结 构, 具 体 就 是 数 据 表 和 数 据 表 空 间 的 设 计 数 据 表 是 数 据 存 储 的 基 本 单 位, 各 种 数 据 根 据 自 身 的 特 点 以 及 互 相 之 间 的 联 系, 按 照 ORACLE 规 定 的 一 定 的 数 据 类 型, 设 定 表 的 字 段 设 置, 确 定 主 键, 确 定 连 接 方 式 如 果 有 需 要, 例 如 : 有 图 片 数 据 等 数 据 量 比 较 大 的 字 段, 则 需 要 分 配 好 数 据 表 空 间, 以 保 证 查 询 时 不 必 反 复 的 读 取 这 一 庞 大 的 空 间, 从 而 提 高 查 询 效 率 本 研 究 在 提 出 针 对 需 求 设 计 表 结 构 的 同 时, 力 图 根 据 高 光 谱 数 据 的 特 点, 确 定 一 个 高 光 谱 数 据 库 系 统 中 基 本 的 数 据 存 储 规 范, 从 而 为 今 后 开 发 高 光 谱 数 据 库 系 统 打 下 基 础 针 对 高 光 谱 数 据 的 普 遍 特 点 是 光 谱 数 据 + 图 片 数 据 + 各 种 属 性 数 据, 本 研 究 提 出 的 规 范 就 是 : 应 该 采 用 : 光 谱 数 据 表 组 + 属 性 数 据 表 组 的 存 储 方 式 每 个 表 组 中 表 的 数 量 根 据 数 据 量 的 大 小 而 定, 两 者 通 过 能 够 唯 一 确 定 对 象 样 本 的 字 段 进 行 连 接, 即 : 主 关 键 字 光 谱 数 据 表 组 中 的 表 主 要 存 放 对 象 的 光 谱 数 据, 根 据 ORACLE 设 定 的 数 据 类 型, 又 有 几 种 存 储 方 式, 此 处 和 图 像 样 本 库 中 分 别 采 用 了 两 种 方 式, 最 后 将 加 以 比 较 而 属 性 数 据 表 组 中 的 表 则 主 要 存 放 对 象 的 各 种 其 他 属 性 数 据, 包 括 : 测 量 属 性 数 据 地 学 属 性 数 据 其 特 征 属 性 数 据 以 及 图 片 属 性 数 据 图 片 属 性 数 据 一 般 需 要 单 独 开 辟 表 空 间 存 储, 因 为 一 般 情 况 下, 图 片 数 据 相 对 于 普 通 属 性 数 据 属 于 需 要 占 据 较 大 存 储 空 间 的 数 据, 分 别 存 储 有 利 于 查 询 是 提 高 效 率, 节 省 时 间 结 合 上 述 存 储 规 范, 本 系 统 数 据 设 计 如 下 : 首 先 全 部 数 据 存 放 于 两 个 表, 三 个 表 空 间 中, 一 个 表 是 光 谱 数 据 表, 表 名 为 wheatspectrum, 主 要 存 放 光 谱 数 据, 见 表 3-1 ; 一 个 表 是 其 他 属 性 数 据 表, 表 名 为 Wheatnature, 见 表 3-2, 两 者 通 过 统 一 的 联 合 主 关 键 字 连 接, 即 Sampleno+Sampledata 两 个 字 段, 因 为 该 数 据 源 是 有 时 间 和 样 本 两 者 来 确 定 唯 一 性 的 三 个 存 储 表 空 间 分 别 对 应 于 两 张 表 和 存 储 图 片 数 据 的 picture 字 段 在 存 储 光 谱 数 据 时, 这 里 采 用 了 展 开 存 储 的 方 式, 即 每 个 波 段 一 条 记 录, 目 前 一 共 有 的 是 一 天 48 个 样 本 的 光 谱, 每 个 样 本 有 350nm-2500nm, 总 共 2151 个 波 段 的 数 据, 也 就 是 说 目 前 光 谱 数 据 表 中 总 共 有 = 条 数 据 这 种 存 储 方 式 的 特 点 是 : 每 个 波 段 设 定 为 一 条 记 录, 所 以 读 取 速 度 快, 易 于 查 找, 结 构 简 单, 扩 展 性 强, 不 受 仪 器 变 化, 即 波 段 总 数 变 化 的 影 响, 对 于 后 面 数 据 分 析 处 理 时 提 取 数 据 十 分 有 利 这 种 存 储 方 式 的 缺 点 有 : 记 录 条 数 众 多, 如 果 是 100 天 的 数 据, 则 会 有 一 千 万 条 数 据, 但 是 对 于 ORACLE 这 种 大 型 数 据 库 来 说, 仍 然 可 以 满 足 需 要 处 理 的 需 要 ;Sampleno+Sampledata 两 个 字 段 做 的 联 合 主 关 键 字 存 储 的 冗 余 度 比 较 大, 占 据 了 一 定 的 存 储 空 间, 但 是 对 于 当 前 日 益 便 宜 的 存 储 空 间 而 言, 是 可 以 接 受 的, 同 时 这 种 冗 余 可 以 通 过 在 数 据 表 上 加 索 引 (index), 进 行 分 区 等 数 据 库 性 能 调 整 操 作 来 进 一 步 的 提 高 查 询 检 索 的 效 率 23

24 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 字 段 字 段 类 型 长 度 及 小 数 位 显 示 名 称 备 注 Datano Number 10 编 号 Sampleno Varchar2 16 样 本 名 称 Wavelength Number 4 波 段 Wavedata Number 11,7 值 Sampledate Number 8 采 样 日 期 表 3-1 光 谱 数 据 表 wheatspectrum 结 构 字 段 字 段 类 型 长 度 及 名 称 备 注 小 数 位 Datano Number 8 编 号 Sampleno Varchar2 16 样 本 名 称 Kind Varchar2 8 品 种 Season Number 1 季 相 0: 冬 小 麦 ( 春 玉 米 );1: 春 小 麦 ( 夏 玉 米 ) Operation Varchar2 16 处 理 名 称 Crown Number 1 冠 层 / 叶 片 0: 冠 层 ;1: 叶 片 ( 玉 米 与 小 麦 相 同 ) Sampledate Number 8 采 样 日 期 Stages Varchar2 16 生 育 期 Leafage Number 4,2 叶 龄 指 数 Leafcolor Varchar2 8 叶 色 plantheight Number 4 株 高 单 位 :mm Cover Number 3,2 覆 盖 度 百 分 比 Stemdiameter Number 3,1 茎 粗 单 位 :mm Rowspace Number 3 行 距 单 位 :mm LAD Number 3 平 均 叶 倾 角 Leafdirec Number 3 叶 向 值 Growthstatus Varchar2 128 生 长 状 况 非 检 索 字 段 Measuredate Number 4 观 测 时 间 前 两 位 表 示 小 时, 后 两 位 表 示 分 Instrument Varchar2 16 测 试 仪 器 FOV Number 3,1 视 场 角 Height Nmber 4 离 地 高 度 单 位 :mm 24

25 第 三 章 基 于 网 络 的 光 谱 数 据 库 子 系 统 Obangle Number 2 观 测 角 度 Windspeed Number 4,2 风 速 m/s Winddire Varchar2 4 风 向 Cloudine Number 4,2 云 量 % Visibility Number 2 能 见 度 Km Sunangel Number 2 太 阳 角 LAI number 4,2 叶 面 积 指 数 SLA Number 6,3 比 叶 重 单 位 :ug/cm2 Ltemperature number 4,2 叶 片 温 度 C LWC number 4,2 叶 片 含 水 量 % RWC number 4,2 叶 片 相 对 含 水 量 % PWC number 4,2 植 株 含 水 量 % lchla number 4,2 叶 片 叶 绿 素 a % lchlb number 4,2 叶 片 叶 绿 素 b % lchlab number 4,2 叶 片 叶 绿 素 ab % ltn number 4,2 叶 片 全 氮 % lprotein number 4,2 叶 片 蛋 白 质 % lamylum number 4,2 叶 片 淀 粉 % lcellulose number 4,2 叶 片 纤 维 素 % llignin number 4,2 叶 片 木 质 素 % lanthocyanin number 4,2 叶 片 花 青 素 % lxanthin number 4,2 叶 黄 素 % Photospeed number 5,3 光 合 速 率 Risespeed number 5,3 蒸 腾 速 率 schla number 4,2 茎 鞘 叶 绿 素 a % schlb number 4,2 茎 鞘 叶 绿 素 b % schlab number 4,2 茎 鞘 叶 绿 素 ab % stn number 4,2 茎 鞘 全 氮 % sprotein number 4,2 茎 鞘 蛋 白 质 % samylum number 4,2 茎 鞘 淀 粉 % scellulose number 4,2 茎 鞘 纤 维 素 % slignin number 4,2 茎 鞘 木 质 素 % picture Blob 照 片 表 3-2 属 性 数 据 表 Wheatnature 结 构 25

26 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 管 理 系 统 设 计 数 据 管 理 工 作 主 要 由 ORACLE 系 统 的 数 据 库 管 理 员, 即 DBA 来 完 成, 在 数 据 库 级 别 的 数 据 管 理 维 护 备 份, 用 户 的 身 份 认 证 授 权 等 采 用 ORACLE 平 台 的 管 理 工 具 即 可, 所 以 初 级 开 发 无 需 专 门 开 发 管 理 员 界 面, 对 于 不 是 很 复 杂 的 系 统 这 样 有 利 于 系 统 的 易 维 护 性 这 里 需 要 特 别 提 到 的 是, 在 大 规 模 录 入 数 据 时, 采 用 了 ORACLE 的 批 量 数 据 录 入 工 具 - SQL*Loader ORACLE 提 供 了 多 种 批 量 录 入 数 据 的 方 式, 如 从 ODBC 设 置 连 接, 使 用 SQL*Loader 工 具 等 等, 经 过 实 际 测 试,SQL*Loader 更 为 方 便, 该 工 具 允 许 多 种 输 入 文 件, 格 式, 数 据 类 型 ; 接 受 SQL 函 数 ; 同 时 运 行 加 载 多 个 表 ; 产 生 主 键 ; 从 不 同 数 据 源 加 载 ; 错 误 报 告 ; 使 用 高 性 能 的 直 接 路 径 加 载 等 等, 本 系 统 初 期 均 是 将 数 据 整 理 成 文 本 文 件, 然 后 以 SQL*Loader 工 具 顺 利 导 入 3.4 网 络 服 务 系 统 设 计 网 络 服 务 系 统 主 要 指 中 间 层 中 的 网 络 服 务 器 和 应 用 服 务 器 组 件, 在 整 个 系 统 中 这 部 分 起 着 纽 带 的 作 用, 连 接 了 前 台 的 用 户 服 务 界 面 和 后 台 核 心 的 数 据 存 储 平 台, 还 负 责 对 网 络 协 议 的 支 持 以 发 布 到 internet 之 上 下 一 章 数 据 分 析 系 统 的 程 序 也 都 挂 靠 在 这 一 部 分, 由 应 用 服 务 器 负 责 和 整 个 系 统 接 驳 当 前 很 多 中 小 网 站 采 用 的 是 比 较 流 行 的 Apache+Tomcat 组 件 配 置, 尤 其 是 Tomcat4.0 可 以 直 接 单 独 使 用, 本 系 统 这 部 分 采 用 的 就 是 Tomcat 相 关 技 术 背 景 Tomcat 是 jakarta 项 目 中 的 一 个 重 要 的 子 项 目, 其 被 JavaWorld 杂 志 的 编 辑 选 为 2001 年 度 最 具 创 新 的 java 产 品 (Most Innovative Java Product), 同 时 它 又 是 sun 公 司 官 方 推 荐 的 servlet 和 jsp 容 器 ( 具 体 可 以 见 因 此 其 越 来 越 多 的 受 到 软 件 公 司 和 开 发 人 员 的 喜 爱 servlet 和 jsp 的 最 新 规 范 都 可 以 在 tomcat 的 新 版 本 中 得 到 实 现 tomcat 随 着 java 的 流 行, 作 为 一 个 开 源 的 servlet 容 器, 其 在 web 上 的 应 用 也 越 来 越 广, 应 用 前 景 越 来 越 广 tomcat 最 新 版 本 为 4.0.1, 这 个 版 本 用 了 一 个 新 的 servlet 容 器 Catalina, 完 整 的 实 现 了 servlet2.3 和 jsp1.2 规 范 安 装 该 组 件 之 前, 系 统 必 须 安 装 了 java 的 开 发 工 具 jdk1.2 以 上 的 版 本 Tomcat4.0 包 含 三 个 主 要 的 部 分, 包 括 : (1)Catalina - 一 个 符 合 Servlet API 规 范 2.3 的 Servlet Container (2)Jasper - 一 个 符 合 JSP 规 范 1.2 的 JSP 编 译 器 和 运 行 环 境 (3)Webapps - Tomcat 中 包 含 的 一 些 例 子 和 用 于 测 试 的 web 例 程, 以 及 相 关 文 档 26

27 第 三 章 基 于 网 络 的 光 谱 数 据 库 子 系 统 服 务 平 台 比 较 当 前 流 行 的 网 络 服 务 平 台 主 要 有 如 下 几 种 :Apache+Tomcat; 微 软 的 PWS 和 IIS; 以 及 IBM 的 Webserver+weblogical 等 这 三 种 各 自 有 他 们 的 特 点 : (1)Apache+Tomcat: 这 套 组 件 在 上 文 已 有 说 明,Apache 在 解 释 静 态 页 面 上 比 较 出 色, 以 至 于 ORACLE9i 之 后, 也 将 其 作 为 自 己 的 一 个 组 件 固 化 在 产 品 之 中,Tomcat 则 在 动 态 页 面 的 解 释 上 更 为 出 色,4.0 以 后 更 有 兼 容 apache 的 趋 势, 也 就 是 只 要 一 个 Tomcat 就 可 以 支 持 网 络 服 务 了 这 套 组 件 优 势 在 于 所 有 全 部 是 免 费 的, 而 且 对 java 系 列 的 网 络 开 发 有 着 良 好 的 支 持, 整 个 组 件 短 小 精 悍 ; 缺 点 在 于 相 对 来 说 可 能 需 要 比 较 复 杂 的 配 置, 而 且 免 费 则 缺 乏 相 关 售 后 服 务 ( 2 ) Microsoft PWS & IIS: 其 全 称 分 别 是 Personal Web Server 和 Internet Information Server, 是 微 软 开 发 的 网 络 应 用 服 务 器 组 件, 其 作 为 一 个 组 件 分 别 包 含 在 windows98 和 windows NT 系 列 操 作 系 统 之 中, 所 以 实 质 其 实 是 一 致 的 它 主 要 是 针 对 微 软 的 网 络 开 发 语 言 ASP 所 设 置 的,ASP 一 直 都 是 网 络 开 发 中 非 常 流 行 的 一 种 开 发 语 言, 在 微 软 发 布 了.NET 技 术 之 后, 更 有 更 进 一 步 的 趋 势 这 套 组 件 的 特 点 主 要 是 由 于 他 嵌 入 在 大 家 常 见 的 windows 操 作 系 统 之 中, 所 以 安 装 操 作 都 相 对 方 便, 用 户 也 比 较 熟 悉, 缺 点 则 是 安 全 性 相 对 较 差 (3)IBM 的 Webserver+weblogical: 这 套 系 统 是 IBM 开 发 的 大 型 网 络 服 务 组 件, 这 套 系 统 的 最 大 特 点 就 是 真 正 的 商 用 服 务 系 统, 所 以 有 着 技 术 成 熟 体 系 结 构 完 善 和 良 好 的 售 后 服 务 等 特 点, 是 商 务 应 用 系 统 的 首 选 方 案 缺 点 就 是 价 格 不 菲 市 场 中 还 有 诸 如 ORACLE 开 发 的 IAS 等 网 络 服 务 组 件, 这 里 就 不 一 一 详 述 了, 而 我 之 所 以 选 择 了 Apache+Tomcat, 主 要 则 是 由 于 本 系 统 的 前 台 和 应 用 分 析 模 块 都 是 以 java 语 言 系 列 JSP javabean 等 来 开 发 的, 而 且 系 统 规 模 相 对 较 小, 投 入 也 不 可 能 太 多, 所 以 选 择 了 对 jsp 等 支 持 良 好 而 又 免 费 的 Apache+Tomcat 这 套 网 络 服 务 组 件 系 统 配 置 及 与 数 据 库 的 连 接 作 为 整 个 系 统 的 纽 带, 网 络 应 用 服 务 系 统 起 到 的 是 承 上 启 下 的 作 用, 承 上 是 指 和 前 台 页 面 进 行 交 互, 接 受 用 户 提 交 的 各 种 信 息, 这 部 分 主 要 是 由 系 统 内 部 的 一 系 列 协 议 控 制 完 成 的 ; 启 下 则 是 与 后 台 的 数 据 库 平 台 进 行 通 信, 提 交 从 前 台 接 受 信 息 而 形 成 的 指 令, 并 从 数 据 库 中 获 取 相 应 信 息 的 过 程 网 络 服 务 系 统 和 数 据 库 连 接 在 这 里 主 要 有 两 种 方 式 : 一 种 是 采 用 ORACLE 自 身 携 带 的 类 库 中 的 固 定 类, 在 连 接 程 序 中 主 要 以 jdbc:oracle 的 方 式 直 接 连 接 java 的 网 络 数 据 库 连 接 驱 动 程 序 JDBC 和 ORACLE 数 据 库 ; 另 一 种 则 是 以 微 软 的 数 27

28 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 据 库 连 接 驱 动 程 序 ODBC 作 为 中 间 连 接 层, 连 接 JDBC 和 ORACLE, 在 连 接 程 序 中 的 表 现 形 式 主 要 为 jdbc:odbc:oracle 显 然, 前 者 的 连 接 更 为 直 接, 所 以 运 行 速 度 也 会 相 对 较 快, 但 是 由 于 本 系 统 的 开 发 还 是 基 于 WINDOWS XP 平 台, 所 以 配 置 jdbc 需 要 java 类 库 的 支 持, 相 对 比 较 复 杂, 同 时 为 日 后 的 扩 展 和 移 交 等 工 作 造 成 一 定 麻 烦 ; 后 者 则 是 以 windows 平 台 自 带 的 odbc 数 据 库 驱 动 程 序 作 为 中 间 层, 在 设 置 上 具 有 简 便 易 行 的 特 点, 虽 然 可 能 速 度 相 对 稍 慢, 但 是 绝 对 不 是 系 统 瓶 颈, 亦 不 会 对 全 系 统 性 能 造 成 根 本 影 响, 同 时 极 大 的 方 便 了 系 统 的 扩 展 性 易 维 护 易 操 作 性, 所 以 选 用 了 后 者 下 图 是 底 层 连 接 的 示 意 图 ODBC 应 用 程 序 驱 动 程 序 管 理 器 ODBC 驱 动 程 序 客 户 端 网 络 支 撑 软 件 服 务 器 端 网 络 支 撑 软 件 网 络 数 据 库 管 理 系 统 数 据 库 数 据 库 图 3-4 通 过 ODBC 与 远 程 数 据 库 交 互 的 框 图 网 络 服 务 系 统 基 本 设 计 本 系 统 主 要 是 通 过 网 页 等 常 见 的 网 络 形 式, 根 据 用 户 提 出 的 需 求, 将 数 据 库 服 务 获 得 的 内 容 发 布, 并 向 用 户 提 供 对 象 直 观 的 属 性 数 据 和 光 谱 曲 线 图, 以 及 分 析 结 果 等 信 息 随 着 本 系 统 的 不 断 发 展, 将 来 还 会 不 断 添 加 各 类 与 地 物 波 谱 相 关 的 计 算 显 示 的 软 件 工 具 以 及 附 加 的 直 接 使 用 的 分 析 功 能, 同 时 还 应 具 有 调 整 网 络 性 能 等 网 络 服 务 功 能 服 务 系 统 的 运 行 性 能 设 计 主 要 考 虑 稳 定 安 全 容 错 维 护 效 率 等 方 面 的 内 容 : (1) 稳 定 性 : 在 软 硬 件 环 境 配 置 正 确 的 条 件 下, 系 统 能 够 长 时 间 稳 定 运 行, 不 宕 机 ; (2) 安 全 性 ; 能 够 进 行 严 格 的 用 户 身 份 检 查 和 数 据 保 密 性 检 查, 不 同 权 限 的 用 户 享 有 28

29 第 三 章 基 于 网 络 的 光 谱 数 据 库 子 系 统 对 不 同 数 据 的 浏 览 查 询 等 操 作 能 力, 禁 止 越 权 访 问 ; (3) 容 错 性 : 对 用 户 给 出 的 各 种 查 询 条 件 出 现 错 误 时, 应 给 用 户 明 确 的 错 误 提 示, 并 指 导 用 户 完 成 操 作 ; (4) 系 统 维 护 简 便, 升 级 平 稳, 无 须 专 业 技 术 人 员 指 导, 维 护 人 员 即 可 根 据 使 用 说 明 完 成 系 统 的 维 护 及 升 级 操 作 ; (6) 系 统 采 用 优 化 的 查 询 及 数 据 处 理 技 术, 减 少 用 户 请 求 的 响 应 时 间 (7) 在 一 定 时 间 之 内 以 电 子 邮 件 硬 复 制 网 页 等 形 式 响 应 各 类 用 户 的 需 求 3.5 前 台 发 布 界 面 设 计 前 台 界 面 是 本 系 统 的 脸 面, 主 要 负 责 和 用 户 交 换 信 息, 从 用 户 处 接 收 需 求 信 息, 然 后 提 交 的 中 间 的 应 用 逻 辑 层, 同 时 得 到 中 间 层 从 数 据 库 层 返 回 的 数 据, 并 以 数 据 表 格 图 片 曲 线 乃 至 下 载 文 件 等 方 式 显 示 给 用 户 相 关 技 术 背 景 在 前 台 中, 核 心 技 术 是 html 语 言 和 java 语 言 系 列 的 jsp java bean, 这 是 本 数 据 库 的 另 一 个 核 心, 作 为 整 个 数 据 库 系 统 的 前 端 界 面 (GUI), 使 得 用 户 能 够 和 数 据 库 进 行 良 好 友 善 的 交 流, 同 时 支 持 作 为 日 后 国 家 级 的 数 据 库 的 网 络 使 用 能 力 JAVA 语 言 与 C C++ 语 言 是 当 前 软 件 开 发 人 员 最 为 常 用 的 两 种 语 言, 具 有 很 多 优 秀 的 特 点 : (1)Java 是 标 准 的 面 向 对 象 的 编 程 语 言, 符 合 当 前 的 编 程 语 言 发 展 趋 势, 具 有 良 好 的 结 构 化 编 程 方 法, 程 序 易 读 性 强, 具 有 多 线 程 处 理 能 力, 无 论 在 网 络 还 是 非 网 络 的 开 发 都 可 以 胜 任 (2)Java 具 有 良 好 的 可 移 植 性, 利 用 自 己 独 创 的 java 虚 拟 机 技 术 (JAVA VM) 可 以 无 视 平 台 的 差 异, 更 在 前 阶 段 与 微 软 公 司 的 官 司 中 取 得 了 胜 利, 强 制 在 windows 系 统 中 加 入 java 虚 拟 机, 为 java 的 发 展 起 到 了 重 要 的 作 用, 对 于 国 家 优 先 发 展 的 unix/linux 系 统 更 是 有 着 天 生 良 好 的 兼 容 性 (3)Java 在 网 络 方 面 具 有 特 天 独 厚 的 优 势, 基 于 java 技 术 的 jsp,javabeans,java servelet,java applet 等 专 门 技 术, 同 时 也 提 供 了 很 多 免 费 的 功 能 组 件 和 插 件, 为 大 型 数 据 库 的 远 程 多 用 户 访 问 提 供 了 坚 实 的 技 术 基 础 (4)Java 具 有 良 好 的 易 学 易 用 性, 避 开 了 c++ 中 最 为 艰 深 的 指 针 概 念 和 内 存 管 理, 自 动 收 集 分 配 资 源, 封 装 性 好, 组 件 丰 富,jsp javabean 等 网 络 开 发 组 件 的 语 法 与 java 几 乎 一 致, 无 需 单 独 学 习, 从 而 为 快 速 广 泛 的 培 训 编 程 使 用 维 护 人 员, 提 供 了 非 常 便 利 的 条 件 29

30 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 (5)Html: 超 文 本 标 记 语 言, 自 从 万 维 网 (WWW) 蓬 勃 发 展 以 来, 一 直 是 网 络 开 发 的 最 基 本 技 术, 简 单 易 学, 可 以 被 浏 览 器 简 单 的 判 读, 是 最 常 见 的 internet 技 术 XML, 扩 展 标 识 语 言 发 展, 是 其 未 来 的 发 展 方 向 选 择 JAVA 语 言 系 列 的 一 个 主 要 考 虑 因 素 就 是 ORACLE 和 java 的 紧 密 关 系 ORACLE 的 开 发 一 直 都 对 java 语 言 给 予 了 极 大 的 支 持, 其 第 一 个 测 试 版 本 也 是 以 java 语 言 测 试 的, 基 于 对 网 络 方 面 的 考 虑, 在 9i 之 后 更 是 在 自 己 的 数 据 库 产 品 中 加 入 了 对 java xml sql 等 的 一 体 化 支 持, 其 不 但 采 用 了 apache 作 为 其 网 络 服 务 器, 其 自 己 开 发 的 应 用 服 务 器 组 件 ORACLE IAS 更 是 100% 的 J2EE 架 构 基 于 以 上 这 些 因 素, 以 及 java 在 网 络 开 发 方 面 的 优 势, 本 系 统 采 用 了 SUN 公 司 的 JAVA 语 言 系 列 进 行 开 发 界 面 设 计 与 开 发 在 界 面 设 计 和 开 发 中, 本 系 统 充 分 调 研 了 当 前 国 内 外 相 关 类 型 数 据 库 的 界 面 方 式, 并 结 合 了 自 身 需 求 以 及 高 光 谱 数 据 的 各 种 特 点, 力 求 达 到 让 用 户 感 觉 友 好, 充 分 考 虑 到 用 户 使 用 的 便 捷 性, 并 且 要 具 有 相 当 的 容 错 性 及 错 误 提 示, 来 保 证 整 个 数 据 库 系 统 能 够 方 便 顺 畅 的 运 行 界 面 设 计 的 第 一 步 是 要 根 据 需 求, 确 定 页 面 所 要 提 供 的 功 能 模 块 与 选 项, 其 次 按 照 功 能 模 块 以 及 用 户 的 需 求 设 定 连 接 关 系, 即 网 络 站 点 结 构, 然 后 进 一 步 细 化 需 求, 确 定 输 入 输 出 的 方 式, 最 后 确 定 每 一 界 面 的 具 体 形 式 根 据 这 些 设 计, 就 可 以 逐 步 的 设 定 类 变 量 等 以 html 和 jsp 等 技 术 进 行 开 发 界 面 功 能 结 构 界 面 功 能 结 构 设 计 实 际 上 就 是 将 需 求 模 块 化, 将 同 样 的 功 能 聚 类, 比 如 : 样 本 光 谱 的 显 示 和 图 像 样 本 库 中 图 谱 合 一 的 光 谱 显 示 就 可 以 统 一 为 一 类 功 能, 这 样 可 以 为 前 台 开 发 理 清 思 路, 同 时 为 其 进 行 适 当 的 页 面 规 划, 为 后 来 设 计 站 点 结 构 和 页 面 打 好 基 础 在 本 系 统 中, 主 要 的 模 块 有 如 下 几 个 方 面 : 数 据 库 的 维 护 操 作 属 性 数 据 的 查 询 和 浏 览 光 谱 数 据 的 显 示 以 及 光 谱 分 析 功 能 如 图 3-5 所 示 站 点 结 构 图 根 据 整 理 好 的 功 能 结 构 模 块, 结 合 用 户 的 需 求, 考 虑 到 使 用 情 况, 下 一 步 就 是 设 计 整 个 网 络 前 台 界 面 的 站 点 结 构, 也 就 是 整 个 网 络 系 统 的 连 接 关 系 如 下 图 3-6 所 示 30

31 第 三 章 基 于 网 络 的 光 谱 数 据 库 子 系 统 主 页 面 用 户 登 陆 界 面 数 据 库 维 护 查 询 与 浏 览 光 谱 显 示 光 谱 分 析 功 能 添 加 更 新 备 份 删 除 授 权 多 条 件 检 索 页 面 光 谱 曲 线 图 简 单 光 谱 分 析 应 用 模 型 图 3-5 功 能 界 面 结 构 图 图 3-6 系 统 网 络 站 点 结 构 图 31

32 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 界 面 样 式 当 前 网 络 已 经 不 再 是 很 新 鲜 的 东 西, 各 种 网 站 也 层 出 不 穷, 因 此 很 多 时 候 借 鉴 已 有 的 成 果 可 以 降 低 开 发 的 难 度, 同 时 提 高 界 面 的 友 好 性 在 选 择 界 面 样 式 的 时 候, 本 系 统 参 考 了 国 内 外 一 些 网 络 数 据 库 的 界 面 样 式 比 较 典 型 的 几 个 例 子 有 : (1) 国 外 的 science@direct 文 献 数 据 库 :( 图 3-6 science@direct 文 献 数 据 库 界 面 (2) 中 国 科 技 书 刊 数 据 库 :( 图 3-7 中 国 科 技 书 刊 数 据 库 界 面 32

33 第 三 章 基 于 网 络 的 光 谱 数 据 库 子 系 统 (3) 中 国 水 生 维 管 束 植 物 图 谱 数 据 库 :( 图 3-8 中 国 水 生 维 管 束 植 物 图 谱 数 据 库 界 面 从 这 三 个 数 据 库 的 样 式 可 以 看 出,2 3 两 个 样 式 比 较 简 洁, 界 面 比 较 友 好,2 属 于 文 献 数 据 库,3 则 属 于 返 回 数 据 的 数 据 库, 所 以 两 者 的 数 据 性 质 有 区 别, 这 也 导 致 两 者 在 技 术 选 择 上 的 不 同,2 使 用 了 html 中 的 frame 技 术, 而 3 主 要 应 用 的 是 html 中 table 技 术 一 般 来 说 table 较 frame 有 读 取 速 度 快, 格 式 简 洁, 不 易 出 错 等 优 点 同 时 考 虑 到 本 系 统 特 点, 本 系 统 属 于 需 要 返 回 数 据 的 数 据 库, 尤 其 是 数 据 的 属 性 繁 多, 使 用 frame 则 会 出 现 浏 览 数 据 时 需 要 频 繁 翻 页 的 情 况, 再 考 虑 到 table 的 优 势, 选 用 了 table 作 为 主 要 技 术, 考 虑 到 本 系 统 属 性 过 于 繁 多, 与 3 的 特 点 不 是 很 符 合, 所 以 又 借 鉴 了 中 科 院 遥 感 卫 星 地 面 站 开 发 的 遥 感 卫 星 图 像 检 索 数 据 库 的 界 面 样 式 (cbs.rsgs.ac.cn): 33

34 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 图 3-9 遥 感 卫 星 图 像 检 索 数 据 库 界 面 该 界 面 与 本 系 统 最 大 的 共 同 点 就 是 需 要 罗 列 的 查 询 条 件 以 及 返 回 的 数 据 繁 多, 这 为 本 系 统 的 建 立 提 供 了 良 好 的 参 考 所 以, 综 合 以 上 各 个 界 面 的 优 点, 以 及 本 系 统 数 据 的 特 点, 最 后 本 系 统 页 面 的 主 要 样 式 为 : 34

35 第 三 章 基 于 网 络 的 光 谱 数 据 库 子 系 统 图 3-10 主 页 面 图 3-11 多 条 记 录 浏 览 及 查 询 结 果 页 面 35

36 网 络 环 境 下 的 高 光 谱 数 据 库 构 建 及 其 应 用 实 践 图 3-13 样 本 光 谱 显 示 及 分 析 页 面 图 3-12 查 询 及 单 条 记 录 显 示 页 面 属 性 图 片 与 光 谱 的 发 布 整 个 前 台 各 种 数 字 以 及 文 字 属 性 的 发 布 都 是 由 JSP Javabean 通 过 中 间 层 向 数 据 库 执 行 命 令 得 到 的 图 片 的 发 布 是 以 二 进 制 数 据 流 的 方 式 从 库 中 提 取, 并 同 样 以 二 进 制 数 据 流 的 形 式 用 JSP 中 固 定 的 函 数 向 浏 览 器 发 布 的 光 谱 曲 线 的 发 布, 首 先 根 据 用 户 提 供 的 信 息 或 查 询 或 浏 览 从 属 性 数 据 表 中 得 到 主 关 键 字, 然 后 以 此 主 关 键 字 在 光 谱 数 据 表 中 找 到 该 样 本 的 全 波 段 波 段 值 和 反 射 率 值, 以 两 个 数 组 的 方 式 提 取 出 来, 分 别 作 光 谱 曲 线 的 X 轴 和 Y 轴 曲 线 的 描 绘 有 两 种 方 式 : 一 种 是 生 成 图 片 后, 36

37 第 三 章 基 于 网 络 的 光 谱 数 据 库 子 系 统 存 放 于 客 户 端, 然 后 同 样 以 二 进 制 数 据 流 的 形 式 传 到 客 户 端 ; 一 种 则 是 由 java applet 根 据 数 组 数 据 直 接 生 成 曲 线 图 本 系 统 采 用 了 后 者 的 方 式, 并 且 选 用 了 一 个 java 的 曲 线 图 描 绘 插 件 Kavachart, 通 过 将 两 个 数 组 数 据 以 及 其 他 一 系 列 固 定 的 参 数 传 过 去, 该 插 件 即 可 直 接 将 曲 线 图 显 示 在 客 户 端 还 有 就 是 一 些 其 他 操 作 的 选 项, 比 如 翻 页 添 加 删 除 修 改 等 等, 也 都 是 通 过 在 html 中 获 得 相 应 的 标 记 参 数, 并 通 过 传 递 参 数 执 行 数 据 库 的 相 应 命 令 3.6 本 章 小 结 本 章 主 要 介 绍 了 本 系 统 的 光 谱 数 据 库 子 系 统 的 设 计 思 考 与 实 现, 同 时 介 绍 了 全 系 统 的 网 络 中 间 层 和 前 台 界 面 系 统 的 设 计 与 实 现, 提 出 了 高 光 谱 数 据 在 关 系 数 据 库 中 的 存 储 规 范 : 光 谱 数 据 表 组 + 属 性 数 据 表 组 光 谱 数 据 库 子 系 统 实 现 了 和 农 业 信 息 中 心 合 作 项 目 需 求 的 最 主 要 部 分, 也 就 是 数 据 库 相 关 功 能 部 分, 包 括 普 通 属 性 数 据 图 片 数 据 光 谱 数 据 等 的 查 询 检 索 添 加 删 除 修 改 等 等 功 能 它 通 过 后 台 的 数 据 库 平 台, 中 间 的 网 络 应 用 服 务 平 台 以 及 前 台 开 发 的 界 面 平 台 有 机 的 结 合 在 一 起, 形 成 一 个 有 机 的 整 体, 从 而 实 现 了 一 个 网 络 化 数 据 库 系 统 的 良 好 运 行, 也 将 国 内 的 光 谱 数 据 库 系 统 的 水 平 向 前 迈 进 了 一 步 同 时, 作 为 高 光 谱 数 据 库 系 统 的 一 个 子 系 统, 其 数 据 库 组 织 结 构 完 全 可 以 满 足 全 系 统 的 要 求, 解 决 了 第 一 章 提 到 的 光 谱 数 据 库 子 系 统 的 建 立 问 题 本 章 还 将 全 系 统 的 网 络 服 务 结 构 和 前 台 界 面 设 计 的 思 路 与 实 现 做 了 比 较 详 细 的 描 述, 以 后 将 不 再 赘 述 37