20 干 旱 气 象 33 卷 效 处 理 和 充 分 利 用, 以 致 未 能 在 天 气 预 报 中 发 挥 更 多 积 极 的 作 用 [5] 如 何 去 挖 掘 和 发 现 隐 藏 在 这 些 海 量 数 据 中 的 天 气 规 律, 寻 找 对 天 气 演 变 有 指 示 意 义 的 信

Transcription

1 第 33 卷 第 1 期 2015 年 2 月 干 旱 气 象 Journal of Arid Meteorology Vol. 33 No. 1 Feb,2015 彭 昱 忠, 王 谦, 元 昌 安,. 数 据 挖 掘 技 术 在 气 象 预 报 研 究 中 的 应 用 [J]. 干 旱 气 象,2015,33(1):19-27,[PENG Yuzhong,WANG Qian, YUAN Changan,et al. Review of Research on Data Mining in Application of Meteorological Forecasting[J]. Journal of Arid Meteorology,2015,33(1): 19-27],doi: / j. issn (2015) 数 据 挖 掘 技 术 在 气 象 预 报 研 究 中 的 应 用 彭 昱 忠 1,2, 王 谦 2, 元 昌 安 1, 林 开 平 3 (1. 广 西 师 范 学 院, 科 学 计 算 与 智 能 信 息 处 理 广 西 高 校 重 点 实 验 室, 广 西 南 宁 ;2. 广 西 师 范 学 院, 北 部 湾 可 持 续 发 展 监 测 与 优 化 教 育 部 重 点 实 验 室, 广 西 南 宁 ;3. 广 西 壮 族 自 治 区 气 象 台, 广 西 南 宁 ) 摘 要 : 气 象 预 测 是 现 代 世 界 最 重 要 和 最 有 挑 战 的 问 题, 准 确 的 气 象 预 测 常 需 要 使 用 比 较 先 进 的 方 法 和 计 算 机 模 型 本 文 分 析 了 数 据 挖 掘 方 法 在 气 象 预 报 中 应 用 的 国 内 外 研 究 现 状, 简 要 介 绍 了 目 前 在 大 气 科 学 领 域 应 用 的 一 些 数 据 挖 掘 方 法 的 相 关 概 念 原 理 和 特 点, 综 述 了 数 据 挖 掘 方 法 在 气 象 预 报 中 的 最 新 应 用 研 究 进 展, 讨 论 了 这 些 数 据 挖 掘 方 法 在 气 象 预 报 中 的 优 缺 点 最 后 指 出 了 当 前 基 于 数 据 挖 掘 方 法 的 气 象 预 报 技 术 存 在 的 一 些 困 难, 并 对 未 来 的 研 究 重 点 和 和 发 展 趋 势 进 行 展 望 关 键 词 : 数 据 挖 掘 ; 气 象 预 报 ; 气 象 数 据 挖 掘 ; 气 象 建 模 ; 计 算 智 能 文 章 编 号 : (2015) doi: / j. issn (2015) 中 图 分 类 号 :TP18 文 献 标 识 码 :A 引 言 天 气 预 报 是 根 据 气 象 观 测 资 料, 应 用 天 气 学 动 力 气 象 学 统 计 学 原 理 和 方 法, 参 考 某 一 区 域 的 气 候 背 景 和 天 气 演 变 规 律 的 基 础 上, 对 该 区 域 未 来 一 定 时 段 的 天 气 状 况 做 出 定 性 或 定 量 的 预 测 作 为 一 门 预 测 学 科, 由 于 受 到 各 种 尺 度 的 天 气 系 统 之 间 的 制 约 和 相 互 作 用 错 综 复 杂, 影 响 天 气 变 化 的 因 素 众 多, 且 关 系 极 为 复 杂, 气 象 预 报 存 在 一 定 程 度 的 不 确 定 性 目 前 气 象 预 报 主 要 使 用 4 种 预 报 处 理 方 法 : 第 一 种 是 经 验 预 报 方 法, 在 天 气 图 形 势 预 报 的 基 础 上, 根 据 天 气 系 统 的 未 来 位 置 和 强 度, 对 未 来 的 天 气 分 布 做 出 预 测 ; 第 二 种 是 统 计 预 报 方 法, 通 过 统 计 某 一 现 象 在 历 史 上 特 定 的 环 境 条 件 下 出 现 的 概 率, 来 推 测 在 未 来 存 在 类 似 环 境 时 出 现 的 可 能 性 ; 第 三 种 是 数 值 预 报 方 法, 利 用 大 气 运 动 方 程 组, 在 一 定 的 初 值 和 边 值 条 件 下 对 方 程 组 进 行 积 分, 预 报 未 来 的 天 气 ; 还 有 一 种 是 集 成 预 报 方 法, 即 把 不 同 预 报 方 法 对 同 一 要 素 的 多 种 预 报 结 果 综 合 在 一 起, 从 而 得 出 一 个 优 于 单 一 预 报 方 法 的 预 报 结 果 [1] 近 几 十 年 来, 天 气 预 报 研 究 取 得 了 巨 大 的 进 步, 预 报 质 量 也 逐 步 提 高, 但 与 社 会 需 求 尚 有 一 定 的 差 距 近 年, 国 际 上 借 助 先 进 的 智 能 计 算 和 数 据 挖 掘 方 法 研 究 和 改 进 气 象 预 报 方 法 和 模 型, 以 期 提 高 对 未 知 气 象 规 律 的 认 识 和 提 高 气 象 预 测 预 报 能 力, 已 逐 渐 成 为 气 象 数 学 和 计 算 机 领 域 的 专 家 和 学 者 们 关 注 的 热 点 2010 年 美 国 科 学 基 金 会 以 万 美 元 经 费 资 助 橡 树 岭 国 家 实 验 室 7 个 研 究 单 位 合 作 的 关 于 运 用 先 进 的 人 工 智 能 数 据 挖 掘 和 数 学 理 论 方 法 研 究 气 候 变 化 问 题 的 重 大 研 究 项 目, 该 项 目 更 激 励 了 国 际 上 数 据 挖 掘 研 究 在 气 象 领 域 的 拓 展, 近 年 多 个 相 关 国 际 会 议 上 设 置 了 相 关 的 专 题 和 workshop 数 据 挖 掘 就 是 利 用 统 计 机 器 学 习 软 计 算 方 法 数 据 库 多 个 学 科 领 域 的 先 进 技 术, 对 大 量 历 史 数 据 进 行 分 析 处 理, 从 中 挖 掘 出 隐 含 的 事 先 未 知 的 和 有 价 值 的 知 识, 为 人 们 的 决 策 分 析 提 供 更 高 层 次 的 技 术 支 持 [2-3] 气 象 观 测 数 据 和 探 测 资 料 是 海 量 数 据, 有 文 本 格 式 和 图 像 格 式, 具 有 空 间 和 时 间 属 性 随 着 新 的 气 象 观 测 设 备 的 普 及 与 应 用, 气 象 观 测 的 空 间 密 度 进 一 步 提 高, 数 以 万 计 的 气 象 观 测 站 点 的 地 面 和 高 空 实 况 资 料, 以 及 卫 星 雷 达 探 测 资 料 成 倍 增 长 [4] 然 而 大 量 的 气 象 资 料 未 能 有 收 稿 日 期 : ; 改 回 日 期 : 基 金 项 目 : 国 家 自 然 科 学 基 金 (# ) 广 西 自 然 科 学 基 金 青 年 项 目 (2012GXNSFBA053161) 广 西 高 校 科 学 技 术 研 究 重 点 项 目 (ZD ) 共 同 资 助 作 者 简 介 : 彭 昱 忠 (1980 -), 男, 硕 士, 副 教 授, 主 要 研 究 方 向 为 气 象 数 据 挖 掘 智 能 信 息 处 理. E - mail:jedison@ 163. com 通 讯 作 者 : 元 昌 安 (1964 -), 男, 教 授, 主 要 研 究 方 向 为 数 据 库 与 知 识 工 程 智 能 计 算. E - mail:yca@ gxtc. edu. cn

2 20 干 旱 气 象 33 卷 效 处 理 和 充 分 利 用, 以 致 未 能 在 天 气 预 报 中 发 挥 更 多 积 极 的 作 用 [5] 如 何 去 挖 掘 和 发 现 隐 藏 在 这 些 海 量 数 据 中 的 天 气 规 律, 寻 找 对 天 气 演 变 有 指 示 意 义 的 信 号, 数 据 挖 掘 方 法 可 以 发 挥 重 要 的 作 用 目 前 国 内 外 利 用 数 据 挖 掘 方 法 进 行 气 象 预 报 的 研 究 主 要 有 2 个 方 向 : 一 是 基 于 统 计 学 的 数 理 统 计 方 法, 主 要 采 用 的 数 学 分 析 方 法 有 谐 波 成 分 分 析 方 差 统 计 分 析 多 元 回 归 分 析 EOF 展 开 式 属 性 相 关 度 分 析 关 联 分 析 基 于 小 波 分 析 ; 另 一 个 是 基 于 机 器 学 习 软 计 算 方 法 的 研 究 主 要 应 用 于 气 象 数 据 建 模 空 间 数 据 分 析 气 象 时 态 序 列 数 据 分 析 气 象 模 式 识 别 本 文 将 对 当 前 应 用 于 气 象 预 报 中 的 一 些 数 据 挖 掘 方 法 的 基 本 原 理 及 优 缺 点 分 别 进 行 论 述, 以 期 能 够 对 气 象 工 作 者 及 相 关 领 域 学 者 继 续 深 入 研 究 提 供 有 用 的 参 考 1 数 据 挖 掘 方 法 在 气 象 预 报 中 的 应 用 研 究 气 象 数 据 同 时 具 有 时 空 属 性 多 维 多 尺 度 非 平 稳 不 确 定 周 期 性 强 属 性 相 关 度 高 特 点, 仅 用 传 统 方 法 对 气 象 数 据 进 行 分 析 和 处 理 会 遇 到 不 少 困 难 将 数 据 挖 掘 方 法 应 用 于 气 象 领 域 数 据 的 分 析 和 处 理, 探 索 各 种 气 象 要 素 间 的 及 其 与 天 气 现 象 间 的 内 在 联 系, 寻 找 各 种 潜 在 规 律 去 揭 示 未 知 的 气 象 理 论, 不 但 对 气 象 科 学 研 究 很 重 要, 而 且 能 够 在 丰 富 天 气 预 报 方 法 提 高 天 气 预 报 水 平 方 面 产 生 积 极 重 要 的 影 响 目 前, 较 为 常 用 的 基 于 数 据 挖 掘 方 法 的 预 报 技 术 有 人 工 神 经 网 络 遗 传 算 法 支 持 向 量 机 贝 叶 斯 决 策 树 和 关 联 规 则 挖 掘, 下 面 将 对 这 几 种 方 法 在 气 象 预 报 中 的 研 究 应 用 分 别 进 行 论 述 1. 1 基 于 人 工 神 经 网 络 方 法 的 气 象 预 报 方 法 研 究 神 经 网 络 是 一 种 计 算 模 型, 由 大 量 的 节 点 ( 神 经 元 ) 和 之 间 相 互 的 联 接 构 成 每 个 节 点 代 表 一 种 特 定 的 输 出 函 数, 称 为 激 励 函 数 (activation func tion) 每 2 个 节 点 间 的 连 接 都 代 表 一 个 对 于 通 过 该 连 接 信 号 的 加 权 值, 称 之 为 权 重 在 结 构 上, 可 以 把 一 个 神 经 网 络 划 分 为 输 入 层 输 出 层 和 隐 含 层 神 经 网 络 技 术 具 有 很 强 的 非 线 性 映 射 能 力, 已 被 学 者 用 数 学 证 明 了 可 对 任 意 连 续 函 数 进 行 逼 近 [6-7], 并 且 具 有 较 强 的 并 行 性 自 适 应 性 容 错 性 及 自 学 习 能 力, 被 广 泛 用 于 各 种 复 杂 系 统 的 建 模 和 解 决 因 果 关 系 复 杂 的 非 确 定 性 推 理 判 断 预 测 与 分 类 和 非 线 性 问 题 由 于 神 经 网 络 是 一 个 大 规 模 的 非 线 性 自 适 应 系 统, 通 过 对 样 本 的 学 习 建 立 起 记 忆, 然 后 将 未 知 模 式 判 定 为 其 最 接 近 的 记 忆, 这 与 具 有 耗 散 的 多 个 不 稳 定 源 的 高 阶 非 线 性 特 性 的 气 候 系 统 有 着 极 其 相 似 的 特 点, 两 者 的 相 似 性 决 定 了 用 神 经 网 络 进 行 气 象 预 报 的 可 能 性 近 年 来, 国 内 外 大 气 科 学 领 域 开 展 了 大 量 的 人 工 神 经 网 络 研 究, 并 取 得 了 显 著 成 果 金 龙 [8-9] 用 神 经 网 络 方 法 开 展 了 不 同 区 域 范 围 的 暴 雨 预 报 研 究, 认 为 神 经 网 络 方 法 确 实 可 以 通 过 对 网 络 的 学 习 训 练, 从 原 始 数 据 中 提 取 足 够 的 分 类 信 息, 从 而 达 到 较 高 的 预 报 准 确 率 另 外, 还 针 对 神 经 网 络 方 法 在 预 报 建 模 中 存 在 的 过 拟 合 致 低 泛 化 性 能 问 题, 提 出 了 采 用 主 成 分 分 析 构 造 神 经 网 络 低 维 学 习 矩 阵 的 预 报 建 模 方 法, 比 传 统 的 神 经 网 络 预 报 建 模 方 法 及 逐 步 回 归 预 报 模 型, 泛 化 能 力 有 显 著 提 高 ; 段 文 广 [10] 基 于 时 序 分 析 技 术, 建 立 适 合 于 BP 神 经 网 络 的 输 入 样 本 模 型, 通 过 反 复 学 习 从 温 度 时 序 中 建 立 预 测 模 型, 将 其 用 于 未 来 24 h 的 精 细 化 温 度 预 报 ; Tang [11] 利 用 神 经 网 络 方 法 和 不 完 全 动 力 系 统 相 耦 合 方 法 建 立 了 一 个 混 合 神 经 网 络 动 力 模 型, 用 混 合 模 型 来 模 拟 一 些 数 据 变 量, 结 果 表 明 该 方 法 具 有 良 好 的 预 报 性 能 Mihalakakou [12] 利 用 神 经 网 络 方 法 对 总 太 阳 辐 射 时 间 序 列 进 行 短 期 预 报, 将 其 结 果 与 自 回 归 模 型 预 报 结 果 进 行 比 较, 发 现 神 经 网 络 预 报 模 型 的 预 报 效 果 远 远 好 于 自 回 归 模 型 ; Hung [13] 利 用 曼 谷 的 75 个 观 测 站 4 a 的 每 小 时 降 水 序 列 数 据, 通 过 神 经 网 络 进 行 建 模, 对 未 来 1 ~ 6 h 的 降 水 量 进 行 预 报 和 洪 水 管 理 ;Vamsidhar [14] 构 建 了 一 个 反 向 传 播 神 经 网 络 模 型, 利 用 印 度 某 地 的 湿 度 露 点 温 度 和 气 压 数 据 预 测 降 水 量, 在 训 练 集 中 获 得 % 的 准 确 率 和 测 试 集 中 获 得 % 的 准 确 率 ;Chadwick [15] 利 用 神 经 网 络 建 立 全 球 气 候 模 式 降 尺 度 分 析 预 报 欧 洲 的 区 域 温 度 和 雨 量 ;Gor don Reikard [16] 利 用 频 域 算 法 和 神 经 网 络 构 建 了 一 个 空 间 天 气 预 报 模 型, 该 模 型 先 用 频 域 算 法 捕 捉, 后 用 神 经 网 络 捕 捉 短 期 独 立 信 号 和 趋 势 信 息, 获 得 了 较 好 的 预 报 效 果 在 集 成 预 报 方 面, 人 工 神 经 网 络 也 显 示 了 它 强 大 的 处 理 非 线 性 问 题 的 能 力 陈 云 浩 [17] 提 出 了 基 于 人 工 神 经 网 络 的 集 成 降 雨 时 序 分 析 与 预 报 模 型, 并 根 据 上 海 市 降 雨 和 实 际 监 测 点 分 布 的 特 点, 建 立 了 城 市 降 雨 空 间 差 异 预 报 模 型, 经 验 证, 该 模 型 具 有 较 高 精 度, 可 为 城 市 规 划 排 水 市 政 工 程 建 设 服 务 ; 吴 建 生 [18-19] 以 BP 算 法 为 基 本 框 架, 引 入 改 进 后 的 神 经 网 络 算 法 对 个 体 进 行 训 练, 并 通 过 PSO

3 第 1 期 优 化 和 回 归 方 法 建 立 气 象 集 成 预 测 模 型, 以 广 西 的 月 降 水 量 进 行 实 例 分 析, 计 算 结 果 表 明 该 方 法 学 习 能 力 强 泛 化 性 能 高, 预 报 精 度 高 而 且 稳 定 ;Lan gella [20] 利 用 神 经 网 络 建 立 高 时 空 分 辨 率 的 降 雨 预 测 集 成 推 断 系 统 框 架 ;Wang L [21] 设 计 了 一 个 复 合 神 经 网 络 集 成 预 报 模 型 进 行 降 水 预 报, 该 预 报 模 型 先 采 用 Bagging 和 Boosting 方 法 进 行 数 据 采 样, 训 练 各 个 神 经 网 络 子 模 型, 然 后 利 用 偏 最 小 二 乘 法 选 择 合 适 的 子 模 型 个 数, 用 小 波 支 持 向 量 机 对 这 些 选 择 出 来 的 神 经 网 络 子 模 型 集 成 构 成 预 报 模 型, 其 试 验 预 报 效 果 比 多 种 神 经 网 络 预 报 模 型 及 集 成 模 型 的 效 果 要 好 Karthik Nadig [22] 提 出 了 用 神 经 网 络 集 成 模 型 提 高 已 有 的 单 个 神 经 网 络 模 型 空 气 温 度 和 露 点 温 度 的 预 测 准 确 率 和 减 少 预 测 异 常 值 的 次 数 但 是, 神 经 网 络 在 实 际 应 用 中 也 暴 露 出 自 身 的 一 些 弱 点 如, 收 敛 慢 学 习 时 间 相 对 长, 算 法 不 完 备, 容 易 陷 入 局 部 极 小 点 ; 鲁 棒 性 不 好, 网 络 性 能 对 网 络 的 初 始 设 置 比 较 敏 感, 机 理 分 析 比 较 困 难 这 些 缺 点 都 限 制 了 它 在 实 际 天 气 预 报 中 的 进 一 步 广 泛 应 用 1. 2 基 于 遗 传 计 算 及 其 融 合 算 法 的 气 象 预 报 方 法 研 究 遗 传 计 算 ( 包 括 遗 传 算 法 和 遗 传 编 程 遗 传 进 化 算 法 ), 是 一 种 借 鉴 自 然 界 生 物 种 类 遗 传 和 进 化 过 程 而 形 成 的 自 适 应 全 局 优 化 搜 索 算 法 其 主 要 特 点 是 群 体 搜 索 策 略 和 群 体 中 个 体 之 间 的 信 息 交 换, 搜 索 不 依 赖 于 梯 度 信 息, 具 有 较 强 移 植 性 和 通 用 性, 它 尤 其 适 用 于 处 理 传 统 搜 索 方 法 难 以 解 决 的 复 杂 非 线 性 问 题, 对 于 处 理 需 要 进 行 全 局 优 化 的 问 题 也 有 着 较 强 的 优 势 [7] 而 这 些 特 点 与 具 有 明 显 非 线 性 演 变 特 征 的 气 象 预 报 问 题 有 着 极 其 相 似 的 地 方, 两 者 之 间 的 共 同 点 决 定 了 将 遗 传 算 法 应 用 于 气 象 预 报 中 的 可 能 性 熊 聪 聪 [23] 根 据 天 津 市 气 象 科 学 研 究 所 提 供 的 历 史 气 象 统 计 资 料, 选 取 相 邻 的 20 个 站 点 3 个 月 的 历 史 数 据 作 为 一 次 试 验 样 本, 利 用 遗 传 算 法 得 出 各 预 报 模 式 预 报 结 果 的 权 重 系 数, 进 而 得 到 该 气 象 要 素 的 集 成 预 报 模 型, 对 影 响 集 成 预 报 准 确 性 的 因 素 进 行 了 分 析 和 验 证, 结 果 表 明 利 用 遗 传 算 法 可 以 实 现 较 好 的 集 成 性 天 气 预 报 ; 吴 清 佳 [24] 提 出 了 一 种 神 经 网 络 和 遗 传 算 法 相 结 合 的 天 气 预 报 方 法, 对 卫 星 雷 达 观 测 到 的 气 象 数 据 加 以 处 理 分 析, 并 以 上 海 地 区 的 天 气 预 报 作 为 试 验, 试 验 结 果 得 到 了 上 海 市 气 象 局 有 关 专 家 的 肯 定 ; 吴 建 生 [25] 采 用 由 遗 传 算 法 改 进 后 的 神 经 网 络 模 彭 昱 忠 : 数 据 挖 掘 技 术 在 气 象 预 报 研 究 中 的 应 用 型, 并 以 广 西 全 区 的 月 降 水 量 作 为 实 例 进 行 分 析 和 计 算, 计 算 结 果 表 明, 该 方 法 预 报 精 度 高 而 且 稳 定 ;Li Chen [26] 提 出 了 一 种 改 进 的 遗 传 编 程 模 型 利 用 多 变 量 气 象 卫 星 数 据 进 行 SSM / I 估 计 海 上 的 台 风 降 水 ;Hisham Ihshaish [27] 提 出 了 一 种 基 于 遗 传 算 法 和 数 值 预 报 模 式 的 天 气 预 报 策 略 (G - Ensemble) 在 墨 西 哥 湾 飓 风 历 史 气 象 事 件 中 试 验, 该 策 略 利 用 遗 传 算 法 优 化 数 值 预 报 模 式 的 输 入 参 数, 从 而 提 升 数 值 模 式 的 预 报 效 果 ;Siva Ven kadesh [28] 在 每 个 预 测 水 平 利 用 遗 传 算 法 确 定 神 经 网 络 模 型 输 入 的 每 个 环 境 变 量 的 最 佳 时 段 和 分 辨 率, 改 进 预 报 效 果 ;Ka Yan Wong [29] 基 于 遗 传 算 法 框 架 设 计 了 一 个 通 用 的 天 气 系 统 识 别 模 型, 该 系 统 模 型 可 从 多 维 的 数 值 预 报 数 据 中 识 别 出 天 气 系 统, 达 到 80% ~ 100% 的 定 位 准 确 率, 且 还 可 能 发 现 预 报 者 易 忽 略 的 可 揭 示 成 因 或 耗 散 预 报 特 征 要 素 由 于 遗 传 计 算 方 法 具 有 良 好 的 全 局 搜 索 能 力, 可 以 快 速 地 将 解 空 间 中 的 全 体 解 搜 索 出 来, 而 不 会 陷 入 局 部 最 优 解 的 快 速 下 降 陷 阱 ; 并 且 利 用 它 的 内 在 并 行 性, 可 以 方 便 地 进 行 分 布 式 计 算, 加 快 求 解 速 度 但 是 遗 传 算 法 的 局 部 搜 索 能 力 较 差, 导 致 单 纯 的 遗 传 算 法 比 较 费 时, 在 进 化 后 期 搜 索 效 率 较 低 ; 而 遗 传 编 程 算 法 过 程 相 对 复 杂, 处 理 效 率 较 低, 并 可 能 引 起 代 码 膨 胀 影 响 搜 索 效 率 在 实 际 应 用 中, 现 有 遗 传 计 算 容 易 产 生 早 熟 收 敛 的 问 题 采 用 何 种 方 法 既 能 够 使 优 良 个 体 得 以 保 留, 又 能 够 维 持 群 体 的 多 样 性 一 直 是 遗 传 计 算 中 较 难 解 决 的 问 题 1. 3 基 于 支 持 向 量 机 方 法 的 气 象 预 报 方 法 研 究 支 持 向 量 机 (SVM,Support Vector Machine) 是 统 计 学 家 Vapnik 提 出 的 一 种 建 立 在 统 计 学 习 理 论 的 VC 维 理 论 和 结 构 风 险 最 小 原 理 基 础 上 的 有 监 督 机 器 学 习 的 新 方 法 [30], 近 年 来 受 到 了 学 术 界 的 重 视, 并 得 到 了 广 泛 的 应 用 SVM 方 法 的 基 本 思 想 是 : 通 过 非 线 性 映 射 把 样 本 空 间 映 射 到 一 个 高 维 乃 至 于 无 穷 维 的 特 征 空 间 (Hilbert 空 间 ), 在 特 征 空 间 中 寻 求 最 优 划 分 或 回 归 线 性 超 平 面, 从 而 解 决 样 本 空 间 中 的 高 度 非 线 性 分 类 和 回 归 问 题 SVM 方 法 与 传 统 的 气 象 预 测 方 法 ( 如 多 元 回 归 方 法, 卡 尔 曼 滤 波 方 法 ) 相 比 有 明 显 的 优 势 首 先, 它 不 依 赖 于 模 型 的 选 择, 且 SVM 本 身 对 不 同 方 法 具 有 一 定 的 不 敏 感 性, 能 够 一 定 程 度 地 避 免 维 数 过 高 和 过 拟 合 问 题, 具 有 预 测 精 度 高, 求 解 速 度 快 优 点, 更 适 合 解 决 实 际 中 的 小 样 本 问 题 此 外, SVM 具 有 良 好 的 泛 化 能 力 和 抗 过 敏 能 力, 在 处 理 具 21

4 22 干 旱 气 象 33 卷 有 非 线 性 特 征 的 气 象 要 素 或 天 气 现 象 ( 如, 降 水 ) 的 预 报 时 有 着 明 显 的 优 势 [31] 陈 水 义 和 冯 汉 中 人 对 SVM 方 法 在 气 象 预 报 领 域 进 行 了 一 些 探 讨 性 的 试 验, 表 明 SVM 方 法 能 用 于 具 有 显 著 非 线 性 特 征 的 气 象 预 报 中, 所 得 出 的 SVM 推 理 模 型 具 有 良 好 的 预 报 能 力, 在 短 期 天 气 预 报 数 值 预 报 释 用 实 时 短 期 预 报 业 务 方 面 有 良 好 的 预 报 前 景 [32-33] 王 小 萍 [34] 用 2002 ~ 2004 年 5 个 月 的 国 家 气 象 中 心 T213L31 模 式 的 初 始 资 料 和 预 报 资 料, 对 500 hpa 高 度 场 的 预 报 技 巧 距 平 相 关 系 数 进 行 了 统 计 分 析, 针 对 各 季 节 分 别 设 计 了 基 于 支 持 向 量 机 的 预 报 模 型, 研 究 结 果 表 明 : 支 持 向 量 机 模 型 预 报 值 可 以 较 好 地 反 映 预 报 技 巧 变 化 的 趋 势, 将 其 应 用 于 气 象 预 报 中 是 可 行 的, 有 意 义 的 ; 王 在 文 [35] 收 集 整 理 了 北 京 奥 运 场 馆 2006 ~ 2007 年 6 ~ 9 月 的 历 史 气 象 资 料 并 形 成 样 本 集, 利 用 SVM 方 法 对 所 得 到 的 样 本 集 进 行 参 数 调 优 建 模, 对 2008 年 6 ~ 9 月 该 站 点 要 素 提 供 的 业 务 释 用 预 报 进 行 检 验, 并 和 原 中 尺 度 模 式 MM5V3 的 预 报 进 行 对 比 结 果 显 示, 在 原 数 值 模 式 预 报 的 基 础 上 释 用 预 报 能 提 供 更 加 精 确 的 场 馆 业 务 预 报 ; 樊 高 峰 [36] 选 择 SVM 方 法, 利 用 8 月 南 方 涛 动 指 数 15 项 因 子, 基 于 径 向 基 核 函 数 建 立 浙 江 省 秋 季 的 干 旱 预 测 模 型 并 进 行 了 预 测, 结 果 表 明, 建 立 的 干 旱 预 测 模 型 能 直 接 对 秋 季 干 旱 进 行 预 测, 并 且 有 较 高 的 准 确 率, 可 为 气 候 预 测 中 从 气 候 要 素 预 测 到 气 象 灾 害 预 测 提 供 一 种 有 效 途 径 汪 春 秀 [37] 以 浙 北 地 区 5 ~ 9 月 的 气 象 资 料 ( 通 过 均 生 函 数 处 理 的 一 维 气 象 数 据 降 雨 量 ) 作 为 实 验 样 本 建 立 SVM 模 型, 并 对 汛 期 降 水 量 进 行 预 测 仿 真 实 验 表 明, 基 于 均 生 函 数 的 SVM 模 型 用 于 降 水 量 预 测 中 具 有 较 高 的 精 度, 并 在 处 理 蕴 含 丰 富 信 息 的 一 维 时 间 序 列 问 题 上 具 有 较 好 的 优 势 ; 滕 卫 平 [38] 利 用 影 响 热 带 气 旋 的 气 候 学 和 持 续 性 提 取 高 相 关 因 子, 然 后 分 别 采 用 支 持 向 量 机 和 逐 步 回 归 方 法 建 立 西 太 平 洋 地 区 热 带 气 旋 路 径 中 期 预 报 模 型 试 报 结 果 表 明 : 支 持 向 量 机 回 归 模 型 无 论 在 历 史 样 本 拟 合 的 精 度 上 还 是 在 实 际 预 报 的 能 力 上 都 优 于 逐 步 回 归 模 型, 而 且 这 种 优 势 随 着 预 报 时 效 的 延 长 越 来 越 明 显 ; Hong [39] 利 用 混 沌 粒 子 群 优 化 的 SVM 进 行 降 水 预 报, 实 验 效 果 比 递 归 神 经 网 络 模 型 好 ;Radhika [40] 利 用 非 线 性 回 归 方 法 训 练 的 SVM 模 型 预 测 某 区 域 的 2 ~ 10 d 的 气 温, 结 果 比 利 用 反 向 传 播 的 多 层 感 知 网 络 模 型 效 果 好 ;Ozgur Kisi [41] 提 出 一 个 wavelet - SVM 联 合 模 型 进 行 日 降 水 预 报, 该 模 型 先 用 离 散 小 波 对 降 水 时 间 序 列 进 行 分 解 重 构, 然 后 用 支 持 向 量 回 归 机 进 行 建 模 预 报, 实 验 结 果 比 神 经 网 络 预 报 模 型 好 ;R. Usha Rani [42] 提 出 了 一 个 多 核 的 增 强 支 持 向 量 回 归 (ESVR) 天 气 预 报 模 型, 该 模 型 采 用 多 个 可 解 释 的 核 函 数 分 别 处 理 输 入 的 气 温 气 压 湿 度 和 露 点 温 度 气 象 要 素, 并 通 过 自 组 织 映 射 树 模 型 集 成 输 出, 可 获 得 比 多 层 感 知 网 络 模 型 更 好 的 预 测 性 能 然 而, 支 持 向 量 机 在 实 际 应 用 中 也 存 在 2 点 不 足 :(1) 传 统 SVM 对 于 实 际 大 规 模 问 题 的 训 练 速 度 较 慢 ;(2) 用 SVM 解 决 多 分 类 问 题 存 在 困 难 这 2 个 问 题 也 在 不 同 程 度 上 制 约 了 SVM 在 气 象 预 报 中 的 发 展 1. 4 基 于 贝 叶 斯 方 法 的 气 象 预 报 方 法 研 究 贝 叶 斯 方 法 是 将 关 于 未 知 参 数 的 先 验 信 息 与 样 本 信 息 综 合, 再 根 据 贝 叶 斯 公 式, 得 出 后 验 信 息, 然 后 根 据 后 验 信 息 去 推 断 未 知 参 数 的 一 种 主 观 推 测 方 法 其 估 计 取 决 于 先 验 知 识 的 正 确 性 和 新 证 据 的 丰 富 积 累, 新 证 据 的 积 累 有 利 于 推 测 分 类 的 准 确 性, 新 证 据 越 多, 分 类 的 准 确 性 越 高 这 种 推 测 方 式 适 用 于 对 不 能 重 复 的 实 验 进 行 推 测, 在 模 式 识 别 人 工 智 能 数 据 挖 掘 领 域 都 得 到 了 广 泛 的 研 究 [7] 在 气 象 预 报 领 域 中, 之 所 以 采 用 贝 叶 斯 网 络 进 行 气 象 预 报 建 模 主 要 是 基 于 以 下 几 点 的 考 虑 :(1) 贝 叶 斯 网 络 的 拓 扑 结 构 节 点 和 边 的 集 合, 用 一 种 精 确 而 简 洁 的 方 式 描 述 了 在 域 中 成 立 的 条 件 独 立 关 系, 便 于 气 象 预 报 人 员 建 立 其 拓 扑 关 系 ;(2) 贝 叶 斯 网 络 的 推 理 能 力 比 较 强, 能 够 充 分 描 述 人 类 的 推 理 模 式, 其 图 形 化 的 表 示 方 式 贴 切 的 蕴 含 了 网 络 节 点 变 量 之 间 的 因 果 关 系 及 条 件 相 关 关 系, 能 够 直 观 地 展 现 气 象 属 性 与 气 象 预 报 之 间 的 因 果 联 系, 便 于 帮 助 预 报 人 员 的 理 解 和 开 发 ;(3) 贝 叶 斯 网 络 将 不 确 定 性 的 考 虑 融 入 了 条 件 概 率 表 (Conditional Proba bility Table) 中, 采 用 条 件 概 率 表 达 各 个 信 息 要 素 之 间 的 相 关 关 系, 能 在 有 限 的 不 完 整 的 不 确 定 的 信 息 条 件 下 进 行 学 习 和 推 理, 符 合 气 象 学 中 处 理 不 确 定 性 的 要 求, 对 于 处 理 气 象 信 息 的 不 确 定 性 提 供 了 一 个 简 洁 而 又 准 确 的 分 析 方 法 [43] 以 上 3 点 决 定 了 使 用 贝 叶 斯 方 法 进 行 气 象 预 报 的 可 能 性 及 其 优 势 所 在 何 伟 [44] 用 朴 素 贝 叶 斯 分 类 器 和 预 测 降 雨 量 的 朴 素 贝 叶 斯 算 法 对 降 雨 量 预 测 问 题 进 行 了 分 类 研 究, 分 别 以 郑 州 市 1971 ~ 2000 年 6 ~ 8 月 的 气 象 数 据 为 训 练 集, 对 郑 州 市 2001 ~ 2004 年 相 应 月 份 的 月 降 雨 总 量 进 行 了 预 测 实 验 表 明, 基 于 朴 素 贝 叶 斯 分 类 器 和 朴 素 贝 叶 斯 算 法 的 预 测 精 度 明 显 高 于 目 前

5 第 1 期 短 期 气 候 预 测 中 采 用 的 回 归 分 析 聚 类 分 析 其 它 预 测 方 法 ; 陈 朝 平 [45] 在 贝 叶 斯 概 率 决 策 理 论 的 基 础 上, 利 用 四 川 境 内 1951 ~ 2004 年 147 个 预 报 站 点 暴 雨 的 气 候 概 率 对 西 南 区 域 中 尺 度 集 合 预 报 模 式 提 供 的 预 报 产 品 进 行 了 修 正 从 预 报 试 验 结 果 来 看 : 基 于 贝 叶 斯 方 法 修 正 后 的 集 合 概 率 预 报 产 品 在 一 定 程 度 上 消 除 了 空 报 ; 顾 锦 荣 [46] 利 用 贝 叶 斯 网 络 建 立 了 天 气 条 件 对 于 飞 行 威 胁 度 的 计 算 模 型, 并 进 一 步 利 用 贝 叶 斯 网 络 产 生 的 计 算 数 据 和 支 持 向 量 机 方 法 建 立 了 天 气 威 胁 度 的 预 报 模 型, 根 据 对 小 样 本 的 学 习 预 报 检 验, 证 明 该 模 型 效 果 良 好 ; 梁 莉 [47] 利 用 淮 河 流 域 加 密 站 点 逐 日 降 水 和 日 最 高 最 低 温 度 资 料, 以 及 对 应 的 T213 数 值 预 报 产 品 的 集 合 预 报, 采 用 贝 叶 斯 模 型 平 均 (Bayesian Model Averaging, BMA) 方 法 进 行 水 文 概 率 预 报 结 果 表 明 : 采 用 BMA 方 法 以 概 率 分 布 的 形 式 描 述 预 报 不 确 定 性, 这 对 减 少 降 水 预 报 误 差 提 高 预 报 准 确 率 做 好 洪 水 预 报 及 防 灾 减 灾 工 作 有 重 要 意 义 ;Rafael Cano [48] 利 用 贝 叶 斯 网 络 对 1959 ~ 2000 年 伊 比 利 亚 半 岛 100 个 气 象 站 观 测 数 据 及 部 分 数 值 预 报 模 式 的 输 出 数 据 进 行 预 报 建 模 和 数 据 挖 掘, 成 功 用 于 本 地 日 降 水 和 最 大 风 速 预 报, 以 及 观 测 数 据 缺 损 值 修 补 和 插 值 ; Yu Jiang [49] 根 据 贝 叶 斯 理 论 和 结 构 突 变 模 型 原 理, 提 出 一 个 贝 叶 斯 结 构 突 变 模 型 用 于 短 时 风 速 预 报, 在 实 验 中 获 得 了 比 ARMA 模 型 和 神 经 网 络 模 型 更 高 的 预 报 质 量 ;Cyril Voyant [50] 为 了 获 得 更 准 确 的 每 小 时 太 阳 辐 射 总 量 预 测 值, 构 建 了 由 贝 叶 斯 模 型 多 层 感 知 网 络 模 型 ARMA 模 型 和 持 续 模 型 (persistence models) 组 成 的 混 合 模 型, 该 模 型 中 主 要 利 用 贝 叶 斯 模 型 进 行 模 式 的 选 择 和 各 子 模 型 预 测 结 果 的 概 率 集 成 输 出, 实 验 结 果 的 nrmse 较 单 个 子 模 型 更 好 ;Valmik B Nikam [51] 利 用 贝 叶 斯 理 论 建 立 一 个 有 监 督 学 习 分 类 器, 并 以 此 为 基 础 建 立 数 据 密 集 型 的 降 水 预 报 模 型, 并 利 用 印 度 多 个 城 市 的 历 史 降 水 数 据 进 行 试 验, 效 果 良 好, 且 相 比 数 值 预 报 模 式 计 算 密 集 型 的 预 报 模 型 计 算 更 简 单, 需 要 资 源 更 少 ;McLean [52] 通 过 利 用 二 元 分 布 密 度 函 数 扩 展 了 贝 叶 斯 模 型 平 均 (Bayesian model averaging) 理 论 对 集 合 预 报 的 输 出 进 行 后 验 处 理 构 建 了 提 前 48 h 的 风 矢 量 概 率 预 报 模 型, 并 使 用 华 盛 顿 大 学 的 中 尺 度 集 合 对 2003 年 北 美 太 平 洋 西 北 地 区 的 风 矢 量 校 准 概 率 预 报 比 原 始 中 尺 度 集 合 预 报 获 得 更 好 的 效 果, 且 比 概 率 气 候 预 报 的 输 出 结 果 更 清 晰 但 是, 贝 叶 斯 分 析 法 并 非 是 一 种 完 美 无 缺 的 方 法 首 先, 如 何 确 定 先 验 概 率 确 实 是 一 个 非 常 麻 烦 彭 昱 忠 : 数 据 挖 掘 技 术 在 气 象 预 报 研 究 中 的 应 用 且 需 进 一 步 研 究 的 问 题 贝 叶 斯 分 析 法 在 求 后 验 概 率 的 过 程 中, 同 时 使 用 相 对 频 数 和 主 观 概 率 的 作 法 也 不 一 定 是 非 常 合 理 的 其 次, 如 何 确 定 损 失 函 数 给 出 公 式 化 的 损 失 函 数, 也 是 一 个 值 得 研 究 的 问 题 如 果 没 有 具 体 的 公 式 化 的 损 失 函 数, 各 具 体 损 失 值 是 难 以 计 算 的 另 外, 在 贝 叶 斯 决 策 理 论 中 也 有 许 多 未 能 解 决 的 问 题 如 对 所 有 可 能 的 事 件 是 否 应 同 对 待, 怎 样 更 好 地 对 不 确 定 事 件 进 行 数 量 化 评 价, 都 是 需 要 进 一 步 明 确 的 当 然, 我 们 指 出 贝 叶 斯 分 析 法 的 不 足 并 非 意 味 着 否 定 这 一 方 法 的 科 学 性 及 实 用 性 1. 5 基 于 决 策 树 方 法 的 气 象 预 报 方 法 研 究 决 策 树 是 空 间 数 据 挖 掘 进 行 自 动 分 类 的 方 法 之 一, 它 是 以 规 则 形 式 对 数 据 进 行 自 动 分 类 [16] 由 于 该 方 法 以 图 形 化 的 方 式 表 示 数 据 挖 掘 结 果, 浅 显 易 懂, 易 于 做 出 判 断, 目 前 已 在 遥 感 影 像 处 理 环 境 演 变 灾 害 天 气 预 测 方 面 得 到 了 广 泛 应 用 张 海 玲 [53] 根 据 香 港 天 文 台 提 供 的 2001 年 8 月 和 2002 年 6 ~ 7 月 业 务 区 域 谱 模 式 (ORSM) 物 理 量 场 预 报 值, 运 用 决 策 树 方 法 探 讨 空 间 环 境 物 理 量 场 与 暴 雨 中 心 暴 雨 量 之 间 关 系 的 研 究 思 路 结 果 表 明, 研 究 区 暴 雨 中 心 降 雨 量 的 多 少 与 周 边 相 对 湿 度 海 平 面 高 度 温 度 和 经 向 风 速 以 及 这 些 物 理 量 场 所 处 的 纬 度 位 置 关 系 密 切, 而 与 这 些 物 理 量 场 所 处 的 经 度 位 置 和 纬 向 风 速 关 系 较 小 ; 徐 会 明 [54] 利 用 8 个 月 的 闪 电 定 位 仪 常 规 探 空 以 及 T213 数 值 预 报 产 品 资 料 作 为 样 本, 应 用 决 策 树 方 法 生 成 四 川 省 未 来 12 h 雷 电 潜 势 预 报 决 策 树, 并 通 过 雷 电 潜 势 预 报 决 策 树 作 四 川 省 2007 年 8 ~ 9 月 雷 电 潜 势 预 报, 效 果 较 好 ;Prasad N [55] 研 究 用 GINI 系 数 作 为 测 试 属 性 的 选 择 标 准 的 SLIQ 决 策 树 对 与 降 水 密 切 相 关 的 湿 度 温 度 大 气 压 风 速 和 露 点 温 度 气 象 要 素 的 历 史 数 据 进 行 降 水 预 报 建 模, 获 得 了 72. 3% 的 准 确 率 ;Royston S [56] 利 用 语 义 决 策 树 (linguistic de cision tree) 对 现 有 的 水 位 和 气 象 数 据 进 行 风 暴 潮 的 规 则 挖 掘 和 预 报 建 模, 提 供 了 在 泰 晤 士 河 口 精 度 为 0. 1 m 提 前 8 h 的 风 暴 潮 预 报 决 策 树 也 存 在 着 一 些 缺 点 首 先, 决 策 树 算 法 不 易 处 理 连 续 数 据 数 据 的 属 性 域 必 须 被 划 分 为 不 同 的 类 别 才 能 处 理, 但 是 并 非 所 有 的 分 类 问 题 都 可 以 明 确 划 分 区 域 类 型 ; 其 次, 决 策 树 算 法 对 缺 失 数 据 难 以 处 理, 这 是 由 于 不 能 对 缺 失 数 据 产 生 正 确 的 分 支 进 而 影 响 了 整 个 决 策 树 的 生 成 ; 最 后, 决 策 树 的 过 程 忽 略 了 数 据 库 属 性 之 间 的 相 关 性 上 述 这 些 问 题 都 或 多 或 少 的 限 制 了 决 策 树 方 法 在 气 象 预 报 中 的 进 23

6 24 干 旱 气 象 33 卷 一 步 应 用 1. 6 基 于 关 联 规 则 挖 掘 的 气 象 预 报 方 法 研 究 关 联 规 则 挖 掘 就 是 通 过 对 历 史 数 据 进 行 查 询 和 遍 历, 从 大 量 数 据 中 提 取 或 者 挖 掘 出 有 用 的 知 识, 找 出 存 在 于 数 据 之 间 的 频 繁 模 式 潜 在 联 系 或 因 果 结 构 [16] 在 气 象 预 报 业 务 的 实 际 应 用 中, 万 谦 [57] 在 正 态 云 关 联 规 则 算 法 的 基 础 上 进 行 了 进 一 步 的 研 究, 并 利 用 求 正 态 云 关 联 规 则 的 支 持 率 和 信 任 度 来 进 行 预 测 将 这 种 方 法 应 用 于 气 象 预 报, 结 果 表 明 : 该 预 测 方 法 简 单 易 懂, 更 容 易 被 人 理 解 和 使 用 ;Guo Z [58] 提 取 了 MCS 周 边 的 环 境 物 理 量 场 特 征 值, 进 而 运 用 空 间 数 据 挖 掘 中 的 关 联 规 则 建 立 了 高 原 上 MCS 东 移 传 播 与 其 环 境 物 理 量 场 之 间 的 数 学 模 型, 确 立 了 长 江 流 域 暴 雨 中 心 周 边 的 环 境 场 特 征 与 暴 雨 中 心 暴 雨 量 之 间 的 关 系, 以 此 提 高 长 江 中 下 游 的 灾 害 天 气 预 报 的 准 确 性 ; 朱 冬 梅 [59] 针 对 贵 州 1995 ~ 2010 年 全 省 各 个 气 象 站 的 气 象 资 料 进 行 分 析, 并 将 改 进 的 关 联 规 则 生 成 算 法 应 用 到 成 都 信 息 工 程 学 院 飓 风 研 究 所 开 发 的 DSS 系 统 进 行 分 析 与 预 测, 挖 掘 出 地 形 与 干 旱 之 间 的 潜 在 联 系 结 果 表 明 在 改 进 Apriori 算 法 的 帮 助 下, 预 报 员 可 以 根 据 当 地 的 地 形 更 加 准 确 地 预 测 降 水 量 的 大 小, 从 而 提 高 预 报 准 确 率 ; 林 万 涛 [60] 提 出 一 种 应 用 关 联 规 则 方 法 挖 掘 模 式 风 速 模 拟 数 据 与 气 压 温 度 湿 度 及 较 大 风 速 预 测 误 差 之 间 的 关 联 关 系, 进 而 用 统 计 及 智 能 优 化 方 法 修 正 模 式 误 差, 极 大 地 提 高 了 风 电 场 风 速 预 报 精 度 ; 迟 德 中 [61] 提 供 了 一 种 新 的 基 于 WRF 模 式 和 关 联 规 则 优 化 的 风 电 场 短 期 风 速 预 报 方 法 利 用 WRF 模 式 预 测 了 2010 年 4 ~ 6 月 承 德 红 松 风 电 场 的 风 速 数 据, 之 后 采 用 关 联 规 则 优 化 方 法 对 这 种 模 式 的 预 测 结 果 进 行 校 正 研 究 表 明 这 种 新 提 出 的 短 期 风 速 预 报 方 法, 能 有 效 提 高 短 期 风 速 的 预 测 精 度, 保 证 电 力 系 统 的 稳 定 运 行 ; 王 红 霞 [62] 提 出 一 种 基 于 月 粒 度 统 计 数 据 进 行 挖 掘 属 性 构 造 的 方 法, 通 过 对 离 散 化 处 理 后 的 数 据 做 关 联 规 则 挖 掘, 进 行 干 旱 预 测 模 型 的 建 立 对 实 验 数 据 处 理 结 果 表 明 : 挖 掘 规 则 合 理 预 测 结 果 可 信 预 测 效 率 提 高 ; 郑 忠 平 [63] 使 用 围 绕 极 端 值 的 三 分 聚 类 算 法 和 Apriori 算 法 对 重 庆 地 区 的 气 象 资 料 进 行 了 深 入 挖 掘, 得 出 了 一 系 列 有 积 极 意 义 的 结 果 这 些 结 果 对 于 发 现 该 地 区 灾 害 性 天 气 的 分 布 特 征 和 导 致 灾 害 性 天 气 的 相 关 因 素 有 着 积 极 的 现 实 意 义 ;Sherri Harms [64] 提 出 了 用 关 联 分 析 方 法 做 中 长 期 预 报, 表 明 该 方 法 在 客 观 化 定 量 化 地 确 定 气 候 周 期, 寻 找 相 似 的 前 期 特 征 方 面 能 获 得 令 人 满 意 的 结 果 ;Tsegaye Tadesse [65] 通 过 对 区 域 气 象 海 洋 数 据 及 区 域 干 旱 历 史 的 数 据 进 行 关 联 规 则 挖 掘, 挖 掘 Nebraska 地 区 的 一 系 列 干 旱 预 测 指 标, 提 高 了 该 区 域 的 干 旱 气 候 预 报 准 确 度 ;Yang [66] 用 关 联 规 则 挖 掘 方 法 对 北 大 西 洋 飓 风 历 史 追 踪 数 据 进 行 分 析 挖 掘, 并 据 此 预 测 北 大 西 洋 飓 风 强 度 的 变 化 当 前, 已 有 的 气 象 数 据 关 联 规 则 挖 掘 研 究 极 大 部 分 都 是 使 用 Apriori 算 法 进 行 需 要 指 出 的 是, 在 实 际 应 用 中,Apriori 算 法 暴 露 了 2 个 缺 点 :(1) 可 能 产 生 大 量 的 候 选 集 ;(2) 可 能 需 要 重 复 扫 描 数 据 库 这 2 个 缺 点 也 在 一 定 程 度 上 制 约 了 关 联 规 则 挖 掘 在 气 象 预 报 中 的 应 用 综 上 所 述, 数 据 挖 掘 经 过 多 年 的 发 展, 现 已 有 大 量 经 典 的 数 据 挖 掘 算 法 拓 展 到 气 象 预 报 中 实 践 和 应 用, 它 们 各 有 优 缺 点, 在 不 同 的 问 题 背 景 上 具 有 不 同 的 性 能 和 优 越 性 其 中 从 国 内 外 的 相 关 学 术 文 献 分 析 可 知, 以 感 知 学 习 为 基 础 的 神 经 网 络 和 支 持 向 量 机 是 近 年 国 内 外 气 象 预 报 领 域 研 究 和 应 用 的 最 广 泛 的 数 据 挖 掘 方 法 而 关 联 规 则 挖 掘 方 法 在 各 种 灾 害 天 气 的 规 律 分 析 及 其 预 测 研 究 中 应 用 非 常 多 且 具 有 较 强 的 效 能 2 未 来 研 究 重 点 及 展 望 传 统 的 统 计 预 报 方 法 在 短 期 内 已 经 很 难 取 得 质 的 飞 跃, 随 着 计 算 机 计 算 速 度 的 大 幅 提 升, 数 值 预 报 方 法 应 运 而 生, 而 且 很 快 从 研 究 领 域 过 渡 到 了 实 际 应 用 领 域, 并 成 为 了 气 象 预 报 工 作 中 极 为 重 要 的 方 式, 然 而 现 有 的 一 些 数 值 预 报 方 法 都 或 多 或 少 存 在 着 缺 陷 和 问 题, 运 行 效 率 和 准 确 率 都 需 要 不 断 提 高 另 一 方 面, 基 于 数 据 挖 掘 方 法 的 气 象 预 报 技 术 目 前 是 一 个 非 常 炙 手 可 热 的 研 究 领 域, 尽 管 使 用 数 据 挖 掘 方 法 挖 掘 气 象 资 料 进 行 气 象 预 报 的 文 献 不 是 太 多, 但 国 内 外 都 已 经 展 开 了 这 方 面 的 研 究 工 作, 且 已 经 积 累 了 不 少 优 秀 成 果, 在 气 象 预 报 的 诸 多 方 面 已 取 得 了 突 破 性 的 进 展, 但 是 很 多 理 论 和 方 法 还 不 够 成 熟, 还 有 待 探 究 出 更 多 更 有 效 的 气 象 数 据 挖 掘 方 法 来 提 高 预 报 能 力 随 着 全 球 变 暖, 灾 害 性 天 气 频 发, 未 来 天 气 变 得 越 来 越 难 以 捉 摸, 更 突 显 这 项 工 作 的 重 要 意 义 和 迫 切 性 纵 观 当 前 基 于 数 据 挖 掘 方 法 的 气 象 预 报 技 术 的 研 究 进 展 情 况, 认 为 需 要 进 一 步 研 究 的 重 点 和 难 点 问 题 主 要 包 括 :(1) 如 何 加 快 学 习 速 度, 从 而 减 少 计 算 时 间 代 价 ;(2) 如 何 减 少 出 现 过 度 训 练 以 便 有 效 地 提 高 泛 化 性 能 ;(3) 如 何 准 确 全 面 的 选 择 预 报 因 子, 从 而 提 高 预 报 的 准 确 率 ;(4)

7 第 1 期 如 何 将 近 年 新 发 展 起 来 的 优 秀 的 智 能 计 算 方 法 ( 如, 基 因 表 达 式 编 程 算 法 蜂 群 算 法 ) 应 用 于 气 象 数 据 挖 掘 和 气 象 预 报 中, 提 高 预 报 的 质 量 ;(5) 由 于 气 象 数 据 的 特 殊 复 杂 性, 使 得 传 统 的 数 据 挖 掘 中 的 数 据 预 处 理 算 法 难 以 适 应 因 此, 探 究 有 效 的 适 应 复 杂 气 象 数 据 特 点 的 数 据 预 处 理 算 法 是 可 望 提 高 预 报 质 量 的 重 要 研 究 方 向 ;(6) 当 前 在 气 象 预 报 技 术 中 应 用 最 广 泛 的 数 据 挖 掘 方 法 是 以 感 知 学 习 为 核 心 的 神 经 网 络 和 支 持 向 量 机 建 模 预 报 方 法, 这 些 方 法 都 属 于 隐 模 型 建 模 方 法, 可 解 释 性 较 差, 不 利 于 理 解 和 发 现 新 的 气 象 规 律 知 识 因 此, 探 究 模 型 可 解 释 性 强 的 数 据 挖 掘 方 法 也 是 一 个 较 重 要 的 研 究 方 向 因 此, 后 续 的 研 究 工 作 可 以 探 究 更 多 优 秀 的 数 据 挖 掘 算 法 来 继 续 开 展 气 象 预 报 方 法 的 研 究, 也 可 以 探 索 数 据 挖 掘 方 法 在 其 他 气 象 领 域 的 研 究 和 应 用 此 外, 随 着 计 算 机 的 计 算 能 力 不 断 得 到 加 强, 以 及 数 值 预 报 模 式 的 逐 步 完 善, 中 长 期 的 气 象 预 报 也 已 逐 渐 引 起 人 们 的 关 注, 如 何 将 基 于 数 据 挖 掘 方 法 的 预 报 技 术 应 用 于 中 长 期 的 气 象 预 报 中 也 是 广 大 气 象 学 者 和 相 关 专 家 亟 待 解 决 的 问 题 3 结 束 语 气 候 系 统 是 一 个 耗 散 的 具 有 多 个 不 稳 定 源 的 高 阶 非 线 性 系 统, 其 复 杂 的 内 部 相 互 作 用 和 自 由 变 化 导 致 了 气 候 的 可 变 性 和 复 杂 性 进 入 21 世 纪 以 来, 全 球 气 候 变 化 异 常, 如 何 有 效 地 提 高 气 象 预 报 的 精 度, 提 高 积 极 应 对 各 种 气 象 灾 害 和 由 其 引 发 的 次 生 灾 害 的 能 力, 减 少 人 员 的 伤 亡 和 财 产 损 失, 已 成 为 社 会 关 注 的 焦 点, 也 是 当 今 气 象 预 报 领 域 中 的 重 点 和 难 点 本 文 以 基 于 数 据 挖 掘 方 法 的 气 象 预 报 技 术 的 发 展 现 状 研 究 为 主, 简 要 介 绍 了 文 中 所 提 及 的 一 些 数 据 挖 掘 方 法 的 相 关 概 念 和 特 点, 并 对 这 些 数 据 挖 掘 方 法 应 用 于 气 象 预 报 工 作 中 的 基 本 原 理 及 优 缺 点 分 别 进 行 了 论 述, 最 后 探 讨 了 当 前 基 于 数 据 挖 掘 方 法 的 气 象 预 报 技 术 存 在 的 困 难 和 发 展 趋 势 与 传 统 的 预 报 方 法 相 比, 基 于 数 据 挖 掘 方 法 的 气 象 预 报 技 术 对 解 决 诸 如 暴 雨 台 风 非 线 性 特 征 明 显 的 天 气 预 报 问 题 有 更 强 的 能 力, 是 一 门 极 具 前 景 的 实 用 技 术 目 前 国 内 外 有 关 基 于 数 据 挖 掘 方 法 的 气 象 预 报 技 术 的 研 究 性 论 文 正 日 趋 增 多, 但 仍 有 大 量 的 拓 展 空 间, 尤 其 是 将 关 联 规 则 挖 掘 聚 类 挖 掘 和 异 常 点 挖 掘 应 用 于 气 象 预 报 中 的 文 献 相 对 较 少, 希 望 本 文 的 工 作 能 够 对 气 象 工 作 者 及 相 关 领 域 学 者 继 续 深 入 研 究 提 供 有 用 的 参 考 彭 昱 忠 : 数 据 挖 掘 技 术 在 气 象 预 报 研 究 中 的 应 用 参 考 文 献 : [1] 彭 九 慧, 丁 力, 杨 庆 红. 几 种 降 水 集 成 预 报 方 法 的 对 比 分 析 [J]. 气 象 科 技,2008,36(5): [2]Han J,Kamber M. Data Mining:Concepts &Techniques[M]. San Francisco,CA:Morgan Kaufmann Publishers, [3] 陈 宝 学, 俞 经 善, 关 宏 伟. 数 据 挖 掘 技 术 应 用 于 天 气 预 报 的 可 行 性 研 究 [J]. 应 用 科 技,2004,31(3): [4]Michael Steinbach,PangNing Tan,Vipin Kumar,et al. Discovery of climate indices using clustering[a]/ / Proceedings of the ninth ACM SIGKDD international conference on Knowledge discovery and data mining[c] [5] 马 廷 淮, 穆 强. 气 象 数 据 挖 掘 研 究 [J]. 武 汉 理 工 大 学 学 报, 2010,32(16): [6] 董 聪, 郦 正 能, 夏 人 伟. 多 层 前 向 网 络 研 究 进 展 及 若 干 问 题 [J]. 力 学 进 展,1995,5(2): [7] 元 昌 安, 邓 松, 李 文 敬,. 数 据 挖 掘 原 理 与 SPSS Clementine 应 用 宝 典 [M]. 北 京 : 电 子 工 业 出 版 社, ;86-87; ;176. [8] 金 龙, 吴 建 生. 基 于 遗 传 算 法 的 神 经 网 络 短 期 预 报 预 测 模 型 [J]. 灾 害 学,2004,8(1): [9] 金 龙, 况 雪 源, 黄 海 洪. 人 工 神 经 网 络 预 报 模 型 的 过 拟 合 研 究 [J]. 气 象 学 报,2004,62(1): [10] 段 文 广, 周 晓 军, 石 永 炜. 数 据 挖 掘 技 术 在 精 细 化 温 度 预 报 中 的 应 用 [J]. 干 旱 气 象,2012,30(1): [11]Tang Y M,William W Hsieh. Coupling Neural Network to Incom plete Dynamical System via Variational Data Assimilation [J]. Monthly Weather Review,2000,129(4): [12]Mihalakakou G,Santamouris M,Asimakopoulos D N. The total so lar radiation time series simulation in Athens Using Neural Net works[j]. Theoretical and Applied Climatology,2000,66(3): [13]Hung N Q,Babel M S,Weesakul S,et al. An artificial neural network model for rainfall forecasting in Bangkok,Thailand[J]. Hydrology and Earth System Sciences,2008(5): [14]Enireddy Vamsidhar,Varma K V S R P,Sankara Rao P,et al. Prediction of Rainfall Using Back propagation Neural Network Mode[J]. International Journal on Computer Science and Engi neering,2010,2(4): [15]Chadwick R,Coppola E,Giorgi F. An artificial neural network technique for downscaling GCM outputs to RCM spatial scale[j]. Nonlinear Processes Geophys,2011,18(6): [16]Gordon Reikard. Combining frequency and time domain models to forecast space weather[j]. Advances in Space Research,2013 (52): [17] 陈 云 浩, 史 培 军, 李 晓 兵. 不 同 热 力 背 景 对 城 市 降 雨 ( 暴 雨 ) 的 影 响 (Ⅲ) 基 于 人 工 神 经 网 络 的 集 成 预 报 模 型 [J]. 自 然 灾 害 学 报,2001,10(3): [18] 吴 建 生, 刘 丽 萍, 金 龙. 粒 子 群 - 神 经 网 络 集 成 学 习 算 法 气 象 预 报 建 模 研 究 [J]. 热 带 气 象 学 报,2008,24(6): [19]Wu J A. Semi - parametric Regression Ensemble Model for Rain fall Forecasting Based on RBF Neural Network[J]. Lecture Notes in Artificial Intelligence and Computational Intelligence,2010, 6320(2):

8 26 干 旱 气 象 33 卷 [20]Langella G,Basile A,Bonfante A,et al. High - resolution space time rainfall analysis using integrated ANN inference systems [J]. Journal of Hydrology,2010(387): [21]Wang L,Wu J. Application of Hybrid RBF Neural Network En semble Model Based on Wavelet Support Vector Machine Regres sion in Rainfall Time Series Forecasting[A]. Fifth International Joint Conference on Computational Sciences and Optimization (CSO)[C]. IEEE, [22]Karthik Nadig,Walter Potter,Gerrit Hoogenboom,et al. Compari son of individual and combined ANN models for prediction of air and dew point temperature[j]. Appl Intell,2013(39): [23] 熊 聪 聪, 王 静, 宋 鹏,. 遗 传 算 法 在 多 模 式 集 成 天 气 预 报 中 的 应 用 [J]. 天 津 科 技 大 学 学 报,2008,23(4): [24] 吴 清 佳, 张 庆 平, 万 健. 遗 传 神 经 网 络 的 智 能 天 气 预 报 系 统 [J]. 计 算 机 工 程,2005,31(14): [25] 吴 建 生, 金 龙, 汪 灵 枝. 遗 传 算 法 进 化 设 计 BP 神 经 网 络 气 象 预 报 建 模 研 究 [J]. 热 带 气 象 学 报,2006,22(4): [26]Chen L,Yeh K C,Wei H P,et al. An improved genetic program ming to SSM / I estimation typhoon precipitation over ocean[j]. Hydrological Processes,2011,25(16): [27]Ihshaish H,Cortés A,Senar M A. Genetic ensemble (G - Ensem ble)for meteorological prediction enhancement[a]. Proceedings of The 2011 Internacional Conference on Parallel and Distributed Pro cessing Techniques and Applications (PDPTA2011)[C] [28]Venkadesh S,Hoogenboom G,Potter W,et al. A genetic algo rithm to refine input data selection for air temperature prediction u sing artificial neural networks[j]. Applied Soft Computing,2013, 13(5): [29]Wong K Y,Yip C L,Li P W. Automatic identification of weather systems from numerical weather prediction data using genetic algo rithm[j]. Expert Systems with Applications,2008,35(1): [30]Vapnik V. 统 计 学 习 理 论 的 本 质 [M]. 张 学 工 译. 北 京 : 清 华 大 学 出 版 社,2004. [31] 韦 慧 红, 李 才 媛, 邓 红,. SVM 方 法 在 武 汉 区 域 夏 季 暴 雨 预 报 业 务 中 的 应 用 [J]. 气 象 科 技,2009,37(2): [32] 陈 永 义, 俞 小 鼎, 高 学 浩,. 处 理 非 线 性 分 类 和 回 归 问 题 的 一 种 新 方 法 (Ⅰ) 支 持 向 量 机 方 法 简 介 [J]. 应 用 气 象 学 报, 2004,15(3): [33] 冯 汉 中, 陈 永 义. 支 持 向 量 机 回 归 方 法 在 实 时 业 务 预 报 中 的 应 用 [J]. 气 象,2005,31(1): [34] 王 小 萍, 谭 季 青, 吴 书 成. 基 于 支 持 向 量 机 的 预 报 技 巧 的 预 报 模 型 研 究 [J]. 科 技 通 报,2006,22(6): [35] 王 在 文. 基 于 非 线 性 支 持 向 量 机 方 法 的 奥 运 场 馆 气 象 预 报 [A]. 第 27 届 中 国 气 象 学 会 年 会 城 市 气 象, 让 生 活 更 美 好 分 会 场 论 文 集 [C] [36] 樊 高 峰, 张 勇, 柳 苗,. 基 于 支 持 向 量 机 的 干 旱 预 测 研 究 [J]. 中 国 农 业 气 象,2011,32(3): [37] 汪 春 秀. 基 于 支 持 向 量 机 的 气 象 预 报 方 法 研 究 [D]. 南 京 : 南 京 信 息 工 程 大 学,2011. [38] 滕 卫 平, 胡 波, 滕 舟,. SVM 回 归 法 在 西 太 平 洋 热 带 气 旋 路 径 预 报 中 的 应 用 研 究 [J]. 科 技 通 报,2012,28(11): [39]Hong W C. Rainfall forecasting by technological machine learning models[j]. Applied Mathematics and Computation,2008,200 (1): [40]Radhika Y,Shashi M. Atmospheric temperature prediction using support vector machines[j]. International Journal of Computer Theory and Engineering,2009,1(1): [41]Kisi O,Cimen M. Precipitation forecasting by using wavelet - sup port vector machine conjunction model[j]. Engineering Applica tions of Artificial Intelligence,2012,25(4): [42]Usha Rani R,Dr. T. K Rama Krishna Rao. An Enhanced Support Vector Regression Model for Weather Forecasting[J]. IOSR Journal of Computer Engineering,2013,12(2): [43] 罗 宇 智, 陈 瞡. 贝 叶 斯 网 络 的 气 象 威 胁 建 模 及 评 估 方 法 研 究 [J]. 计 算 机 仿 真,2008,25(11): [44] 何 伟, 孔 梦 荣, 赵 海 青. 基 于 贝 叶 斯 分 类 器 的 气 象 预 测 研 究 [J]. 计 算 机 工 程 与 设 计,2007,28(15): [45] 陈 朝 平, 冯 汉 中, 陈 静. 基 于 贝 叶 斯 方 法 的 四 川 暴 雨 集 合 概 率 预 报 产 品 释 用 [J]. 气 象,2010,36(5): [46] 顾 锦 荣, 焦 海 军, 朱 国 涛. 基 于 贝 叶 斯 网 络 和 支 持 向 量 机 的 天 气 威 胁 度 模 型 [A]. 第 29 届 中 国 气 象 学 会 年 会 分 会 场 :S1 灾 害 天 气 研 究 与 预 报 [C] [47] 梁 莉, 赵 琳 娜, 齐 丹,. 基 于 贝 叶 斯 原 理 的 降 水 预 报 偏 差 订 正 及 水 文 试 验 [A]. 第 十 四 届 中 国 科 协 年 会 第 14 分 会 场 : 极 端 天 气 事 件 与 公 共 气 象 服 务 发 展 论 坛 论 文 集 [C] [48]Cano R,Sordo C,Gutiérrez J M. Applications of Bayesian net works in meteorology[m]. Advances in Bayesian networks. Spring er Berlin Heidelberg, [49]Jiang Yu,Song Zhe,Kusiak Andrew. Very short - term wind speed forecasting with Bayesian structural break mode[j]. Renew able Energy,2013,50: [50]Voyant C,Darras C,Muselli M,et al. Bayesian rules and stochas tic models for high accuracy prediction of solar radiation[j]. Ap plied Energy,2014,114: [51]Valmik B Nikam,Meshram B B. Modeling Rainfall Prediction U sing Data Mining Method:A Bayesian Approach[A] Fifth International Conference on Computational Intelligence,Modelling and Simulation[C]. IEEE computer society, [52]McLean Sloughter J,Gneiting T,Raftery A E. Probabilistic Wind Vector Forecasting Using Ensembles and Bayesian Model Averaging [J]. Monthly Weather Review,2013,141(6): [53] 张 海 玲, 过 仲 阳, 吴 建 平,. 决 策 树 方 法 在 环 境 物 理 量 场 与 暴 雨 之 间 关 系 研 究 中 的 应 用 [J]. 地 球 信 息 科 学,2005,7(4): [54] 徐 会 明, 靳 小 兵, 季 海,. 决 策 树 法 在 雷 电 潜 势 预 报 中 的 应 用 [J]. 高 原 山 地 气 象 研 究,2008,28(4): [55]Prasad N,Kumar P,Mm N. An Approach to Prediction of Precipi tation Using Gini Index in SLIQ Decision Tree[A]. 4th Interna tional Conference on Intelligent Systems,Modeling & Simulation, Bangkok[C] [56]Royston S,Lawry J,Horsburgh K. A linguistic decision tree ap proach to predicting storm surge[j]. Fuzzy Sets and Systems, 2013,215:

9 第 1 期 彭 昱 忠 : 数 据 挖 掘 技 术 在 气 象 预 报 研 究 中 的 应 用 27 [57] 万 谦, 陆 建 江, 宋 自 林. 正 态 云 关 联 规 则 在 气 象 中 的 应 用 [J]. 解 放 军 理 工 大 学 学 报 ( 自 然 科 学 版 ),2002,3(4):1-4. [58]Guo Z,Dai X,Lin H. Application of Association Rule in Disaster Weather Forecasting[J]. Geographic Information Sciences,2004, 10(1): [59] 朱 冬 梅, 朱 添 福, 林 逢 春. 改 进 Apriori 算 法 在 气 象 预 报 中 的 应 用 [J]. 计 算 机 科 学,2011,38(7A): [60] 林 万 涛, 王 建 州, 张 文 煜,. 基 于 数 值 模 拟 和 统 计 分 析 及 智 能 优 化 的 风 速 预 报 系 统 [J]. 气 候 与 环 境 研 究,2012,17(5): [61] 迟 德 中. 基 于 数 值 气 象 模 式 和 关 联 规 则 优 化 的 风 电 场 短 期 风 速 预 报 方 法 [D]. 兰 州 : 兰 州 大 学,2012. [62] 王 红 霞, 李 松. 关 联 规 则 挖 掘 在 干 旱 预 测 中 的 研 究 与 应 用 [J]. 微 计 算 机 信 息 ( 管 控 一 体 化 ),2010,26(4-3): [63] 郑 忠 平. 基 于 关 联 规 则 和 聚 类 分 析 的 异 常 天 气 挖 掘 [D]. 成 都 : 电 子 科 技 大 学,2011. [64]Harms S K,Deogun J S. Sequential association rule mining with time lags[j]. Journal of Intelligent Information Systems,2004,22 (1):7-22. [65]Tadesse T,Wilhite D A,Harms S K,et al. Drought monitoring u sing data mining techniques:a case study for Nebraska,USA[J]. Natural Hazards,2004,33(1): [66]Yang R,Tang J,Sun D. Association Rule Data Mining Applica tions for Atlantic Tropical Cyclone Intensity Changes[J]. Weather & Forecasting,2011,26(3): Review of Research on Data Mining in Application of Meteorological Forecasting PENG Yuzhong 1,2,WANG Qian 2,YUAN Changan 1,LIN Kaiping 3 (1. Key Laboratory of Scientific Computing & Intelligent Information Processing in Universities of Guangxi, Guangxi Teachers Education University,Nanning ,China;2. Key Laboratory of Sustainable Development Monitoring and Optimizing in Beibu Gulf(Guangxi Teachers Education University), Ministry of Education,Nanning ,China;3. Guangxi Meteorological Observatory,Nanning ,China) Abstract:Meteorological prediction is one of the most important and challenging task in the modern world. In general,climate is highly non - linear and complicated phenomena,which require advanced method and computer modeling for their accurate prediction. This paper provides a survey of available literature of some methodologies employed by different researchers for the weather forecast based on the methods of data mining at home and abroad. It briefly introduced the concepts and traits of some data mining methods in atmospher ic science,separately discussed the basic principles of these data mining methods used in weather forecasting,including the advantages and disadvantages. Finally,the author points out some existing difficulties of data mining methods used in weather forecasting,and puts forward key points of future research and current trends of the research. Key words:data mining;weather forecast;meteorological data mining;weather modeling;computing intelligence