第 卷 # 第 期! % 年 月 环 境 监 控 与 预 警 5;8) 858;52 8; ;52 8 -'8-121! % 大 数 据 技 术 在 环 境 监 测 中 的 应 用 解 辉 天 津 市 环 境 监 测 中 心 天 津 #$!! 摘 # 要 简 述 了 环 境 监 测 信 息 化 建 设 应 用 现 状 及 问 题 分 析 了 大 数 据 技 术 的 特 点 及 其 在 环 境 监 测 信 息 化 中 的 优 势 提 出 基 于 大 数 据 技 术 可 以 建 设 环 境 监 测 大 数 据 中 心 突 破 传 统 关 系 型 数 据 库 局 限 性 运 用 大 数 据 的 核 心 技 术 实 现 环 境 质 量 综 合 评 价 技 术 的 新 突 破 提 升 环 境 状 况 综 合 预 警 能 力 应 用 大 数 据 可 视 化 技 术 提 高 科 学 决 策 水 平 提 高 人 体 健 康 风 险 评 价 能 力 建 立 环 保 舆 情 分 析 云 平 台 提 升 公 众 服 务 能 力 关 键 词 环 境 监 测 大 数 据 环 境 质 量 综 合 评 价 可 视 化 环 保 舆 情 中 图 分 类 号. ###### 文 献 标 志 码 ###### 文 章 编 号 %& 0%&$! %! 0!!% 0!" $! % (!$ *, $'. 15 1! 1! $!! " #! 5 ; 6;5 61 ; 1 51 8 5 8;)58 68;1658 8 5;8) )858;52 D 6 ;6 ;556 2 152 52 6 8 82 5 5;8) )858;52- ;8 8 8 52 6 8 82 5;8) )858;52 526 ;681 68;16 8 ; ( ;812 5)58 ;558 (- 5658 8 5268; 6 8 82 )52 5 ; ( ;812 5 68) ; 5 158 6 8 82 8 5;8) =1 5-5; 85) ;8 68) ; 5 ; ;52 5 5 8 5;8) 68558 68 81 52 51 5D58 6 8 82 8;5) ;8 525 8 65 5 56 6558 )(52 5; 85) ;8 5 5 8 1) ;5( ) 81; 8 5 6 81 8;) 8; 1 568 558 58 5;8) ;8 658 5 8; ; 85) ;8 1 56 ; 56 5 5 - )* + 5;8) )858;52/52 5;8) =1 5 68) ; 5 158 51 5D58 5;8) ;8 658 1 568 558 # 环 境 监 测 信 息 化 建 设 应 用 现 状 及 问 题 剖 析 - # 现 状 从 信 息 化 角 度 而 言 对 环 境 监 测 过 程 合 理 而 简 要 的 描 述 就 是 获 取 分 析 呈 现 环 境 监 测 数 据 的 过 程 每 一 环 节 皆 与 信 息 技 术 的 发 展 密 不 可 分 伴 随 着 中 国 环 境 监 测 事 业! 余 年 的 发 展 历 程 环 境 监 测 信 息 化 工 作 也 开 展 了 近 $! 年 已 成 为 环 境 监 测 现 代 化 的 重 要 组 成 部 分 在 环 境 监 测 工 作 的 每 一 次 跨 越 发 展 中 环 境 监 测 信 息 化 建 设 也 同 样 经 历 了 重 大 突 破 与 挑 战 大 体 归 纳 为 $ 个 阶 段 第 一 阶 段! 世 纪 &! 年 代 中 后 期 至! 年 代 中 期 环 境 质 量 评 价 与 污 染 动 态 分 析 报 告 的 初 级 阶 段 环 境 监 测 工 作 经 历 了! 世 纪 &! 年 代 的 起 步 阶 段! 年 代 的 调 整 巩 固 阶 段 和! 年 代 初 期 的 充 实 提 高 深 化 阶 段 这 期 间 对 信 息 化 的 需 求 逐 步 加 % 大 建 立 了 一 些 小 规 模 信 息 处 理 系 统 工 具 化 统 计 软 件 得 到 应 用 分 析 报 告 水 平 逐 步 提 高 对 提 高 民 众 环 境 意 识 为 各 级 政 府 下 决 心 加 大 投 入 进 行 污 染 综 合 防 治 起 了 很 大 的 推 动 作 用 第 二 阶 段 九 五 至 十 五 期 间 以 单 要 素 为 主 的 环 境 质 量 综 合 分 析 与 表 征 技 术 相 结 合 的 发 展 阶 段 巩 固 和 完 善 了 国 家 环 境 监 测 网 环 境 监 测 能 力 迅 速 提 高 环 境 监 测 数 据 及 信 息 的 收 集 处 理 传 输 已 实 现 计 算 机 化 并 应 用 多 媒 体 技 术 编 制 环 境 监 测 报 告 初 步 建 立 了 全 国 省 流 域 环 境 监 测 地 理 信 息 基 础 数 据 库 和 数 字 地 图 这 期 间 现 代 信 息 技 术 得 到 普 遍 应 用 在 运 用 先 进 简 明 实 用 的 综 合 评 价 收 稿 日 期! " 0 0! 修 订 日 期! % 0! 0 作 者 简 介 解 辉 %& 女 研 究 员 级 高 级 工 程 师 本 科 从 事 环 境 监 测 与 信 息 化 工 作
方 法 和 表 征 技 术 说 清 楚 环 境 质 量 现 状 及 其 变 化 规 律 方 面 取 得 了 重 大 突 破 第 三 阶 段 十 一 五 至 十 二 五 期 间 基 于 多 环 境 要 素 环 境 质 量 综 合 评 价 的 探 索 阶 段 环 境 污 染 呈 现 更 加 复 杂 的 态 势 环 境 保 护 的 一 项 核 心 任 务 就 是 探 索 一 条 代 价 小 效 益 好 排 放 低 可 持 续 的 中 国 特 色 环 境 保 护 新 道 路 国 家 适 时 提 出 了 构 建 先 进 环 境 监 测 预 警 体 系 的 大 思 路 这 一 时 期 的 环 境 监 测 信 息 化 技 术 主 要 应 用 在 综 合 指 数 法 模 糊 综 合 评 判 法 灰 色 聚 类 法 人 工 神 经 网 络 法 投 影 寻 踪 模 型 法 基 于 层 次 分 析 法 的 区 域 环 境 质 量 综 合 评 价 体 系 等 多 方 尝 试 突 破 按 空 气 地 表 水 噪 声 海 洋 等 单 一 环 境 要 素 评 价 模 式 全 面 展 开 了 向 基 于 多 环 境 要 素 的 综 合 信 息 评 价 技 术 的 探 索 -# 面 临 的 问 题 与 机 遇 进 入 十 三 五 以 来 环 境 监 测 事 业 面 临 着 前 所 未 有 的 压 力 与 挑 战 要 实 现 全 面 设 点 全 国 联 网 自 动 预 警 尤 其 对 生 态 环 境 监 测 信 息 的 集 成 共 享 开 发 与 应 用 提 出 了 更 高 要 求 因 此 环 境 监 测 信 息 化 面 临 的 问 题 愈 加 突 出 宏 观 层 面 上 目 前 环 境 监 测 信 息 呈 现 工 作 虽 然 有 一 些 技 术 方 法 尝 试 将 社 会 人 口 经 济 等 指 标 纳 入 环 境 质 量 综 合 评 价 体 系 但 总 体 仍 是 一 元 应 对 模 式 没 有 整 合 社 会 各 方 资 源 建 立 起 环 境 问 题 高 效 治 理 的 多 元 协 同 模 式 微 观 层 面 上 目 前 的 信 息 利 用 技 术 方 法 均 存 在 一 定 缺 陷 如 指 数 评 价 法 难 以 反 映 环 境 质 量 的 综 合 状 况 模 糊 综 合 评 判 法 对 每 个 参 评 指 标 的 权 重 值 需 要 人 为 给 定 且 参 评 指 标 数 量 较 多 时 往 往 低 估 了 主 要 指 标 的 贡 献 这 些 方 法 大 多 限 于 环 境 质 量 评 价 并 未 真 正 体 现 环 境 和 社 会 系 统 的 关 联 和 可 持 续 发 展 思 想 $ 数 据 库 管 理 仍 然 沿 用 传 统 模 式 各 系 统 独 立 部 署 数 据 分 散 无 法 实 现 跨 系 统 的 数 据 分 析 大 量 外 部 数 据 未 能 有 效 管 理 如 经 济 社 会 发 展 气 象 地 理 国 情 人 口 等 尤 其 是 大 量 非 结 构 化 信 息 如 互 联 网 健 康 金 融 经 济 交 通 等 活 动 过 程 所 产 生 的 各 类 数 据 包 括 微 博 文 字 图 形 视 频 等 尚 未 开 发 利 用 系 统 间 接 口 效 率 低 下 对 于 数 据 存 储 数 据 共 享 等 造 成 较 大 压 力 维 护 成 本 高 昂 # 大 数 据 技 术 特 点 及 在 环 境 监 测 信 息 化 中 的 优 势 - # 大 数 据 技 术 及 其 特 点 大 数 据 /52: 是 从 多 种 来 源 中 搜 集 得 到 的 海 量 数 据 信 息 的 总 称 是 数 据 量 大 类 型 复 杂 需 要 即 时 处 理 和 价 值 提 纯 的 各 类 数 据 大 数 据 技 术 是 一 代 全 新 的 数 据 科 学 领 域 的 技 术 架 构 或 模 式 是 对 预 测 分 析 数 据 挖 掘 统 计 分 析 人 工 智 能 自 然 语 言 处 理 并 行 计 算 数 据 存 储 等 技 术 的 综 合 运 用 $ 大 数 据 有 个 基 本 特 征 一 是 数 据 种 类 多 处 理 和 分 析 方 式 区 别 大 二 是 数 据 量 巨 大 据 统 计 每 天 产 生 -" 艾 字 节 =155 58 的 数 据 信 息 全 球 将 近!* 的 数 据 是 过 去 年 创 造 出 来 的 三 是 处 理 速 度 快 多 数 为 高 速 实 时 数 据 流 四 是 价 值 密 度 低 需 要 价 值 提 纯 实 质 上 容 量 大 是 大 数 据 的 整 体 特 点 增 速 快 是 大 数 据 的 过 程 性 特 点 多 样 性 是 大 数 据 的 具 象 性 特 点 价 值 性 是 大 数 据 的 时 代 性 特 点 " -# 大 数 据 技 术 应 用 于 环 境 监 测 信 息 化 的 优 势 -- # 提 升 生 态 环 境 综 合 预 警 能 力 应 用 大 数 据 从 海 量 分 散 实 时 变 化 的 环 保 数 据 中 挖 掘 出 有 价 值 的 信 息 通 过 分 析 获 取 当 前 状 况 的 总 体 描 述 进 行 态 势 推 演 综 合 研 判 和 决 策 及 时 提 供 给 政 府 和 公 众 第 一 大 数 据 能 够 驱 动 预 警 预 报 的 精 确 度 在 大 气 污 染 预 警 中 气 象 局 可 以 对 星 及 风 云 系 列 气 象 卫 星 反 馈 的 数 据 进 行 监 测 和 分 析 准 确 地 预 警 大 气 污 染 过 程 作 为 启 动 预 警 的 技 术 支 撑 第 二 大 数 据 能 够 驱 动 预 警 信 息 的 时 效 性 大 数 据 的 时 效 性 在 于 对 海 量 信 息 的 快 速 正 确 研 判 理 论 上 讲 污 染 事 件 发 生 后 大 数 据 的 功 能 可 以 加 倍 放 大 并 以 一 种 没 有 提 前 规 划 却 及 时 有 效 的 方 式 监 测 和 推 动 事 件 进 程 如 发 布 环 境 污 染 预 警 发 布 避 难 场 所 信 息 请 求 救 援 等 海 量 涌 现 的 数 据 信 息 在 网 络 平 台 上 下 呼 应 相 互 关 联 这 都 是 传 统 的 污 染 监 测 信 息 公 开 手 段 望 尘 莫 及 的 % 0& --# 提 升 科 学 决 策 水 平 大 数 据 可 视 化 技 术 应 用 在 环 境 监 测 中 有 个 优 点 首 先 是 基 于 可 视 化 技 术 的 环 境 监 测 数 据 分 析 结 果 可 以 提 高 科 学 决 策 水 平 让 数 据 自 由 流 动 不 断 提 高 其 附 加 值 并 且 将 分 析 结 果 完 整 地 呈 现 给 公 众 将 各 种 环 境 数 据 信 息 转 换 为 有 资 讯 价 值 和 行 动 含 义 的 表 达 为 政 府 决 策 管 理 层 企 业 生 产 管 理 者 环 境 组 织 和 社 会 公 众 提 供 决 策 管 理 生 产 行 动 和 生 活 信 息 其 次 通 过 虚 拟 的 数 据 及 治 理 模 型 的 立 体 化 展 现 是 一 种 极 具 创 意 的 环 境 治 理 方 式 可 以 测 试 环 境 保 护 治 理 方 案 是 否 有 效 %$
--$# 提 升 健 康 风 险 评 价 能 力 当 前 环 保 的 核 心 已 逐 步 转 移 到 保 护 民 生 健 康 方 面 有 毒 有 害 污 染 重 金 属 污 染 以 及 环 境 中 病 原 体 等 的 监 测 与 评 价 必 将 逐 步 列 为 重 点 监 测 内 容 这 不 仅 需 要 先 进 的 仪 器 设 备 和 技 术 方 法 更 需 要 科 学 的 健 康 风 险 评 价 技 术 大 数 据 下 的 人 体 健 康 风 险 评 价 就 是 通 过 有 害 因 子 对 人 体 不 良 影 响 发 生 概 率 的 估 算 评 价 暴 露 于 该 有 害 因 子 的 个 体 健 康 受 到 影 响 的 风 险 其 主 要 特 征 是 以 风 险 度 为 评 价 指 标 将 环 境 变 量 的 大 数 据 与 出 行 疾 病 预 测 城 市 资 源 配 置 相 关 联 将 环 境 污 染 程 度 与 人 体 健 康 联 系 起 来 通 过 模 型 分 析 定 量 描 述 污 染 对 人 体 健 康 产 生 危 害 的 风 险 --# 提 升 公 众 服 务 能 力 应 用 大 数 据 技 术 可 以 建 立 面 向 环 保 的 舆 情 分 析 云 平 台 警 示 人 们 对 于 环 境 保 护 生 态 文 明 建 设 等 问 题 的 重 视 推 进 环 境 保 护 的 公 共 治 理 问 题 例 如 对 于 污 染 源 企 业 的 部 分 监 管 工 作 可 以 借 鉴 数 据 众 包 思 路 通 过 平 台 自 助 式 地 把 各 类 数 据 采 集 任 务 发 布 给 公 众 人 群 公 众 利 用 手 机 参 与 应 用 即 可 直 接 完 成 各 类 数 据 采 集 任 务 整 个 数 据 采 集 过 程 无 须 人 工 干 预 同 时 利 用 多 种 数 据 挖 掘 及 自 然 语 言 处 理 技 术 对 网 页 内 容 进 行 分 析 获 取 新 闻 事 件 主 题 及 关 键 信 息 定 位 环 境 事 件 发 生 地 点 发 现 热 点 事 件 并 跟 踪 发 展 趋 势 一 方 面 使 得 环 境 管 理 者 可 以 更 好 地 了 解 社 会 热 点 事 件 政 策 实 施 效 果 等 另 一 方 面 可 以 将 公 众 交 互 行 为 产 生 的 最 新 信 息 及 时 记 录 下 来 进 行 分 析 进 而 面 向 社 会 开 展 精 细 化 服 务 实 现 个 性 化 的 推 荐 功 能 为 公 众 提 供 更 多 便 利 产 生 更 大 价 值 $# 环 境 监 测 大 数 据 采 集 与 集 成 策 略 $- # 环 境 监 测 大 数 据 的 采 集 类 别 $- - # 根 据 内 容 分 类 环 境 监 测 大 数 据 来 源 主 要 有 两 个 方 面 一 是 监 测 部 门 自 身 产 生 的 数 据 包 括 生 态 环 境 监 测 数 据 和 污 染 源 排 放 数 据 以 结 构 化 数 据 为 主 主 要 数 据 的 时 间 跨 度 将 近! 年 另 一 种 是 外 部 产 生 的 数 据 主 要 是 人 群 活 动 产 生 的 与 环 境 相 关 的 数 据 信 息 非 结 构 化 数 据 所 占 比 例 较 高 时 间 跨 度 不 等 典 型 的 如 气 象 数 据 在 百 年 以 上 而 现 代 人 与 环 境 相 关 数 据 往 往 年 代 较 近 生 态 环 境 综 合 监 测 数 据 可 细 分 为 大 气 监 测 水 质 监 测 土 壤 监 测 噪 声 监 测 降 水 监 测 气 % 象 监 测 电 磁 辐 射 监 测 森 林 植 被 防 护 监 测 数 据 等 涵 盖 环 境 质 量 监 测 点 环 境 功 能 区 水 源 保 护 区 自 然 生 态 保 护 区 等 环 境 敏 感 区 域 由 全 国 环 境 质 量 监 测 网 产 生 用 于 描 述 整 体 生 态 环 境 质 量 状 况 污 染 源 排 放 数 据 可 细 分 为 废 气 污 染 源 废 水 污 染 源 固 体 废 物 在 线 监 管 数 据 等 包 括 污 染 源 基 本 情 况 污 染 源 监 测 治 理 设 施 运 行 总 量 控 制 污 染 防 治 排 污 费 征 收 监 察 执 法 行 政 处 罚 环 境 应 急 等 环 境 监 管 信 息 $ 人 群 活 动 产 生 的 与 环 境 相 关 的 数 据 信 息 可 细 分 为 经 济 社 会 发 展 规 划 基 础 气 象 地 理 国 情 人 口 经 济 统 计 用 水 量 用 电 量 生 活 垃 圾 交 通 等 主 要 来 源 于 各 类 官 方 统 计 年 鉴 网 络 媒 体 等 以 数 据 库 文 件 图 形 视 频 等 方 式 存 在 $- -# 根 据 数 据 的 生 命 周 期 分 类 冷 数 据 历 史 归 档 数 据 及 未 经 处 理 的 原 始 数 据 在 生 态 环 境 监 测 数 据 及 污 染 源 排 放 数 据 中 有 相 当 比 例 是 该 类 数 据 特 点 是 极 少 被 访 问 计 算 需 求 较 低 存 储 需 要 大 容 量 硬 盘 低 端?,3 和 较 低 内 存 即 可 温 数 据 供 历 史 查 询 周 期 较 长 的 各 种 分 析 报 表 数 据 等 如 环 境 质 量 日 报 月 报 季 报 年 报 统 计 年 鉴 信 息 等 特 点 是 访 问 频 率 较 低 运 算 要 求 中 等 存 储 需 要 大 容 量 硬 盘 低 端?,3 和 相 对 较 低 内 存 $ 热 数 据 指 当 期 使 用 数 据 包 括 处 理 后 的 入 库 及 部 分 原 始 数 据 如 水 气 污 染 源 气 象 等 需 要 实 时 发 布 的 在 线 监 测 数 据 及 模 型 数 据 等 特 点 是 频 繁 被 访 问 高 运 算 高 并 发 高 实 时 存 储 需 要 大 容 量 高 速 硬 盘 中 端?,3 高 内 存 和 高 速 网 络 $-# 数 据 集 成 策 略 大 数 据 集 成 的 主 要 目 的 是 保 证 数 据 质 量 这 是 大 数 据 应 用 的 前 提 为 保 证 大 数 据 分 析 结 果 的 准 确 性 需 要 将 不 真 实 的 数 据 剔 除 掉 挑 选 出 最 正 确 有 效 的 数 据 具 体 步 骤 是 将 来 自 底 层 数 据 源 系 统 的 不 同 类 型 数 据 通 过 数 据 抽 取 分 发 清 洗 转 换 和 装 载 等 过 程 将 源 数 据 存 储 到 数 据 共 享 平 台 中 根 据 环 境 监 测 大 数 据 类 型 及 特 点 在 集 成 过 程 中 应 侧 重 考 虑 以 下 环 节 数 据 转 换 模 块 对 类 型 或 格 式 不 一 致 的 数 据 进 行 转 换 由 于 历 史 原 因 环 境 监 测 数 据 始 终 存 在 编 码 不 统 一 的 问 题 所 以 应 将 不 同 数 据 源 或 网 元 的 数 据 转 换 成 统 一 格 式 编 码
数 据 补 采 模 块 为 应 对 数 据 中 断 数 据 不 完 整 等 问 题 需 要 根 据 不 同 类 型 数 据 设 定 不 同 的 补 采 规 则 对 于 冷 温 数 据 可 以 人 工 进 行 补 采 而 对 于 热 数 据 要 实 现 补 采 任 务 的 自 动 发 起 $ 数 据 清 洗 模 块 负 责 对 脏 数 据 进 行 剔 除 消 除 数 据 的 不 一 致 脏 数 据 包 括 不 规 则 数 据 不 符 合 事 实 数 据 要 设 置 尽 量 详 细 的 规 则 如 取 值 范 围 完 整 性 规 则 拼 写 检 查 等 采 集 监 控 模 块 整 个 数 据 采 集 与 集 成 过 程 需 要 发 起 大 量 的 数 据 采 集 转 换 加 载 等 任 务 所 以 需 要 具 有 完 备 的 任 务 调 度 管 理 及 监 控 能 力 通 过 界 面 对 各 类 任 务 进 行 配 置 启 动 跟 踪 管 理 和 监 控 包 括 加 载 任 务 的 状 态 对 加 载 任 务 进 行 启 停 和 优 先 级 设 置 等 操 作 # 环 境 监 测 大 数 据 平 台 架 构 及 其 主 要 功 能 - # 大 数 据 管 理 与 传 统 数 据 库 的 区 别 传 统 数 据 库 一 般 为 关 系 型 数 据 库 有 很 大 局 限 性 很 难 满 足 大 数 据 高 效 率 存 储 和 访 问 的 需 求 以 及 高 扩 展 性 和 高 可 用 性 的 要 求 大 数 据 中 心 管 理 与 传 统 数 据 库 管 理 存 在 本 质 区 别 数 据 规 模 不 同 传 统 数 据 库 以 / 为 基 本 单 位 大 数 据 则 以 //,/ 为 基 本 单 位 数 据 类 型 不 同 传 统 数 据 库 以 结 构 化 数 据 为 主 种 类 单 一 大 数 据 包 括 结 构 化 半 结 构 化 和 非 结 构 化 数 据 种 类 繁 多 $ 产 生 模 式 不 同 传 统 数 据 库 先 设 定 模 式 后 产 生 数 据 大 数 据 很 难 预 先 设 定 模 式 通 常 是 数 据 出 现 之 后 才 有 模 式 并 且 不 断 演 化 处 理 对 象 不 同 传 统 数 据 单 纯 是 处 理 对 象 大 数 据 已 经 成 为 一 种 资 源 " 处 理 工 具 不 同 传 统 数 据 仅 需 一 种 或 少 数 几 种 大 数 据 则 需 要 多 种 不 同 的 处 理 工 具 传 统 模 式 下 的 环 境 监 测 数 据 库 一 般 为 独 立 部 署 数 据 分 散 形 成 数 据 孤 岛 无 法 实 现 跨 部 门 数 据 分 析 系 统 间 接 口 效 率 低 下 数 据 共 享 会 对 原 有 系 统 造 成 较 大 压 力 数 据 存 储 维 护 成 本 高 昂 不 适 用 大 数 据 容 量 的 急 速 膨 胀 -# 环 境 监 测 大 数 据 平 台 架 构 大 数 据 平 台 与 一 般 的 业 务 信 息 应 用 系 统 有 本 质 区 别 大 数 据 平 台 不 是 一 般 的 生 产 型 数 据 平 台 水 质 空 气 污 染 源 在 线 例 行 监 测 5) 等 是 生 产 业 务 性 数 据 平 台 而 是 多 方 汇 聚 吸 纳 整 合 统 筹 再 次 组 织 社 会 各 类 甚 至 各 行 业 信 息 这 些 均 参 与 或 涉 及 生 态 环 境 监 测 信 息 的 主 动 产 生 专 业 产 生 间 接 产 生 是 大 数 据 平 台 的 上 游 源 头 供 给 侧 这 些 多 元 异 构 结 构 化 和 非 结 构 化 信 息 在 大 数 据 平 台 大 量 交 织 信 息 价 值 密 度 差 异 很 大 大 数 据 平 台 的 一 个 重 要 功 能 就 是 利 用 信 息 挖 掘 手 段 根 据 环 保 专 业 的 规 则 策 略 进 行 更 高 层 次 的 改 造 转 换 有 序 组 织 从 单 一 因 子 单 一 维 度 向 多 维 关 联 转 化 从 而 认 知 和 洞 察 传 统 的 面 向 某 一 具 体 领 域 的 环 境 监 测 数 据 库 难 以 准 确 呈 现 的 规 律 知 识 趋 势 特 征 等 环 境 监 测 大 数 据 平 台 主 要 架 构 示 意 如 图 由 数 据 采 集 存 储 处 理 共 享 应 用 等 系 统 组 成 整 体 技 术 架 构 是 基 于 物 理 资 源 及 网 络 资 源 采 集 整 合 所 有 环 保 相 关 的 数 据 汇 聚 于 大 数 据 平 台 对 数 据 进 行 分 析 挖 掘 提 供 基 于 可 视 化 的 数 据 分 析 结 果 应 用 建 立 面 向 对 象 的 环 保 业 务 应 用 系 统 和 信 息 服 务 门 户 为 第 三 方 环 保 应 用 提 供 商 提 供 统 一 的 应 用 展 示 平 台 为 公 众 企 业 政 府 等 受 众 提 供 环 保 信 息 服 务 和 交 互 服 务 -- # 数 据 采 集 与 存 储 为 保 证 环 境 监 测 大 数 据 分 析 结 果 的 准 确 性 数 据 中 心 需 要 将 不 同 类 型 的 环 境 数 据 通 过 数 据 抽 取 分 发 清 洗 转 换 和 装 载 等 过 程 将 大 数 据 中 不 真 实 的 数 据 剔 除 掉 保 留 最 准 确 的 数 据 再 将 源 数 据 存 储 到 数 据 共 享 平 台 中 存 储 的 数 据 按 照 生 命 周 期 配 置 为 历 史 归 档 数 据 和 当 期 使 用 数 据 提 供 查 询 接 口 并 对 外 开 放 数 据 仓 库 可 以 满 足 大 量 的 环 境 监 测 实 时 数 据 分 析 处 理 的 要 求 --# 数 据 处 理 与 共 享 数 据 处 理 是 按 预 先 定 义 的 计 算 处 理 需 求 进 行 批 量 计 算 处 理 实 现 数 据 建 模 数 据 计 算 功 能 如 针 对 大 气 水 体 土 壤 的 环 境 质 量 连 续 监 测 引 入 预 测 模 型 预 测 环 境 质 量 变 化 趋 势 从 而 为 环 境 容 量 核 定 产 业 结 构 布 局 城 市 规 划 建 设 资 源 开 发 利 用 等 提 出 更 加 合 理 的 生 态 环 境 保 护 建 议 同 时 在 污 染 企 业 监 控 预 警 方 面 引 入 生 产 排 污 工 况 监 控 深 度 监 控 排 污 企 业 生 产 排 放 存 储 运 输 各 个 环 节 为 监 察 部 门 提 供 可 靠 的 执 法 依 据 并 结 合 大 数 据 挖 掘 技 术 来 计 算 企 业 排 污 对 当 地 环 境 的 影 响 数 据 共 享 层 支 持 建 立 数 据 服 务 的 标 准 化 接 口 促 进 联 防 联 动 将 监 察 执 法 处 理 情 况 环 境 监 测 情 %"
况 污 染 源 在 线 监 控 情 况 进 行 统 一 汇 总 分 析 实 现 跨 部 门 协 作 切 实 加 大 环 境 监 管 力 度 --$# 数 据 挖 掘 应 用 应 用 环 境 监 测 大 数 据 平 台 的 最 大 优 势 就 是 可 以 把 大 量 的 以 往 没 有 得 到 重 视 的 水 质 空 气 污 染 源 监 控 视 频 信 息 的 大 数 据 进 行 集 成 挖 掘 把 来 自 社 交 网 络 的 大 量 很 发 散 缺 乏 有 效 组 织 价 值 密 度 低 但 仍 具 有 生 态 环 境 信 息 意 义 的 数 据 资 源 进 行 嗅 探 抓 取 整 合 处 理 赋 予 数 据 系 统 新 的 深 度 从 而 达 到 提 高 环 境 质 量 综 合 评 价 技 术 水 平 的 目 的 参 考 文 献 # 魏 复 盛 - 我 国 环 境 监 测 的 回 顾 与 展 望 - 环 境 监 测 管 理 与 技 术 0- # 商 博 于 光 金 王 桂 勋 等 - 基 于,? 的 区 域 环 境 质 量 综 合 评 价 及 图 # 环 境 监 测 大 数 据 平 台 功 能 架 构 应 用 实 例 研 究 - 中 国 环 境 监 测! $ " 0 "- $ # 张 锋 军 - 大 数 据 技 术 研 究 综 述 - 通 信 技 术! &! 0 - # 陶 安 - 大 数 据 时 代 下 的 信 息 资 源 建 设 - 软 件 导 刊 教 育 技 术!! " 0%!- " # 任 志 锋 陶 立 业 - 论 大 数 据 背 景 下 的 政 府 循 数 治 理 - 理 论 探 索! % 0$- % # 黎 如 昊 黄 云 生 - 广 东 省 地 表 水 自 动 监 测 系 统 数 据 传 输 协 议 的 设 计 及 应 用 - 环 境 监 控 与 预 警! % " 0% - & # 董 艳 平 喻 义 勇 金 鑫 等 - 基 于 在 线 监 测 数 据 的 青 奥 会 废 气 重 点 污 染 源 临 时 管 控 效 果 评 估 - 环 境 监 控 与 预 警! "& 0 - # 戴 秀 丽 朱 培 瑜 王 蕾 等 - 环 境 监 测 数 据 审 核 体 系 的 回 顾 与 展 望 - 环 境 监 控 与 预 警! "&$ " 0""- 栏 目 编 辑 # 周 立 平 上 接 第 页 #4 ' 9 93C. '' - 85?8)5 58 1 8 09 :5 8 > 6 6 52 65 55 > 5 5 65 8618? 5 -, 8 ;! $ 0""- $ #4 4 3 : 9 ' : -,//,/:,?/5 8868 6 ;8) 5 ) 5 5 5( 86 ; 5-65 6 8 8 5;8 )!!!& "%" 0 "&"- # ' / - )56; 5 8 1) 8 1; 8 < 81; 5? 5-5;8) ;58! % 0 $- " #4 9 ' 4 : ' -,//,/:,?/ 5 5;8 ; 5 ;81 5 ) 5 5 4 752,;8 56? 5 5; 8 5 81;6-65 6 8 8 5;8)!!$ & 0$ % 0"&- % # 董 亮 张 秀 蓝 史 双 昕 等 - 新 型 持 久 性 有 机 污 染 物 分 析 方 法 研 究 进 展 - 中 国 科 学 化 学! $ $$ $$% 0$"!- & # 董 黎 静 戴 玄 吏 滕 加 泉 等 - / 0:30? 法 同 步 测 定 饮 用 水 源 水 中 % 种 多 溴 联 苯 化 合 物 - 环 境 监 控 与 预 警! " &" $& 0 - # 林 静 佳 - 应 用 :,. 方 法 快 速 测 定 蔬 菜 中 有 机 磷 残 留 量 - 广 州 医 药! $$ "& 0" # 李 凯 刘 永 强 张 金 玲 等 -:,.0 萃 取 吸 管 结 合 气 相 色 谱 串 联 质 谱 法 同 时 检 测 水 果 蔬 菜 中! 种 农 药 残 留 - 分 析 试 验 室! " $ $% 0 -! 李 桂 香 张 大 为 李 文 -, 0? 检 测 环 境 样 品 中 的 痕 量 有 机 氯 农 残 - 实 验 室 研 究 与 探 索!! 0 $&"- %%