24 May, 2016 報 告 人 : 處 長 蔡 鴻 德 行 政 院 環 境 保 護 署 環 境 監 測 及 資 訊 處
一 前 言 二 導 入 大 數 據 進 程 與 現 況 三 環 保 署 案 例 應 用 分 享 如 何 運 用 資 料 說 故 事 如 何 影 響 決 策 四 未 來 展 望 與 建 議
前 言 概 念 從 Open Data 開 始 How open data relates to other types of data open data refers to data that is easily accessible, machine-readable, accessible for free or at negligible cost, and with minimal limitations on its use, transformation, and distribution. 資 料 業 務 資 料 外 單 位 資 料 萃 取 分 析 分 析 試 作 模 型 擴 大 建 立 資 訊 資 料 變 資 訊 再 次 開 放 3
他 山 之 石 Detroit Water Project Dry times in the Motor City. Utility Detroit, Data Michigan, for Social USA Good. Detroit, Michigan, USA 緣 起 成 效 方 法 底 特 律 市 政 府 2013 年 宣 告 破 產 ; 自 來 水 公 司 強 迫 對 未 繳 費 十 萬 用 戶 停 水 發 起 Detroit Water Project ( 後 改 為 The Human Utility), 號 召 各 地 民 眾 替 經 濟 被 停 水 家 戶 繳 水 費 2014 年 7 月 迄 今, 已 經 獲 逾 24 萬 美 元 的 捐 款, 協 助 超 過 900 個 家 庭 運 用 機 器 學 習 方 法, 分 析 每 個 家 庭 自 來 水 使 用 狀 況 與 繳 費 行 為, 找 出 可 能 遭 遇 經 濟 困 難 的 家 庭 特 徵, 進 而 和 政 府 機 關 與 NGO 合 作 提 供 協 助 發 現 當 時 市 議 會 通 過 水 費 漲 價 8.7% 決 議, 計 畫 繪 製 欠 費 停 水 用 戶 熱 點 地 圖, 各 選 區 市 議 員 贊 成 / 反 對 漲 價, 比 對 發 現 贊 成 漲 價 的 多 是 欠 費 停 水 熱 區 議 員 the framework is lightweight and open source. Detroit Water Project 4
契 機 環 境 雲 計 畫 發 展 演 進 水 大 氣 地 林 生 態 opendata.epa.gov.tw ienv.epa.gov.tw erdb.epa.gov.tw prtr.epa.gov.tw 5
讓 資 料 說 話 民 眾 陳 情 案 件 分 析 聚 焦 效 果 2010-2014 年 臺 北 市 噪 音 投 訴 時 間 correlation( 相 關 性 ) vs. causality ( 因 果 關 係 ) correlation messy 從 又 多 又 亂 的 資 料 中 找 出 相 關 性 more 6 環 境 即 時 通 近 三 個 月 使 用 者 分 布
讓 資 料 說 話 列 管 污 染 源 資 料 查 詢 系 統 : 使 用 者 行 為 探 索 熱 門 搜 尋 關 鍵 字 熱 門 地 點 搜 索 關 鍵 字 次 數 1 日 月 光 748 2 3 頂 新 製 油 無 機 性 污 泥 食 安 議 題 246 180 4 台 塑 175 5 味 全 食 安 議 題 153 6 台 灣 積 體 電 路 149 7 頂 新 食 安 議 題 133 8 焚 化 廠 119 9 新 北 市 117 10 戴 奧 辛 110 11 正 隆 股 份 有 限 公 司 107 12 速 德 營 造 有 限 公 司 103 13 紡 織 污 泥 102 14 廢 棄 物 94 15 台 積 電 89 以 過 去 半 年 為 例 關 鍵 字 次 數 1 台 灣 101 國 際 購 物 中 心 66 2 台 灣 維 文 工 業 有 限 公 司 49 3 101 38 4 楠 梓 加 工 出 口 區 35 5 東 海 大 學 24 6 愛 河 23 7 日 月 光 20 8 台 灣 高 雄 市 憲 政 路 290 巷 3 弄 4 號 20 9 123 20 10 台 灣 桃 園 縣 八 德 市 19 11 中 華 路 一 段 19 12 大 園 區 18 13 大 安 森 林 公 園 17 14 南 投 縣 竹 山 鎮 17 15 焚 化 17 7
導 入 大 數 據 關 鍵 思 考 4V: Volume, Velocity, Variety, Veracity 之 外.. 1 2 3 4 5 問 題 界 定 負 責 對 象 現 有 方 案 問 題 即 時 性 資 料 來 源 環 資 部 資 料 交 通 資 料 公 害 陳 情 環 境 資 源 資 料 空 污 狀 況 列 管 污 染 源 環 境 意 識 8
"Big data is high volume, high velocity, and/or high variety information assets that require new forms of processing to enable enhanced decision making, insight discovery and process optimization." 導 入 大 數 據 進 程 與 現 況 Big Environmental Data 9
推 動 進 程 Value Data-Driven Organization 實 作 大 數 據 分 析 深 化 擴 展 大 數 據 應 用 Unaware 未 知 階 段 規 劃 導 入 大 數 據 技 術 Aware 認 知 階 段 (9~12 個 月 ) Experimental 實 作 階 段 (9~12 個 月 ) 完 成 巨 量 資 料 分 析 平 臺 基 礎 設 施 103 年 104 年 105 年 Time 10
實 踐 大 數 據 分 析 環 保 署 案 例 試 行 採 用 機 制 成 果 運 用 成 果 溝 通 ( 圖 像 化 ) 結 果 診 斷 問 題 界 定 資 料 : 內 外 部 資 料 (Open Data 物 聯 網 社 群 輿 情 ) 人 員 : 不 同 領 域 專 業 組 成 任 務 小 組 技 術 : 雲 端 運 算 分 散 演 算 分 析 目 標 設 定 資 料 蒐 集 資 料 清 理 統 計 建 模 特 徵 萃 取 11
推 動 現 況 103-105 年 度 案 例 集 錦 年 降 雨 量 解 析 環 境 即 時 通 使 用 分 析 103 年 度 公 害 陳 情 時 空 分 析 104 年 度 105 年 度 圖 解 廢 棄 物 案 例 空 氣 品 質 推 估 作 法 1 評 估 並 導 入 合 適 之 資 料 管 理 及 分 析 工 具 軟 體 (Tableau, SAS, Hadoop ) 作 法 2 參 考 美 國 環 保 署 業 務 情 報 分 析 中 心 (Business Intelligence and Analytics Center, BIAC) 建 構 集 中 式 之 技 術 工 具 服 務 平 台 作 法 3 滾 動 調 整 精 進 12
資 料 圖 像 化 環 保 署 案 例 應 用 分 享 運 用 資 料 說 故 事 13
1 公 害 陳 情 資 訊 案 例 尋 找 潛 勢 區 彙 集 歷 年 公 害 陳 情 資 料 結 合 不 同 資 料 來 源 分 析 具 有 潛 勢 的 污 染 可 能 來 源 搭 配 空 間 分 布 資 料 彙 總 (aggregation) 功 能 建 立 資 料 導 向 (data-driven) 決 策 文 化 以 opendata 方 式 提 供 或 利 用 環 境 雲 資 料 交 換 平 台 (cdx ), 提 供 公 部 門 使 用 本 項 資 料 103 年 1~8 月 異 味 污 染 陳 情 資 料 以 桃 園 縣 為 例 彙 總 單 點 > 15 次 的 陳 情 地 點 空 間 分 布 情 形 利 用 許 多 小 資 料 來 作 日 常 決 策 14
2 環 境 即 時 通 APP 案 例 -- 使 用 量 趨 勢 探 索 裝 置 數 量 250000 200000 150000 100000 102 年 3 月 11 日 上 線, 下 載 量 累 計 超 過 20 萬 APP 使 用 量 持 續 成 長, 近 4 個 月 有 快 速 增 長 趨 勢 下 載 量 結 合 非 結 構 資 料 ( 時 事 ) 做 分 析 ios, 103600, 49% Android, 109055, 51% Android ios 總 計 多 項 式 ( 總 計 ) 教 育 部 協 助 推 廣 三 次 境 外 污 染 11/19, 98945 12/24, 139399 12/14, 112948 二 次 境 外 污 染 104.3.23 教 育 部 校 園 空 品 旗 幟 宣 導 試 辦 104.2.27 柴 靜 霧 霾 調 查 03/16, 212655 ios 50000 11/08, 69319 Android 0 06/01 07/01 08/01 09/01 10/01 11/01 12/01 01/01 02/01 03/01 2015 2016 15
2 環 境 即 時 通 APP 案 例 -- 使 用 情 形 與 空 間 分 布 使 用 者 常 用 位 置 集 中 於 都 會 區 臺 北 新 北 臺 中 高 雄, 臺 南 次 之 Android 使 用 者 ios 使 用 者 統 計 時 間 :2016/01/01~2016/03/20 假 日 使 用 頻 率 相 對 較 高 16
2 環 境 即 時 通 APP 案 例 -- 空 污 與 民 眾 使 用 季 節 變 化 以 android 版 本 為 例 九 月 十 月 十 一 月 十 二 月 一 月 二 月 三 月 四 月 17
業 務 發 展 環 保 署 案 例 應 用 分 享 從 出 示 資 料 到 影 響 決 策 EPA: A data-driven decision-making agency 18
3 全 臺 空 品 時 空 特 徵 案 例 -- 相 關 性 及 長 期 趨 勢 探 索 1996-2014 年 空 品 監 測 數 據 南 北 1996 2014 相 關 性 分 析 交 通 污 染 物 CO 和 NO X 等 相 關 性 佳, 呈 逐 年 降 低 趨 勢 光 化 污 染 物 O 3 日 均 值 有 增 高 趨 勢, 但 每 日 最 高 值 則 已 改 善 交 通 污 染 分 布 集 中 在 北 中 南 都 會 區, 已 有 持 續 改 善 懸 浮 微 粒 及 光 化 污 染 物 濃 度 在 中 南 部 仍 然 較 高 19
3 全 臺 空 品 時 空 特 徵 案 例 -- 發 掘 相 關 性 及 相 似 性 Location 16.1 Month 11.3 CO 0.607 PM10 102 PM2.5 58.1 監 測 數 據 資 料 PM2.5/PM10 9.45 d 2.85 0.602 O3 6.55 d 1.79 45.1 MaxO3 0.408 d 0.209 94.4 Ox 63.9 d 25.5 60.6 NO 34 d 9.77 8.17 相 關 性 分 析 NO2 0.483 d 0.364 23.2 NOx 31.5 d 17.9 30.8 SO2 64.9 d 35.3 5.8 WS 43.3 d 26.1 3.53 RH 5.08 d 2 86.3 15 20.1 3.8 2.55 76.2 d 6.89 d 9.42 d 1.8 d 1.58 d 66.1 相 似 性 分 析 SOM 20-May-2015 Temp 30.1 22.6 d 15 PM O 3 Rainfall 13.8 6.95 d 0.0942 CO 和 NOx 等 相 關 性 佳, 南 北 部 區 冷 季 高 SO 2 冷 季 南 較 北 部 高 懸 浮 微 粒 冷 季 越 往 南 越 高 PM 2.5 /PM 10 比 率 隨 低 溫 光 化 反 應 及 交 通 增 加 降 雨 量 與 污 染 物 濃 度 負 相 關 污 染 物 時 空 相 似 性 與 空 品 區 不 盡 一 致 20
4 圖 解 事 業 廢 棄 物 污 染 潛 勢 案 例 成 果 圖 像 化 高 潛 勢 地 區 ( 高 雄 市 案 例 ) 落 實 當 責 性 資 料 管 理 連 結 資 料 建 立 者 與 使 用 者, 致 力 提 升 資 料 品 質 找 出 N1 家 產 源 機 構 N2 家 清 除 機 構 N3 輛 清 運 載 具 N3 物 種 分 析 對 象 : 事 業 廢 棄 物 申 報 聯 單 及 清 運 機 具 監 控 軌 跡 資 料 資 料 結 合 不 同 空 間 圖 資 資 料 來 源 找 出 可 能 疑 似 有 潛 在 污 染 情 形 空 間 分 析 與 熱 區 分 析 21
5 年 降 雨 量 解 析 案 例 -- 22
5 年 降 雨 量 解 析 案 例 -- 23
實 作 流 程 與 資 源 巨 量 資 料 及 環 境 治 理 規 劃 案 與 示 範 網 站 以 案 例 分 析 方 式, 提 出 未 來 作 業 模 式 蒐 存 取 結 合 中 央 與 地 方 蒐 集 資 料 資 料 貯 存 數 位 化 擴 大 資 料 深 度 廣 度 如 法 規 規 定 自 動 監 測 的 放 流 資 料 化 機 械 可 讀 M2M 口 排 放 煙 道 特 殊 性 工 業 區 空 氣 品 質 監 測 站 等 資 料 不 定 期 從 彙 總 性 及 統 合 性 角 度, 跨 業 務 橫 向 資 料 整 合, 研 提 案 例 分 析 依 本 身 業 務 需 求, 運 用 軟 體 工 具 從 業 務 面 縱 向 進 行 資 料 分 析 內 部 或 機 關 間 利 用 CDX 分 享 所 蒐 存 資 料 持 續 導 入 不 同 類 型 軟 體 工 具 ( 巨 量 資 料 庫 平 台 統 計 軟 體 資 料 視 覺 化 工 具 ) 用 提 供 業 務 決 策 資 訊 建 立 資 料 導 向 思 維 析 持 續 精 進 資 料 解 析 溝 通 的 技 術 及 人 員 24
資 料 取 得 與 資 料 品 質 曾 遭 遇 困 難 資 料 可 取 得 性 資 料 內 容 規 格 業 務 流 程 熟 悉 度 蒐 取 用 析 對 策 單 位 間 溝 通 協 調 資 料 業 管 單 位 定 義 外 部 資 料 蒐 集 業 務 單 位 詮 釋 小 組 Brain Storming 資 料 品 質 待 加 強 存 改 善 資 料 存 取 方 式 25
空 氣 污 染 物 濃 度 時 空 變 化 探 討 交 通 流 量 與 微 尺 度 氣 象 之 影 響 (105 試 做 ) 台 北 市 VD & CCTV 設 置 分 布 圖 交 通 流 量 與 空 氣 污 染 狀 況 時 空 分 布 特 徵 探 尋 S1 S6 S2 S8 S7 S9 S1 S4 S10 S3 S5 B) Shanghai 26
展 望 與 技 術 前 沿 未 來 發 展 與 建 議 Big Environmental Data 資 料 技 術 27
資 料 開 放 創 造 資 料 應 用 新 價 值 Data Collection Data Analytics Data Visualization Big Data 開 放 共 享 創 新 應 用 1. 統 籌 整 合 內 外 部 資 料, 整 合 應 用 雙 軌 並 行 2. 推 動 資 料 資 源 開 放 共 享 3. 鼓 勵 創 新 包 含 業 務 面 管 理 面 和 制 度 模 式, 逐 步 推 展 環 境 大 數 據 應 用 格 局 健 全 規 範 標 準 1. 建 立 環 境 大 數 據 管 理 工 作 機 制, 健 全 標 準 體 系 2. 提 升 資 料 準 確 性 一 致 性 和 真 實 性 3. 強 化 維 運 管 理 和 資 訊 安 全 防 護 確 立 資 料 & 系 統 安 全 28
IOT 時 代 新 趨 勢 行 動 應 用 無 所 不 在 資 料 即 時 分 享 行 動 通 訊 裝 置 微 環 境 感 測 29
新 世 代 空 氣 品 質 監 測 階 層 式 監 測 體 系 76 座 國 家 測 站 26 座 地 方 測 站 72 座 國 營 企 業 測 站 37 座 特 殊 性 工 業 區 測 站 97.4% 品 保 合 格 率 高 高 少 國 家 級 測 站 網 以 本 署 76 個 測 站 為 基 礎 架 構 EPA 國 家 測 站 數 據 品 質 相 對 成 本 設 施 數 量 區 域 性 測 站 網 智 慧 城 鄉 空 品 物 聯 網 地 方 及 特 殊 性 工 業 區 監 測 站 佈 建 簡 易 空 品 感 測 器 物 聯 網 95.9% 資 料 可 用 率 低 低 多 智 慧 社 區 空 品 點 或 市 民 行 動 感 測 器 配 置 感 測 器 30
全 方 位 環 境 品 質 感 測 物 聯 網 發 展 4G 資 料 倉 儲 3G 跨 域 加 值 資 料 流 通 WiFi 污 染 管 制 資 訊 服 務 資 料 分 析 緊 急 應 變 環 境 治 理 資 料 檢 核 RoLa 土 壤 感 測 器 噪 音 感 測 器 Bluetooth 空 氣 感 測 器 水 質 感 測 器 31
導 入 巨 量 資 料 (big data) 相 關 技 術, 深 度 解 析 環 境 資 料, 創 造 資 料 應 用 新 價 值 簡 報 結 束 敬 請 指 教