探 索 Splunk 搜 尋 處 理 語 言 (SPL) 入 門 和 操 作 手 冊 Splunk 首 席 策 劃 David Carasso 著

Transcription

1 探索 Splunk 探索 Splunk David Carasso 巨量資料具有令人難以置信的商業價值 而 Splunk 是發掘這些價值 的最佳工具 探索 Splunk 可讓您瞭解如何找到答案 以及尋找 隱藏在機器產生的大量資料中的模式 本書使用引人注目的視覺簡報 樣式 可讓您快速熟悉 Splunk 的使用方法 您會從掌握 Splunk 基 本知識到創造性地解決實際問題 尋找隱藏在巨量資料中的珍寶 Splunk 首席策劃 David Carasso 是 Splunk 的第三位員工 負責創 新和設計 Splunk 核心難題的原型 包含開發搜尋處理語言 (SPL) 動態事件和來源標記 自動欄位擷取 交易群組 事件彙總和時間戳 記 他在 Splunk 的工作中擁有兩項專利 目前與妻子和三名子女居 住在加州馬林郡 CITO Research 美元 探索 Splunk 搜尋處理語言 (SPL) 入門和操作手冊 Splunk 首席策劃 David Carasso 著

2 探 索 Splunk 搜 尋 處 理 語 言 (SPL) 入 門 和 操 作 手 冊 Splunk 首 席 策 劃 David Carasso 著

3 探 索 Splunk,David Carasso 著 Copyright 2012 by Splunk Inc. 保 留 所 有 權 利 美 國 印 製 Splunk, Inc. 授 權 供 內 部 或 個 人 使 用 之 副 本 未 經 Splunk, Inc. 書 面 許 可, 不 得 另 行 複 製 CITO Research, 1375 Broadway, Fl3, New York, NY 出 版 編 輯 / 分 析 師 :Dan Woods 和 Deb Cameron 文 字 編 輯 :Deb Cameron 製 作 編 輯 :Deb Gabriel 封 面 設 計 :Splunk, Inc. 圖 形 :Deb Gabriel 初 版 :2012 年 4 月 雖 然 編 寫 本 書 時 已 採 取 所 有 預 防 措 施, 但 是 出 版 者 和 作 者 不 會 為 錯 誤 或 遺 漏, 或 使 用 本 書 包 含 的 資 訊 而 導 致 的 損 壞 承 擔 任 何 責 任 免 責 聲 明 ISBN: ; 本 書 的 目 的 是 作 為 僅 供 閱 讀 的 教 科 書 和 參 考 書 Splunk 軟 體 產 品 的 實 際 使 用 必 須 符 合 對 應 的 軟 體 授 權 合 約, 而 非 本 書 的 編 寫 內 容 產 品 使 用 方 法 資 訊 的 可 靠 來 源 並 非 本 書, 而 是 Splunk 軟 體 產 品 提 供 的 說 明 文 件 雖 然 已 謹 慎 確 保 本 書 所 包 含 資 訊 的 精 確 性 和 及 時 性, 但 Splunk 並 不 保 證 本 書 所 包 含 資 訊 的 精 確 性 或 及 時 性, 且 Splunk 不 會 為 使 用 本 書 包 含 的 資 訊 及 其 導 致 的 結 果 承 擔 任 何 責 任 讀 者 必 須 透 過 docs. splunk.com 查 閱 Splunk 功 能 的 最 新 說 明

4 目 錄 前 言 關 於 本 書 本 書 內 容 慣 例 感 謝 i ii ii iii 第 1 部 分 : 探 索 SPLUNK 1 關 於 Splunk Splunk 的 資 料 中 心 救 援 3 Splunk 的 行 銷 部 門 救 援 4 開 始 使 用 Splunk 5 Splunk: 公 司 介 紹 和 概 念 7 Splunk 控 制 資 料 中 心 機 器 資 料 的 方 法 8 營 運 智 慧 9 營 運 智 慧 的 運 用 11 2 導 入 資 料 機 器 資 料 基 本 知 識 13 Splunk 可 讀 取 的 資 料 類 型 15 Splunk 資 料 來 源 15 下 載 安 裝 和 啟 動 Splunk 15 導 入 資 料 進 行 檢 索 17 瞭 解 Splunk 檢 索 資 料 的 方 法 18 3 使 用 Splunk 進 行 搜 尋 搜 尋 儀 表 板 23 SPL : 搜 尋 處 理 語 言 27

5 直 立 線 27 隱 含 的 AND 28 top user 28 fields percent 28 search 命 令 29 使 用 search 命 令 的 提 示 30 子 搜 尋 30 4 SPL: 搜 尋 處 理 語 言 排 序 結 果 33 sort 33 篩 選 結 果 35 where 35 dedup 36 head 38 分 組 結 果 39 transaction 39 報 告 結 果 41 top 42 stats 43 chart 45 timechart 47 篩 選 修 改 和 新 增 欄 位 48 fields 49 replace 50 eval 51 rex 52 lookup 53 5 讓 您 的 資 料 更 豐 富 使 用 Splunk 瞭 解 資 料 55 識 別 欄 位 : 查 看 每 一 片 拼 圖 56

6 探 索 資 料 以 瞭 解 其 範 圍 58 準 備 報 告 和 彙 總 60 視 覺 化 資 料 65 建 立 視 覺 化 65 建 立 儀 表 板 67 建 立 警 示 68 透 過 精 靈 建 立 警 示 69 使 用 管 理 員 調 整 警 示 71 自 訂 警 示 動 作 74 警 示 管 理 員 74 第 2 部 分 : 操 作 解 說 6 監 控 和 警 示 操 作 解 說 監 控 操 作 解 說 79 監 控 並 行 使 用 者 79 監 控 非 作 用 中 的 主 機 80 針 對 分 類 的 資 料 進 行 報 告 81 比 較 今 天 和 上 個 月 的 前 幾 個 值 82 尋 找 在 1 小 時 內 下 降 10% 的 衡 量 標 準 84 製 作 每 週 結 果 圖 表 85 識 別 資 料 中 的 尖 峰 86 壓 縮 以 時 間 為 基 礎 的 圖 表 88 針 對 XML 或 JSON 欄 位 進 行 報 告 88 從 事 件 擷 取 欄 位 89 警 示 操 作 解 說 90 伺 服 器 達 到 預 先 定 義 的 負 載 時, 透 過 電 子 郵 件 發 出 警 示 90 在 網 頁 伺 服 器 效 能 減 緩 時 發 出 警 示 91 關 閉 不 需 要 的 EC2 執 行 個 體 91 將 監 控 轉 換 為 警 示 92

7 7 分 組 事 件 簡 介 95 操 作 解 說 97 統 一 欄 位 名 稱 97 尋 找 不 完 整 的 交 易 97 計 算 交 易 中 的 時 間 99 尋 找 最 近 的 事 件 100 尋 找 重 複 的 事 件 101 交 易 之 間 的 時 間 102 尋 找 特 定 的 交 易 104 尋 找 接 近 其 他 事 件 的 事 件 107 尋 找 事 件 之 後 的 事 件 108 分 組 群 組 查 閱 表 格 簡 介 113 lookup 113 inputlookup 113 outputlookup 113 進 一 步 閱 讀 114 操 作 解 說 114 設 定 預 設 查 閱 值 114 使 用 反 向 查 閱 114 使 用 雙 層 查 閱 116 使 用 多 步 驟 查 閱 116 從 搜 尋 結 果 建 立 查 閱 表 格 117 將 結 果 附 加 至 查 閱 表 格 117 使 用 大 量 查 閱 表 格 118 比 較 結 果 和 查 閱 值 120

8 控 制 查 閱 相 符 數 122 比 對 IP 122 使 用 萬 用 字 元 進 行 比 對 123 附 錄 A: 機 器 資 料 基 本 知 識 應 用 套 件 記 錄 126 網 路 存 取 記 錄 126 網 路 Proxy 記 錄 127 通 話 詳 細 記 錄 127 點 選 流 資 料 127 訊 息 佇 列 128 封 包 資 料 128 設 定 檔 128 資 料 庫 稽 核 記 錄 和 表 格 128 檔 案 系 統 稽 核 記 錄 128 管 理 和 記 錄 API 129 作 業 系 統 衡 量 標 準 狀 態 和 診 斷 命 令 129 其 他 機 器 資 料 來 源 129 附 錄 B: 區 分 大 小 寫 附 錄 C: 最 常 用 命 令 附 錄 D: 最 常 用 資 源 附 錄 E:Splunk 快 速 參 考 指 南 概 念 137 概 觀 137 事 件 137 來 源 和 來 源 類 型 138 主 機 138 索 引 138 欄 位 138 標 記 138

9 事 件 類 型 139 報 告 與 儀 表 板 139 應 用 套 件 139 權 限 / 使 用 者 / 角 色 139 交 易 139 轉 送 器 / 索 引 器 140 SPL 140 子 搜 尋 141 相 對 時 間 修 飾 詞 141 一 般 搜 尋 命 令 142 最 佳 化 搜 尋 142 搜 尋 範 例 143 EVAL 函 數 146 一 般 STATS 函 數 150 規 則 運 算 式 151 一 般 SPLUNK STRPTIME 函 數 152

10 前 言 關 於 本 書 Splunk Enterprise 軟 體 ( Splunk ) 可 能 是 您 所 見 過 最 強 大 的 搜 尋 和 探 索 資 料 工 具 我 們 編 寫 本 書 的 目 的 是 提 供 Splunk 及 其 所 有 功 能 的 簡 介 本 書 也 可 作 為 使 用 Splunk 發 揮 創 意 的 起 點 Splunk 的 使 用 者 通 常 是 系 統 管 理 員 網 路 管 理 員 和 安 全 性 專 家, 但 Splunk 的 使 用 並 不 限 於 這 些 對 象 Splunk 可 以 釋 放 公 司 資 料 中 隱 藏 的 極 大 商 業 價 值 本 書 的 讀 者 對 象 超 越 O Reilly 書 籍 的 一 般 技 術 人 員, 包 含 行 銷 財 務 工 程 人 員 和 想 要 瞭 解 巨 量 資 料 和 營 運 智 慧 的 讀 者 本 書 的 主 要 目 標 是 協 助 您 快 速 瞭 解 Splunk 及 其 功 能 本 書 將 教 導 您 Splunk 搜 尋 處 理 語 言 (SPL ) 最 重 要 的 部 分, 以 達 到 此 目 標 Splunk 可 透 過 許 多 方 法 協 助 技 術 人 員 和 商 業 人 士 瞭 解 Splunk 並 非 一 蹴 可 幾 Splunk 就 像 瑞 士 刀, 是 具 有 許 多 強 大 功 能 的 簡 單 工 具 現 在 的 問 題 則 是 : 本 書 可 以 提 供 哪 些 協 助? 簡 單 而 言, 就 是 讓 您 快 速 瞭 解 Splunk 的 功 能, 並 作 為 取 得 進 一 步 瞭 解 資 訊 的 指 標 但 不 是 已 有 許 多 Splunk 說 明 文 件 嗎? 是 的 : 如 果 查 閱 您 會 找 到 許 多 包 含 Splunk 使 用 方 法 詳 細 說 明 的 手 冊 如 果 查 閱 您 會 找 到 問 題 和 答 案 的 可 搜 尋 資 料 庫 如 果 您 對 Splunk 略 有 瞭 解 且 正 在 嘗 試 解 決 常 見 問 題, 則 這 類 內 容 對 您 而 言 非 常 寶 貴 本 書 的 定 位 介 於 這 兩 種 說 明 文 件 等 級 之 間 本 書 提 供 Splunk 最 重 要 部 分 的 基 本 知 識, 並 將 這 些 知 識 與 實 際 問 題 結 合 i

11 本 書 內 容 慣 例 第 1 章 可 讓 您 瞭 解 Splunk 及 其 功 能 第 2 章 將 討 論 如 何 下 載 和 開 始 使 用 Splunk 第 3 章 將 討 論 搜 尋 使 用 者 介 面 和 使 用 Splunk 進 行 搜 尋 第 4 章 將 討 論 SPL 最 常 使 用 的 部 分 第 5 章 將 說 明 如 何 使 用 知 識 視 覺 化 您 的 資 料, 並 讓 您 的 資 料 更 豐 富 第 6 章 將 討 論 最 常 用 的 監 控 和 警 示 解 決 方 案 第 7 章 將 討 論 可 透 過 分 組 事 件 解 決 之 問 題 的 解 決 方 案 第 8 章 將 討 論 許 多 使 用 查 閱 表 格 解 決 常 見 問 題 的 方 法 如 果 您 將 第 1 部 分 ( 第 1 章 到 第 5 章 ) 視 為 Splunk 的 速 成 課 程, 第 2 部 分 ( 第 6 章 到 第 8 章 ) 可 讓 您 瞭 解 如 何 透 過 結 合 這 些 知 識 進 行 某 些 進 階 操 作, 使 用 Splunk 解 決 某 些 常 見 的 有 趣 問 題 您 可 透 過 檢 閱 這 些 操 作 解 說, 並 嘗 試 進 行 某 些 操 作, 瞭 解 如 何 使 用 Splunk 協 助 您 回 答 宇 宙 ( 或 至 少 在 資 料 中 心 中 ) 的 所 有 奧 祕 本 書 最 後 一 部 分 的 附 錄 包 含 某 些 實 用 資 訊 附 錄 A 提 供 機 器 資 料 的 基 本 知 識 概 觀, 可 讓 您 瞭 解 各 種 巨 量 資 料 及 其 潛 在 價 值 附 錄 B 提 供 關 於 某 些 內 容 是 否 在 Splunk 搜 尋 中 區 分 大 小 寫 的 表 格 附 錄 C 可 讓 您 一 窺 使 用 Splunk 最 常 進 行 的 搜 尋 ( 順 便 一 提, 我 們 是 使 用 Splunk 想 出 這 個 方 法 ) 附 錄 D 可 作 為 取 得 某 些 進 一 步 瞭 解 Splunk 之 最 佳 資 源 的 指 標 附 錄 E 是 Splunk 參 考 卡 的 特 別 設 計 版 本, 也 是 我 們 最 常 用 的 教 育 文 件 閱 讀 本 書 時, 您 會 注 意 到 我 們 會 在 顯 示 特 定 元 件 時 使 用 各 種 字 型 : 使 用 者 介 面 元 件 會 以 粗 體 顯 示 命 令 和 欄 位 名 稱 會 以 固 定 寬 度 顯 示 如 果 表 示 您 必 須 從 X 功 能 表 選 取 Y 選 項, 則 會 簡 潔 地 寫 為 選 取 X» Y

12 感 謝 如 果 沒 有 Splunk 中 許 多 人 提 供 時 間 和 才 能 的 協 助, 本 書 便 無 法 完 成 我 們 想 要 感 謝 Ledion Bitincka Gene Hartsell Gerald Kanapathy Vishal Patel Alex Raitz Stephen Sorkin Sophy Ting 和 Steve Zhang 博 士 謹 慎 檢 閱 原 稿 草 稿 並 提 供 寶 貴 改 善 建 議 ;Maverick Garner 慷 慨 提 供 訪 談 時 間 ;Jessica Law Tera Mendonca Rachel Perkins 和 Michael Wilde 提 供 其 他 協 助 iii

13

14 第 1 部 分 探 索 SPLUNK

15

16 1 關 於 Splunk Splunk 是 分 析 機 器 資 料 的 強 大 平 台, 機 器 大 量 產 生 資 料 但 卻 很 少 有 效 運 用 這 些 資 料 機 器 資 料 在 現 今 的 科 技 環 境 中 已 非 常 重 要, 且 逐 漸 提 高 其 在 商 業 環 境 中 的 重 要 性 ( 若 要 進 一 步 瞭 解 機 器 資 料, 請 參 閱 附 錄 A ) 瞭 解 Splunk 的 功 能 和 廣 泛 用 途 的 最 快 方 法 就 是 使 用 下 列 兩 種 案 例 進 行 說 明 : 資 料 中 心 案 例 和 行 銷 部 門 案 例 Splunk 的 資 料 中 心 救 援 現 在 是 星 期 三 上 午 2 點 電 話 響 起, 您 的 主 管 來 電 表 示 網 站 故 障 了 為 何 會 故 障? 是 因 為 網 頁 伺 服 器 應 用 套 件 資 料 庫 伺 服 器 磁 碟 已 滿 或 負 載 平 衡 器 故 障 嗎? 他 吼 著 要 您 立 即 修 正 問 題 外 面 正 下 著 雨 您 就 快 瘋 了 請 放 鬆 心 情, 因 為 您 昨 天 已 部 署 Splunk 您 可 以 啟 動 Splunk, 從 單 一 位 置 搜 尋 網 頁 伺 服 器 資 料 庫 防 火 牆 路 由 器 和 負 載 平 衡 器 的 所 有 記 錄 檔, 以 及 搜 尋 所 有 其 他 相 關 裝 置 作 業 系 統 或 應 用 套 件 的 設 定 檔 和 資 料 ( 無 論 這 些 資 料 散 佈 在 幾 個 資 料 中 心 或 雲 端 提 供 者 之 間 都 可 順 利 存 取 ) 您 查 看 網 頁 伺 服 器 流 量 的 圖 表 以 瞭 解 問 題 發 生 的 時 間 網 頁 伺 服 器 的 錯 誤 在 下 午 5 點 3 分 大 幅 增 加 然 後 您 查 看 前 10 個 發 生 錯 誤 的 頁 面 首 頁 正 常 運 作, 搜 尋 頁 面 也 正 常 運 作 啊, 購 物 車 是 問 題 的 來 源 從 5 點 3 分 開 始 傳 送 至 該 頁 面 的 所 有 要 求 都 產 生 錯 誤 這 會 讓 銷 售 無 法 完 成 並 導 致 客 戶 流 失, 而 讓 公 司 損 失 金 錢, 您 必 須 修 正 此 問 題 您 知 道 購 物 車 倚 賴 連 線 至 資 料 庫 的 電 子 商 務 伺 服 器 記 錄 顯 示 資 料 庫 正 常 運 作 很 好, 讓 我 們 看 一 下 電 子 商 務 伺 服 器 記 錄 下 午 5 點 3 分, 電 子 商 務 伺 服 器 開 始 表 示 無 法 連 線 至 資 料 庫 伺 服 器 然 後 您 搜 尋 對 設 定 檔 進 行 的 變 更, 並 發 現 某 人 變 更 網 路 設 定 您 仔 細 查 看, 發 現 設 定 錯 誤 您 聯 絡 進 行 變 更 的 人 員 將 設 定 回 復, 而 系 統 再 次 開 始 運 作 由 於 Splunk 將 所 有 相 關 資 訊 收 集 到 可 讓 您 快 速 進 行 搜 尋 的 中 央 索 引, 因 此 所 有 動 作 花 費 的 時 間 不 超 過 5 分 鐘 3

17 探 索 Splunk Splunk 的 行 銷 部 門 救 援 您 任 職 於 大 型 零 售 商 的 促 銷 部 門, 職 務 是 針 對 產 品 調 整 搜 尋 引 擎 最 佳 化 和 促 銷, 以 最 佳 化 傳 入 流 量 所 帶 來 的 營 收 資 料 中 心 人 員 在 上 週 安 裝 新 的 Splunk 儀 表 板, 可 ( 針 對 過 去 數 小 時 數 天 和 數 週 ) 顯 示 所 有 用 於 尋 找 您 網 站 的 搜 尋 詞 彙 查 看 過 去 幾 個 小 時 的 圖 形, 您 發 現 20 分 鐘 前 顯 示 一 次 尖 峰, 公 司 名 稱 和 最 新 產 品 的 搜 尋 次 數 一 路 攀 升 您 查 閱 過 去 數 小 時 中 前 幾 名 轉 介 URL 的 報 告,Splunk 顯 示 知 名 人 士 發 表 與 相 關 產 品 的 推 文 並 連 結 至 您 的 首 頁 您 查 看 另 一 個 顯 示 最 常 造 訪 頁 面 效 能 的 圖 形, 發 現 搜 尋 頁 面 超 過 負 荷 且 速 度 變 慢 一 大 群 人 來 到 您 的 網 站, 但 找 不 到 正 在 尋 找 的 產 品, 因 此 他 們 都 使 用 搜 尋 您 登 入 網 站 內 容 管 理 系 統, 並 在 首 頁 中 央 放 置 新 產 品 的 促 銷 廣 告, 然 後 返 回 查 看 前 幾 個 頁 面 搜 尋 流 量 開 始 下 降, 而 新 產 品 頁 面 和 購 物 車 頁 面 的 流 量 則 開 始 上 升 您 查 看 前 10 個 新 增 至 購 物 車 的 產 品 和 前 10 個 購 買 的 產 品, 發 現 新 產 品 位 居 第 一 您 將 一 則 備 註 傳 送 至 公 關 部 門, 請 他 們 繼 續 追 蹤 使 傳 入 流 量 轉 換 為 銷 售 而 非 挫 敗, 這 正 是 您 想 要 的 結 果 Splunk 讓 您 能 充 分 利 用 這 個 預 料 之 外 的 機 會, 為 公 司 增 加 更 多 營 收 下 一 個 步 驟 是 確 定 您 具 有 足 夠 的 產 品 庫 存 應 付 暴 增 的 訂 單, 這 是 非 常 重 要 的 問 題 這 兩 個 範 例 可 讓 您 瞭 解 Splunk 如 何 提 供 機 器 資 料 發 生 情 況 的 詳 細 資 訊 Splunk 也 可 揭 露 歷 史 趨 勢 建 立 多 個 資 訊 來 源 的 關 聯, 並 以 其 他 數 千 種 方 法 提 供 協 助 4

18 第 1 章 : 關 於 Splunk 開 始 使 用 Splunk 使 用 Splunk 找 尋 問 題 的 回 答 時, 您 會 發 現 可 以 將 工 作 分 為 3 個 階 段 第 一, 識 別 可 回 答 問 題 的 資 料 第 二, 將 資 料 轉 換 為 可 回 答 問 題 的 結 果 第 三, 透 過 報 告 互 動 式 圖 表 或 圖 形 顯 示 答 案, 讓 大 部 分 的 對 象 都 能 夠 瞭 解 從 您 想 要 回 答 的 問 題 開 始 : 系 統 為 何 會 故 障? 系 統 最 近 為 何 變 慢? 客 戶 在 網 站 的 哪 些 部 分 發 生 問 題? 如 果 您 可 以 掌 握 Splunk, 便 可 明 顯 瞭 解 哪 些 類 型 的 資 料 和 搜 尋 可 協 助 回 答 這 些 問 題 本 書 可 加 速 您 掌 握 Splunk 的 進 度 然 後 問 題 會 變 成 : 資 料 是 否 可 以 提 供 答 案? 開 始 進 行 分 析 時, 我 們 通 常 不 會 瞭 解 資 料 可 為 我 們 提 供 哪 些 資 訊 但 Splunk 也 是 可 讓 您 探 索 和 瞭 解 資 料 的 強 大 工 具 您 可 以 探 索 最 常 見 或 最 不 平 凡 的 價 值 您 可 透 過 統 計 資 料 或 分 組 事 件 將 資 料 摘 要 為 交 易, 例 如 在 記 錄 系 統 之 間 組 成 線 上 旅 館 預 約 的 所 有 事 件 您 可 以 建 立 一 開 始 為 完 整 資 料 集 的 工 作 流 程, 然 後 篩 選 掉 不 相 關 的 事 件, 最 後 再 分 析 剩 餘 的 事 件 然 後 可 能 在 某 些 簡 單 步 驟 後, 從 外 部 來 源 新 增 某 些 資 訊, 您 便 僅 具 有 回 答 問 題 所 需 的 資 料 圖 1-1 顯 示 一 般 Splunk 的 基 本 分 析 程 序 5

19 探索 Splunk *(7 HWD LP LI +77 S ZH S ZHEG EGH H[ SKS SKS 0R]L > $XJD *(7 7 KR KRPH WKH HWDD LP LPPDJJH JHV E V EW V WQ WQ J WQ LI +773 KW S ZHEGHY K ZHEGHY KRPH L L H[ SKS 0R]LOOD [ SKS 0R]]LOO LO D *(7 KRRPH WKHPHV &RP% HWDD LPDJJHV E EEWQ W LI +773 S ZH ZH ZHHEGGH GHY Y > >> > $XJ *(7 HWD LP LI +777 S Z ZH Z EGHY KRPH L HH[ SKS 0R]LOOD H[ 圖 1-1 使用 Splunk ԡ!! Ă Ă Ă Ă Ă Ă Ă Ă Ă Ă > * *(7 KRPH WKHPHV &RP% 7 HW WD L WD LPDJHV EWQBORJLQ J LII KW 㽪㾎 ⁶䮅䊛 ҹ > $XJ *(7 KRPH WKHPHV &RP% *(7 *(7 KRPH WKHP K H KHPPHV &RP% HWD LPDJHV EWQBORJLQ J LI +773 KW SS ZHEGHY KRPH L S ZHHEE PH HH[ SKS 0R]LOOD [ S 00R OD > $XJ *(7 KRPH WKHPHV &RP% *(7 *(7 KRPH WKHP K H KHPPHV &RP% HWD LPDJHV EWQBORJLQ J LI +773 KW SS ZHEGHY KRPH L S ZH ZZHEGHY HHEEEGHY KRPH L PH H[ SKS 0R]LOOD HH[ SKS 0R]LOOD S 00R OD D > $XJ > *(7 KRPH WKHPHV &RP% *(7 KRPH WKHPHV &RP% H HP HWD LPDJHV EWQBORJLQ J LI +773 KW SS ZHEGHY KRPH L S ZH ZZHEGHY HHEEEGHY KRPH L PH HH[ SKS 0R]LOOD S 00R OD D H[ SKS 0R]LOOD 6 व䊛 Ѹၦ储䊛,3 ԡഔ Ă Ă Ă Ă Ă ॳ Ă Ă (5525 Ă Ă Ă (5525 Ă Ă :$51,1* Ă Ă :$51,1* Ă Ă Ă (5525 Ă Ă Ă VRXUFHW\SH V\VORJ V\VORJ Ҫ ⑤ V\VORJ V\VORJ V\VORJ Ҫ ⑤ V\VORJ Ҫ ⑤ џӊă! 䱢↉ ⲵ 㛑ᕲ ן ⑤ᬊ䲚䊛 䱢↉ 䱢↉ ᇛ䊛 䔝 ㄨḜ

20 第 1 章 : 關 於 Splunk Splunk: 公 司 介 紹 和 概 念 許 多 人 對 Splunk 協 助 解 決 客 戶 所 有 複 雜 和 經 常 性 問 題 的 能 力 印 象 深 刻 Splunk 的 故 事 始 於 2002 年, 共 同 創 辦 者 Erik Swan 和 Rob Das 開 始 尋 找 下 一 個 挑 戰 Erik 和 Rob 已 共 同 創 立 許 多 公 司, 且 正 在 尋 找 新 的 創 業 想 法, 因 此 他 們 開 始 與 許 多 公 司 談 論 他 們 的 問 題 Erik 和 Rob 詢 問 潛 在 客 戶 : 您 如 何 解 決 基 礎 結 構 的 問 題? 卻 一 再 聽 到 從 業 人 員 嘗 試 疑 難 排 解 IT 問 題, 並 以 傳 統 方 法 抓 取 資 料 的 經 驗 資 料 散 佈 過 於 廣 泛, 因 此 難 以 收 集 並 瞭 解 所 有 資 料 所 有 人 都 透 過 人 工 研 讀 記 錄 檔, 有 時 候 再 編 寫 指 令 碼 協 助 工 作, 嘗 試 解 決 問 題 自 行 編 寫 的 指 令 碼 僅 可 供 短 暫 使 用, 有 時 候 編 寫 者 會 離 開 公 司 且 未 留 下 相 關 專 業 技 術, 而 重 新 嘗 試 探 索 問 題 則 會 在 IT 部 門 提 供 高 負 荷 的 自 訂 協 助 時 導 致 互 相 指 責 和 推 卸 責 任, 且 需 要 重 建 指 令 碼 這 些 從 業 人 員 對 Splunk 創 辦 者 表 示 解 決 基 礎 結 構 問 題 就 像 透 過 鶴 嘴 鋤 微 弱 的 光 線 和 有 限 的 導 航 能 力 ( 舊 的 指 令 碼 和 記 錄 管 理 技 術 ), 在 洞 穴 ( 資 料 中 心 ) 中 緩 慢 爬 行 簡 單 而 言, 這 就 像 探 勘 洞 穴 (spelunk), 因 此 Splunk 的 名 稱 就 此 誕 生 由 於 數 位 探 勘 非 常 困 難, 從 業 人 員 僅 有 的 替 代 方 法 只 有 搜 尋 網 路, 以 瞭 解 其 他 公 司 是 否 具 有 類 似 問 題 並 已 在 線 上 張 貼 解 決 方 案 Splunk 創 辦 者 對 從 業 人 員 在 此 公 認 問 題 上 花 費 金 錢, 卻 沒 有 人 可 以 加 速 解 決 問 題 而 感 到 驚 訝 Erik 和 Rob 反 思 : 搜 尋 IT 資 料 為 何 無 法 像 Google 搜 尋 一 樣 輕 鬆 而 直 覺? Splunk 的 第 一 個 願 景 是 讓 客 戶 更 輕 鬆 地 收 集 和 分 析 執 行 和 疑 難 排 解 資 料 中 心 大 量 運 算 環 境 或 網 路 環 境 所 需 的 資 料 Splunk 的 使 命 是 結 合 易 於 使 用 的 網 路 搜 尋 與 IT 專 業 人 員 用 於 疑 難 排 解 問 題 的 勞 力 和 自 創 方 法 7

21 探 索 Splunk Erik 和 Rob 開 始 籌 募 資 金,Splunk 的 第 一 版 在 LinuxWorld 2005 中 首 次 亮 相 由 於 可 免 費 下 載, 因 此 該 產 品 立 即 成 為 熱 門 工 具 下 載 後,Splunk 便 開 始 解 決 各 種 令 人 難 以 想 像 的 客 戶 問 題, 並 在 不 同 部 門 和 公 司 之 間 流 傳 使 用 者 要 求 管 理 部 門 購 買 Splunk 時, 便 已 可 以 指 出 使 用 Splunk 解 決 問 題 和 節 省 時 間 的 記 錄 Splunk 原 本 是 以 協 助 IT 和 資 料 中 心 管 理 員 疑 難 排 解 技 術 問 題 為 構 想, 但 相 較 於 傳 統 資 料 庫, 此 工 具 可 讓 使 用 者 以 較 少 的 勞 力 更 完 整 地 搜 尋 收 集 和 組 織 資 料, 因 此 已 成 為 對 所 有 類 型 的 商 業 使 用 者 都 極 為 實 用 的 平 台 進 而 成 就 組 織 前 所 未 有 的 商 業 觀 點 和 營 運 智 慧 Splunk 控 制 資 料 中 心 機 器 資 料 的 方 法 Splunk 的 第 一 個 立 足 點 當 然 是 充 斥 機 器 資 料 的 資 料 中 心 系 統 管 理 員 網 路 工 程 師 和 應 用 套 件 開 發 人 員 逐 漸 廣 泛 使 用 Splunk 作 為 快 速 瞭 解 機 器 資 料 ( 並 提 高 其 實 用 性 ) 的 引 擎 但 為 何 這 些 使 用 者 如 此 喜 歡 使 用 Splunk? 以 下 範 例 不 僅 可 說 明 Splunk 快 速 成 為 熱 門 工 具 的 原 因, 也 可 協 助 我 們 瞭 解 機 器 資 料 的 本 質, 這 便 是 Splunk 為 商 業 界 提 供 更 多 價 值 的 核 心 在 大 多 數 的 運 算 環 境 中, 許 多 不 同 的 系 統 都 會 互 相 依 賴 監 控 系 統 會 在 發 生 問 題 時 傳 送 警 示 例 如, 網 站 的 重 要 網 頁 可 能 依 賴 網 頁 伺 服 器 應 用 套 件 伺 服 器 資 料 庫 伺 服 器 檔 案 系 統 負 載 平 衡 器 路 由 器 應 用 套 件 加 速 器 和 快 取 系 統 等 其 中 一 個 系 統 ( 例 如 資 料 庫 ) 發 生 問 題 時, 所 有 層 級 似 乎 都 會 同 時 中 發 出 警 示 發 生 此 情 況 時, 系 統 管 理 員 或 應 用 套 件 專 家 必 須 尋 找 並 修 正 根 本 原 因 問 題 是 記 錄 檔 分 佈 在 多 個 機 器 之 中, 有 時 候 位 於 不 同 的 時 區, 且 包 含 數 百 萬 個 項 目, 而 大 多 數 的 項 目 都 與 問 題 無 關 此 外, 相 關 記 錄 ( 表 示 某 些 系 統 失 敗 的 記 錄 ) 經 常 都 會 同 時 出 現 挑 戰 便 是 尋 找 導 致 所 有 錯 誤 發 生 的 問 題 讓 我 們 瞭 解 Splunk 如 何 協 助 您 解 決 此 問 題 Splunk 會 從 檢 索 開 始, 這 表 示 從 各 種 位 置 收 集 所 有 資 料, 並 將 其 合 併 至 中 央 索 引 在 使 用 Splunk 前, 系 統 管 理 員 必 須 使 用 功 能 較 簡 易 的 工 具, 登 入 許 多 不 同 的 機 器 以 存 取 所 有 資 料 8

22 第 1 章 : 關 於 Splunk 營 運 智 慧 Splunk 可 以 使 用 索 引 從 所 有 伺 服 器 快 速 搜 尋 記 錄, 並 專 注 於 問 題 發 生 的 時 間 Splunk 可 透 過 其 速 度 規 模 和 可 用 性, 更 快 速 地 決 定 問 題 發 生 的 時 間 然 後 Splunk 可 以 深 入 檢 視 問 題 第 一 次 發 生 的 期 間, 以 決 定 其 根 本 原 因 接 著 建 立 可 在 未 來 阻 止 此 問 題 發 生 的 警 示 透 過 從 許 多 來 源 檢 索 和 彙 總 記 錄 檔, 讓 您 集 中 搜 尋 這 些 記 錄 檔, Splunk 已 成 為 全 球 企 業 系 統 管 理 員 及 其 他 執 行 技 術 營 運 的 使 用 者 最 常 使 用 的 工 具 安 全 性 分 析 師 可 使 用 Splunk 偵 測 安 全 性 弱 點 和 攻 擊 系 統 分 析 師 可 使 用 Splunk 探 索 複 雜 應 用 套 件 中 的 無 效 率 項 目 和 瓶 頸 網 路 分 析 師 可 使 用 Splunk 尋 找 網 路 中 斷 的 原 因 和 頻 寬 瓶 頸 此 討 論 提 出 下 列 幾 個 關 於 Splunk 的 重 點 : 建 立 中 央 存 放 庫 非 常 重 要 :Splunk 其 中 一 個 重 大 勝 利 便 是 從 許 多 不 同 的 來 源 集 中 各 種 類 型 的 資 料 以 進 行 搜 尋 Splunk 可 將 資 料 轉 換 為 答 案 :Splunk 可 協 助 您 深 入 探 索 隱 藏 在 資 料 中 的 資 訊 Splunk 可 協 助 您 瞭 解 資 料 的 結 構 和 意 義 : 如 果 您 越 瞭 解 資 料, 則 可 在 資 料 中 取 得 越 多 資 訊 Splunk 也 可 協 助 您 擷 取 您 瞭 解 的 內 容, 以 輕 鬆 進 行 未 來 的 調 查, 並 與 其 他 人 分 享 您 瞭 解 的 內 容 視 覺 化 表 示 讓 所 有 人 瞭 解 資 訊 : 當 您 看 到 可 清 楚 表 示 答 案 的 圖 表 或 報 告 時, 所 有 的 檢 索 和 搜 尋 已 成 功 達 到 目 的 以 不 同 的 方 法 視 覺 化 資 料 可 加 速 對 資 訊 的 瞭 解, 並 協 助 您 與 其 他 人 分 享 資 訊 由 於 我 們 所 有 的 一 舉 一 動 幾 乎 都 透 過 科 技 獲 得 某 方 面 的 協 助, 因 此 針 對 我 們 每 個 人 收 集 的 資 訊 已 大 幅 成 長 伺 服 器 記 錄 的 許 多 事 件 都 可 實 際 表 示 客 戶 或 合 作 夥 伴 的 行 為 Splunk 客 戶 很 快 便 瞭 解 網 頁 伺 服 器 存 取 記 錄 不 僅 可 用 於 診 斷 系 統, 也 可 讓 他 們 更 瞭 解 網 站 瀏 覽 者 的 行 為 9

23 探 索 Splunk Splunk 已 率 先 提 高 客 戶 對 營 運 智 慧 的 認 知, 其 為 將 機 器 資 料 用 於 提 高 企 業 可 見 度 並 深 入 探 索 IT 和 整 個 企 業 之 方 法 和 技 術, 是 前 所 未 見 的 一 個 新 類 別 營 運 智 慧 並 非 商 業 智 慧 (BI) 的 產 物, 而 是 以 資 訊 來 源 為 基 礎 的 新 方 法, 通 常 不 屬 於 BI 解 決 方 案 的 範 圍 營 運 資 料 不 僅 對 改 善 IT 營 運 具 有 令 人 難 以 置 信 的 價 值, 對 探 索 企 業 的 其 他 部 分 而 言 也 是 如 此 營 運 智 慧 可 讓 組 織 達 到 下 列 目 標 : 使 用 機 器 資 料 進 一 步 瞭 解 客 戶 : 例 如, 如 果 您 正 在 追 蹤 網 站 交 易, 則 可 瞭 解 客 戶 購 買 的 商 品 內 容 但 您 可 透 過 仔 細 查 看 網 頁 伺 服 器 記 錄, 看 到 客 戶 進 行 購 買 前 查 看 的 所 有 頁 面, 且 可 能 對 最 終 結 果 更 重 要 的 是 您 可 看 到 那 些 未 進 行 購 買 的 客 戶 查 看 的 商 品 頁 面, 以 瞭 解 未 購 買 的 原 因 ( 記 得 我 們 在 簡 介 中 提 及 的 新 產 品 搜 尋 範 例 嗎?) 揭 露 從 許 多 來 源 的 相 關 事 件 取 得 的 重 要 模 式 和 分 析 : 當 您 可 以 從 網 站 通 話 詳 細 記 錄 社 交 媒 體 和 店 內 零 售 交 易 追 蹤 消 費 者 行 為 的 指 標 時, 便 可 更 瞭 解 客 戶 機 器 資 料 中 顯 示 越 多 的 客 戶 互 動, 您 便 可 瞭 解 越 多 減 少 偵 測 到 重 要 事 件 的 時 間 : 您 可 以 即 時 監 控 機 器 資 料, 並 建 立 其 關 聯 利 用 即 時 摘 要 和 歷 史 資 料 瞭 解 正 在 發 生 的 情 況 尋 找 趨 勢 和 異 常 狀 況, 以 及 根 據 該 資 訊 進 行 更 明 智 的 決 策 : 例 如, 您 可 以 即 時 測 量 網 路 促 銷 產 生 的 流 量, 並 與 之 前 的 促 銷 進 行 比 較 快 速 部 署 解 決 方 案 並 提 供 組 織 在 現 在 和 未 來 所 需 的 彈 性, 即 提 供 隨 選 報 告 回 答 問 題 和 新 增 資 料 來 源 的 功 能 : 您 可 透 過 傳 統 儀 表 板 顯 示 Splunk 資 料, 讓 使 用 者 探 索 事 件 並 持 續 詢 問 新 的 問 題 10

24 第 1 章 : 關 於 Splunk 營 運 智 慧 的 運 用 Splunk 具 有 某 些 其 他 產 品 無 法 提 供 的 功 能 : 有 效 擷 取 和 分 析 大 量 且 未 結 構 化 的 時 間 序 列 文 字 機 器 資 料 雖 然 IT 部 門 一 般 是 開 始 使 用 Splunk 解 決 深 奧 的 技 術 問 題, 但 他 們 很 快 便 會 在 企 業 的 其 他 部 分 中 深 入 探 索 其 價 值 在 Splunk 中 使 用 機 器 資 料 協 助 解 決 棘 手 的 企 業 問 題 以 下 是 一 些 範 例 : 營 運 團 隊 實 作 以 雲 端 提 供 的 客 戶 端 應 用 套 件, 並 使 用 Splunk 進 行 診 斷 他 們 很 快 便 發 現 可 以 追 蹤 使 用 者 統 計 資 料, 並 以 更 好 的 方 法 規 劃 容 量, 其 為 深 具 商 業 意 義 的 衡 量 標 準 網 頁 伺 服 器 流 量 記 錄 可 用 於 即 時 追 蹤 裝 入 商 品 和 放 棄 的 購 物 車 行 銷 部 門 可 以 使 用 此 資 訊 決 定 消 費 者 發 生 問 題 的 部 分 和 放 棄 哪 些 類 型 的 購 買, 因 此 可 立 即 修 正 任 何 問 題, 並 以 客 戶 放 棄 的 商 品 作 為 目 標 進 行 促 銷 使 用 Splunk 監 控 應 用 套 件 進 行 疑 難 排 解 的 組 織 已 發 現, 相 較 於 將 客 戶 來 電 呈 報 至 工 程 人 員 並 耗 費 更 多 成 本, 他 們 可 以 為 第 一 線 支 援 團 隊 輕 鬆 提 供 意 見 以 直 接 處 理 客 戶 來 電 大 型 公 用 事 業 公 司 可 透 過 以 Splunk 取 代 其 他 6 種 監 控 和 診 斷 工 具, 免 除 昂 貴 的 軟 體 維 護 費 用, 同 時 增 強 NERC 和 SOX 法 規 遵 循 工 作 大 型 公 共 媒 體 組 織 可 減 少 數 個 月 至 數 小 時 擷 取 關 鍵 網 路 分 析 的 時 間 這 些 組 織 也 可 透 過 其 他 工 具 無 法 提 供 的 資 料 粒 度 和 精 確 度 追 蹤 數 位 資 產, 以 改 善 權 利 金 計 算 和 內 容 行 銷 的 效 果 墨 西 哥 捲 餅 速 食 餐 廳 將 銷 售 點 (POS) 連 線 至 Splunk, 商 業 分 析 師 便 可 在 1 小 時 內 開 始 回 答 : 每 年 此 時 午 夜 到 上 午 2 點, 此 地 理 區 域 會 有 幾 位 客 戶 購 買 墨 西 哥 捲 餅? 等 問 題 11

25 探 索 Splunk 最 後, 營 運 智 慧 透 過 在 易 於 瞭 解 的 儀 表 版 和 圖 形 工 具 中 顯 示 的 即 時 資 料 和 歷 史 資 料 組 合, 讓 組 織 詢 問 適 合 的 問 題 並 導 向 可 提 供 商 業 觀 點 的 答 案 此 為 趨 勢 將 機 器 資 料 稱 為 巨 量 資 料 的 原 因 這 些 巨 量 資 料 非 常 混 亂, 而 企 業 未 來 的 關 鍵 便 隱 藏 在 某 個 地 方 現 在 讓 我 們 進 入 第 2 章, 您 將 在 此 瞭 解 如 何 將 資 料 導 入 Splunk, 並 開 始 尋 找 隱 藏 在 資 料 中 的 黃 金 屋 12

26 2 導 入 資 料 第 1 章 已 提 供 Splunk 的 簡 介 並 說 明 所 能 提 供 的 協 助 現 在 讓 我 們 展 開 旅 程 的 下 一 個 步 驟 : 將 資 料 導 入 Splunk 本 章 將 討 論 安 裝 Splunk 匯 入 資 料 和 某 些 關 於 如 何 組 織 資 料 以 協 助 搜 尋 的 資 訊 機 器 資 料 基 本 知 識 Splunk 的 使 命 是 為 使 用 者 提 高 機 器 資 料 的 實 用 性 若 要 瞭 解 其 背 景, 則 應 檢 閱 某 些 關 於 機 器 資 料 的 基 本 知 識 和 Splunk 持 續 追 蹤 資 料 的 方 法 系 統 ( 例 如 網 頁 伺 服 器 負 載 平 衡 器 電 玩 遊 戲 或 社 交 媒 體 平 台 ) 的 建 立 者 也 可 指 定 這 些 系 統 在 執 行 時 寫 入 記 錄 檔 的 資 訊 系 統 使 用 者 可 使 用 此 資 訊 ( 記 錄 檔 的 機 器 資 料 ) 瞭 解 這 些 系 統 執 行 時 進 行 的 動 作 ( 或 無 法 執 行 ) 例 如, 假 設 的 時 鐘 應 用 套 件 記 錄 檔 輸 出 可 能 如 下 所 示 : Action: ticked s:57, m:05, h:10, d:23, mo:03, y:2011 Action: ticked s:58, m:05, h:10, d:23, mo:03, y:2011 Action: ticked s:59, m:05, h:10, d:23, mo:03, y:2011 Action: ticked s:00, m:06, h:10, d:23, mo:03, y:2011 時 鐘 行 進 時 會 記 錄 動 作 及 其 發 生 的 時 間 如 果 您 想 要 追 蹤 時 鐘, 除 了 行 進 以 外, 記 錄 可 能 也 會 包 含 其 他 實 用 資 訊 : 電 池 電 量 警 示 設 定 開 啟 或 關 閉 或 發 出 警 示 的 時 間, 所 有 可 讓 您 探 索 時 鐘 如 何 運 作 的 資 訊 您 可 以 將 上 述 每 一 行 機 器 資 料 視 為 個 別 事 件, 雖 然 其 他 機 器 資 料 通 常 會 具 有 跨 越 多 行 或 甚 至 數 百 行 的 事 件 Splunk 會 將 原 始 機 器 資 料 分 為 離 散 的 資 訊, 稱 為 事 件 執 行 簡 單 搜 尋 時,Splunk 會 抓 取 符 合 搜 尋 詞 彙 的 事 件 每 個 事 件 13

27 探 索 Splunk 都 包 含 離 散 的 資 料, 稱 為 欄 位 在 時 鐘 資 料 中, 欄 位 可 能 包 含 second minute hour day month 和 year 如 果 您 將 事 件 群 組 視 為 試 算 表 或 資 料 庫 進 行 組 織, 事 件 是 列 欄 位 是 欄, 如 圖 2-1 所 示 Second Minute Hour Day Month Year 圖 2-1 以 試 算 表 形 式 表 示 的 時 鐘 事 件 在 實 務 中, 您 也 可 將 事 件 視 為 一 組 關 鍵 字 / 值 配 對 欄 位 如 果 以 關 鍵 字 / 值 配 對 表 示, 時 鐘 事 件 則 如 圖 2-2 所 示 Second=58, Minute=01, Hour=14, Day=23, Year=2011 Second=59, Minute=01, Hour=14, Day=23, Year=2011 Second=60, Minute=01, Hour=14, Day=23, Year=2011 Second=01, Minute=02, Hour=14, Day=23, Year=2011 Second=02, Minute=02, Hour=14, Day=23, Year=2011 圖 2-2 以 關 鍵 字 / 值 配 對 欄 位 表 示 的 時 鐘 事 件 以 下 是 其 中 一 個 最 常 見 且 最 實 用 之 機 器 資 料 類 型 的 實 際 範 例 網 頁 伺 服 器 具 有 記 錄 所 有 伺 服 器 要 求 之 URL 的 記 錄 檔 下 列 為 網 頁 伺 服 器 資 料 的 某 些 欄 位 : client IP, timestamp, http method, status, bytes, referrer, user agent 造 訪 網 頁 會 叫 用 幾 十 個 要 求 以 抓 取 文 字 影 像 及 其 他 資 源 系 統 一 般 會 在 記 錄 檔 中 將 每 個 要 求 記 錄 為 個 別 事 件 結 果 便 是 如 圖 2-3 所 示 的 檔 案 ( 但 沒 有 可 協 助 您 檢 視 欄 位 的 花 俏 醒 目 提 示 ) [01/Aug/2011:12:29: ] "GET /pages/hltabs_c.html HTTP/1.1" " "Mozilla/5.0 AppleWebKit/102.1 (KHTML) Safari/102" [01/Aug/2011:12:29: ] "GET /pages/joy.html HTTP/1.1" " "Mozilla/5.0 AppleWebKit/102.1 (KHTML) Safari/102" [01/Aug/2011:12:29: ] "GET /pages/dochomepage.html HTTP/1.1" " "Mozilla/5.0 AppleWebKit/102.1 (KHTML) Safari/102" 圖 2-3 一 般 網 頁 伺 服 器 記 錄 14

28 第 2 章 : 輸 入 資 料 Splunk 可 讀 取 的 資 料 類 型 機 器 資 料 其 中 一 個 共 同 特 徵 便 是 其 幾 乎 都 會 包 含 某 種 資 料 建 立 時 間 或 資 料 所 述 事 件 發 生 時 間 的 表 示 由 於 此 特 徵,Splunk 的 索 引 最 適 合 抓 取 以 時 間 序 列 順 序 排 序 的 事 件 如 果 原 始 資 料 沒 有 明 確 的 時 間 戳 記,Splunk 會 將 其 檢 索 該 事 件 的 時 間 指 派 給 資 料 中 的 事 件, 或 使 用 其 他 近 似 值, 例 如 上 次 修 改 檔 案 的 時 間 或 之 前 事 件 的 時 間 戳 記 其 他 唯 一 的 需 求 是 機 器 資 料 必 須 是 文 字 資 料, 而 非 二 進 位 資 料 影 像 和 音 效 檔 案 是 二 進 位 資 料 檔 案 的 常 見 範 例 某 些 類 型 的 二 進 位 檔 案 ( 例 如 程 式 當 機 時 產 生 的 核 心 傾 印 ) 可 以 轉 換 為 文 字 資 訊, 例 如 堆 疊 追 蹤 Splunk 可 以 在 檢 索 資 料 前, 先 呼 叫 您 的 指 令 碼 以 執 行 轉 換 最 後,Splunk 資 料 仍 必 須 以 文 字 表 示, 才 可 進 行 檢 索 和 搜 尋 Splunk 資 料 來 源 Splunk 可 在 檢 索 時 讀 取 不 同 來 源 的 機 器 資 料 下 列 為 最 常 見 的 輸 入 來 源 : 檔 案 :Splunk 可 以 監 控 特 定 檔 案 或 目 錄 如 果 將 資 料 新 增 至 檔 案, 或 將 新 檔 案 新 增 至 監 控 的 目 錄,Splunk 便 會 讀 取 該 資 料 網 路 :Splunk 可 以 接 聽 TCP 或 UDP 連 接 埠, 讀 取 任 何 傳 送 的 資 料 指 令 式 輸 入 :Splunk 可 透 過 程 式 或 指 令 碼 讀 取 機 器 資 料 輸 出, 例 如 Unix 命 令 或 可 監 控 感 應 器 的 自 訂 指 令 碼 我 們 已 為 您 提 供 足 夠 的 背 景 資 訊, 現 在 讓 我 們 開 始 使 用 Splunk 下 載 安 裝 和 啟 動 Splunk 我 們 建 議 您 安 裝 Splunk 並 新 增 某 些 機 器 資 料, 以 協 助 您 瞭 解 本 書 討 論 的 主 題 我 們 討 論 的 所 有 內 容 都 可 以 使 用 Splunk Free 完 成 ( 如 下 所 示 ) 本 節 將 說 明 如 何 啟 動 和 執 行 Splunk 15

29 探 索 Splunk 下 載 Splunk 您 可 以 免 費 下 載 具 有 完 整 功 能 的 Splunk 以 供 學 習, 或 支 援 簡 單 到 中 等 程 度 的 Splunk 使 用 您 會 在 splunk.com 首 頁 看 到 此 按 鈕 : 按 一 下 按 鈕 以 在 執 行 Windows Mac Linux 和 Unix 的 電 腦 上 開 始 下 載 並 安 裝 Splunk 安 裝 Splunk Splunk 的 安 裝 程 序 很 簡 單, 因 此 我 們 假 設 您 可 以 自 行 完 成 此 部 分 如 果 您 有 任 何 問 題, 請 參 閱 討 論 所 有 詳 細 資 料 的 Splunk 教 學 ( 啟 動 Splunk 若 要 在 Windows 上 啟 動 Splunk, 請 從 [ 開 始 ] 功 能 表 啟 動 應 用 套 件 尋 找 歡 迎 畫 面 ( 如 圖 2-4 所 示 ) 並 開 始 讀 取 若 要 在 Mac OS X 或 Unix 上 啟 動 Splunk, 請 開 啟 終 端 機 視 窗 移 至 安 裝 Splunk 的 目 錄, 移 至 bin 子 目 錄, 然 後 在 指 令 提 示 中 輸 入 :./splunk start 下 列 為 Splunk 啟 動 時 顯 示 資 訊 的 最 後 一 行 : The Splunk web interface is at 依 照 該 連 結 移 至 登 入 畫 面 如 果 您 沒 有 使 用 者 名 稱 和 密 碼, 預 設 認 證 為 admin 和 changeme 登 入 後 便 會 顯 示 歡 迎 畫 面 16

30 第 2 章 : 輸 入 資 料 圖 2-4 歡 迎 畫 面 歡 迎 畫 面 會 顯 示 您 可 透 過 Splunk 原 始 執 行 個 體 執 行 的 動 作 : 新 增 資 料 或 啟 動 搜 尋 應 用 套 件 導 入 資 料 進 行 檢 索 瞭 解 和 探 索 Splunk 的 下 一 個 步 驟 便 是 將 某 些 資 料 新 增 至 索 引 以 進 行 探 索 我 們 會 針 對 本 章 的 目 的 使 用 某 些 範 例 資 料 您 可 以 在 下 列 頁 面 中 找 到 取 得 此 資 料 的 指 示 : 索 引 程 序 可 分 為 兩 個 步 驟 : 從 Splunk 網 站 下 載 範 例 檔 案 要 求 Splunk 檢 索 該 檔 案 若 要 下 載 範 例 檔 案, 請 依 照 此 連 結 並 將 檔 案 儲 存 至 您 的 桌 面 : 若 要 將 檔 案 新 增 至 Splunk: 1. 在 歡 迎 畫 面 中, 按 一 下 [ 新 增 資 料 ] 2. 按 一 下 畫 面 下 半 部 的 [ 從 檔 案 和 目 錄 ] 3. 選 取 [ 跳 過 預 覽 ] 4. 按 一 下 [ 上 傳 並 檢 索 檔 案 ] 旁 邊 的 選 項 按 鈕 5. 選 取 您 下 載 至 桌 面 的 檔 案 6. 按 一 下 [ 儲 存 ] 您 已 完 成 新 增 資 料 讓 我 們 說 明 Splunk 在 後 台 執 行 的 動 作 17

31 探 索 Splunk 瞭 解 Splunk 檢 索 資 料 的 方 法 Splunk 對 大 多 數 組 織 的 核 心 價 值 是 檢 索 機 器 資 料 的 獨 特 功 能, 因 此 其 可 以 快 速 搜 尋 分 析 報 告 和 警 示 您 一 開 始 使 用 的 資 料 稱 為 原 始 資 料 Splunk 可 透 過 建 立 以 時 間 為 基 礎 的 資 料 文 字 對 映 檢 索 原 始 資 料, 而 不 需 要 修 改 資 料 本 身 Splunk 必 須 先 檢 索 資 料 才 可 搜 尋 大 量 資 料 Splunk 索 引 類 似 於 教 科 書 最 後 的 索 引, 其 可 透 過 特 定 關 鍵 字 指 向 頁 面 在 Splunk 中 則 將 頁 面 稱 為 事 件 圖 2-5 Splunk 索 引 的 獨 特 特 徵 Splunk 將 機 器 資 料 的 串 流 分 為 個 別 事 件 請 記 住, 機 器 資 料 中 的 事 件 可 以 在 記 錄 檔 中 透 過 一 行 簡 單 表 示, 也 可 以 像 包 含 幾 百 行 的 堆 疊 追 蹤 一 樣 複 雜 Splunk 中 的 所 有 事 件 都 具 有 至 少 4 個 預 設 欄 位, 如 表 2-1 所 示 18

32 第 2 章 : 輸 入 資 料 表 2-1 Splunk 一 律 檢 索 的 欄 位 欄 位 回 答 問 題 範 例 source 資 料 來 源 為 何? 檔 案 (/var/log/) 指 令 碼 (myscript.bat) 和 網 路 摘 要 (UDP:514) sourcetype 資 料 類 型 為 何? access_combined, syslog host 資 料 來 自 哪 個 主 機 或 機 器? webserver01, cisco_ router _time 事 件 何 時 發 生? Sat Mar 31 02:16: 這 些 預 設 欄 位 會 與 原 始 資 料 一 起 檢 索 由 於 Splunk 索 引 器 會 使 用 時 間 戳 記 排 序 事 件, 讓 Splunk 有 效 抓 取 時 間 範 圍 內 的 事 件, 因 此 時 間 戳 記 (_time) 欄 位 較 特 殊 第 3 章 將 帶 我 們 前 往 大 多 數 動 作 發 生 的 位 置 :Splunk 的 搜 尋 介 面 19

33

34 3 使 用 Splunk 進 行 搜 尋 現 在 我 們 已 瞭 解 Splunk 檢 索 資 料 的 方 法 ( 第 2 章 ), 您 將 更 容 易 瞭 解 使 用 Splunk 進 行 搜 尋 時 會 發 生 的 情 況 當 然, 搜 尋 的 目 標 是 協 助 您 尋 找 確 切 需 要 的 資 訊 您 可 透 過 篩 選 摘 要 和 視 覺 化 大 量 資 料, 回 答 資 料 的 相 關 問 題 在 其 他 情 況 下, 您 可 能 需 要 定 期 探 索 大 量 資 料 您 通 常 只 想 要 找 到 隱 藏 在 所 有 資 料 中 的 某 個 重 要 事 件, 就 像 是 大 海 撈 針 摘 要 儀 表 板 可 為 您 顯 示 資 料 的 快 速 概 觀 按 一 下 Splunk [ 歡 迎 ] 索 引 標 籤 中 的 [ 啟 動 搜 尋 應 用 套 件 ] 如 果 您 位 於 Splunk [ 主 目 錄 ] 索 引 標 籤, 請 按 一 下 [ 您 的 應 用 套 件 ] 下 方 的 [ 搜 尋 ] 摘 要 儀 表 板 隨 即 顯 示, 如 圖 3-1 所 示 21

35 探 索 Splunk 圖 3-1 搜 尋 應 用 套 件 的 摘 要 儀 表 板 請 注 意 此 儀 表 板 中 的 下 列 項 目 : 上 方 的 空 白 搜 尋 列 可 讓 您 輸 入 搜 尋 搜 尋 列 右 側 的 時 間 範 圍 挑 選 器 可 讓 您 調 整 時 間 範 圍 例 如, 您 可 以 檢 視 過 去 15 分 鐘 或 任 何 所 需 間 隔 的 事 件 您 可 以 針 對 即 時 串 流 資 料 選 取 要 檢 視 的 間 隔, 範 圍 為 30 秒 到 1 小 時 所 有 索 引 資 料 面 板 可 顯 示 索 引 資 料 的 總 數 22

36 第 3 章 : 使 用 Splunk 進 行 搜 尋 下 列 三 個 面 板 可 顯 示 在 每 個 類 別 中 已 檢 索 的 最 近 或 最 常 見 值 : 來 源 面 板 可 顯 示 資 料 來 自 哪 些 檔 案 ( 或 其 他 來 源 ) 來 源 類 型 面 板 可 顯 示 資 料 的 來 源 類 型 主 機 面 板 可 顯 示 資 料 來 自 哪 些 主 機 現 在 讓 我 們 查 看 接 近 頁 面 上 方 的 搜 尋 導 覽 功 能 表 : 圖 3-2 搜 尋 導 覽 功 能 表 摘 要 我 們 現 在 的 位 置 搜 尋 是 主 要 搜 尋 介 面, 即 搜 尋 儀 表 板 狀 態 可 在 Splunk 執 行 個 體 狀 態 上 列 出 儀 表 板 儀 表 板 和 檢 視 可 列 出 您 的 儀 表 板 和 檢 視 搜 尋 和 報 告 可 列 出 儲 存 的 搜 尋 和 報 告 下 一 節 將 為 您 介 紹 搜 尋 儀 表 板 搜 尋 儀 表 板 如 果 您 按 一 下 [ 搜 尋 ] 選 項 或 在 搜 尋 列 中 輸 入 搜 尋, 頁 面 便 會 切 換 為 搜 尋 儀 表 板 ( 有 時 候 稱 為 時 間 表 或 即 時 時 間 表 檢 視 ) 開 始 搜 尋 後, 幾 乎 會 同 時 開 始 顯 示 結 果 例 如, 在 搜 尋 列 中 輸 入 星 號 (*) 則 會 抓 取 預 設 索 引 中 的 所 有 資 料, 畫 面 便 類 似 於 圖

37 探 索 Splunk 圖 3-3 搜 尋 儀 表 板 讓 我 們 檢 視 此 儀 表 板 的 內 容 : 時 間 表 : 符 合 搜 尋 的 事 件 數 隨 時 間 變 化 的 圖 形 表 示 欄 位 側 欄 : 相 關 欄 位 和 事 件 數 此 功 能 表 也 可 讓 您 將 欄 位 新 增 至 結 果 欄 位 探 索 開 關 : 開 啟 或 關 閉 自 動 欄 位 探 索 Splunk 執 行 搜 尋 且 開 啟 欄 位 探 索 時,Splunk 會 嘗 試 針 對 目 前 的 搜 尋 自 動 識 別 欄 位 24

38 第 3 章 : 使 用 Splunk 進 行 搜 尋 結 果 區 域 : 顯 示 搜 尋 的 事 件 依 時 間 戳 記 排 序 事 件, 時 間 戳 記 會 顯 示 在 每 個 事 件 的 左 側 每 個 事 件 的 原 始 文 字 下 方 為 從 欄 位 側 欄 選 取 且 具 有 值 的 所 有 欄 位 在 搜 尋 列 中 開 始 輸 入 時, 便 會 在 下 方 顯 示 內 容 相 關 資 訊, 其 中 左 側 為 符 合 的 搜 尋, 右 側 為 說 明 : 圖 3-4 在 搜 尋 列 中 輸 入 文 字 時 顯 示 的 實 用 資 訊 時 間 範 圍 挑 選 器 下 方 會 顯 示 下 列 圖 示 : 圖 3-5 搜 尋 圖 示 僅 在 執 行 搜 尋 時, 搜 尋 工 作 控 制 項 才 會 處 於 作 用 狀 態 如 果 您 未 執 行 搜 尋 或 已 完 成 搜 尋, 其 將 處 於 非 作 用 中 狀 態, 並 以 灰 色 顯 示 但 如 果 您 正 在 執 行 需 要 較 長 時 間 才 可 完 成 的 搜 尋, 則 可 使 用 這 些 圖 示 控 制 搜 尋 進 度 : 將 搜 尋 傳 送 至 背 景 可 讓 您 在 執 行 其 他 搜 尋 或 甚 至 關 閉 視 窗 並 登 出 時, 持 續 執 行 該 搜 尋 以 完 成 按 一 下 [ 傳 送 至 背 景 ] 時, 系 統 會 清 除 搜 尋 列, 且 您 可 以 繼 續 進 行 其 他 工 作 工 作 完 成 時, 如 果 您 25

39 探 索 Splunk 仍 處 於 登 入 狀 態, 則 畫 面 上 會 顯 示 通 知 ; 否 則 Splunk 會 透 過 電 子 郵 件 通 知 您 ( 如 果 您 已 指 定 電 子 郵 件 地 址 ) 如 果 您 想 要 在 此 期 間 或 稍 後 查 閱 工 作, 請 按 一 下 頁 面 上 方 的 [ 工 作 ] 連 結 暫 停 搜 尋 可 暫 時 停 止 該 搜 尋, 並 讓 您 探 索 該 時 間 點 的 結 果 暫 停 搜 尋 時, 圖 示 會 變 更 為 播 放 按 鈕 按 一 下 該 按 鈕 可 從 暫 停 的 時 間 點 開 始 繼 續 搜 尋 最 終 確 認 搜 尋 可 在 該 搜 尋 完 成 前 將 其 停 止, 但 會 保 留 到 該 時 間 點 為 止 的 結 果, 因 此 您 可 以 在 搜 尋 檢 視 中 檢 視 和 探 索 該 搜 尋 結 果 相 反 地, 取 消 搜 尋 可 讓 該 搜 尋 停 止 執 行 捨 棄 結 果 並 從 畫 面 將 其 清 除 [ 工 作 檢 視 器 ] 圖 示 可 讓 您 移 至 [ 工 作 檢 視 器 ] 頁 面, 該 頁 面 可 顯 示 關 於 搜 尋 的 詳 細 資 料, 例 如 搜 尋 執 行 成 本 偵 錯 訊 息 和 搜 尋 工 作 屬 性 使 用 [ 儲 存 ] 功 能 表 可 儲 存 搜 尋 儲 存 結 果 或 儲 存 並 共 用 結 果 您 可 以 在 [ 搜 尋 和 報 告 ] 功 能 表 中 找 到 儲 存 的 搜 尋 您 可 以 按 一 下 畫 面 右 上 角 的 [ 工 作 ] 以 檢 閱 儲 存 的 結 果 使 用 [ 建 立 ] 功 能 表 可 建 立 儀 表 板 警 示 報 告 事 件 類 型 和 已 排 程 搜 尋 我 們 將 在 第 5 章 詳 細 說 明 這 些 項 目 向 下 移 至 結 果 區 域 的 左 上 角, 您 會 看 到 下 列 圖 示 圖 3-6 結 果 區 域 圖 示 依 照 預 設,Splunk 會 以 清 單 顯 示 從 最 近 到 最 久 的 事 件, 但 您 可 以 按 一 下 表 格 圖 示 以 表 格 檢 視 結 果, 或 按 一 下 圖 表 圖 示 以 圖 表 檢 視 結 果 [ 匯 出 ] 按 鈕 可 以 各 種 格 式 匯 出 搜 尋 結 果 :CSV 原 始 事 件 XML 或 JSON 26

40 第 3 章 : 使 用 Splunk 進 行 搜 尋 事 件? 結 果? 兩 者 有 何 差 異? 從 索 引 抓 取 的 事 件 技 術 上 稱 為 事 件 如 果 這 些 事 件 經 轉 換 或 摘 要, 讓 磁 碟 上 不 再 有 一 對 一 的 事 件 對 映, 則 將 這 些 事 件 正 式 稱 為 結 果 例 如, 從 搜 尋 抓 取 的 網 路 存 取 事 件 是 事 件, 但 今 天 造 訪 的 第 一 名 URL 是 結 果 但 我 們 不 會 如 此 挑 剔, 而 會 交 替 使 用 這 兩 個 詞 彙 SPL : 搜 尋 處 理 語 言 Splunk 可 協 助 將 大 量 索 引 事 件 的 資 料 篩 選 為 可 用 於 回 答 實 際 問 題 的 形 式 圖 3-7 可 說 明 常 見 的 搜 尋 模 式 : 抓 取 事 件 並 產 生 報 告 此 搜 尋 可 傳 回 系 統 記 錄 錯 誤 中 的 前 幾 位 使 用 者 直 立 線 圖 3-7 處 理 簡 單 Splunk 搜 尋 的 方 式 整 個 字 串 sourcetype=syslog ERROR top user fields - percent 稱 為 搜 尋, 直 立 線 字 元 ( ) 可 分 隔 組 成 搜 尋 的 個 別 命 令 直 立 線 之 後 的 第 一 個 關 鍵 字 是 搜 尋 命 令 的 名 稱 在 此 範 例 中, 命 令 為 top 和 fields 哪 個 命 令 可 從 索 引 抓 取 事 件? 其 實, 任 何 未 以 直 立 27

41 探 索 Splunk 線 字 元 開 頭 的 搜 尋 開 始 都 隱 含 稱 為 search 的 命 令 因 此, 上 述 搜 尋 實 際 上 包 含 3 個 搜 尋 命 令 :search top 和 fields 每 個 命 令 的 結 果 都 會 作 為 輸 入 傳 遞 到 下 一 個 命 令 如 果 您 曾 使 用 Linux shell ( 例 如 bash), 則 可 能 熟 悉 此 概 念 隱 含 的 AND top user sourcetype=syslog ERROR 告 訴 search 命 令 僅 抓 取 sourcetype 等 於 syslog 且 包 含 詞 彙 ERROR 的 事 件 下 一 個 命 令 top 可 傳 回 指 定 欄 位 最 常 見 的 值 依 照 預 設,top 可 傳 回 指 定 欄 位 前 10 個 最 常 見 的 值, 且 以 遞 減 順 序 排 序 ( 感 謝 您,David Letterman) 在 此 案 例 中, 指 定 欄 位 是 user, 因 此 top 可 傳 回 包 含 詞 彙 ERROR 的 系 統 記 錄 事 件 最 常 出 現 的 使 用 者 top 的 輸 出 是 具 有 10 列 值 的 3 欄 (user count 和 percent) 表 格 請 務 必 瞭 解 top 命 令 的 輸 出 會 成 為 直 立 線 之 後 下 一 個 命 令 的 輸 入 從 此 角 度 而 言,top 已 將 搜 尋 結 果 轉 換 為 一 組 較 少 的 值, 透 過 下 一 個 命 令 進 一 步 縮 小 範 圍 fields percent 第 二 個 命 令 fields 具 有 引 數 percent, 告 訴 Splunk 從 top 命 令 的 輸 出 移 除 percent 欄 探 索 資 料 分 析 : 使 用 Splunk 進 行 探 勘 如 果 您 完 全 不 瞭 解 資 料, 則 應 該 執 行 哪 些 操 作? 發 揮 創 意 和 探 索 您 可 以 使 用 * 執 行 搜 尋 以 抓 取 並 瞭 解 所 有 事 件 : 查 看 某 些 事 件 擷 取 某 些 看 似 相 關 的 欄 位 使 用 top 取 得 該 欄 位 的 前 幾 個 值 瞭 解 如 何 區 分 事 件 可 能 根 據 其 他 欄 位 導 出 某 些 新 欄 位 將 結 果 分 為 叢 集 和 瞭 解 某 個 欄 位 如 何 隨 其 他 欄 位 變 化 等 ( 如 需 有 關 瞭 解 您 較 不 瞭 解 來 源 之 內 容 的 更 多 提 示, 請 參 閱 ) 28

42 第 3 章 : 使 用 Splunk 進 行 搜 尋 探 討 第 4 章 的 搜 尋 命 令 前, 讓 我 們 先 討 論 search 命 令 本 身 : 其 為 非 常 特 殊 的 命 令 且 在 使 用 Splunk 時 非 常 重 要 search 命 令 search 命 令 是 Splunk 的 重 要 工 具 這 是 其 中 一 個 最 簡 單 且 最 強 大 的 命 令 由 於 搜 尋 開 頭 可 隱 含 叫 用 此 命 令, 從 磁 碟 中 的 索 引 抓 取 事 件, 因 此 您 甚 至 不 需 要 在 第 一 個 直 立 線 之 前 輸 入 此 基 本 命 令 並 非 所 有 搜 尋 都 會 從 Splunk 索 引 抓 取 資 料 例 如,inputcsv 命 令 可 從 CSV 檔 案 讀 取 資 料 若 要 將 此 類 命 令 作 為 第 一 個 命 令 輸 入, 請 在 這 些 命 令 之 前 加 上 直 立 線 字 元 例 如 : inputcsv myfile.csv 當 search 命 令 不 是 搜 尋 中 的 第 一 個 命 令 時, 可 以 篩 選 上 一 個 搜 尋 的 結 果 若 要 執 行 此 操 作, 請 像 使 用 任 何 其 他 命 令 一 樣 使 用 search 命 令, 在 明 確 的 命 令 名 稱 之 後 加 上 直 立 線 字 元 例 如, 命 令 error top url search count>=2 可 搜 尋 磁 碟 中 具 有 error 一 詞 的 事 件 尋 找 前 幾 名 的 URL 和 篩 選 任 何 僅 發 生 一 次 的 URL 換 言 之, 針 對 top 傳 回 的 10 個 錯 誤 事 件, 僅 顯 示 其 URL 具 有 兩 個 以 上 執 行 個 體 的 事 件 表 3-1 顯 示 某 些 隱 含 呼 叫 search 命 令 的 範 例 及 其 結 果 表 3-1 隱 含 search 的 命 令 搜 尋 引 數 結 果 (warn OR error) NOT fail* 抓 取 包 含 warn 或 error, 但 不 包 含 fail fails failed 和 failure 等 的 所 有 事 件 database error fatal disk host=main_web_server delay>2 抓 取 包 含 字 詞 database error fatal 和 disk ( 隱 含 AND) 的 所 有 事 件 抓 取 host 欄 位 具 有 main_web_ server 值, 且 delay 欄 位 值 大 於 2 的 所 有 事 件 29

43 探 索 Splunk 使 用 search 命 令 的 提 示 區 分 大 小 寫 下 列 為 使 用 search 命 令 的 提 示 這 些 提 示 也 適 用 於 許 多 其 他 命 令 search 命 令 的 關 鍵 字 引 數 不 區 分 大 小 寫, 但 欄 位 名 稱 區 分 大 小 寫 ( 如 需 有 關 區 分 大 小 寫 的 詳 細 資 料, 請 參 閱 附 錄 B ) 在 搜 尋 中 使 用 引 號 布 林 邏 輯 子 搜 尋 您 需 要 在 包 含 分 隔 字 元 ( 例 如 空 格 逗 號 直 立 線 方 括 號 和 等 號 ) 的 字 詞 或 欄 位 值 之 外 加 上 引 號 因 此,host=web09 可 正 確 執 行, 但 如 果 host 值 具 有 空 格, 則 需 要 在 值 之 外 加 上 引 號, 例 如 host= webserver #9 此 外, 若 要 搜 尋 保 留 的 關 鍵 字 ( 例 如 AND OR NOT 等 ), 請 使 用 引 號 若 要 搜 尋 引 號, 請 使 用 反 斜 線 逸 出 引 號 字 元 若 要 尋 找 字 詞 Splunk changed life itself for me, 您 必 須 搜 尋 : Splunk changed \ life itself\ for me search 命 令 的 引 數 ( 關 鍵 字 和 欄 位 ) 之 間 會 隱 含 AND 您 可 以 使 用 大 寫 OR 關 鍵 字, 指 定 其 中 一 個 或 更 多 引 數 為 true OR 的 優 先 順 序 高 於 AND, 因 此 您 可 以 將 使 用 OR 的 引 數 視 為 包 含 在 括 弧 中 若 要 篩 選 掉 包 含 特 定 文 字 的 事 件, 請 使 用 NOT 關 鍵 字 最 後, 您 可 以 視 需 要 明 確 使 用 括 弧 以 更 清 楚 地 表 示 例 如,x y OR z NOT w 與 x AND (y OR z) AND NOT w 的 搜 尋 相 同 search 命 令 與 所 有 命 令 一 樣, 可 作 為 子 搜 尋 使 用, 子 搜 尋 為 將 結 果 作 為 其 他 搜 尋 命 令 的 引 數 使 用 的 搜 尋 我 們 會 以 方 括 號 框 住 子 搜 尋 例 如, 若 要 尋 找 上 次 登 入 錯 誤 的 使 用 者 所 有 的 系 統 記 錄 事 件, 請 使 用 下 列 命 令 : sourcetype=syslog [search login error return user] 30

44 第 3 章 : 使 用 Splunk 進 行 搜 尋 這 會 執 行 具 有 詞 彙 login 和 error 之 事 件 的 搜 尋, 傳 回 找 到 的 第 一 個 user 值 ( 假 設 是 bob), 之 後 執 行 sourcetype=syslog user=bob 的 搜 尋 如 果 您 已 準 備 繼 續 深 度 探 索 Splunk, 第 4 章 將 介 紹 更 多 可 讓 您 立 即 感 到 實 用 的 命 令 31

45

46 4 SPL: 搜 尋 處 理 語 言 我 們 已 在 第 3 章 討 論 SPL 中 最 基 本 的 Splunk 命 令 :search 本 章 將 說 明 某 些 您 想 要 瞭 解 的 其 他 SPL 命 令 本 章 將 採 用 最 簡 單 的 方 法, 透 過 範 例 讓 您 瞭 解 SPL 命 令 如 需 完 整 的 參 考 說 明 文 件, 請 參 閱 表 4-1 依 類 別 摘 要 本 章 討 論 的 SPL 命 令 表 4-1 一 般 SPL 命 令 類 別 說 明 命 令 排 序 結 果 排 序 結 果 和 ( 選 擇 性 地 ) 限 制 結 果 數 sort 篩 選 結 果 取 得 一 組 事 件 或 結 果, 並 將 其 篩 選 為 一 組 較 少 的 值 search where dedup head tail 分 組 結 果 分 組 事 件, 讓 您 發 現 模 式 transaction 報 告 結 果 篩 選 修 改 和 新 增 欄 位 取 得 搜 尋 結 果 並 產 生 摘 要 以 進 行 報 告 篩 選 掉 ( 移 除 ) 某 些 欄 位 以 專 注 於 所 需 欄 位, 或 修 改 或 新 增 欄 位, 讓 您 的 結 果 或 事 件 更 豐 富 top/rare stats chart timechart fields replace eval rex lookup 排 序 結 果 排 序 結 果 屬 於 ( 您 沒 猜 錯!)sort 命 令 的 範 圍 sort sort 命 令 可 依 指 定 欄 位 排 序 搜 尋 結 果 表 4-2 顯 示 某 些 範 例 33

47 探 索 Splunk 部 分 搜 尋 的 簡 略 表 示 如 果 我 們 僅 顯 示 一 系 列 命 令 的 部 分 ( 如 表 4-2), 您 會 看 到 :... 這 表 示 此 命 令 之 前 存 在 某 些 搜 尋, 但 我 們 專 注 於 之 後 的 部 分 表 4-2 sort 命 令 範 例 命 令 sort 0 field1 sort field1,-field2 sort 100 field1,+field2 sort filename sort num(filename) sort str(filename) 結 果 依 field1 以 遞 增 順 序 排 序 結 果, 並 傳 回 所 有 結 果 (0 表 示 傳 回 所 有 結 果 ; 不 會 在 預 設 的 第 10,000 個 結 果 停 止 ) 依 field1 以 遞 增 順 序 排 序 結 果, 然 後 依 field2 以 遞 減 順 序 排 序, 並 傳 回 最 多 10,000 個 結 果 ( 預 設 ) 依 field1 以 遞 減 順 序 排 序 結 果, 然 後 依 field2 以 遞 增 順 序 排 序, 並 傳 回 前 100 個 排 序 的 結 果 依 filename 排 序 結 果 : 第 一 個 命 令 可 讓 Splunk 決 定 如 何 排 序 欄 位 值 第 二 個 命 令 可 要 求 Splunk 以 數 值 順 序 排 序 值 第 三 個 命 令 可 要 求 Splunk 以 字 典 編 排 順 序 排 序 值 提 示 : 遞 增 順 序 是 搜 尋 結 果 的 預 設 順 序 若 要 反 轉 結 果 的 順 序, 請 在 用 於 排 序 結 果 的 欄 位 之 前 使 用 減 號 圖 4-1 可 說 明 第 二 個 範 例 我 們 會 依 遞 增 順 序 的 prices 排 序, 並 依 遞 減 順 序 的 rating 排 序 第 一 個 結 果 是 最 便 宜 且 具 有 最 高 使 用 者 評 等 的 商 品 34

48 第 4 章 :SPL: 搜 尋 處 理 語 言 price rating fields price rating fields price rating fields 篩 選 結 果 where... sort price,-rating 圖 4-1 sort 命 令 這 些 命 令 可 從 上 一 個 命 令 取 得 搜 尋 結 果, 並 將 這 些 結 果 減 少 為 一 組 較 少 的 值 換 言 之, 您 可 縮 小 資 料 的 檢 視 範 圍, 僅 顯 示 正 在 尋 找 的 結 果 where 篩 選 命 令 可 評 估 篩 選 結 果 的 運 算 式 如 果 評 估 成 功 且 結 果 為 TRUE, 則 會 保 留 該 結 果 ; 否 則 會 捨 棄 該 結 果 例 如 : source=job_listings where salary > industry_average 此 範 例 可 抓 取 工 作 清 單 並 捨 棄 薪 資 低 於 產 業 平 均 的 事 件 其 也 會 捨 棄 缺 少 salary 欄 位 或 industry_average 欄 位 的 事 件 此 範 例 可 比 較 兩 個 欄 位 (salary 和 industry_average), 我 們 僅 可 使 用 where 命 令 執 行 此 動 作 比 較 欄 位 值 與 常 值 時, 僅 需 使 用 search 命 令 : source=job_listings salary>

49 探 索 Splunk 表 4-3 where 命 令 範 例 命 令 where distance/time > 100 where like(src, % ) OR cidrmatch( /25, dst) 結 果 保 留 distance 欄 位 值 除 以 time 欄 位 值 大 於 100 的 結 果 保 留 符 合 IP 位 址 或 位 於 指 定 子 網 路 的 結 果 圖 4-2 可 說 明 命 令 where distance/time > 100 distance time distance time distance/time>100. FALSE. FALSE. FALSE. FALSE..TRUE..TRUE..TRUE distance time where distance/time > 100 使 用 where 的 提 示 圖 4-2 where 命 令 範 例 dedup where 命 令 與 eval 命 令 一 樣, 可 與 許 多 運 算 式 評 估 函 數 搭 配 使 用 ( 如 需 完 整 的 清 單, 請 參 閱 附 錄 E) dedup 篩 選 命 令 的 重 點 是 移 除 多 餘 的 資 料 此 命 令 可 移 除 符 合 指 定 準 則 的 後 續 結 果 即 此 命 令 僅 保 留 每 個 指 定 欄 位 值 組 合 的 前 count 個 結 果 如 果 未 指 定 count, 其 預 設 為 1, 且 會 傳 回 找 到 的 第 一 個 結 果 ( 通 常 是 最 近 的 結 果 ) 36

50 第 4 章 :SPL: 搜 尋 處 理 語 言 命 令 表 4-4 dedup 命 令 範 例 結 果 dedup host 保 留 每 個 唯 一 host 的 第 一 個 結 果 dedup 3 source 保 留 每 個 唯 一 source 的 前 3 個 結 果 dedup source sortby -delay 依 delay 欄 位 以 遞 減 順 序 排 序 結 果, 然 後 保 留 每 個 唯 一 source 的 第 一 個 結 果 可 有 效 保 留 每 個 唯 一 source 延 遲 值 最 大 的 結 果 dedup 3 source,host dedup source keepempty=true 圖 4-3 可 說 明 命 令 dedup 3 source 保 留 每 個 source 和 host 值 唯 一 組 合 的 前 3 個 結 果 保 留 每 個 唯 一 source 的 第 一 個 結 果, 也 保 留 沒 有 source 欄 位 的 結 果 source source_a source_a source_b source_b source_a source_a source_a source_b source_b field2 f2_value1 f2_v alue2 f2_v alue3 f2_v alue4 f2_v alue5 f2_v alue6 f2_v alue7 f2_v alue8 f2_v alue9. source source_a source_a source_b source_b source_a source_a source_a source_b source_b field2 f2_value1 f2_v alue2 f2_v alue3 f2_v alue4 f2_v alue5 f2_v alue6 f2_v alue7 f2_v alue8 f2_v alue9. source source_a source_a source_b source_b source_a source_b field2 f2_value1 f2_v alue2 f2_v alue3 f2_v alue4 f2_v alue5 f2_v alue8.... dedup 3 source 重 點 圖 4-3 dedup 命 令 範 例 若 要 保 留 所 有 結 果 但 移 除 重 複 值, 請 使 用 keepevents 選 項 傳 回 的 結 果 是 找 到 具 有 指 定 欄 位 值 組 合 的 第 一 個 結 果, 一 般 是 最 近 的 結 果 可 視 需 要 使 用 sortby 子 句 變 更 排 序 順 序 依 照 預 設, 將 保 留 不 完 全 存 在 指 定 欄 位 的 欄 位 可 視 需 要 使 用 keepnull=<true/false> 選 項 覆 寫 預 設 行 為 37

51 探 索 Splunk head head 篩 選 命 令 可 傳 回 前 count 個 結 果 使 用 head 可 在 找 到 所 需 結 果 數 時, 讓 搜 尋 停 止 從 磁 碟 抓 取 事 件 head 或 tail? head 命 令 的 相 反 為 tail 命 令, 此 命 令 會 傳 回 最 後 幾 個 結 果, 而 非 前 幾 個 結 果 從 結 果 的 末 端 開 始, 以 反 向 順 序 傳 回 結 果 請 記 住, 前 後 是 相 對 於 事 件 輸 入 的 順 序 而 言, 其 通 常 以 遞 減 時 間 順 序 排 序, 這 表 示, 例 如 head 10 可 傳 回 最 近 10 個 事 件 表 4-5 head 命 令 範 例 命 令 結 果 head 5 傳 回 前 5 個 結 果 head (action= startup ) 傳 回 前 幾 個 事 件, 直 到 未 具 有 startup 值 之 action 欄 位 的 事 件 圖 4-4 可 說 明 表 4-5 中 的 第 一 個 範 例 head 5 field field head 5 圖 4-4 head 命 令 範 例 38

52 第 4 章 :SPL: 搜 尋 處 理 語 言 分 組 結 果 transaction 命 令 可 分 組 相 關 事 件 transaction transaction 命 令 可 將 符 合 各 種 限 制 式 的 事 件 分 組 為 交 易, 即 可 能 來 自 多 個 來 源 的 事 件 集 合 如 果 符 合 所 有 交 易 定 義 限 制 式, 則 會 將 事 件 分 組 在 一 起 交 易 是 由 每 個 成 員 事 件 的 原 始 文 字 (_raw 欄 位 ) 最 早 成 員 事 件 的 時 間 戳 記 (_time 欄 位 ) 每 個 成 員 事 件 所 有 其 他 欄 位 的 聯 集 和 某 些 其 他 說 明 交 易 的 欄 位 ( 例 如 duration 和 eventcount) 組 成 表 4-6 transaction 命 令 範 例 命 令 transaction clientip maxpause=5s transaction clientip host maxspan=30s maxpause=5s 結 果 將 共 用 相 同 用 戶 端 IP 位 址 的 事 件 分 在 同 一 組, 且 間 距 或 暫 停 不 超 過 5 秒 透 過 此 命 令, 搜 尋 結 果 的 host 欄 位 可 能 具 有 多 個 值 例 如, 如 果 多 位 使 用 者 從 相 同 的 位 置 存 取 伺 服 器, 則 單 一 IP 位 址 的 要 求 會 來 自 多 個 主 機 將 共 用 相 同 用 戶 端 IP 位 址 和 主 機 唯 一 組 合 的 事 件 分 在 同 一 組, 其 中 第 一 個 事 件 和 最 後 一 個 事 件 分 隔 不 超 過 30 秒, 且 交 易 中 任 何 發 生 的 事 件 分 隔 不 超 過 5 秒 相 較 於 第 一 個 範 例, 每 個 結 果 事 件 在 時 間 限 制 式 的 限 制 內 都 具 有 IP 位 址 (clientip) 和 主 機 值 的 相 異 組 合 因 此, 您 不 會 在 單 一 交 易 中 的 事 件 之 間 看 到 不 同 的 host 或 clientip 位 址 值 39

53 探索 Splunk sourcetype=access* action=purchase transaction clientip maxspan=10m maxevents=3 抓取具有 action=purchase 值的網路存取 事件 然後透過 transaction 命令將共用 相同 clientip 的事件分在同一組 其中每 個工作階段持續不超過 10 分鐘 且包含不 超過 3 個事件 transaction JSESSIONID clientip startswith= signon endswith= purchase where duration>=1 將具有相同工作階段識別碼 (JSESSIONID) 且來自相同 IP 位址 (clientip) 的事件分在 同一組 其中第一個事件包含 signon 字 串 最後一個事件包含 purchase 字串 此搜尋可使用 startswith= signon 引數 將交易中的第一個事件 定義為包含 signon 字串的事 件 endswith= purchase 引數可針對交 易中的最後一個事件執行相同的動作 然後此範例可將交易輸送到 where 命令 其可使用 duration 欄位篩選掉花費不到 1 秒時間即完成的交易 圖 4-5 可說明表 4-6 中的第二個範例 transaction maxspan=30s maxpause=5s 圖 4-5 transaction 命令範例 40 clientip

54 第 4 章 :SPL: 搜 尋 處 理 語 言 重 點 報 告 結 果 所 有 transaction 命 令 引 數 都 是 選 用 引 數, 但 必 須 指 定 某 些 限 制 式 以 定 義 如 何 將 事 件 分 組 為 交 易 Splunk 不 一 定 要 將 由 多 個 欄 位 定 義 的 交 易 解 譯 為 這 些 欄 位 的 交 會 (field1 AND field2 AND field3) 或 分 離 (field1 OR field2 OR field3) 如 果 <fields list> 中 的 欄 位 之 間 具 有 遞 移 關 係, 則 transaction 命 令 會 使 用 該 關 係 例 如, 如 果 您 搜 尋 transaction host cookie, 則 可 能 看 到 系 統 將 下 列 事 件 分 組 為 單 一 交 易 : event=1 host=a event=2 host=a cookie=b event=3 cookie=b 由 於 前 兩 個 事 件 都 具 有 host=a, 因 此 聯 結 這 兩 個 事 件, 然 後 由 於 第 三 個 事 件 和 第 二 個 事 件 都 具 有 cookie=b, 因 此 也 聯 結 第 三 個 事 件 transaction 命 令 可 產 生 下 列 兩 個 欄 位 : duration: 交 易 中 第 一 個 事 件 和 最 後 一 個 事 件 的 時 間 戳 記 之 間 的 差 異 eventcount: 交 易 中 的 事 件 數 雖 然 stats 命 令 ( 將 在 本 節 稍 後 討 論 ) 和 transaction 命 令 都 可 讓 您 彙 總 事 件, 下 列 為 其 重 要 區 別 : stats 可 計 算 依 欄 位 值 分 組 之 事 件 的 統 計 值 ( 然 後 捨 棄 事 件 ) transaction 可 分 組 事 件, 且 支 援 更 多 事 件 分 組 方 法 的 選 項, 並 保 留 原 始 事 件 中 的 原 始 事 件 文 字 及 其 他 欄 位 值 本 節 將 討 論 的 報 告 命 令 包 含 top stats chart 和 timechart 41

55 探 索 Splunk top 指 定 欄 位 清 單,top 命 令 可 傳 回 這 些 欄 位 值 最 常 發 生 的 元 組 及 其 計 數 和 百 分 比 如 果 您 指 定 其 他 欄 位 的 選 用 by 子 句, 則 會 傳 回 by 子 句 欄 位 每 個 相 異 群 組 最 常 發 生 的 值 top 的 相 反 為 rare top 命 令 的 相 反 為 rare 命 令 有 時 候 您 想 要 瞭 解 某 個 欄 位 最 少 見 的 值 ( 而 非 最 常 見 的 值 ) rare 命 令 便 可 執 行 此 動 作 表 4-7 top 命 令 範 例 命 令 結 果 top 20 url 傳 回 20 個 最 常 見 的 URL top 2 user by host 針 對 每 個 主 機 傳 回 前 2 個 user 值 top user, host 傳 回 前 10 個 ( 預 設 ) user-host 組 合 圖 4-6 可 說 明 表 4-7 中 的 第 二 個 範 例 top 2 user by host host host-1 host-1 host-1 host-1 host-1 host-1 host-1 host-2 host-2 host-2 host-2 host-2 user user_a user_a user_b user_c user_c user_c user_d user_e user_e user_f user_g user_g host host-1 host-1 host-1 host-1 host-2 host-2 host-2 user user_a user_b user_c user_d user_e user_f user_g count percent host host-1 host-1 host-2 host-2 user user_c user_a user_e user_g count percent top 2 user by host 圖 4-6 top 命 令 範 例 42

56 第 4 章 :SPL: 搜 尋 處 理 語 言 stats stats 命 令 可 計 算 整 個 資 料 集 的 彙 總 統 計 資 料, 與 SQL 彙 總 類 似 結 果 表 格 可 包 含 一 個 代 表 整 個 傳 入 結 果 集 彙 總 的 列, 或 每 個 指 定 by 子 句 相 異 值 的 列 統 計 計 算 具 有 多 個 命 令 stats chart 和 timechart 命 令 可 針 對 資 料 執 行 相 同 的 統 計 計 算, 但 會 傳 回 稍 有 不 同 的 結 果 集, 讓 您 可 視 需 要 輕 鬆 使 用 結 果 stats 命 令 可 傳 回 結 果 表 格, 其 中 每 列 表 示 group-by 欄 位 值 的 單 一 唯 一 組 合 chart 命 令 可 傳 回 相 同 的 結 果 表 格, 其 列 可 作 為 任 何 任 意 欄 位 timechart 命 令 可 傳 回 相 同 的 結 果 表 格, 但 將 列 設 為 內 部 欄 位 _time, 讓 您 製 作 某 個 時 間 範 圍 的 結 果 圖 表 表 4-8 顯 示 某 些 使 用 stats 命 令 的 範 例 as 的 意 義 註 : 表 4-14 中 某 些 命 令 使 用 關 鍵 字 as as 用 於 重 新 命 名 欄 位 例 如,sum(price) as Revenue 表 示 加 總 所 有 price 欄 位, 並 將 顯 示 結 果 欄 命 名 為 Revenue 表 4-8 stats 命 令 範 例 命 令 結 果 stats dc(host) 傳 回 host 值 的 相 異 計 數 ( 即 唯 一 ) stats avg(kbps) by host 傳 回 每 個 主 機 的 平 均 傳 送 速 率 stats count(eval(method= GET )) as GET, count(eval(method= POST )) as POST by host... top limit=100 referer_ domain stats sum(count) as total 針 對 每 個 網 頁 伺 服 器 (host) 傳 回 不 同 類 型 要 求 的 次 數 結 果 表 格 包 含 一 個 列 出 每 個 主 機 的 列, 以 及 GET 和 POST 要 求 方 法 計 數 的 欄 傳 回 referer_domain 前 100 個 值 的 點 擊 總 數 43

57 探 索 Splunk stats count, max(magnitude), min(magnitude), range(magnitude), avg(magnitude) by Region stats values(product_type) as Type, values(product_name) as Name, sum(price) as Revenue by product_id rename product_id as Product ID eval Revenue= $.tostring(revenue, commas ) 使 用 USGS Earthquakes 資 料, 針 對 每 個 Region 傳 回 地 震 次 數 及 其 他 統 計 資 料 針 對 商 店 每 個 銷 售 的 product_id 傳 回 包 含 Type Name 和 Revenue 欄 的 表 格 此 外, 將 Revenue 的 格 式 設 為 $123,456 圖 4-7 可 說 明 表 4-8 中 的 第 三 個 範 例, 其 可 抓 取 每 個 主 機 的 GET 和 POST 要 求 數 目 圖 4-7 stats 命 令 範 例 表 4-9 列 出 可 以 與 stats 命 令 搭 配 使 用 的 統 計 函 數 ( 這 些 函 數 也 可 以 與 chart 和 timechart 命 令 搭 配 使 用, 稍 後 將 討 論 此 內 容 ) 表 4-9 stats 統 計 函 數 數 學 計 算 avg(x) 傳 回 X 欄 位 的 平 均 值, 另 請 參 閱 mean(x) count(x) 傳 回 X 欄 位 的 出 現 次 數 ; 若 要 表 示 要 比 對 的 欄 位 值, 請 將 X 引 數 的 格 式 設 為 運 算 式 :eval(field="value") dc(x) 傳 回 X 欄 位 相 異 值 計 數 max(x) 傳 回 X 欄 位 的 最 大 值 如 果 非 數 值, 則 會 以 每 個 字 典 編 排 順 序 決 定 最 大 值 median(x) 傳 回 X 欄 位 最 中 間 的 值 min(x) 傳 回 X 欄 位 的 最 小 值 如 果 非 數 值, 則 會 以 每 個 字 典 編 排 順 序 決 定 最 小 值 44

58 第 4 章 :SPL: 搜 尋 處 理 語 言 chart mode(x) 傳 回 X 欄 位 最 常 發 生 的 值 perc<percentnum>(x) 傳 回 X 欄 位 的 第 <percent-num> 個 值 ; 例 如,perc5(total) 可 傳 回 total 欄 位 第 5 個 百 分 位 數 的 值 range(x) 傳 回 X 欄 位 最 大 值 和 最 小 值 之 間 的 差, 該 值 為 數 值 stdev(x) 傳 回 X 欄 位 的 樣 本 標 準 差 指 定 欄 位 名 稱 時, 您 可 以 使 用 萬 用 字 元 ; 例 如, *delay 可 同 時 符 合 delay 和 xdelay sum(x) 傳 回 X 欄 位 值 的 總 和 var(x) 傳 回 X 欄 位 的 樣 本 變 異 數 值 的 選 擇 first(x) 傳 回 X 欄 位 第 一 個 值 ; 與 last(x) 相 反 last(x) 傳 回 X 欄 位 最 後 一 個 值 ; 與 first(x) 值 相 反 欄 位 的 最 後 一 個 值 一 般 是 以 時 間 順 序 排 序 最 舊 的 值 list(x) 傳 回 X 欄 位 所 有 值 的 清 單 作 為 複 值 項 目 值 的 順 序 會 符 合 輸 入 事 件 的 順 序 values(x) 傳 回 X 欄 位 所 有 相 異 值 的 清 單 ( 作 為 複 值 項 目 ), 以 字 典 編 排 順 序 排 序 僅 適 用 於 timechart ( 不 適 用 於 chart 或 stats) per_day(x) 傳 回 X 欄 位 每 天 的 速 率 per_hour(x) 傳 回 X 欄 位 每 小 時 的 速 率 per_minute(x) 傳 回 X 欄 位 每 分 鐘 的 速 率 per_second(x) 傳 回 X 欄 位 每 年 的 速 率 註 : 除 了 僅 適 用 於 timechart 類 型 中 的 函 數 以 外, 所 有 函 數 都 適 用 於 chart stats 和 timechart 命 令 chart 命 令 可 建 立 適 合 製 作 圖 表 的 表 格 資 料 輸 出 您 可 以 使 用 over 或 by 指 定 x 軸 變 數 表 4-10 顯 示 某 些 使 用 chart 命 令 的 簡 單 範 例 ; 如 需 更 多 實 際 案 例, 請 參 閱 第 6 章 45

59 探 索 Splunk 表 4-10 chart 命 令 範 例 命 令 chart max(delay) over host chart max(delay) by size bins=10 chart eval(avg(size)/ max(delay)) as ratio by host user... chart dc(clientip) over date_hour by category_id usenull=f chart count over Magnitude by Region useother=f chart count(eval(method= GET )) as GET, count(eval(method= POST )) as POST by host 結 果 針 對 每 個 host 值 傳 回 max(delay) 依 size 製 作 delay 最 大 值 的 圖 表, 其 中 size 會 細 分 為 最 多 10 個 大 小 相 等 的 索 引 分 集 針 對 每 個 相 異 host 和 user 配 對, 製 作 size 平 均 ( 平 均 值 ) 對 delay 最 大 值 比 率 的 圖 表 依 類 別 製 作 每 小 時 唯 一 clientip 值 數 量 的 圖 表 usenull=f 可 排 除 沒 有 值 的 欄 位 依 Magnitude 和 Region 製 作 地 震 次 數 的 圖 表 使 用 useother=f 引 數 可 防 止 針 對 較 少 見 的 Regions 輸 出 其 他 值 針 對 每 個 網 頁 伺 服 器 (host) 製 作 GET 和 POST 頁 面 要 求 發 生 次 數 的 圖 表 圖 4-8 ( 表 格 結 果 ) 和 4-9 ( 對 數 刻 度 的 長 條 圖 ) 可 說 明 表 4-10 中 執 行 上 一 個 範 例 的 結 果 : 圖 4-8 chart 命 令 範 例 結 果 表 格 46

60 第 4 章 :SPL: 搜 尋 處 理 語 言 圖 4-9 chart 命 令 範 例 報 告 建 立 工 具 圖 表 格 式 timechart timechart 命 令 可 以 時 間 為 x 軸, 針 對 套 用 至 欄 位 的 統 計 彙 總 建 立 圖 表 表 4-11 顯 示 某 些 使 用 timechart 命 令 的 簡 單 範 例 第 6 章 可 提 供 更 多 在 內 容 中 使 用 此 命 令 的 範 例 表 4-11 timechart 命 令 範 例 命 令 timechart span=1m avg(cpu) by host timechart span=1d count by product-type timechart avg(cpu_seconds) by host outlier timechart per_hour(price) by product_name 結 果 針 對 每 個 主 機 製 作 每 分 鐘 CPU 用 量 平 均 值 的 圖 表 針 對 每 個 類 型 的 產 品, 製 作 每 日 進 行 的 購 買 數 圖 表 span=1d 引 數 可 針 對 整 週 的 購 買 計 數 建 立 每 日 區 塊 索 引 分 集 依 host 製 作 平 均 cpu_seconds 的 圖 表, 並 移 除 可 能 扭 曲 時 間 圖 表 y 軸 的 極 端 值 製 作 昨 天 購 買 產 品 收 益 的 圖 表 per_ hour() 函 數 可 計 算 每 個 (product_ name) 商 品 price 欄 位 值 的 總 和, 並 根 據 每 個 索 引 分 集 的 時 間 跨 距 適 當 地 調 整 該 總 和 的 比 例 47

61 探 索 Splunk timechart count(eval(method= GET )) as GET, count(eval(method= POST )) as POST 製 作 隨 時 間 變 化 的 頁 面 要 求 次 數 圖 表 count() 函 數 和 eval 運 算 式 可 用 於 計 算 不 同 頁 面 要 求 方 法 (GET 和 POST) 的 次 數 timechart per_ hour(eval(method= GET )) as Views, per_ hour(eval(action= purchase )) as Purchases 針 對 電 子 商 務 網 站, 製 作 per_hour 產 品 檢 視 和 購 買 數 的 圖 表, 可 回 答 未 進 行 購 買 之 檢 視 數 的 問 題 圖 4-10 和 4-11 可 說 明 表 4-11 中 的 第 四 個 範 例, 其 可 依 產 品 名 稱 製 作 每 小 時 收 益 的 圖 表 圖 4-10 timechart 命 令 範 例 表 格 化 結 果 篩 選 修 改 和 新 增 欄 位 圖 4-11 timechart 命 令 範 例 格 式 化 時 間 圖 表 這 些 命 令 可 協 助 您 在 搜 尋 結 果 中 僅 得 到 需 要 的 欄 位 您 可 以 使 用 fields 命 令 移 除 某 些 欄 位, 以 簡 化 您 的 結 果 您 可 以 使 用 replace 命 令, 讓 特 定 對 象 更 易 於 閱 讀 欄 位 或 者 您 可 能 需 要 透 過 某 些 命 令 新 48

62 第 4 章 :SPL: 搜 尋 處 理 語 言 fields 增 欄 位, 例 如 eval rex 和 lookup: eval 命 令 可 根 據 其 他 欄 位, 透 過 數 值 串 連 或 布 林 邏 輯 計 算 新 欄 位 的 值 rex 命 令 可 使 用 規 則 運 算 式 擷 取 其 他 欄 位 中 具 有 模 式 的 資 料 以 建 立 新 欄 位 lookup 命 令 可 根 據 查 看 事 件 中 的 值 參 考 查 閱 表 格, 並 將 查 閱 表 格 中 符 合 列 的 欄 位 新 增 至 事 件 以 新 增 欄 位 這 些 命 令 可 用 於 建 立 新 欄 位 或 覆 寫 現 有 欄 位 的 值 由 您 決 定 fields 命 令 可 移 除 搜 尋 結 果 中 的 欄 位 表 4-6 顯 示 一 般 命 令 表 4-12 fields 命 令 範 例 命 令 fields field1, field2 fields field1 field2 fields field1 error* fields field1 field2 fields - _* 結 果 從 搜 尋 結 果 中 移 除 field1 和 field2 僅 保 留 field1 和 field2 僅 保 留 field1 和 所 有 名 稱 以 error 開 頭 的 欄 位 僅 保 留 field1 和 field2, 並 移 除 所 有 內 部 欄 位 ( 以 底 線 開 頭 ) ( 註 : 移 除 內 部 欄 位 會 導 致 Splunk 網 站 轉 譯 結 果 錯 誤, 並 產 生 其 他 搜 尋 問 題 ) 圖 4-12 可 說 明 表 4-12 中 的 第 一 個 範 例 fields field1, field2 49

63 探 索 Splunk field field1 A B C D E F G H I field1 a b c d e f g h i field field1 A B C D E F G H I field1 a b c d e f g h i field1 a b c d e f g h i... fields - field1 field2 重 點 圖 4-12 fields 命 令 範 例 replace 除 非 明 確 指 定, 否 則 fields 命 令 不 會 影 響 內 部 欄 位 ( 即 名 稱 以 底 線 開 頭 的 欄 位 ) replace 命 令 以 取 代 值 執 行 搜 尋 和 取 代 指 定 欄 位 值 搜 尋 和 取 代 中 的 值 區 分 大 小 寫 表 4-13 replace 命 令 範 例 命 令 replace *localhost with localhost in host replace 0 with Critical, 1 with Error in msg_level replace aug with August in start_month end_month replace with localhost 結 果 將 以 localhost 結 尾 的 任 何 host 值 變 更 為 localhost 將 為 0 的 msg_level 值 變 更 為 Critical, 並 將 為 1 的 msg_level 值 變 更 為 Error 將 任 何 為 aug 的 start_month 或 end_month 值 變 更 為 August 將 所 有 為 的 欄 位 值 變 更 為 localhost 圖 4-13 可 說 明 表 4-13 中 的 第 二 個 範 例 replace 0 with Critical, 1 with Error in msg_level 50

64 第 4 章 :SPL: 搜 尋 處 理 語 言 msg_level msg_level Critical Error Critical Critical 3 4 Critical 3 Error... replace 0 with Critical, 1 with Error in msg_level 圖 4-13 replace 命 令 範 例 eval eval 命 令 可 計 算 運 算 式, 並 將 結 果 值 置 於 新 欄 位 eval 和 where 命 令 使 用 相 同 的 運 算 式 語 法 ; 附 錄 E 列 出 所 有 可 用 的 函 數 表 4-14 eval 命 令 範 例 命 令 eval velocity=distance/ time eval status = if(error == 200, OK, Error ) eval sum_of_areas = pi() * pow(radius_a, 2) + pi() * pow(radius_b, 2) 結 果 將 velocity 設 為 distance 除 以 time 如 果 error 為 200, 將 status 設 為 OK; 否 則 設 為 Error 將 sum_of_areas 設 為 兩 圓 面 積 的 總 和 圖 4-14 可 說 明 表 4-14 中 的 第 一 個 範 例 eval velocity=distance/ time 51

65 探 索 Splunk distance time distance time velocity eval velocity=distance/time 圖 4-14 eval 命 令 範 例 eval 命 令 結 果 可 建 立 新 的 velocity 欄 位 ( 如 果 velocity 欄 位 存 在,eval 命 令 則 會 更 新 該 欄 位 的 值 )eval 命 令 一 次 僅 可 建 立 或 覆 寫 一 個 欄 位 rex rex 命 令 可 擷 取 欄 位 值 符 合 指 定 Perl 相 容 規 則 運 算 式 (PCRE) 的 欄 位 (rex 是 規 則 運 算 式 的 簡 略 表 示 ) 何 謂 規 則 運 算 式? 您 可 以 將 規 則 運 算 式 視 為 萬 能 萬 用 字 元 您 可 能 曾 透 過 *.doc 或 *.xls. 等 運 算 式 尋 找 檔 案 規 則 運 算 式 可 讓 您 將 其 功 能 和 彈 性 提 升 到 全 新 境 界 如 果 您 已 熟 悉 規 則 運 算 式, 便 不 需 要 閱 讀 此 方 塊 若 要 進 一 步 瞭 解, 請 參 閱 該 網 站 可 能 是 關 於 該 主 題 的 最 佳 網 站 表 4-15 rex 命 令 範 例 命 令 rex From:(?<from>.*) To:(?<to>.*) rex field=savedsearch_id (?<user>\w+);(?<app>\w+); (?<SavedSearchName>\w+) 結 果 使 用 規 則 運 算 式 擷 取 from 和 to 欄 位 如 果 原 始 事 件 包 含 From:Susan To:Bob, 則 from=susan 且 to=bob 從 名 為 savedsearch_id 的 欄 位 擷 取 user app 和 SavedSearch- Name 如 果 savedsearch_id = bob;search;my_saved_search, 則 user=bob, app=search 且 SavedSearchName=my_saved_ search 52

66 第 4 章 :SPL: 搜 尋 處 理 語 言 rex mode=sed s/(\\d{4}-){3}/ XXXX-XXXX-XXXX-/g 使 用 sed 語 法 可 比 對 規 則 運 算 式 與 一 系 列 的 數 字, 並 以 匿 名 化 字 串 取 代 這 些 數 字 圖 4-15 可 說 明 表 4-15 中 的 第 一 個 範 例, 擷 取 from 和 to 欄 位 _raw From: Susan To: Bob Subject: current to-do list Message Hi Bob, I wanted to From: Meenu Subject: version 6 docs Message Hi Jan, Let's set up a time to From: John To: Miguel Message Here's what we need to arrange for the from Susan Meenu John to Bob Miguel _raw Subject: current to-do list Message Hi Bob, I wanted to Subject: version 6 docs Message Hi Jan, Let's set up a time to Message Here's what we need to arrange for the... rex "From: (?<from>.*) To: (?<to>.*) 圖 4-15 rex 命 令 範 例 lookup lookup 命 令 可 從 查 閱 表 格 手 動 叫 用 欄 位 查 閱, 可 讓 您 從 外 部 來 源 新 增 欄 位 值 例 如, 如 果 您 擁 有 5 位 數 的 郵 遞 區 號, 則 可 查 閱 街 道 名 稱 以 套 用 ZIP+4 9 位 數 的 郵 遞 區 號 表 4-16 命 令 範 例 命 令 lookup usertogroup user as local_user OUTPUT group as user_group 結 果 針 對 具 有 在 transform.conf 1 的 段 落 名 稱 usertogroup 中 指 定 的 user 和 group 欄 位 的 查 閱 表 格, 查 閱 每 個 事 件 的 local_user 欄 位 值 針 對 符 合 的 項 目, 將 查 閱 表 格 群 組 欄 位 的 值 寫 入 事 件 的 user_group 欄 位 1 您 可 以 透 過 [ 管 理 員 ]» [ 查 閱 ] 設 定 查 閱 表 格 53