Big Data RC Sharing 大數據掃盲
Service Planner of Enterprise Big Data 大 數 據 服 務 規 劃 師 企 業 大 數 據 課 程 規 劃 依 照 企 業 資 料 流 程 的 特 殊 性, 安 排 合 適 的 課 程 協 助 企 業 導 入 應 用 大 數 據 案 例 :Etu 資 策 會 平 安 保 險 湖 南 國 防 科 技 大 學 等 黃 國 泰 ( 阿 甘 ) Gandalf Huang 企 業 大 數 據 服 務 規 劃 依 照 企 業 的 營 運 計 畫 資 料 流 程 進 行 集 團 型 規 劃, 協 助 大 數 據 應 用 有 計 劃 的 導 入 案 例 : 2
企 業 大 數 據 服 務 規 劃 3
Insurance 4
人 生 只 有 三 天 活 在 昨 天 的 人 - 迷 惑 活 在 明 天 的 人 - 等 待 活 在 今 天 的 人 - 務 實 你 永 遠 無 法 預 測 意 外 跟 明 天 哪 個 先 到 達 Better forecasting game Big Data 5
Insurance is a forecasting game 6
7
What s Hadoop? 8
HDFS 9
Map and Reduce 10
Learn MapReduce with Playing Cards https://youtu.be/bcjse0xchbe 11
12
House of Cards 13
紙 牌 屋 影 集 Big Data 故 事 導 演 : 大 衛 芬 奇 (David Fincher; 社 群 網 戰 班 傑 明 的 奇 幻 旅 程 鬥 陣 俱 樂 部 ) 主 角 : 凱 文 史 貝 西 (Kevin Spacey; 老 闆 不 是 人 心 理 醫 生 美 國 心 玫 瑰 情 ) 集 數 : 共 26 集, 分 兩 季 推 出 突 破 :1. 只 在 網 路 上 架 ;2. 一 次 上 架 整 季 13 集 優 勢 : 事 先 根 據 2,900 萬 Netflix 的 會 員 收 視 行 為 分 析, 根 據 導 演 主 角 政 治 題 材 的 組 合, 找 出 目 標 觀 眾, 進 行 精 準 推 薦 成 績 :IMDb 上 15,762 次 評 價, 平 均 得 分 9.0 (2013.2.28), 上 架 兩 週 後 被 IMDb MOVIEmeter 評 為 最 受 歡 迎 的 電 視 影 集 14
Netflix 的 問 題 與 挑 戰 1. 要 不 要 付 出 1 億 美 金, 買 下 大 衛 芬 奇 + 凱 文 史 貝 西 + 政 治 題 材 這 個 組 合 的 影 集 獨 家 版 權? 2. 劇 情 的 架 構 與 鋪 陳, 是 否 可 以 利 用 巨 量 資 料 分 析, 加 以 參 考 設 計? 15
Big Data 分 析 生 信 心 16
紙 牌 屋 線 上 獨 家 發 行 背 後 的 競 爭 策 略 1. 在 面 對 其 他 線 上 串 流 服 務 追 兵, 如 Amazon Instant Video Hulu 等 競 爭 時, 可 以 收 取 具 有 自 製 優 質 內 容 的 市 場 品 牌 認 同 效 益 2. 在 面 對 已 經 具 有 自 製 優 質 內 容 的 傳 統 頻 道 商, 如 HBO2 時, 不 必 讓 觀 眾 切 割 時 間 收 看 一 系 列 的 影 集, 這 將 帶 來 不 同 於 電 視 頻 道 的 視 聽 體 驗, 還 給 觀 眾 更 大 的 選 擇 自 由, 予 人 有 創 新 之 感 17
18
關 聯 推 薦 的 完 美 實 踐 I Netflix 比 你 的 枕 邊 人 還 要 了 解 你 對 影 片 的 喜 好 用 戶 租 看 的 影 片 75% 來 自 系 統 的 自 動 推 薦 預 測 用 戶 對 一 部 影 片 的 評 等 誤 差 不 會 超 過 半 顆 星 19
關 聯 推 薦 的 完 美 實 踐 II Amazon 以 小 書 商 體 貼 的 初 衷, 長 成 地 球 上 最 大 的 個 人 化 零 售 商 每 秒 賣 出 72.9 項 商 品 (Oct. 2010) 想 方 設 法, 讓 客 戶 與 商 品 配 對 20
Amazon 每 秒 賣 出 72.9 項 商 品 的 秘 訣 訂 單 積 累 ( 基 本 ) 的 關 聯 推 薦 經 常 一 起 被 買 的 商 品 買 了 這 個 商 品 的 人 也 買 了 什 麼 買 了 這 個 商 品 的 人 也 買 了 哪 些 作 者 的 哪 些 商 品 21
Watch out the Big Data solution 22
How It Works 交 易 資 料 Transaction Info Recommender 歷 史 訂 單 資 料 產 品 被 購 買 紀 錄 Web 互 動 資 料 瀏 覽 點 擊 Click 搜 尋 Search 購 物 車 Cart 結 帳 check-out 跨 網 域 用 戶 行 為 Cross Domain Tracking Mobile Web 互 動 資 料 瀏 覽 點 擊 Click 搜 尋 Search 購 物 車 Cart 結 帳 check-out 跨 網 域 用 戶 行 為 Cross Domain Tracking 資 料 擷 取 Recommender Application 轉 化 率 分 析 協 同 過 濾 分 析 (Collaborative Filtering) 產 品 客 戶 關 聯 性 相 似 度 分 析 分 析 推 薦 引 擎 Raw Data Store 推 薦 清 單 Personalized edm Recommendation User-based by View User-based by Cart User-based by Order Item-based by View Item-based by Cart Item-based by Order Ranking (by Site, Category and Action) Hive SQL User-defined Recommendation Result Filter CRM Database Connector Data Exporter 23
成功之外 剖析三個可落地的大數據應用
25
Training course map - concept Based on three transmigration Through training course Mobile Dev. IOS (C/C++) Android (Java) Web AP Java Java EVA Cloudera Hadoop Eco-system Other Big Data Python Java Zookeeper DevOps Python Network System Storage Puppet Shell Java and Shell will be the major language in the course. 26
課 程 Hadoop 技 術 含 量 表 First time transmigration Second time transmigration Third time transmigration Pig / Hive Python Java / Shell HBase Mongo DB Mahout Map/Reduce Hadoop eco-system based on Cloudera 易 技 術 深 度 難 27
28
瞎 子 摸 象 29
2012 30
Haier - 線 下 31
32
Retail Haier 全 球 最 大 的 白 色 家 電 製 造 商 海 爾, 擁 有 1 萬 多 家 直 營 門 店 與 超 過 20 萬 家 加 盟 門 店, 因 資 料 品 質 問 題, 無 法 進 行 正 常 的 商 圈 分 析 銷 售 趨 勢 展 店 與 汰 店 商 品 相 依 性 分 析 推 薦 與 導 購 銷 貨 數 據 歷 史 成 交 資 料 門 店 分 析 客 戶 資 料 庫 Etu Appliance + Etu Recommender + Oviewer 33
34
精 準 推 薦 系 統, 更 是 你 的 客 戶 行 為 資 料 工 廠 Listen Analysis Action Etu Recommender Application 客 戶 動 態 訊 息 轉 化 率 分 析 個 人 化 推 薦 清 單 交 易 瀏 覽 點 擊 Click 搜 尋 Search 購 物 車 Cart 結 帳 check-out 評 論 Rating 資 料 擷 取 協 同 過 濾 分 析 (Collaborative Filtering) 產 品 客 戶 關 聯 性 相 似 度 分 析 分 析 推 薦 清 單 個 人 化 E-DM 個 人 化 型 錄 個 人 化 電 話 行 銷 關 聯 商 品 陳 列 推 薦 引 擎 Etu Appliance Etu Recommender 35
當 顧 客 進 門 的 第 一 秒 男 :20 歲 女 :26 歲 POS 與 會 員 系 統 冰 箱 區 3C 產 品 區 洗 衣 機 區 每 一 個 人 都 已 經 有 獨 立 的 ID 識 別, 開 始 記 錄 每 一 個 在 門 店 的 行 為 即 時 分 眾 廣 告 空 調 電 視 區 門 店 行 為 / 消 費 數 據 收 集 Big Data 系 統 在 顧 客 完 成 每 一 筆 交 易 前 中 與 後, 記 錄 下 消 費 需 求 也 同 時 記 錄 行 為, 以 此 做 出 商 品 互 補 性 配 對 精 準 推 薦, 為 顧 客 找 出 替 代 性 產 品 與 開 啟 客 戶 的 消 費 意 願 Oviewr POS 反 饋 推 薦 Etu Recommender EBDA SI - 1 提 供 商 業 顧 問 展 店 汰 店 分 析 所 需 數 據 整 合 線 下 銷 售 數 據 商 圈 分 析 網 上 商 城 門 店 客 戶 行 為 分 析 與 網 上 商 城 的 客 戶 行 為 後, 進 行 商 品 的 精 準 推 薦 36
Finally 海 爾 : 第 一 階 段 於 青 島 試 點, 實 際 收 集 一 千 家 門 店 銷 售 數 據, 用 於 門 店 銷 售 建 議, 針 對 業 績 不 好 的 門 店, 汰 換 倒 數 銷 售 商 品, 由 同 性 質 業 績 較 好 的 門 店 銷 售 商 品 進 行 補 貨 ** Etu 台 北 與 北 京 團 隊 支 援 37
2013 38
手 機 通 路 大 數 據 營 銷 平 台 39
.COM 庫 存 與 補 貨 是 3C 流 通 的 或 獲 益 關 鍵, 由 於 智 慧 型 手 機 跌 價 快 速, 過 量 補 貨 會 造 成 跌 價 損 失, 補 貨 不 足 會 造 成 缺 貨 損 失, 精 準 補 貨 是 目 前 的 難 題 銷 售 趨 勢 門 店 分 析 商 品 相 依 性 分 析 補 貨 預 測 銷 貨 數 據 歷 史 成 交 資 料 商 圈 分 析 門 店 與 客 戶 資 料 Etu Appliance + Etu Recommender 40
營 銷 KPI 直 營 門 店 加 盟 門 店 大 陸 營 業 廳 最 佳 商 品 組 合 最 佳 瀏 覽 動 線 POS ( 非 ) 會 員 推 薦 系 統 流 量 轉 換 率 客 單 價 業 績 歷 史 交 易 資 料 官 網 ( 非 ) 會 員 瀏 覽 行 為 41
手 機 通 路 大 數 據 營 銷 平 台 即 時 更 新 反 饋 數 據 流 會 員 專 屬 推 薦 Web, SMS, and edm iphone 5 16G iphone 5 16G iphone 5 16G 保 護 貼 保 護 貼 背 蓋 背 蓋 保 護 貼 背 蓋 隨 身 記 憶 卡 電 源? 隨 身 記 憶 卡 電 源? 隨 身 記 憶 卡 電 源 iphone? 5 16G 商 品 組 合 iphone 5 16G 商 品 組 合 iphone 5 16G 商 品 組 合 門 店 商 品 搭 配 銷 售 清 單 POS 系 統 結 帳 推 薦 ( 非 ) 會 員 推 薦 特 價 優 惠 Tag Tag 商 品 組 合 消 費 行 為 會 員 資 料 庫 交 易 資 料 庫 嵌 入 ER-JS 官 網 官 網 推 薦 商 品 推 薦 配 件 推 薦 新 聞 推 薦 反 饋 至 補 貨 系 統 42
Tag Tag 商 品 組 合 消 費 行 為 會 員 資 料 庫 iphone 5 16G iphone 5 16G iphone 5 16G 保 護 貼 保 護 貼 背 蓋 背 蓋 保 護 貼 背 蓋 隨 身 記 憶 卡 電 源? 隨 身 記 憶 卡 電 源? 隨 身 記 憶 卡 電 源 iphone? 5 16G 商 品 組 合 iphone 5 16G 商 品 組 合 iphone 5 16G 商 品 組 合 門 店 商 品 搭 配 銷 售 清 單 會 員 專 屬 推 薦 Web, SMS, and edm 全 產 品 銷 售 組 合 運 算 1. 依 照 產 品 關 聯 強 度 手 機 > 保 護 貼 > 背 蓋 > 隨 身 電 源 > 記 憶 卡 > 配 件 > 線 材 > 其 他 2. 依 照 營 收 關 聯 強 度 保 護 貼 > 背 蓋 > 隨 身 電 源 > 手 機 > 記 憶 卡 > 配 件 > 線 材 > 其 他 3. 依 照 門 店 屬 性 強 度 手 機 > 保 護 貼 > 背 蓋 > 隨 身 電 源 > 記 憶 卡 > 配 件 > 線 材 > 其 他 4. 依 照 會 員 屬 性 強 度 手 機 > 保 護 貼 > 背 蓋 > 隨 身 電 源 > 記 憶 卡 > 配 件 > 線 材 > 其 他 5. 依 照 GIS 分 區 門 店 > 區 域 > 市 級 > 縣 級 > 省 級 > 國 別 6. 依 照 GIS 分 群 年 齡 性 別 人 均 收 入 43
補 貨 分 析 Data Export Oracle ERP Business Rules Data Processing Layer Pig/Hive Data Store Layer HDFS Oracle ERP 補 貨 建 議 Other Utility Data Export Data Export Etu Appliance 44
Finally 45
Business Intelligence Big Data Mistrust 46
2014 47
車 載 大 數 據 48
49
挑 戰 - ADAS Phase 1 - Passive Safety - Traditional telematics services (ecall, bcall, SVT, remote diagnostics, and UBI) and cybersecurity protection Phase 2 - Active Safety ADAS features for obstacle detection and collision avoidance based on Radar, camera, and sonar sensors Phase 3 - Cooperative Safety Vehicle-to-vehicle and vehicle-to- infrastructure applications based on DSRC, LTE and other technologies Phase 4 - Autonomous Vehicles The final step for realizing the end goal of a zero accident environment aggregating cellular, V2X, and ADAS technologies 50
全 時 全 景 車 聯 網 服 務 3D 光 場 全 景 影 像 Intel RealSense LTE-eCall/E911 WiFi/BLE 接 取 GPS-OBD 導 航 電 腦 胎 壓 偵 測 車 道 偏 移 / 迫 近 追 撞 警 告 數 位 無 線 電 電 子 計 程 錶 疲 勞 偵 測 ( 心 電 圖 / 眼 球 ) 手 機 充 電 / 互 動 USB/ 付 款 51
52
53
54
Finally 55
Call me 56
Thank you