R 與資料處理 R 與資料處理 Wush Wu 國立台灣大學 1 of 58

Size: px

Start display at page:

Download "R 與資料處理 R 與資料處理 Wush Wu 國立台灣大學 1 of 58"

老柯
5 years ago
Views:

1 Wush Wu 國立台灣大學 1 of 58

2 課程內容 2/58 資料科學的 Hello World R 的資料處理技術與今日課程介紹關於 swirl 2 of 58

3 3/58 資料科學的 Hello World 3 of 58

4 Dashboard 是團隊的第一步 4/58 4 of 58

5 檢驗資料的品質 5/58 乾淨正確 5 of 58

6 檢驗對資料的想法 6/58 設計問題設計 KPI 6 of 58

7 一個資料源, 一個 Dashboard 7/58 價值會隨著資料源的多元而增加 7 of 58

8 Dashboard 能快速建立信任感 8/58 資料科學團隊是成本單位資料科學團隊需要其他團隊的合作 8 of 58

9 R 社群活動 :Cyber Security 9/58 9 of 58

10 10/58 R 的資料處理技術 10 of 58

11 R 是一套完整的資料科學解決方案 11/58 資料的收集資料的處理資料的視覺化 11 of 58

12 讀取資料 12/58 RBasic-07-Loading-Data RDataEngineer-01-Parsing RDataEngineer-02-XML RDataEngineer-03-JSON RDataEngineer-04-Database 12 of 58

13 處理資料 13/58 RDataEngineer-05-Data-Manipulation RDataEngineer-06-Join 13 of 58

14 關於 swirl 使用自己電腦的同學, 請依照課程網頁更新教材 - 14/58 14 of 58

15 關於 swirl 15/58 這次新增了以下指令 : - chat() 可以打開聊天室 - issue() 可以打開 issues 15 of 58

16 16/58 RBasic-07-Loading-Data 16 of 58

17 R 預設的讀取資料技術 17/58 套件中的資料 CSV(comma-separated values) 中文編碼 17 of 58

18 CSV(comma-separated values) 18/58 Year,Make,Model 1997,Ford,E ,Mercury,Cougar 18 of 58

19 CSV(comma-separated values) 19/58 分隔符號 : 單一字符 Hive 的 CSV: - 欄位的分隔符號 (Field) - 集合的分隔符號 (Collection) - Map key 的分隔符號 19 of 58

20 20/58 字符編碼 (Encoding) 20 of 58

21 Hex 和 Binary 21/58 Hex Code (16 進位 ) - - 位元組 (byte) 是目前電腦處理記憶體的基本單位一個位元組有 8 個位元 (bit) , 用兩個 hex code 來代表一個位元組 ==> 0000,0001 ==> ==> 0011,0101 ==> of 58

22 範例 : 文字的 "0" 與數字的 0L 22/58 整數 0L 的記憶體, 寫成 hex code 是 ( 佔有四個位元組 ) 文字 "0" 的記憶體, 寫成 hex code 是 30 ( 佔有一個位元組 ) 22 of 58

23 編碼 (Encoding) 23/58 把位元組的組合轉換成文字的規則 ASCII - 30 => "0" 41 => "A" 0D => Enter(\r) 0A => 換行 (\n) 23 of 58

24 中文編碼 24/58 UTF-8 - E4 B8 AD => " 中 " - E => " 文 " BIG5 - A4 A4 => " 中 " - A4 E5 => " 文 " 24 of 58

25 編碼 /58 iconv Encoding Sys.getlocale(), Sys.setlocale(locale = "cht") 25 of 58

26 26/58 RDataEngineer-01-Parsing 26 of 58

27 非結構化的資料 27/58 請問電腦如何知道以下資訊的意義? [07/Mar/2004:16:05: /twiki/bin/edit /Main/Double_bounce_sender?topicparent=Ma HTTP/1.1" [07/Mar/2004:16:06: /twiki/bin/rdi /TWiki/NewUserTemplate?rev1= rev2=1.2 HTTP/1.1" of 58

28 什麼是 Parsing? 28/58 根據 Domain Knowledge, 告訴電腦資料的規則 - 位置 - 分隔符號 - Regular Expression 28 of 58

29 29/58 RDataEngineer-02-XML 29 of 58

30 XML(eXtensible Markup Language) 30/58 讓電腦能理解資料意義的資料格式 - 標籤 - 屬性 - 內容 <?xml version="1.0"?> < 小紙條 > < 收件人 > 大元 </ 收件人 > < 發件人 > 小張 </ 發件人 > < 主題 > 問候 </ 主題 > < 具體內容 > 早啊, 飯吃了沒? </ 具體內容 > </ 小紙條 > 出自 : 30 of 58

31 HTML 31/58 有規範的標籤 HTML 用於撰寫網頁 XML 用於傳輸資料 31 of 58

32 XPath(XML Path Language) 32/58 <A> <B> <C/> </B> </A> /A/B/C //B 32 of 58

33 33/58 RDataEngineer-03-JSON 33 of 58

34 JSON(JavaScript Object Notation) 34/58 { } "firstname": "John", "lastname": "Smith", "sex": "male", "age": of 58

35 JSON(JavaScript Object Notation) 35/58 字串 :"firstname", "John" 數字 : 25 陣列 : [1, 2, "3"] 物件 : { "a" : 1, "b" : "string", "c" : { "c1" : 1 } } 35 of 58

36 36/58 RDataEngineer-04-Database 36 of 58

37 結構化資料 37/58 非結構化資料 : 純文字半結構化資料 :CSV XML JSON 結構化資料 : 關聯式資料庫 (data.frame) 37 of 58

38 R 的物件導向系統 38/58 library(rsqlite) Loading required package: DBI Loading required package: methods methods("dbconnect") [1] dbconnect,sqliteconnection-method dbconnect,sqlitedriver-method see '?methods' for accessing help and source code 38 of 58

39 Transaction 39/58 保證一件工作 : - 未執行 - 已完成範例 : - 複製到暫存檔案 - 重新命名 39 of 58

40 40/58 RDataEngineer-05-Data-Manipulation 40 of 58

41 R 的結構化資料來源 41/58 內部 :data.frame data.table 外部 : 關聯式資料庫 41 of 58

42 Grouped Operation 42/58 group_by - 分類對 group_by 的輸出做操作 - 同步操作 42 of 58

43 Grouped Operation 43/58 summarise(flights, mean(dep_delay, na.rm = TRUE)) - ######## == summarise ==> result group_by(flights, month) %>% summarise(flight, mean(dep_delay, na.rm = TRUE)) - ######### == group_by ==> ### ### ### ### == summarise ==> result1 ### == summarise ==> result2 ### == summarise ==> result3 43 of 58

44 程式碼的壓縮 44/58 x1 <- filter(flights,...) x2 <- select(x1,...) x3 <- summarise(x2,...) 44 of 58

45 程式碼的壓縮 45/58 把 x1 用 filter(flights,...) 取代 x2 <- select(filter(flights,...),...) x3 <- summarise(x2,...) 45 of 58

46 程式碼的壓縮 46/58 summarise(select(filter(flights,...),...),...) 46 of 58

47 Pipeline Operator 47/58 把 filter 的結果放到 select 的第一個參數 x2 <- filter(flights,...) %>% select(...) x3 <- summarise(x2,...) 47 of 58

48 Pipeline Operator 48/58 把 filter 的結果放到 select 的第一個參數把 select 的結果放到 summarise 的第一個參數 x3 <- filter(flights,...) %>% select(...) %>% summarise(...) 48 of 58

49 49/58 RDataEngineer-06-Join 49 of 58

50 多資料源能激盪出更高的價值 50/58 ights ights + weather ights + weather + airports 50 of 58

51 left_join 51/58 51 of 58

52 right_join 52/58 52 of 58

53 inner_join 53/58 53 of 58

54 full_join 54/58 54 of 58

55 anti_join 55/58 55 of 58

56 semi_join 56/58 56 of 58

57 57/58 結束之後 57 of 58

58 你已經是一個初階的資料科學家 58/58 政府採購資料 v.s. 公司基本資料各里開票結果 v.s. 各里收入中位數登革熱病例變化 v.s. 電子發票 58 of 58

導讀 ASP.NET HTML ASP 第一篇基礎篇第 1 章認識 ASP.NET ASP.NET ASP.NET ASP.NET ASP.NET 第 2 章認識 Visual Studio 20 開發環境 Visual Studio 20 Visual Studio 20 第二篇 C# 程式

導讀 ASP.NET HTML ASP 第一篇基礎篇第 1 章認識 ASP.NET ASP.NET ASP.NET ASP.NET ASP.NET 第 2 章認識 Visual Studio 20 開發環境 Visual Studio 20 Visual Studio 20 第二篇 C# 程式導讀 ASP.NET HTML ASP 第一篇基礎篇第 1 章認識 ASP.NET ASP.NET ASP.NET ASP.NET ASP.NET 第 2 章認識 Visual Studio 20 開發環境 Visual Studio 20 Visual Studio 20 第二篇 C# 程式語言篇第 3 章 C# 程式語言基礎 C# C# 3.0 var 第 4 章基本資料處理 C# x