提升 SAS 效率的小技巧 ( 一 ) 統計分析師嚴友君在使用 SAS 的時候, 效率的考量除了程式運行的時間, 還包括資料佔用的空間 暫存記憶體的使用量 程式的長度與易讀性等等 本主題將介紹一些初學者容易應用, 且在討論使用 SAS 處理 分析資料時常被提到的幾個小技巧 我們可以經由 SAS 的 日誌 (LOG) 視窗知道程式執行的一些訊息, 來比較不同程式的執行結果 其中 是程式運算過程所花的時間, 而 是一個任務實際完成的時間, 此實際完成的時間則包含資料檔的讀寫及運算過程 因為以下提到的一些技巧不只探討程式運算, 也牽涉到資料存取的效率, 故本篇的比較將以 為主 本篇 ( 一 ) 主要是以 DATA step 時處理資料的技巧為主, 下篇 ( 二 ) 將針對 PROC step 的部 分介紹 1
技巧 1 : 控制變數的長度, 避免過多的空字元 在 SAS 中, 數字變數的長度預設為 8, 文字變數的長度預設為第一筆讀入資料的最適長 度 使用 SAS 默認預設的變數長度時, 常會因變數可能的最大長度並沒有默認預設長度 那麼長而增加了不必要的檔案空間 範例 1: 模擬一組數據共 2 千萬筆, 含 6 個變數 (I, x1 ~ x5), 存成資料檔 test / demo 其中已 知 x1 範圍為 0 ~ 99 的整數,x4 的範圍為 0 ~ 30 的整數,x5 為 0 或 1 程式 1: 效率較差 DATA test; DO i=1 TO 2*1E7; x1=floor(100*ranuni(0)); x2=25*rannor(0); x3=floor(50*rannor(0)); x4=ranbin(0, 30, 0.2); x5=rand("bern", 0.3); OUTPUT; END; PROC CONTENTS DATA=test; 程式 2: 效率較佳 DATA demo; DO i=1 TO 2*1E7; LENGTH x1 3; x1=floor(100*ranuni(0)); x2=25*rannor(0); x3=floor(50*rannor(0)); LENGTH x4 3; x4=ranbin(0, 30, 0.2); LENGTH x5 $1; x5=rand("bern", 0.3); OUTPUT; END; PROC CONTENTS DATA=demo; NOTE: The data set WORK.TEST has 20000000 observations and 6 NOTE: The data set WORK.DEMO has 20000000 observations and 6 2
24.86 1:34.68 27.06 23.00 資料檔大小 : 資料檔大小 : 由 SAS 自行設定變數的長度 本次執行, 完成此 Data step 實際花費 1 分 34.68 秒 令 x1, x4 為長度 3 的數字變數,x5 為長度 1 的文字變數 SAS 中數字變數最短長度為 3, 文字變數最短長度為 1 將 x5 視為 0 1 分類, 儲存為文字變數而非數字變數, 進而減少檔案大小 ( 數字變數因最短長度為 3 而需要較長的變數長度 ) 本次執行, 完成此 Data step 實際花費 27.06 秒 3
以下的範例將使用資料檔 demo, 資料型式如下 : 技巧 2 : 在 DATA step 中使用 WHERE 陳述式取代 IF 陳述式 在處理資料時, 若只需要保留部分符合所需條件的資料, 使用 WHERE 陳述式或 IF 陳述式都能達到此目的 WHERE 陳述式會先檢查資料是否符合 WHERE 陳述式, 若資料符合條件, 才會讀入 SAS 工作記憶體 (program data vector (PDV)) 並做接續的處理, 若不符合條件, 則不會讀入 SAS 工作記憶體 (PDV) IF 陳述式則是處理 SAS 工作記憶體 (PDV) 內的資料, 所以會先將所有資料讀入 SAS 工作記憶體 (PDV), 再做篩選 讀入 SAS 工作記憶體 (PDV) 內的資料若符合 IF 陳述式的條件則會被留下, 若不符合則丟棄 所以在大部分的一般情況下, 使用 WHERE 陳述式會較 IF 陳述式有效率 4
範例 2.a: 篩選資料庫 demo 中符合條件 x4>=10 的資料並存成 新資料庫 (slow / fast) 程式 1: 效率較差 DATA slow; IF x4 >= 10; 程式 2: 效率較佳 DATA fast; WHERE x4 >= 10 ; NOTE: There were 20000000 NOTE: There were 1221822 observations read NOTE: The data set WORK.SLOW has 1221822 observations and 6 10.65 2.74 讀取所有資料庫 demo 中的資料 (2 千萬筆 ) 進 入 SAS 工作記憶體 (PDV), 資料符合 x4>=10 才留下, 最後存入資料庫 slow 中 本次執行, 完成此 Data step 實際花費 10.65 秒 observations read WHERE x4>=10; NOTE: The data set WORK.FAST has 1221822 observations and 6 3.79 3.45 資料庫 demo 中的資料若符合 x4>=10 (1221822 筆 ) 才讀入 SAS 工作記憶體 (PDV), 再 存入資料庫 fast 中 本次執行, 完成此 Data step 實際花費 3.79 秒 需特別注意的是, 因為 WHERE 陳述式是在資料讀入前進行, 所以 WHERE 陳述式只能 處理已存在現有資料庫中的變數 若欲篩選的條件是跟據新變數, 則只能使用 IF 陳述式, 使用 WHERE 陳述式會造成錯誤 5
範例 2.b: 新變數 y2=x4 / 30, 篩選 y2 > 0.5 的資料, 再存入另一新資料庫中 錯誤程式 DATA error; y2 = x4 / 30; WHERE y2 > 0.5; 19 DATA error; 20 21 y2 = x4 / 30; 22 WHERE y2 > 0.5; ERROR: Variable y2 is not on file 23 NOTE: The SAS System stopped processing this step because of errors. WARNING: The data set WORK.ERROR may be incomplete. When this step was stopped 正確程式 DATA right; y2 = x4 / 30; IF y2 > 0.5; NOTE: The data set WORK.RIGHT has 1020 observations and 7 4.28 3.36 there were 0 observations and 7 資料庫 demo 中沒有變數 y2,where 陳述式找不到變數 y2 造成錯誤 此錯誤讓程序停止執行, 寫出的資料檔 error 觀查值個數為 0 資料庫 demo 讀入 SAS 工作記憶體 (PDV) 處理, 增加了變數 y2,if 陳述式進行 SAS 工作記憶體 (PDV) 中資料的篩選, 篩選出 1020 筆資料符合 y2>0.5 並寫出資料檔 right 6
技巧 3: 使用 KEEP= / DROP= 選項 在處理資料時, 將不會用到的變數刪除, 只留下需要的變數, 可減短資料讀取 / 寫入的時間並減少資料檔佔用的空間 使用 KEEP / DROP 陳述式或是 KEEP= / DROP= 選項都可以達到保留 / 刪除變數的目的, 在第 54 期的生統 e 報 SAS FAQ 007 : 如何有效率地使用 KEEP 與 DROP 已經有詳細的說明 其中以 在 SET 陳述式後加上 KEEP= / DROP= 選項 的做法最有效率, 可避免不需要的變數讀入 SAS 工作記憶體 (PDV), 並且只留下需要的變數在新的資料檔 範例 3: 建立一個新資料庫, 新資料庫中只需要 2 個變數, 變數 x4 變數 y3, 其中 新變數 y3=x4 / 30 程式 1: 效率較差 DATA big; y3 = x4 / 30; NOTE: The data set WORK.BIG has 20000000 程式 2: 效率 okay DATA okay_1; y3 = x4 / 30; keep x4 y3; NOTE: The data set WORK.OKAY_1 has 20000000 observations and 7 observations and 2 22.01 21.96 10.99 7.40 7
資料檔大小 : 資料檔大小 : 所有變數 (6 個 ) 由資料庫 demo 讀入 SAS 工作記憶體 (PDV), 處理完後新增一個變數, 共 7 個變數再全部寫入資料庫 big, 其中有 5 個變數不需要但依然留在資料庫 big 中 本次執行, 完成 Data step 實際花費 22.01 秒 所有變數 (6 個 ) 由資料庫 demo 讀入 SAS 工作記憶體 (PDV), 處理完後新增一個變數 KEEP 陳述式讓資料只留下變數 x4 及變數 y3, 再寫入資料庫 okay_1 雖然最後的 okay_1 資料庫正是我們需要的, 但是一開始時仍有 5 個不必要的變數被讀入 SAS 工作記憶體 (PDV) 本次執行, 完成 Data step 實際花費 21.96 秒 程式 3: 效率 okay DATA okay_2 (KEEP=x4 y3); y3 = x4 / 30; NOTE: The data set WORK.OKAY_2 has 20000000 程式 4: 效率最佳 DATA fast; SET demo (KEEP=x4); y3 = x4 / 30; NOTE: The data set WORK.FAST has 20000000 observations and 2 observations and 2 21.48 19.18 7.68 7.68 8
資料檔大小 : 資料檔大小 : 所有變數 (6 個 ) 由資料庫 demo 讀入 SAS 工作記憶體 (PDV), 處理完後新增一個變數 DATA 後的 KEEP= 選項讓資料只留下變數 x4 及變數 y3, 再寫入資料庫 okay_2 雖然最後的 okay_2 資料庫正是我們需要的, 但是一開始時仍有 5 個不必要的變數被讀入 SAS 工作記憶體 (PDV) 本次執行, 完成此 Data step 實際花費 21.48 秒 SET 陳述式後的 KEEP= 選項讓 1 個變數 x4 讀入 SAS 工作記憶體 (PDV), 處理完後新增一個變數 y3, 此時 SAS 工作記憶體 (PDV) 中有有 2 個變數, 變數 x4 變數 y3, 再全部寫入資料庫 fast 本次執行, 完成此 Data step 實際花費 19.18 秒 技巧 4: 使用 IF-THEN/ELSE 陳述式 如果一連串的條件式可以寫成 IF-THEN/ELSE 陳述式, 不要省略 ELSE 而只使用 IF-THEN SAS 在進行 IF-THEN/ELSE 的條件式判斷時, 對符合 ELSE 陳述式前 IF 條件的資料, 會停止接續的 ELSE 條件判斷, 所以在一連串 IF-THEN/ELSE 條件式中, 需要做條件判斷的資料會隨著逐項條件遞減 若省略 ELSE 而完全只用 IF-THEN 條件式, 則每項條件判斷都會處理所有的資料 所以在能建構 IF-THEN/ELSE 條件式時, 使用 ELSE 會較不使用 ELSE 有效率 範例 4: x1 為 0~99 的整數, 依以下的條件根據 x1 的值建立一個新變數 y4: 9
x1 1 ~ 30 31 ~ 55 56 ~ 75 76 ~ 90 91 ~ 95 96 ~ 98 99 y4 A B C D E F G ps. x1=0 時, y4 為 missing 程式 1: 效率較差 DATA slow; IF x1=0 THEN y4=' '; IF 1<= x1 <= 30 THEN y4 = 'A'; IF 30 < x1 <= 55 THEN y4 = 'B'; IF 55 < x1 <= 75 THEN y4 = 'C'; IF 75 < x1 <= 90 THEN y4 = 'D'; IF 90 < x1 <= 95 THEN y4 = 'E'; IF 95 < x1 <= 98 THEN y4 = 'F'; IF 98 < x1 THEN y4 ='G'; PROC MEANS DATA=slow MIN MAX NMISS MAXDEC=0; VAR x1; CLASS y4 /MISSING; 程式 2: 效率較佳 DATA fast; IF x1 = 0 THEN y4= ' '; ELSE IF x1 <= 30 THEN y4 = 'A'; ELSE IF x1 <= 55 THEN y4 = 'B'; ELSE IF x1 <= 75 THEN y4 = 'C'; ELSE IF x1 <= 90 THEN y4 = 'D'; ELSE IF x1 <= 95 THEN y4 = 'E'; ELSE IF x1 <= 98 THEN y4 = 'F'; ELSE y4 = 'G'; PROC MEANS DATA=fast MIN MAX NMISS MAXDEC=0; VAR x1; CLASS y4 / MISSING; NOTE: The data set WORK.SLOW has 20000000 observations and 7 NOTE: The data set WORK.FAST has 20000000 observations and 7 38.42 27.28 13.31 10.12 10
只使用 IF-THEN, 每個條件判斷句均要處理 2 千萬筆資料 本次執行, 完成此 Data step 實際花費 38.42 秒 使用 IF-THEN/ELSE, 需要做條件判斷的資料量會隨著逐項條件遞減, 加快運算效率 本次執行, 完成此 Data step 實際花費 27.28 秒 後記 以上的幾個 SAS 分析小技巧為理論上一般情況使用 SAS 處理 分析資料較有效率的方 法, 本篇提供的測試實例只是在特定軟硬體環境 資源下的某一次結果, 您在實際操作 本篇實例時的 和 不會和本篇相同 而且若為其他的特定實例情況或 環境, 較有效率的技巧可能並非一定那麼有效率 但是熟悉一些有效率的 SAS 程式寫 法, 可以在實際操作 SAS 時, 判斷有哪些不同的方法可以達成, 並適時的應用在自己 的分析上 本篇使用 SAS 9.3 版本進行 主要參考資料 : Bruce Gilsen (1999). SAS Program Efficiency for Beginners. In the SUGI 24, Beginning Tutorials Kirk Paul Lafler (2012). Top Ten SAS Performance Tuning Techniques. In the SAS Global Forum 2012, Systems Architecture and Administration 11