中國醫藥大學生物統計中心 2013/April 提升 SAS 效率的小技巧 ( 一 ) 統計分析師嚴友君在使用 SAS 的時候, 效率的考量除了程式運行的時間, 還包括資料佔用的空間暫存記憶體的使用量程式的長度與易讀性等等本主題將介紹一些初學者容易應用, 且在討論使用 SAS 處理分析資料時

Size: px

Start display at page:

Download "中國醫藥大學生物統計中心 2013/April 提升 SAS 效率的小技巧 ( 一 ) 統計分析師嚴友君在使用 SAS 的時候, 效率的考量除了程式運行的時間, 還包括資料佔用的空間暫存記憶體的使用量程式的長度與易讀性等等本主題將介紹一些初學者容易應用, 且在討論使用 SAS 處理分析資料時"

幽宰
5 years ago
Views:

1 提升 SAS 效率的小技巧 ( 一 ) 統計分析師嚴友君在使用 SAS 的時候, 效率的考量除了程式運行的時間, 還包括資料佔用的空間暫存記憶體的使用量程式的長度與易讀性等等本主題將介紹一些初學者容易應用, 且在討論使用 SAS 處理分析資料時常被提到的幾個小技巧我們可以經由 SAS 的日誌 (LOG) 視窗知道程式執行的一些訊息, 來比較不同程式的執行結果其中是程式運算過程所花的時間, 而是一個任務實際完成的時間, 此實際完成的時間則包含資料檔的讀寫及運算過程因為以下提到的一些技巧不只探討程式運算, 也牽涉到資料存取的效率, 故本篇的比較將以為主本篇 ( 一 ) 主要是以 DATA step 時處理資料的技巧為主, 下篇 ( 二 ) 將針對 PROC step 的部分介紹 1

2 技巧 1 : 控制變數的長度, 避免過多的空字元在 SAS 中, 數字變數的長度預設為 8, 文字變數的長度預設為第一筆讀入資料的最適長度使用 SAS 默認預設的變數長度時, 常會因變數可能的最大長度並沒有默認預設長度那麼長而增加了不必要的檔案空間範例 1: 模擬一組數據共 2 千萬筆, 含 6 個變數 (I, x1 ~ x5), 存成資料檔 test / demo 其中已知 x1 範圍為 0 ~ 99 的整數,x4 的範圍為 0 ~ 30 的整數,x5 為 0 或 1 程式 1: 效率較差 DATA test; DO i=1 TO 2*1E7; x1=floor(100*ranuni(0)); x2=25*rannor(0); x3=floor(50*rannor(0)); x4=ranbin(0, 30, 0.2); x5=rand("bern", 0.3); OUTPUT; END; PROC CONTENTS DATA=test; 程式 2: 效率較佳 DATA demo; DO i=1 TO 2*1E7; LENGTH x1 3; x1=floor(100*ranuni(0)); x2=25*rannor(0); x3=floor(50*rannor(0)); LENGTH x4 3; x4=ranbin(0, 30, 0.2); LENGTH x5 $1; x5=rand("bern", 0.3); OUTPUT; END; PROC CONTENTS DATA=demo; NOTE: The data set WORK.TEST has observations and 6 NOTE: The data set WORK.DEMO has observations and 6 2

24.86 1:34.68 27.06 23.00 資料檔大小 : 資料檔大小 : 由 SAS 自行設定變數的長度本次執行, 完成此 Data step 實際花費 1 分 34.

3 : 資料檔大小 : 資料檔大小 : 由 SAS 自行設定變數的長度本次執行, 完成此 Data step 實際花費 1 分秒令 x1, x4 為長度 3 的數字變數,x5 為長度 1 的文字變數 SAS 中數字變數最短長度為 3, 文字變數最短長度為 1 將 x5 視為 0 1 分類, 儲存為文字變數而非數字變數, 進而減少檔案大小 ( 數字變數因最短長度為 3 而需要較長的變數長度 ) 本次執行, 完成此 Data step 實際花費秒 3

以下的範例將使用資料檔 demo, 資料型式如下 : 技巧 2 : 在 DATA step 中使用 WHERE 陳述式取代 IF 陳述式在處理資料時, 若只需要保留部分符合所需條件的資料, 使用 WHERE 陳述式或 IF 陳述式都能達到此目的 WHERE 陳述式會先檢查資料是否符合 WHERE 陳述式, 若資料符合條件, 才會讀入 SAS 工作記憶體 (program data vector

4 以下的範例將使用資料檔 demo, 資料型式如下 : 技巧 2 : 在 DATA step 中使用 WHERE 陳述式取代 IF 陳述式在處理資料時, 若只需要保留部分符合所需條件的資料, 使用 WHERE 陳述式或 IF 陳述式都能達到此目的 WHERE 陳述式會先檢查資料是否符合 WHERE 陳述式, 若資料符合條件, 才會讀入 SAS 工作記憶體 (program data vector (PDV)) 並做接續的處理, 若不符合條件, 則不會讀入 SAS 工作記憶體 (PDV) IF 陳述式則是處理 SAS 工作記憶體 (PDV) 內的資料, 所以會先將所有資料讀入 SAS 工作記憶體 (PDV), 再做篩選讀入 SAS 工作記憶體 (PDV) 內的資料若符合 IF 陳述式的條件則會被留下, 若不符合則丟棄所以在大部分的一般情況下, 使用 WHERE 陳述式會較 IF 陳述式有效率 4

5 範例 2.a: 篩選資料庫 demo 中符合條件 x4>=10 的資料並存成新資料庫 (slow / fast) 程式 1: 效率較差 DATA slow; IF x4 >= 10; 程式 2: 效率較佳 DATA fast; WHERE x4 >= 10 ; NOTE: There were NOTE: There were observations read NOTE: The data set WORK.SLOW has observations and 讀取所有資料庫 demo 中的資料 (2 千萬筆 ) 進入 SAS 工作記憶體 (PDV), 資料符合 x4>=10 才留下, 最後存入資料庫 slow 中本次執行, 完成此 Data step 實際花費秒 observations read WHERE x4>=10; NOTE: The data set WORK.FAST has observations and 資料庫 demo 中的資料若符合 x4>=10 ( 筆 ) 才讀入 SAS 工作記憶體 (PDV), 再存入資料庫 fast 中本次執行, 完成此 Data step 實際花費 3.79 秒需特別注意的是, 因為 WHERE 陳述式是在資料讀入前進行, 所以 WHERE 陳述式只能處理已存在現有資料庫中的變數若欲篩選的條件是跟據新變數, 則只能使用 IF 陳述式, 使用 WHERE 陳述式會造成錯誤 5

6 範例 2.b: 新變數 y2=x4 / 30, 篩選 y2 > 0.5 的資料, 再存入另一新資料庫中錯誤程式 DATA error; y2 = x4 / 30; WHERE y2 > 0.5; 19 DATA error; y2 = x4 / 30; 22 WHERE y2 > 0.5; ERROR: Variable y2 is not on file 23 NOTE: The SAS System stopped processing this step because of errors. WARNING: The data set WORK.ERROR may be incomplete. When this step was stopped 正確程式 DATA right; y2 = x4 / 30; IF y2 > 0.5; NOTE: The data set WORK.RIGHT has 1020 observations and there were 0 observations and 7 資料庫 demo 中沒有變數 y2,where 陳述式找不到變數 y2 造成錯誤此錯誤讓程序停止執行, 寫出的資料檔 error 觀查值個數為 0 資料庫 demo 讀入 SAS 工作記憶體 (PDV) 處理, 增加了變數 y2,if 陳述式進行 SAS 工作記憶體 (PDV) 中資料的篩選, 篩選出 1020 筆資料符合 y2>0.5 並寫出資料檔 right 6

7 技巧 3: 使用 KEEP= / DROP= 選項在處理資料時, 將不會用到的變數刪除, 只留下需要的變數, 可減短資料讀取 / 寫入的時間並減少資料檔佔用的空間使用 KEEP / DROP 陳述式或是 KEEP= / DROP= 選項都可以達到保留 / 刪除變數的目的, 在第 54 期的生統 e 報 SAS FAQ 007 : 如何有效率地使用 KEEP 與 DROP 已經有詳細的說明其中以在 SET 陳述式後加上 KEEP= / DROP= 選項的做法最有效率, 可避免不需要的變數讀入 SAS 工作記憶體 (PDV), 並且只留下需要的變數在新的資料檔範例 3: 建立一個新資料庫, 新資料庫中只需要 2 個變數, 變數 x4 變數 y3, 其中新變數 y3=x4 / 30 程式 1: 效率較差 DATA big; y3 = x4 / 30; NOTE: The data set WORK.BIG has 程式 2: 效率 okay DATA okay_1; y3 = x4 / 30; keep x4 y3; NOTE: The data set WORK.OKAY_1 has observations and 7 observations and

資料檔大小 : 資料檔大小 : 所有變數 (6 個 ) 由資料庫 demo 讀入 SAS 工作記憶體 (PDV), 處理完後新增一個變數, 共 7 個變數再全部寫入資料庫 big, 其中有 5 個變數不需要但依然留在資料庫 big 中本次執行, 完成 Data step 實際花費 22.

8 資料檔大小 : 資料檔大小 : 所有變數 (6 個 ) 由資料庫 demo 讀入 SAS 工作記憶體 (PDV), 處理完後新增一個變數, 共 7 個變數再全部寫入資料庫 big, 其中有 5 個變數不需要但依然留在資料庫 big 中本次執行, 完成 Data step 實際花費秒所有變數 (6 個 ) 由資料庫 demo 讀入 SAS 工作記憶體 (PDV), 處理完後新增一個變數 KEEP 陳述式讓資料只留下變數 x4 及變數 y3, 再寫入資料庫 okay_1 雖然最後的 okay_1 資料庫正是我們需要的, 但是一開始時仍有 5 個不必要的變數被讀入 SAS 工作記憶體 (PDV) 本次執行, 完成 Data step 實際花費秒程式 3: 效率 okay DATA okay_2 (KEEP=x4 y3); y3 = x4 / 30; NOTE: The data set WORK.OKAY_2 has 程式 4: 效率最佳 DATA fast; SET demo (KEEP=x4); y3 = x4 / 30; NOTE: The data set WORK.FAST has observations and 2 observations and

資料檔大小 : 資料檔大小 : 所有變數 (6 個 ) 由資料庫 demo 讀入 SAS 工作記憶體 (PDV), 處理完後新增一個變數 DATA 後的 KEEP= 選項讓資料只留下變數 x4 及變數 y3, 再寫入資料庫 okay_2 雖然最後的 okay_2 資料庫正是我們需要的, 但是一開始時仍有 5 個不必要的變數被讀入 SAS 工作記憶體 (PDV) 本次執行, 完成此 Data

9 資料檔大小 : 資料檔大小 : 所有變數 (6 個 ) 由資料庫 demo 讀入 SAS 工作記憶體 (PDV), 處理完後新增一個變數 DATA 後的 KEEP= 選項讓資料只留下變數 x4 及變數 y3, 再寫入資料庫 okay_2 雖然最後的 okay_2 資料庫正是我們需要的, 但是一開始時仍有 5 個不必要的變數被讀入 SAS 工作記憶體 (PDV) 本次執行, 完成此 Data step 實際花費秒 SET 陳述式後的 KEEP= 選項讓 1 個變數 x4 讀入 SAS 工作記憶體 (PDV), 處理完後新增一個變數 y3, 此時 SAS 工作記憶體 (PDV) 中有有 2 個變數, 變數 x4 變數 y3, 再全部寫入資料庫 fast 本次執行, 完成此 Data step 實際花費秒技巧 4: 使用 IF-THEN/ELSE 陳述式如果一連串的條件式可以寫成 IF-THEN/ELSE 陳述式, 不要省略 ELSE 而只使用 IF-THEN SAS 在進行 IF-THEN/ELSE 的條件式判斷時, 對符合 ELSE 陳述式前 IF 條件的資料, 會停止接續的 ELSE 條件判斷, 所以在一連串 IF-THEN/ELSE 條件式中, 需要做條件判斷的資料會隨著逐項條件遞減若省略 ELSE 而完全只用 IF-THEN 條件式, 則每項條件判斷都會處理所有的資料所以在能建構 IF-THEN/ELSE 條件式時, 使用 ELSE 會較不使用 ELSE 有效率範例 4: x1 為 0~99 的整數, 依以下的條件根據 x1 的值建立一個新變數 y4: 9

10 x1 1 ~ ~ ~ ~ ~ ~ y4 A B C D E F G ps. x1=0 時, y4 為 missing 程式 1: 效率較差 DATA slow; IF x1=0 THEN y4=' '; IF 1<= x1 <= 30 THEN y4 = 'A'; IF 30 < x1 <= 55 THEN y4 = 'B'; IF 55 < x1 <= 75 THEN y4 = 'C'; IF 75 < x1 <= 90 THEN y4 = 'D'; IF 90 < x1 <= 95 THEN y4 = 'E'; IF 95 < x1 <= 98 THEN y4 = 'F'; IF 98 < x1 THEN y4 ='G'; PROC MEANS DATA=slow MIN MAX NMISS MAXDEC=0; VAR x1; CLASS y4 /MISSING; 程式 2: 效率較佳 DATA fast; IF x1 = 0 THEN y4= ' '; ELSE IF x1 <= 30 THEN y4 = 'A'; ELSE IF x1 <= 55 THEN y4 = 'B'; ELSE IF x1 <= 75 THEN y4 = 'C'; ELSE IF x1 <= 90 THEN y4 = 'D'; ELSE IF x1 <= 95 THEN y4 = 'E'; ELSE IF x1 <= 98 THEN y4 = 'F'; ELSE y4 = 'G'; PROC MEANS DATA=fast MIN MAX NMISS MAXDEC=0; VAR x1; CLASS y4 / MISSING; NOTE: The data set WORK.SLOW has observations and 7 NOTE: The data set WORK.FAST has observations and

只使用 IF-THEN, 每個條件判斷句均要處理 2 千萬筆資料本次執行, 完成此 Data step 實際花費 38.42 秒使用 IF-THEN/ELSE, 需要做條件判斷的資料量會隨著逐項條件遞減, 加快運算效率本次執行, 完成此 Data step 實際花費 27.

但是熟悉一些有效率的 SAS 程式寫法, 可以在實際操作 SAS 時, 判斷有哪些不同的方法可以達成, 並適時的應用在自己的分析上本篇使用 SAS 9.3 版本進行主要參考資料 : Bruce Gilsen (1999). SAS Program Efficiency for Beginners.

11 只使用 IF-THEN, 每個條件判斷句均要處理 2 千萬筆資料本次執行, 完成此 Data step 實際花費秒使用 IF-THEN/ELSE, 需要做條件判斷的資料量會隨著逐項條件遞減, 加快運算效率本次執行, 完成此 Data step 實際花費秒後記以上的幾個 SAS 分析小技巧為理論上一般情況使用 SAS 處理分析資料較有效率的方法, 本篇提供的測試實例只是在特定軟硬體環境資源下的某一次結果, 您在實際操作本篇實例時的和不會和本篇相同而且若為其他的特定實例情況或環境, 較有效率的技巧可能並非一定那麼有效率但是熟悉一些有效率的 SAS 程式寫法, 可以在實際操作 SAS 時, 判斷有哪些不同的方法可以達成, 並適時的應用在自己的分析上本篇使用 SAS 9.3 版本進行主要參考資料 : Bruce Gilsen (1999). SAS Program Efficiency for Beginners. In the SUGI 24, Beginning Tutorials Kirk Paul Lafler (2012). Top Ten SAS Performance Tuning Techniques. In the SAS Global Forum 2012, Systems Architecture and Administration 11

技巧 5: 避免除以 0 的運算在做除的運算時, 先檢查除數的數值, 避免有除以 0 的情況若運算中除數為 0,SAS 會在 LOG 中註記提醒並將運算結果設定為遺漏值, 減慢程式的執行

技巧 5: 避免除以 0 的運算在做除的運算時, 先檢查除數的數值, 避免有除以 0 的情況若運算中除數為 0,SAS 會在 LOG 中註記提醒並將運算結果設定為遺漏值, 減慢程式的執行提升 SAS 效率的小技巧 ( 二 ) 統計分析師嚴友君在使用 SAS 的時候, 效率的考量除了程式運行的時間, 還包括資料佔用的空間暫存記憶體的使用量程式的長度與易讀性等等以下介紹一些初學者容易應用, 且在討論使用 SAS 處理分析資