複迴歸分析簡介 (Multiple Regression Analysis) 迴歸分析是利用一個或一組自變數來預測或解釋一個 ( 反 ) 應變數 (response variable), 其中自變數又可稱為預測變數 (predictors) 解釋變數(explanatory variables) 控

Size: px

Start display at page:

Download "複迴歸分析簡介 (Multiple Regression Analysis) 迴歸分析是利用一個或一組自變數來預測或解釋一個 ( 反 ) 應變數 (response variable), 其中自變數又可稱為預測變數 (predictors) 解釋變數(explanatory variables) 控"

祜储
5 years ago
Views:

複迴歸分析簡介 (Multple Regresson Analyss) 迴歸分析是利用一個或一組自變數來預測或解釋一個 ( 反 ) 應變數 (response varable), 其中自變數又可稱為預測變數 (predctors) 解釋變數(explanatory varables) 控制變數(controlled varables) 或獨立變數(ndependent varables) 等等,

1 複迴歸分析簡介 (Multple Regresson Analyss) 迴歸分析是利用一個或一組自變數來預測或解釋一個 ( 反 ) 應變數 (response varable), 其中自變數又可稱為預測變數 (predctors) 解釋變數(explanatory varables) 控制變數(controlled varables) 或獨立變數(ndependent varables) 等等, 而應變數又可稱為 ( 相 ) 依變數 (dependent varable) 在迴歸模式裡, 若只有一個自變數, 且自變數與應變數的關係為直線相關, 則此迴歸模式稱為簡單線性迴歸模式 (smple lnear regresson model); 若模式裡至少有二個自變數, 且在其它自變數固定之下, 每個自變數與應變數的關係是直線相關, 則此迴歸模式稱為複迴歸模式 (multple regresson model), 以下是複迴歸分析的簡介 A. 複迴歸模式 (Multple Regresson Model): y = β + β x + β x + ε 0 k k, 其中 y 為應變數, x x k 為 k 個自變數, β 0 為 (y) 截距 (ntercept), β β k 為迴歸係數 (coeffcents of regresson), 和 ε 為誤差變數或稱為誤差項 (error term) B. 模式假設 (Model s Assumptons): 給定 x xk 為任意值, ) 不同的 ε 值獨立 => 不同的 y 值獨立 ( 觀察值獨立的假設 ) ) ε 的期望值為 0 => y 的期望值為 E( y) = β0+ βx+ βkxk ( 直線性假設 ) 3) ε 的變異數為 σ => y 的變異數為 σ ( 同質性 (homogeneous) 假設 ) 4) ε 的機率分佈為常態 => y 的機率分佈為常態 ( 常態分佈假設 ) 下圖為以簡易線性迴歸來說明此模式的假設 :

2 給定 x 為固定值 ( 如圖的 x = 0, 0, 或 30 等等 ):y 的機率分佈皆為常態分佈或鐘狀分佈 ( 如圖的每個紅色曲線 ); 每個常態分佈的形狀大小皆相同 --- 同質性假設 ; 所有對應的 y 之期望值 ( 或母體平均數 ) 為 β + β x ( 0 如圖 y 的母體平均數落在綠色直線上, 例如當 x = 0,y 的母體平均數為 β0 + β 0 當 x = 0,y 的母體平均數為 β0 + β 0 ) C. 估計的迴歸方程式 (Estmated Regresson equaton): yˆ = ˆˆˆ β + β x + β x, ( 注意 : 此方程式不含誤差項 ε!) 0 k k 利用最小平方估計法 (least squares estmaton, LSE) 或最大概似估計法 (Maxmum Lkelhood estmaton, MLE) 可得到上式的估計迴歸方程式, 其中 ŷ = y 的估計值, 0 ˆβ = 截距 β 0 的估計值, ˆˆ β β k 分別為迴歸係數 β βk 的估計值 ŷ 又有二種解釋 :() y 期望值 (expected value of y) 的估計值和 () y 個別值 (ndvdual value of y) 的估計值不論 ŷ 是當 y 期望值的估計值或是當 y 個別值的估計值, ŷ 的期望值皆相同為 β0+ βx+ βkxk, 但 ŷ 的變異數在這二種情況下卻不同, ŷ 的變異數在當作 y 期望值的估計值比當 y 個別值的估計值來得小 ; 換言之, 雖然兩種情況下的 y 估計值都相同, 但估計 y 期望值時, 變異數較小 ( 較精確 ), 而估計 y 個別值時, 變異數較大 ( 較不精確 ) D. 模式假設的檢查 (Checkng Model s Assumptons): 殘差 (resduals) e 定義為 y 觀察值減去 y 估計值, 即 e= y yˆ, 可用來檢查模式假設的正確性, 通常利用圖形來檢查, 如殘差圖 (resdual plots), 其中殘差圖通常是把 ŷ ( 或標準化的 ŷ ) 畫在水平軸和殘差 ( 或標準化的殘差 ) 畫在縱軸 () 檢查常態假設 : 利用殘差 ( 或標準化的殘差 ), 可畫其直方圖, 若圖形略似鐘狀, 則無法拒絕常態分佈假設另外也可畫 PP 圖, 若點分佈愈接近 45 0 度線, 則無法拒絕常態分佈假設 ( 如下圖 )

3 y 估計值差殘 y 估計值差殘 () 檢查直線性同質性和獨立性假設 : 若殘差圖的點以水平軸為中心散佈, 且水平軸中的不同 ŷ ( 或標準化的 ŷ ) 值所對應的縱軸殘差 ( 或標準化的殘差 ) 值約略相同, 則無法拒絕模式的直線性同質性和獨立性假設 ( 如下圖 ) 若殘差值隨 ŷ 值遞增 ( 或遞減 ), 或殘差值隨 ŷ 值上下規則變動, 則觀察值不獨立 ( 可能是觀察值與時間有關 ), 如下圖若殘差圖呈現漏斗狀 ( 如下圖 ), 當 ŷ 值小, 殘差變異小 ( 或大 ) 而當 ŷ 值大, 殘差變異大 ( 或小 ), 則同質性假設不成立 3

4 當只有一個自變數時, 若殘差圖呈現拋物線狀 ( 如下圖左 ), 則模式應加入高階自變數 ( 如 x ) 或呈規則上下變動 ( 如下圖右 ), 則模式應加入更高階自變數 ( 如 x 3 ) E. 判定係數 (Coeffcent of Determnaton): 迴歸模式裡所有自變數合起來解釋到應變數 y 之變異的比例, 稱為判定係數, 用 R 表示, 故 R 值介於 0 到之間, R 值愈接近, 表示模式裡所有自變數合起來解釋 y 之變異愈有貢獻但 R 的缺點是模式裡加入愈多的自變數, 其值愈增加, 即使某些自變數本身對解釋 y 之變異沒有多大貢獻為了因自變數個數增加, 而導致 R 值遞增, 我們需把自變數個數納入判定係數的考量裡, 而得到調整的 R (Adjusted R ), 用 R 表示註 : R 值不會大於 R 值當模式有 k a a 個自變數和 n 個觀察值, R 與 R 的關係如下 : R a n = ( R ). n k a NOTE: 在簡單線性迴歸裡, R 是自變數 x 與 y 的 ( 皮耳森 ) 相關係數之平方 F. 迴歸分析裡的 F 檢定 (F Test n a Regresson Analyss): 如同變異數分析, 迴歸分析也有變異數分析表 : ( 應變數 y 的 ) 總變異 = 模式變異 + 誤差變異其中模式變異 (sum of squares for model) 是模式裡所有自變數合起來解釋到 y 之變異的部份, 而誤差變異為模式裡所有自變數合起來沒有解釋到 y 之變異的部份 ( 故 R = 模式變異 / 總變異 ) 若有 k 個自變數可能會加入到模式裡, 即對解釋 4

5 或預測 y 可能有貢獻, 則 F 檢定是檢定下列的統計假設 : H0 β β k : = = = 0 ( 表示 k 個自變數對預測或解釋 y 皆沒有貢獻 ) vs H : 至少有一個 β 0 ( 表示至少有一個自變數對預測或解釋 y 有貢獻 ) 其中 F 檢定 = 模式均方 / 均方誤 ( 註 : 模式均方 = 模式變異 / k, 均方誤 = 誤差變異 / (n- k-), n-k- 是誤差自由度 ) 當 F 檢定值很大而超過臨界值 F α, 或顯著性 (P 值 ) 小於 α, 則拒絕 H0 : β = = β k = 0而接受 H : 至少有, k, n k 一個 β 0 G. 迴歸分析裡的 t 檢定 (T Test n a Regresson Analyss): 如同檢定母體平均數皆相等的虛無假設之變異數分析, 當拒絕虛無假設, 我們經常會進一步進行事後檢定, 找出哪些平均數造成的差異在迴歸分析裡, 當上述的 F 檢定拒絕 H0 : β = = β k = 0, 我們可利用 t 檢定找出哪個或哪些 β s 顯著不為 0, 也就是找出哪個或哪些自變數對預測或解釋 y 有貢獻假設有 k 個自變數在模式裡, 則我們需進行 k 個 t 檢定 --- 對於每個 =,, k, 檢定下列的統計假設 : H : 0 0 β = ( 表示第個自變數對預測或解釋 y 沒有貢獻 ) vs H : 0 β ( 表示第個自變數對預測或解釋 y 有貢獻 ) 其中 t 檢定 = ˆ β / ( β 的標準誤 ) 當 t > t α /, n k 或顯著性 (P 值 ) 小於 α, 則拒絕 H : 0 0 β = 而接受 H : 0 β H. 共線性或多重共線性之診斷 (Detectng Collnearty or Multcollnearty): 當自變數有二個或以上, 我們希望每個自變數能提供預測 ( 或解釋 ) 應變數的獨立訊息, 也就是訊息之間沒有重疊部份, 故整合起來就可得到預測 ( 或解釋 ) 應變數的最多訊息實務上除了自變數經由特殊設計 ( 如實驗設計主成份分析技巧等等 ) 之外, 才有可能達到預測 ( 或解釋 ) 應變數的獨立訊息, 在一般情形下, 不同的自變數對於預測 ( 或解釋 ) 應變數的所提供的訊息多少都會有部份重疊, 若重疊部份大, 則這些自變數有共線性問題, 造成許多重覆訊息假設有二個自變數之相關係數的絕對值很大, 若把其中一個自變數當成 y 和另一個自變數當成 x, 則畫此這二個自變數資料的散佈圖, 可發現圖形接近一條斜率不為 0 的直線, 這就是這二個自變數有共線性 (collnearty); 若有三個或以上自變數有共線性, 則可稱為多重共線性 (multcollnearty) 5

6 共線性或多重共線性最大的問題是無法獲得估計的迴歸線, 即時可獲得估計的迴歸線, 迴歸係數的標準誤會膨脹變大, 導致迴歸係數的 t 檢定不容易拒絕此迴歸係數為 0 的虛無假設共線性或多重共線性的常用診斷方式 :() 利用變異數膨脹因子 (varance nflaton factor, VIF) 或允差 (tolerance) ( 註 :VIF = / 允差 ): 當變異數膨脹因子 (varance nflaton factor, VIF) 超過 0( 或允差小於 0.), 或 () 利用條件指標 (condton ndex): 當條件指標超過 30, 則有嚴重的共線性問題當自變數有共線性時, 最簡單的方式是保留一個自變數於模式裡, 其他的自變數則刪除於模式之外 I. 自變數為定性變數之處理 (Dealng Qualtatve Predctors) 若變數的測量尺度為名目 (nomnal) 或順序 (ordnal) 尺度, 如性別居住區域年齡層 ( 如代表 0 歲或以下代表 ~40 歲 3 代表 4 歲或以上 ), 則此種變數為定性變數當定性變數要加入模式成為自變數之前, 需對這些定性自變數做額外處理假設某個定性自變數有 a 個水準, 則需設立另外 a- 個虛擬變數 (dummy varables), 一種設立虛擬變數的方式是 : 令 a, = 第個水準值 0, 其他, = 第個水準值 0, 其他, = 第個水準值 a- 0, 其他用此方法設立 a- 個虛擬變數 a, 當 = = = a = 0時, 則代表為第 a 個水準, 此水準又稱為參考水準 (reference level) 例如 = 居住區域, 有東西南北四個水準, 則可設和 3, = 東區 0, 其他, = 南區 0, 其他, = 北區 0, 其他 6

7 此時當 = = 3 = 0 時, 則代表為西區我們以下例來說明虛擬變數在迴歸模式裡的模式 : 設應變數 y = 每月消費金額自變數為居住區域和每月收入, 並得到估計的迴歸方程式為月花費 ˆ = ˆˆˆˆˆ β收入 + β + β + β + β 月東區居民為 = 和 = 3 = 0, 其估計的迴歸方程式為月花費 ˆ = ˆˆˆˆˆˆˆˆ β收入 + β= 收入 + β 0+ β月 0+ β 月 β + β + β 南區居民為 = 和 = 3 = 0, 其估計的迴歸方程式為月花費 ˆ = ˆˆˆˆˆˆˆˆ β收入 + β= 0收入 + β + β月 0+ β 月 β + β + β 北區居民為 = 3 和 = = 0, 其估計的迴歸方程式為月花費 ˆ = ˆˆˆˆˆˆˆˆ β收入 + β= 0收入 + β 0+ 月 β + β 月 β + β + β 西區居民為 = = 3 = 0, 其估計的迴歸方程式為月花費 ˆ = ˆˆˆˆˆˆˆ β收入 + β= 0收入 + β 月 0+ β 0+ β 月 β + β 故東南北區居民與西區居民的月花費估計差異分別為 ˆβ ˆβ 和 ˆβ, 3 而 ˆˆ β β 為東區和南區居民的月花費估計差異, ˆˆ β β 3 為南區和北區居民的月花費估計差異等等 J. 選取自變數的方法 (Method of Selecton of Predctors) 假設有 k 個候選的自變數, 以下介紹四種選取自變數的方法來獲得估計的迴歸模式 () 全部進入法 (all enter): 全部 k 個候選的自變數都進入模式 () 向前選取法 (forward selecton): 一開始模式沒有任何的自變數, 接著從 k 個自變數中, 選取最能解釋 y 變異的自變數先進入模式, 即 F 值最大 ( 需大於門檻值 F α,, n k ) 在一個自變數進入模式後, 從剩餘的 k- 個自變數中, 選取最能解釋 y 剩餘變異的自變數進入模式, 即給定第一個自變數進入模式後之 F 值最大 ( 需大於門檻值 ) 依此方式持續進行, 直到剩餘的自變數對解釋 y 剩餘變異沒有顯著影響, 即 F 值小於門檻值, 才停止 7

8 (3) 向後刪除法 (backward elmnaton): 一開始模式有全部 k 個自變數, 接著從 k 個自變數中, 選取解釋 y 變異最沒顯著影響的自變數先剔除於模式外, 即 F 值最小 ( 需小於門檻值 F α,, n k ) 在一個自變數剔除後, 選取剩餘的 k- 個自變數中所解釋 y 變異最沒顯著影響的自變數, 並剔除於模式外, 即給定第一個自變數剔除後之 F 值最小 ( 需小於門檻值 ) 依此方式持續進行, 直到剩餘的自變數中所解釋 y 變異皆有顯著影響, 即 F 值大於門檻值, 才停止 (4) 逐步迴歸法 (stepwse regresson): 向前選取法是只進不出, 而向後刪除法是只出不進, 故皆有它們的缺點逐步迴歸法是綜合此兩法的選取和刪除自變數的方式, 故可進可出首先, 一開始模式不含任何自變數, 接著利用向前選取法選取前三個自變數依序進入模式, 當第三個自變數進入模式後, 利用向後刪除法, 評估前面兩個自變數是否有其中之一需剔除於模式外, 若有, 則剔除對解釋 y 變異最沒顯著影響的自變數 ( 此時模式裡只有兩個自變數 ) 隨後再次利用向前選取法, 從 k- 個自變數中選取最能解釋 y 剩餘變異的自變數進入模式, 接著, 再次利用向後刪除法, 評估模式裡已有的兩個自變數是否有其中之一需剔除於模式外, 若無 ( 此時模式裡已有三個自變數 ), 繼續利用向前選取法, 從 k-3 個自變數中選取最能解釋 y 剩餘變異的自變數進入模式, 接著, 再次利用向後刪除法, 評估模式裡已有的三個自變數是否有其中一個或兩個需剔除於模式外, 若有, 則依序剔除之, 再利用向前選取法選取自變數進入模式, 用向後刪除法刪除在模式裡對解釋 y 變異最沒顯著影響的自變數, 持續進行至沒有自變數可進入模式裡或排除於模式外 8

Microsoft Word - 94_2_stat_handout08_線性迴歸（考古題）.doc

Microsoft Word - 94_2_stat_handout08_線性迴歸（考古題）.doc 8 第八章線性迴歸 ( 考古題 ) 006 年 4 月 9 日最後修改 8.1(94- 逢甲 - 國貿 ) (a) y = 7.776 1.77x (b) 006 陳欣得統計學線性迴歸 ( 考古題 ) 第 8-1 頁 β 表示 x 變動一單位會導致 y 變動 ˆ β = 1.77 單位, 即每增加 1,000 磅重量, 汽車每公升汽油行駛里程會減少 1.77 公里 (c) () (e) SSR 134.717