:

第十三 十四章 : 分析 Mei-Yuan Chen Department of Finance National Chung Hsing University February 19, 2013

前言 在實際問題的分析上, 應變數或被解釋變數會受到不只一個變數的影響, 此時, 我們即要討論模型 (multiple regression) 的分析了, 當然模型可為線型亦可為非線型, 在此, 為簡單起見, 我們以線型 (multiple linear regression) 為討論的重點, 亦即我們所要討論的是一個應變數 Y 的實現值決定於許多個 ( 如 k 個 ) 解釋變數 X 1,X 2,...,X k 出現的數值, 而其間的關係是為線型的關係, 即 y i = β 1 x 1i +β 2 x 2i + +β k x ki +ǫ i,i = 1,,n. 而分析的主要工作即在以實際資料估計出模型中的參數 β 1,β 2,...,β k, 以暸解某一個解釋變數數值的變動將對應變數造成多少的影響

最小平方估計方法 在線型的討論中, 我們依然分為估計 檢定和預測三項主要工作進行說明 ; 而線型模型參數的估計, 我們以最普遍使用的最小平方估計式加以討論, 而為能延續檢定與預測的討論, 如同在簡單線型模型的討論一般, 我們需要以下的假設條件 : (1) y i = β 1 x 1i +β 2 x 2i + +β k x ki +ǫ i,i = 1,,n, 且 n > k (2) 所有的解釋變數 x j, j = 1,...,k 為非隨機的且不為線性相依 (linearly dependent) 的 (3) E(ǫ i ) = 0 (4) E(ǫ 2 i ) = σ2 0 且任何兩個不同的觀察值不存在相關性, 即 E(ǫ i ǫ j ) = 0 (5) 每一個 ǫ i 為相互獨立且相等的常態分配, 即 ǫ i i.i.d.n(0,σ 2 0 ).

以上陳述的假設條件與在簡單線型模型中所假設的條件相似, 除了假設 (1) 中的兩個變數間的線型關係改為多個變數間的線型關係外, 增加了假設 (2) 中解釋變數間不為線性相依的條件, 亦即解釋變數間為線性獨立 (linearly independent) 的 ; 所謂解釋變數 X 1,X 2,...,X k 為線性獨立 1 表示其中的任何一個解釋變數無法由其他 k 1 個解釋變數的線性組合來描述, 也就是說, 我們所考慮的 k 個解釋變數中沒有一個是多餘的變數 (redundant variable); 而解釋變數 X 1,X 2,...,X k 為線性獨立的假設條件也使得最小平方估計式具有唯一解 (unique solution) 1 X 1,X 2,...,X k 的線性組合 a 1 X 1 +a 2 X 2 + +a k X k = 0, 若存在 (a 1,a 2,...,a k ) 不全為零的參數解, 則稱 X 1,X 2,...,X k 為線性相依, 若僅存在全為零的參數解, 則稱 X 1,X 2,...,X k 為線性獨立

線型模型參數的最小平方估計式依然是由平方誤差樣本平均數 (sample average of squared errors) 的最小化求解所導出, 令 (ˆβ 1n, ˆβ 2n,..., ˆβ kn ) 表示線型模型參數的最小平方估計式, 則 {ˆβ 1n,..., ˆβ kn } = arg min f(β 1,,β k ) β 1,...,β k 1 = arg min (y β 1,...,β k n i β 1 x 1i β k x ki ) 2. i=1

則極小化求解的一階條件為 : β 1 f(β 1,,β k ) = 2 1 n β 2 f(β 1,,β k ) = 2 1 n. f(β 1,,β k ) = 2 1 β k n n (y i β 1 x 1i β k x ki )x 1i = 0, i=1 n (y i β 1 x 1i β k x ki )x 2i = 0, i=1 n (y i β 1 x 1i β k x ki )x ki = 0. i=1

這個一階條件包含了 k 個方程式的聯立方程式, 而我們則要解出 k 個未知數 β 1,...,β k 的解, 此解即為最小平方估計式 ˆβ1n, ˆβ 2n,..., ˆβ kn ; 為能有 k 個唯一解, 則解釋變數 X 1,X 2,...,X k 為線性獨立的條件是必要的 至於求解的方法, 當然我們可以利用 Cramer rule 求解, 也可藉電腦軟體 ( 如 Excel gretl 和 SAS 等 ) 求解, 在此我們不予討論

在以實際資料 (y i,x i ),i = 1,...,n 代入由最小平方估計式 ˆβ1n, ˆβ 2n,..., ˆβ kn 中, 即可得到最小平方估計值 (ordinary least square estimates), 而方程式 ŷ = ˆβ 1n x 1 + + ˆβ k x k 即稱為迴歸平面 (regression hyperplane); 而 ŷ i = ˆβ 1n x 1i + + ˆβ k x ki 為配適值 (fitted values),e i = y i ŷ i 則為殘差值 (residuals) 至於, 誤差項變異數的最小平方估計式依然為 ˆσ 2 n = 1 n k n e 2 i. i=1

解釋變數 X j 的參數估計值 ˆβjn 的含意為 : 在其他解釋變數不變下, 解釋變數 X j 一個衡量單位的變動, 將使得被解釋變數 ˆβjn 衡量單位的變動, 因為 y/ x j = β j ; 至於兩個解釋變數迴歸參數估計值間是否進行大小的比較呢? 如果 ˆβjn > ˆβ hn, 是否隱含解釋變數 X j 比解釋變數 X h 對應變數具較大的影響效果呢? 答案當然是否定的, 因為迴歸參數估計值會因解釋變數的衡量單位的不同而有所不同, 假設解釋變數 X j 為以公斤為衡量單位的體重變數, 而所得到的估計值為 ˆβjn, 若將衡量單位改為公克, 則將得到 1000 ˆβ jn 的估計值, 很顯然 1000 ˆβ jn > ˆβ jn, 此外, 體重變動 1 公斤與變動 1 公克的的困難度也是不一樣的 ; 因此, 我們不能直接以估計值的大小比較解釋變數對應變數的影響效果 此時, 為能直接比較不同解釋變數迴歸估計值間的大小, 我們改以標準化迴歸 (standardized regression) 模型為分析對象

所謂的標準化迴歸模型即是以原來迴歸模型的應變數與解釋變數的觀察資料, 分別減去個別的樣本平均數, 再除以個別的樣本標準差, 即計算 Z-score 的標準化過程, 之後再以標準化後的應變數資料對標準化後的解釋變數資料進行迴歸, 即因 y i ȳ n x = β 2i x 2 x s 2 + +β ki x k y s k y s y 因此, 得到以下的標準化迴歸模型 y i = β 2x 2i + +β kx ki +ǫ i, + ǫ i ǫ s y, 其中 y i = y i ȳ s y, x ji = x ji x j s xj, β j = β js xj s y.

標準化迴歸模型中的參數通常被稱為 β 係數 (beta coefficients), 其估計值的大小即可直接用來進行比較, 而標準化迴歸模型中的解釋變數均為標準化後的 Z-score, 因此, 是以樣本標準差為衡量單位, 是以每一個標準化後的解釋變數變動 1 單位 ( 即個樣本標準差 ) 的困難度是相同的 ; 而解釋變數 X j 的 beta 係數估計值 ˆβ jn 的含意為 : 在其他解釋變數不變下, 解釋變數 X j 變動 1 個樣本標準差將造成應變數 ˆβ jn 個樣本標準差 (ˆβ jn s y ) 的變動

如同在簡單線型迴歸模型的討論, 我們可以用判定係數來衡量所估計的迴歸模型與實際資料間的配適度 ; 對於線型估計結果的配適度衡量, 判定係數 (R 2 ) 的定義為 其中, R 2 = RSS TSS = 1 TSS = RSS = ESS = ( ESS TSS ), n (y i ȳ n ) 2 i=1 2 (ŷ i ȳ n ) 2 i=1 2 (y i ŷ i ) 2. i=1

依據定義, 最小平方估計式是在所觀察到的樣本資料中使平方誤差最小的參數解, 亦即沒有其他的參數值會比最小平方估計值 (ˆβ 1,..., ˆβ k ) 使平方誤差 i=1 (y i β 1 x 1i β k x ki ) 2 更小, 所以, n i=1 (y i ˆβ 1 x 1i ˆβ k x ki ) 2 = ESS 為最小的數值, 相對地, 最小平方估計值亦是使 RSS 最大的解, 此時以 Rk 2 為此迴歸模型的判定係數 ;

令 ( β 1,..., β k 1 ) 為迴歸模型 y i = β 1 x 1i + +β k 1 x (k 1)i +ǫ i 的最小平方估計式, 此結果亦可寫為 ( β 1,..., β k 1,0) 為迴歸模型 y i = β 1 x 1i + +β k 1 x (k 1)i +β k x ki +ǫ i 的最小平方估計式, 此時以 R 2 k 1 為此迴歸模型的判定係數顯而易見, 因 n i=1 (y i ˆβ 1 x 1i ˆβ k x ki ) 2 必定比 n i=1 (y i β 1 x 1i β k 1 x (k 1)i 0x ki ) 2 來得小, 而兩個模型具有相同的 TSS, 所以,R 2 k 必定大於 R k 1, 因此我們得到結論 : 判定係數 R 2 為解釋變數個數 k 的非遞減函數 (nondecreasing function)

雖然在實證分析時, 我們希望有更佳的配適度迴歸模型, 亦即我們迴歸模型的判定係數越大越好, 但根據 R 2 為解釋變數個數 k 的非遞減函數的特性, 我們只要儘可能的加入新的解釋變數於迴歸模型中, 即可得到更大的判定係數值, 表示我們得到更好的迴歸模型 ; 但是, 加入新的解釋變數雖可提高判定係數值, 但是迴歸模型中也增加了待估計的參數, 因而, 在固定的樣本觀察資料下, 使得估計式的自由度因而降低, 這是增加解釋變數的負面效果 ; 從誤差項變異數的樣本估計式 :ˆσ n 2 = n i=1 e2 i/(n k) 可知, 解 釋變數資加將使 n i=1 e2 i 變小, 卻也使自由度 n k 變小, 如 果 n i=1 e2 i 變小的幅度小於 n k 變小的幅度, 則 ˆσ n 2 會變大, 進而使得迴歸參數估計式的變異數變大, 也就是越不準確, 如此解釋變數的增加反而不利

因此, 一個好的配適度判定準則, 不但能考量 n i=1 e2 i 的變動效果, 也應能考慮到對自由度的影響效果 ; 因此, 經自由度調整後的判定係數, 即所謂調整後的判定係數 (adjusted R 2 ) 定義為 : R 2 = 1 ESS/(n k) TSS/(n 1). 由這個定義式, 可看出若解釋變數增加使 ESS 降低的幅度大於 (n k) 降低的幅度, 將使得 ESS/(n k) 變小, 而 TSS/(n 1) 為固定的數, 因而使 R2 變大, 此時, 解釋變數的增加是適當的 ; 反之, 若解釋變數增加使 ESS 降低的幅度小於 (n k) 降低的幅度, 反將使得 ESS/(n k) 變大, 因而使 R2 變小, 此時, 解釋變數的增加是不適當的

調整後的判定係數 R2 可進一步改寫為 R 2 = R 2 k 1 n k (1 R2 ). 因此, 上式等號右邊的第二項為因解釋變數增加而使自由度減少的處罰項 (penalty) 此外, 由上式可知, R 2 將永遠小於 R2, 且將永遠小於 1; 雖然 R2 必定大於零, 但 R2 卻有可能小於零

除了以調整後的判定係數 ( R 2 ) 外, 尚有以下的準則作為模型選擇 (model selection) 的依據 ; 令 σ 2 n = n i=1 e2 i/n, 1. AIC (Akaike Information Criterion): σ 2 ne 2k/n 或 log σ 2 n +2k/n 2. SIC (Schwarz Information Criterion): σ 2 nn k/n 或 log σ 2 n +(k/n)(logn) 3. HQ (Hannan and Quinn Criterion): σ 2 n(logn) 2k/n 或 log σ 2 n +(2k/n)(loglogn). 這些準則均是由 log σ 2 n 再加上一個處罰項 ; 我們選擇的模型是具有最小 AIC(SIC, HQ) 數值的模型, 至於哪個準則比較好, 則沒有定論

為對線型模型參數進行假設檢定, 我們必須先討論最小平方估計式的分配, 在對誤差項分配的假設 (5):ǫ i i.i.d.n(0,σ 2 0) 下, 應變數觀察值 y i 的分配為獨立的常態分配 N(β 1 x 1i +β 2 x 2i + +β k x ki,σ 2 0), 因為 E(y i ) = E(β 1 x 1i +β 2 x 2i + +β k x ki +ǫ i ) 且 = β 1 x 1i +β 2 x 2i + +β k x ki +E(ǫ i ) 因 β j 為常數而 x ji 非隨機的 = β 1 x 1i +β 2 x 2i + +β k x ki, 因 ǫ i ) = 0 var(y i ) = var(β 1 x 1i +β 2 x 2i + +β k x ki +ǫ i ) = var(ǫ i ) 因 β j 為常數而 x ji 非隨機的 = σ 2 0.

在常態分配的假設 (5) 下, 不但 y i 為常態分配, 我們也可得到以下結果 : ˆβ j N(β j,σ 2ˆβj ), j = 1,,k 即迴歸模型參數之最小平方估計式具有常態分配的抽樣分配 ; 則經過標準化後, 得到 ˆβ j β j σˆβj N(0,1), j = 1,,k.

再者, 如同在簡單線型迴歸模型中的討論一般, 誤差項變異數 σ 2 0 的最小平方估計式 ˆσ 2 n 的抽樣分配為 n e 2 t/σ0 2 = (n k)ˆσ 2 /σ0 2 χ 2 (n k) i=1 亦如同在簡單線型迴歸模型中的結果 : ˆβ j β j sˆβj t(n k),j = 1,,k 根據這個抽樣分配結果, 我們就可以進行迴歸模型參數的假設檢定了

由於在線型模型中, 存在許多個解釋變數, 因此, 對這些解釋變數的迴歸參數的假設檢定, 可分為單獨對單一迴歸參數和同時對多個迴歸參數進行假設檢定 對於單一虛無假設 (single null hypothesis) H 0 : β j = b 的統計檢定量為 t βj = ˆβ j b sˆβj t(n k). (1) 此即為所謂的 t 檢定 ; 若統計檢定量 t βj t α/2 (n k) 或 t βj t α/2 (n k), 則棄卻虛無假設 H 0 : β j = b; 另者, 對於單尾檢定而言, 若統計檢定 量 t βj t α (n k), 則棄卻虛無假設 H 0 : β j < b, 或若統計檢定 量 t βj lgeqt α (n k), 則棄卻虛無假設 H 0 : β j > b 通常在實證分析上, 我們 想要知道的是解釋變數 X j 是否對應變數具有顯著的影響效果, 亦即其所對應 的迴歸參數是否顯著異於零, 因此, 虛無假設設定為 H 0 : β j = 0

此外, 單一虛無假設也可包含多個迴歸參數, 例如, 虛無假設為 H 0 : aβ h +bβ j = c, 在這個虛無假設下, 表示迴歸參數存在一個限制式, 亦即在虛無假設中僅存在一個等號, 若令 Z = aβ h +bβ j, 則虛無假設 H 0 : aβ h +bβ j = c 即成為 H 0 : Z = c, 這個虛無假設與 H 0 : β j = b 相類似, 所以其統計檢定量如同式 (1) 一般, 為 t Z = Ẑ c sẑ t(n k).

由於 Z = aβ h +bβ j, 則其最小平方估計式為 Ẑ = aˆβ h +bˆβ j, 而其變異數為 varẑ = var(aˆβ h +bˆβ j ) 其樣本估計式為 = a 2 var(ˆβ h )+b 2 var(ˆβ j )+2abcov(ˆβ h, ˆβ j ) s 2 Ẑ = a2 s 2ˆβh +b 2 s 2ˆβj +2absˆβh,ˆβ j. 利用同樣的過程, 我們可以對包含更多個迴歸參數的單一虛無假設進行檢定

對於包含多個迴歸參數及兩個以上等式虛無假設檢定, 我們稱之為聯合檢定, 因此, 單一檢定與聯合檢定之區別不在於所包含迴歸參數的多寡, 而在於所包含限制式 ( 等式 ) 的個數, 若僅包含一個限制式, 即稱為單一虛無假設, 而若包含一個以上的限制式, 即稱為聯合虛無假設 ; 假設我們想要知道兩個解釋變數 X j 和 X h 是否對應變數具有顯著的影響效果, 則所對應的聯合虛無假設為 H 0 : β j = 0 β h = 0 對於這個聯合假設檢定的統計檢定量, 可藉由兩個線型迴歸所估計之判定係數 (R 2 ) 計算而得 ;

令 R 2 u 表示來自未受限迴歸模型 (unconstrained regression)y i = β 1 x 1i + +β k x ki +ǫ i 的估計結果, 而 R 2 c 表示來自受限迴歸模型 (constrained regression) y i = β 1 +β 2 x 2i + +β j 1 x (j 1)i +β j+1 x (j+1)i + +β h 1 x (h 1)i +β h+1 x (h+1)i + +β k x ki +ǫ i 的估計結果, 此所謂受限迴歸模型乃是在原來未受限迴歸模型中將解釋變數 X j 和 X h 剔除, 因為在 β j = 0 和 β h = 0 的假設下,β j x ji = 0 和 β h x hi = 0, 所以在虛無假設下的受限迴歸模型, 即等於應變數對剔除 X j 和 X h 後的其他解釋變數的迴歸模型

而虛無假設的檢定統計量則為 ψ = (R2 u R 2 c)/2 (1 R 2 u)/(n k) F(2,n k). 若統計檢定量 ψ F α (2,n k), 則在顯著水準 α 下棄卻虛無假設 H 0 : β j = β h = 0; 統計量 ψ 的邏輯在於比較 R 2 u 和 R 2 c 的差距是否顯著, 因為理論上,R 2 u 必定大於或等於 R 2 c, 若解釋變數 X j 和 X h 對應變數完全沒有影響效果, 即虛無假設 H 0 : β j = β h = 0 成立, 則 R 2 u 將等於 R 2 c, 而統計量 ψ 將等於零 ; 而若解釋變數 X j 和 X h 對應變數的確有影響效果, 即虛無假設 H 0 : β j = β h = 0 不成立, 則 R 2 u 將恆大於 R 2 c, 而統計量 ψ 亦將顯著大於零 ; 因此, 越大的 ψ 值表示越有可能棄卻虛無假設

在一般的統計軟體或計量軟體所提供的迴歸模型估計結果, 其中包括了一個變異數分析表, 提供了一個 F- 統計量, 這個統計量即是對所有解釋變數的迴歸參數全為零的虛無假設的檢定統計量, 即虛無假設 H 0 : β 2 = β 3 = = β k = 0 的檢定統計量 ; 在此虛無假設下, 受限的迴歸模型成為 y i = β 1 +ǫ i, 則 β 1 的最小平方估計式為 β1 = n i=1 y i/n = ȳ n 而配適值 ŷ i = ȳ n, 所以 RSS = n i=1 (ŷ i ȳ n ) 2 = 0 而 ESS = TSS, 因此 Rc 2 = 0, 則 ψ 統計量成為 ψ = Ru/(k 2 1) F(k 1,n k). (1 Ru)/(n k) 2

再者, 對於比較一般化的聯合虛無假設 : H 0 : β j β h = a = b 的假設檢定, 也可利用比較受限與未受限迴歸的判定係數值進行檢定, 令 R 2 u 仍為未受限迴歸的判定係數, 而在虛無假設下的受限迴歸模型則為 y i ax ji bx hi = β 1 x 1i + +β j 1 x (j 1)i +β j+1 x (j+1)i + +β h 1 x (h 1)i +β h+1 x (h+1)i + +β k x ki +ǫ i 亦即以應變數資料 (y i ) 減去 ax ji +bx hi 後再對其他解釋變數進行迴歸

令 R 2 c 為由此受限迴歸模型所估計的判定係數, 則虛無假設的檢定統計量仍為 ψ = (R2 u R 2 c)/2 (1 R 2 u)/(n k) F(2,n k). 當然, 上述的 ψ 統計檢定量可應用到更多個別迴歸參數限制的虛無假設 然而, 對於以下的虛無假設, 就無法利用比較受限與未受限迴歸的判定係數值進行檢定, 如虛無假設為 H 0 : a 1 β h +b 1 β j = c 1 a 2 β j b 2 β l = c 2

在這樣的虛無假設下, 我們無法建構受限迴歸模型, 而無法得到 R 2 c, 以計算統計量 ψ; 此時, 我們可藉助於電腦軟體進行統計量的計算, 如在 gretl 的 模型 (M) 一般最小平方法 (OLS) 的估計結果輸出視窗中, 選擇 檢定 (T) 係數線型限制檢定 (L) 進入 線型限制式 視窗, 在視窗中鍵入 b[2] = 0, 換行再鍵入 b[4] = 1, 以進行線型虛無假設 H 0 : β 2 = 0,β 4 = 1 的檢定, 一般所算得的統計量, 通常具有 F(q,n k) 的抽樣分配, 其中, q 為虛無假設中限制式 ( 等式 ) 的個數, 例子中 q = 2

在迴歸分析中, 有時被解釋變數 (y) 與解釋變數 (x 1,x 2,...,x k ) 間的關係, 會因研究對象某種特徵的不同, 而有不同的迴歸模型參數 ; 例如身高和體重間的直線關係會因研究對象性別上的差異而不同, 因此, 對於男性研究對象身高 (y) 與體重 (x) 間的線性迴歸模型為 y i = α 0 +β 0 x i +ǫ i, 而女性研究對象身高與體重間的線性迴歸模型為 y i = α 1 +β 1 x i +ǫ i.

所以, 如果 α 0 α 1 或 β 0 β 1 均代表身高與體重間的線性關係存在性別間的差異 對於上述男 女性的兩個線性迴歸模型, 可以藉由虛擬變數 (dummy variable) 的使用, 將兩個迴歸模型合而為一 ; 其做法為定義一個性別虛擬變數 : d i = 1, 考慮以下模型 : 若第 i 個研究對象為男性 = 0, 若第 i 個研究對象為女性 y i = α+γ 0 d i +βx i +γ 1 (d i x i )+ǫ i. (2)

在這個模型中, 當第 i 個研究對象為男性 (d i = 1) 時, 此模型成為 y i = (α+γ 0 )+(β +γ 1 )x i +ǫ i, 而當第 i 個研究對象為女性 (d i = 0) 時, 此模型成為 y i = α+βx i +ǫ i. 所以, 如果男 女性研究對象身高與體重間的線性關係存在截距項 (intercept) 的差異, 則 γ 0 0; 若男 女性研究對象身高與體重間的線性關係存在斜率 (slope) 的差異, 則 γ 1 0; 當 γ 0 0 且 γ 1 0 時, 表示身高與體重間的線性關係在性別間存在截距項與斜率的差異 ; 這三種情形可以用圖 13.1 加以說明

性別虛擬變數在迴歸模型中的說明 體重 γ 0 0 體重 γ 0 = 0 體重 γ 0 0 γ 1 = 0 γ 1 0 γ 1 0 身高 身高

由以上的討論知道, 利用性別虛擬變數的設計, 我們可以用一個模型檢定身高與體重是否存在性別差異 ; 若要檢定是否存在截距項差異的虛無假設為 H 0 : γ 0 = 0, 若要檢定是否存在斜率差異的虛無假設為 H 0 : γ 1 = 0, 至於是否存在二者差異的虛無假設則為 H 0 : γ 0 = 0,γ 1 = 0

此外, 純為了好玩, 我們想了解台灣管理學院學生身高與體重間的線性關係是否在不同科系間有所不同, 也可以設計以下 4 個科系虛擬變數 : d1 i = 1, 若第 i 個學生屬經濟系 = 0, 若第 i 個學生屬其他科系 d2 i = 1, 若第 i 個學生屬財金系 = 0, 若第 i 個學生屬其他科系 d3 i = 1, 若第 i 個學生屬企管系 = 0, 若第 i 個學生屬其他科系 d4 i = 1, 若第 i 個學生屬會計系 = 0, 若第 i 個學生屬其他科系

考慮以下線性迴歸模型 : y i = α+γ 1 d1 i +γ 2 d2 i +γ 3 d3 i +γ 4 d4 i +βx i + λ 1 (d1 i x i )+λ 2 (d2 i x i )+λ 3 (d3 i x i )+λ 4 (d4 i x i )+ǫ i 在模型中, 若 γ 1 = γ 2 = γ 3 = γ 4 = 0 表示身高與體重間的線性關係不存在截距項的差異, 若 λ 1 = λ 2 = λ 3 = λ 4 = 0 表示身高與體重間的線性關係不存在斜率的差異, 因此, 身高與體重間的線性關係不存在科系別差異的虛無假設為 : H 0 : γ 1 = γ 2 = γ 3 = γ 4 = 0 λ 1 = λ 2 = λ 3 = λ 4 = 0.

在此值得注意的是, 在設計性別虛擬變數時, 因性別特徵只有 2 個類項, 所以只設計一個虛擬變數 ; 假定我們多設計了一個虛擬變數 s i = 1, 若第 i 個研究對象為女性 = 0, 若第 i 個研究對象為男性 並將這個虛擬變數加入迴歸模型 (2) 中即成為 y i = α+γ 0 d i +δ 0 s i +βx i +γ 1 (d i x i )+δ 1 (s i x i )+ǫ i. (3)

由於對所有的 i 而言, 若 d i = 1 則 s i = 0, 或若 d i = 0 則 s i = 1, 因此 d i +s i = 1 且 d i x i +s i x i = x i, 這樣在迴歸模型 (3) 中的解釋變數將不為線性獨立, 違反了假設條件 (2), 將使得最小平方估計式不存在唯一解 (unique solution) 同樣道理, 在科系別虛擬變數的設計上, 因科系別有 5 個, 因此, 我們只設計了 4 個虛擬變數

如果我們想了解台灣的大學生的身高與體重間的關係, 而假定其間的關係為線形, 並且, 我們會懷疑其間關係在不同性別間存在不同的線性關係, 因此, 我們所考慮的迴歸模型為 Y = α+βx +γd +ǫ, 其中, X 和 Y 分別代表台灣的大學生身高和體重的隨機變數,D 為性別特徵虛擬變數, 而 ǫ 為迴歸誤差項, 在這個迴歸模型中, 迴歸係數 γ 表示身高與體重間的線性關係在性別間存在截距項的不同 ;

假定在統計學課堂上的 80 位同學具有台灣大學生的代表性, 則其身高 體重及性別虛擬變數的資料 {(y i,x i,d i )} 80 i=1 即為一組樣本資料, 假定其儲存在 H-W-Sex.xls 的 Excel 檔案中, A1 A80 為身高資料 B1 B80 為體重資料而 C1 C80 為性別虛擬變數的資料, 點選 工具 (T) 中的 資料分析 (D), 在 資料分析 的對話框中的 分析工具 (A) 選取 迴歸, 即進入 迴歸 對話框, 在 輸入 Y 範圍 (Y) 中輸入 A1 A80, 在 輸入 X 範圍 (X) 中輸入 B1 C80, 選擇 輸出範圍 (O) 為 D1, 並勾選 殘差 框中的 殘差圖 (D) 及 樣本迴歸線圖 (I), 按下 確定 即可得到輸出結果 ; 以下為其摘要輸出結果 :

摘要輸出迴歸統計 R 的倍數 0.772805982 R 平方 0.597229086 調整的 R 平方 0.586767504 標準誤 4.208759844 觀察值個數 80 ANOVA 自由度 SS MS F 顯著值 迴歸 2 2022.469 1011.234 57.088 6.23357E-16 殘差 77 1363.952 17.71365 總和 79 3386.421

係數標準誤 t 統計 P- 值下限 95 % 上限截距 112.3194 4.998147 22.47221 1.47101E-35 102.36683 122. X 變數 1 0.867835 0.081474 10.65171 8.38787E-17 0.7056002 1.03 X 變數 2 0.271989 0.946441 0.287381 0.774592385-1.612617 2.15

在最上層表中, 判定係數 R 2 = 0.597229086, 經自由度調整後的判定係數為 R 2 = R 2 k 1 n k (1 R2 ) = 0.597229086 3 1 (1 0.597229086) = 0.586767504 80 3 至於在中間的 ANOVA 表中, 將 迴歸 列的 MS 除以 殘差 列中的 MS, 即得到 ψ 統計量, 因其抽樣分配為 F- 分配, 故又稱為 F- 統計量, 即 ψ = 1011.234 17.71365 = 57.088.

而表中的 顯著值 即為 ψ 統計量的 p- 值, 即 P(F(1,78) 115.451) = 4.76886E 17, 此數值小於 0.05, 因此, 在顯著水準 α = 5 % 下棄卻虛無假設 H 0 : β = γ = 0 此外,ψ 統計量亦可由下式計算而得 : ψ = = Ru/(k 2 1) (1 Ru)/(n k) 2 0.597229086/(3 1) (1 0.597229086)/(80 3) = 57.088.

在最下層的迴歸結果輸出表中, X 變數 1 的 係數 為 ˆβn = 0.867835, 其 標準誤 為 = 0.081474, 而其針對於 H sˆβn 0 : β = 0 的 t- 統計量為 ˆβn = 0.867835/0.081474= 10.65171, 在此統計量下, 其 p- 值為 /sˆβn 8.38787E-17 小於 0.025, 或在虛無假設下的數值 0 不在 95 % 的下限 0.7056002 上限 1.030071 的範圍內, 故在顯著水準 α = 5 % 下應棄卻虛無假設, 身高與體重間存在顯著的關係, 而 X 變數 2 的 係數 為 ˆγ n = 0.271989, 其 標準誤 為 sˆγn = 0.946441, 而其針對於 H 0 : γ = 0 的 t- 統計量為 ˆγ n /sˆγn = 0.271989/0.946441= 0.287381, 在此統計量下, 其 p- 值為 0.774592385 大於 0.025, 或在虛無假設下的數值 0 不在 95 % 的下限 -1.612617 上限 2.156596 的範圍內, 故在顯著水準 α = 5 % 下不應棄卻虛無假設, 身高與體重間的線性關係, 在性別間不存在截距項上的顯著差異

由於判定係數為解釋變數個數 k 的非遞減函數 (non-decreasing function), 因此, 相較於前一章中身高對體重的簡單迴歸結果, 此迴歸模型的判定係數將變大, 簡單迴歸的 R 2 = 0.596797085, 的確大於此迴歸的 R 2 = 0.597229086; 然由於性別虛擬變數的 t- 統計量小於 1, 因此, 相較於前一章中身高對體重的簡單迴歸結果, 此迴歸模型的調整後判定係數將變小, 對照於簡單迴歸的 R2 = 0.591627817, 的確大於此迴歸的 R2 = 0.586767504

如果我們想了解台灣的大學生的身高與體重間的關係, 而假定其間的關係為線形, 並且, 我們會懷疑其間關係在不同性別間存在不同的線性關係, 因此, 我們所考慮的迴歸模型為 Y = α+βx +γd +λ(d X)+ǫ, 其中, X 和 Y 分別代表台灣的大學生身高和體重的隨機變數,D 為性別特徵虛擬變數, 而 ǫ 為迴歸誤差項, 在這個迴歸模型中, 迴歸係數 γ 表示身高與體重間的線性關係在性別間存在截距項的不同, 而迴歸係數 λ 表示身高與體重間的線性關係在性別間存在斜率項的不同, 因此, 身高與體重間的線性關係在性別間是否存在差異的虛無假設為 H 0 : γ = λ = 0;

假定在統計學課堂上的 80 位同學具有台灣大學生的代表性, 則其身高 體重及性別虛擬變數的資料 {(y i,x i,d i,d i x i )} 80 i=1 即為一組樣本資料, 假定其儲存在 H-W-Sex1.xls 的 Excel 檔案中, A1 A80 為身高資料 B1 B80 為體重資料 C1 C80 為性別虛擬變數的資料 而 D1 D80 為性別虛擬變數乘上體重的資料, 點選 工具 (T) 中的 資料分析 (D), 在 資料分析 的對話框中的 分析工具 (A) 選取 迴歸, 即進入 迴歸 對話框, 在 輸入 Y 範圍 (Y) 中輸入 A1 A80, 在 輸入 X 範圍 (X) 中輸入 B1 D80, 選擇 輸出範圍 (O) 為 E1, 並勾選 殘差 框中的 殘差圖 (D) 及 樣本迴歸線圖 (I), 按下 確定 即可得到輸出結果 ; 以下為其摘要輸出結果 :

摘要輸出迴歸統計 R 的倍數 0.776669151 R 平方 0.60321497 調整的 R 平方 0.587552403 標準誤 4.204760859 觀察值個數 80

ANOVA 自由度 SS MS F 顯著值 迴歸 3 2042.739 680.913 38.513 3.05879E-15 殘差 76 1343.681 17.6800 總和 79 3386.420

係數 標準誤 t 統計 P- 值 下限 95 % 上限 95 % 截距 106.149 7.625 13.921 1.32249E-22 90.962 121.335 X 變數 1 0.96932 0.124 7.7586 3.1854E-11 0.7204 1.21814 X 變數 2 10.9011 9.971 1.0932 0.277752715-8.959 130.761 X 變數 3-0.1763 0.164-1.070 0.287664812-0.504 0.15165

在最上層表中, 判定係數 R 2 = 0.60321497, 此數值較前一範例中之 R 2 為大, 因迴歸模型中之解釋變數增加所造成, 經自由度調整後的判定係數為 R 2 = R 2 k 1 n k (1 R2 ) = 0.60321497 4 1 (1 0.60321497) = 0.587552403 80 4 至於在中間的 ANOVA 表中, 將 迴歸 列的 MS 除以 殘差 列中的 MS, 即得到 ψ 統計量, 因其抽樣分配為 F- 分配, 故又稱為 F- 統計量, 即 ψ = 680.913 17.6800 = 38.513.

而表中的 顯著值 即為 ψ 統計量的 p- 值, 即 P(F(3,76) 38.513) = 3.05879E 15, 此數值小於 0.05, 因此, 在顯著水準 α = 5 % 下棄卻虛無假設 H 0 : β = γ = λ = 0 此外,ψ 統計量亦可由下式計算而得 : ψ = = Ru/(k 2 1) (1 Ru)/(n k) 2 0.60321497/(4 1) (1 0.60321497)/(80 4) = 38.513.

在最下層的迴歸結果輸出表中, X 變數 1 的 係數 為 ˆβn = 0.96932, 其 標準誤 為 sˆβn = 0.124, 而其針對於 H 0 : β = 0 的 t- 統計量為 ˆβn /sˆβn = 0.96932/0.124 = 7.7586, 在此統計量下, 其 p- 值為 3.1854E-11 小於 0.025, 或在虛無假設下的數值 0 不在 95 % 的下限 0.7204 上限 1.21814 的範圍內, 故在顯著水準 α = 5 % 下應棄卻虛無假設, 身高與體重間存在顯著的關係 ; X 變數 2 的 係數 為 ˆγ n = 10.9011, 其 標準誤 為 sˆγn = 9.971, 而其針對於 H 0 : γ = 0 的 t- 統計量為 ˆγ n /sˆγn = 10.9011/9.971 = 1.0932, 在此統計量下, 其 p- 值為 0.277752715 大於 0.025, 或在虛無假設下的數值 0 不在 95 % 的下限 -8.959 上限 130.761 的範圍內, 故在顯著水準 α = 5 % 下不應棄卻虛無假設, 身高與體重間的線性關係, 在性別間不存在截距項上的顯著差異 ;

X 變數 3 的 係數 為 ˆλn = 0.1763, 其 標準誤 為 sˆλn = 0.164, 而其針對於 H 0 : λ = 0 的 t- 統計量為 ˆλn /sˆλn = 0.1763/0.164 = 1.070, 在此統計量下, 其 p- 值為 0.287664812 大於 0.025, 或在虛無假設下的數值 0 不在 95 % 的下限 -0.504 上限 0.15165 的範圍內, 故在顯著水準 α = 5 % 下不應棄卻虛無假設, 身高與體重間的線性關係, 在性別間不存在斜率項上的顯著差異 ;

至於在檢定身高與體重間的線性關係是否在性別間有所不同, 此時, 我們需同時檢定在截距項與斜率項是否存在顯著差異, 故所對應的虛無假設為 H 0 : γ = λ = 0, 這個聯合檢定可藉由受限迴歸的 R 2 c 與非受限迴歸的 R 2 u 的比較進行, 由於在虛無假設下之受限迴歸即為前一章中的簡單迴歸, 其 R 2 = R 2 c = 0.596797085, 而非受限迴歸之 R 2 = R 2 u = 0.60321497, 因此, ψ- 統計量為 ψ = (R2 u R 2 c)/2 1 R 2 u = (0.60321497 0.596797085)/2 1 0.60321497 =.

令矩陣 A = [a 1 a 2,,a k ] 是由 n 個向量 a 1 a 2,,a k 所組成, 而每一個向量包含 n 元素 (element), 故 A 為一個 n k 的矩陣, 其可表現如下 : a 11 a 12 a 13 a 1k a 21 a 22 a 23 a 2k A = a 31 a 32 a 33 a 3k,..... a n1 a n2 a n3 a nk 而此矩陣亦可以 [a ij ] 表示, 即此矩陣內所包含第 i 列 (row) 第 j 行 (column) 的元素為 a ij 的數值

考慮 n 個向量 a 1 a 2,,a k 的線性組合 (linear combination) 並令其為 0, 即成為下式的聯立方程式 (system equations): 或 α 1 a 11 a 21 a 31. a n1 α 1 a 1 +α 2 a 2 + +α k a k = 0, +α 2 a 12 a 22 a 32. a n2 + +α n a 1k a 2k a 3k. a nk 0 0 = 0.. 這個聯立方程式因等號右邊為 0 向量, 故稱為均質聯立方程式 (homogeneous system), 若等號右邊不為 0 向量, 則稱為非均質聯立方程式 (non-homogeneous system) 0

一個均質聯立方程式必定存在一個解,(α 1,α 2,,α k ) = (0,0,,0), 此均為 0 的一組解稱為必然解 (trivial solution); 而若此均質聯立方程式存在一組非全為 0 的解 (α 1,α 2,,α k ), 則此解稱為非必然解 (non-trivial solution) 假設此均質聯立方程式存在一組非必然解, 並假定 α 2 0, 則 a 2 = α 1 α 2 a 1 α 3 α 2 a 3 α k a α2 k, 此表示向量 a 2 可由其他的 k 1 個向量的線性組合來表示, 亦即向量 a 2 依附於其他的 k 1 個向量, 因此, 包含於矩陣 A 內的 k 個向量 a 1 a 2,,a k 是為線性相依 (linearly dependent)

假若向量 a 1 a 2,,a k 所組成的均質聯立方程式僅存在必然解而不存在非必然解, 則向量 a 1 a 2,,a k 是為線性獨立 (linearly independent) 假若向量 a 1 a 2,,a k 為線性獨立, 則其所組成的矩陣 A, 其 A A 不存在反矩陣 (inverse matrix), 即 (A A) 1 不存在

在中, 假設條件 (1):y i = β 1 x 1i +β 2 x 2i + +β k x ki +ǫ i,i = 1,,n, 可以以向量與矩陣表示為 y = Xβ +ǫ, 其中 y 1 x 11 x 12 x 13 x 1k y 2 x 21 x 22 x 23 x 2k y = y 3, X = [x 1 x 2 x k ] = x 31 x 32 x 33 x 3k...... β = y n β 1 β 2 β 3., ǫ = ǫ 1 ǫ 2 ǫ 3.. x n1 x n2 x n3 x nk β k ǫ n

由於最小平方估計式 ˆβn 是以下極小值問題的解 : min ˆβ 1 n n (y i β 1 x 1i β 2 x 2i β k x ki ) 2, i=1 而此極小值問題可用矩陣表示成 min ˆβ 1 n (y Xβ) (y Xβ).

其極小值求解的一階條件為 ˆβ : 2 n X (y Xˆβ n ) = 0. 由此一階條件即可得到正規方程式 (normal equation): X Xˆβ n = X y. 因為假設條件 (2) 假設解釋變數 x j,j = 1,...,k 為線性獨立, 因而 (X X) 1 存在, 因而我們可以在上式等號兩邊前乘以 (X X) 1, 即 (X X) 1 X Xˆβ n = (X X) 1 X y,

進而得到最小平方估計式 ˆβ n = (X X) 1 X y. 而其二階條件為 (2/n)X X, 此矩陣為正定 (positive definite), 故一階條件的解為極小值解 也由於 (X X) 1 的存在, ˆβ n 是最小平方誤差的唯一解

再者, 定義 ŷ = [ŷ 1,ŷ 2,,ŷ n ] = Xˆβ n 為 n 配適值所組成的向量, 而 ˆǫ = [ˆǫ 1,ˆǫ 2,,ˆǫ n ] = y ŷ 為 n 個殘差值所組成的向量, 其極小值求解的一階條件可改為 X (y Xˆβ n ) = X (y ŷ) = X e = [x 1 ex 2 e x k e] = 0. 其中 x 1 e 表 x 1 和 e 兩個向量的內積 (inner product), 其值為 0, 表示這兩個向量相互垂直 (orthogonal);

因此, 一階條件的正規方程式隱含殘差值向量 e 與 x 1,x 2,,x k 均相互垂直, 而且 y e = [ˆβ 1n x 1 + ˆβ 2n x 2 + + ˆβ kn x k ] e = [ˆβ 1n x 1 e+ ˆβ 2n x 2 e+ + ˆβ kn x k e] = 0. 即殘差值向量 e 與 ŷ 相互垂直, 且 y = ŷ+e, 因此,ŷ 為向量 y 垂直映射 (orthogonal project) 在由 x 1,x 2,,x k 向量所擴展的空間上

由於 因此,ˆβ n 的期望值為 ˆβ n = (X X) 1 X y = (X X) 1 X (Xβ +ǫ) = (X X) 1 X Xβ +(X X) 1 X ǫ = β +(X X) 1 X ǫ, E(ˆβ n ) = E[β +(X X) 1 X ǫ] = β +E[(X X) 1 X ǫ] = β +(X X) 1 X E(ǫ), 因假設條件 (2):X 為非隨機 = β, 因假設條件 (3): E(ǫ i ) = 0 所以,ˆβ n 在假設條件 (1) (2) 和 (3) 下, 不但是最小平方誤差的解, 也是真正參數 β 的不偏估計式

此外,ˆβ n 的變異 - 共變異數矩陣為 var(ˆβ 1n ) cov(ˆβ 1n, ˆβ 2n ) cov(ˆβ 1n, ˆβ 3n ) cov(ˆβ 1n, cov(ˆβ 2n, ˆβ 1n ) var(ˆβ 2n ) cov(ˆβ 2nˆβ3n ) cov(ˆβ 2n, VAR(ˆβ n ) = cov(ˆβ 3n, ˆβ 1n ) cov(ˆβ 3n, ˆβ 2n ) var(ˆβ 3n ) cov(ˆβ 3n,........ cov(ˆβ kn, ˆβ 1n ) cov(ˆβ kn, ˆβ 2n ) cov(ˆβ kn, ˆβ 3n ) var(ˆβ k σ 2ˆβ1n σˆβ1n,ˆβ 2n σˆβ1n,ˆβ 3n σˆβ1n,ˆβ kn σˆβ2n,ˆβ 1n σ 2ˆβ2n σˆβ2nˆβ3n σˆβ2n,ˆβ kn = σˆβ3n,ˆβ 1n σˆβ3n,ˆβ 2n σ 2ˆβ3n σˆβ3n,ˆβ kn.... σˆβkn,ˆβ 1n σˆβkn,ˆβ 2n σˆβkn,ˆβ 3n σ 2ˆβkn = E[(ˆβ n E(ˆβ n ))(ˆβ n E(ˆβ n )) ] = E[((X X) 1 X ǫ)((x X) 1 X ǫ) ] = (X X) 1 X E(ǫǫ )X (X X) 1 1 2 1

其中,E(ǫǫ ) 為誤差向量的變異 - 共變異數矩陣, 其定義為 E(ǫǫ ) = VAR(ǫ) ǫ 2 1 ǫ 1 ǫ 2 ǫ 1 ǫ 3 ǫ 1 ǫ n ǫ 2 ǫ 1 ǫ 2 2 ǫ 2 ǫ 3 ǫ 2 ǫ n = E ǫ 3 ǫ 1 ǫ 3 ǫ 2 ǫ 2 3 ǫ 3 ǫ n.... ǫ n ǫ 1 ǫ n ǫ 2 ǫ n ǫ 3 ǫ 2 n E(ǫ 2 1 ) E(ǫ 1ǫ 2 ) E(ǫ 1 ǫ 3 ) E(ǫ 1 ǫ n ) E(ǫ 2 ǫ 1 ) E(ǫ 2 2) E(ǫ 2 ǫ 3 ) E(ǫ 2 ǫ n ) = E(ǫ 3 ǫ 1 ) E(ǫ 3 ǫ 2 ) E(ǫ 2 3 ) E(ǫ 3ǫ n ).... E(ǫ n ǫ 1 ) E(ǫ n ǫ 2 ) E(ǫ n ǫ 3 ) E(ǫ 2 n) var(ǫ 1 ) cov(ǫ 1,ǫ 2 ) cov(ǫ 1,ǫ 3 ) cov(ǫ 1,ǫ n ) cov(ǫ 2,ǫ 1 ) var(ǫ 2 ) cov(ǫ 2,ǫ 3 ) cov(ǫ 2,ǫ n ) = cov(ǫ 3,ǫ 1 ) cov(ǫ 3,ǫ 2 ) var(ǫ 3 ) cov(ǫ 3,ǫ n )....

又如同在簡單線性迴歸中,ˆσ n 2 = n i=1 e2 i /(n k) = e e/(n k) 是 σ0 2 的不偏估計式, 因此, VAR(ˆβ ˆ n ) = ˆσ n(x 2 X) 1 也是 VAR(ˆβ n ) = σ0(x 2 X) 1 的不偏估計式, 且定義 VAR(ˆβ ˆ n ) = ˆσ n 2 (X X) 1 var(ˆβ ˆ 1n ) cov(ˆβ ˆ 1n, ˆβ 2n ) cov(ˆβ ˆ 1n, ˆβ 3n ) cov(ˆβ ˆ 2n, ˆβ 1n ) var(ˆβ ˆ 2n ) cov(ˆβ ˆ 2nˆβ3n ) = cov(ˆβ ˆ 3n, ˆβ 1n ) cov(ˆβ ˆ 3n, ˆβ 2n )... cov(ˆβ ˆ kn, ˆβ 1n ) cov(ˆβ ˆ kn, ˆβ 2n ) cov(ˆβ ˆ kn, ˆβ 3n ) s 2ˆβ1n sˆβ1n,ˆβ 2n sˆβ1n,ˆβ 3n sˆβ1n,ˆβ kn sˆβ2n,ˆβ 1n s 2ˆβ2n sˆβ2nˆβ3n sˆβ2n,ˆβ kn = sˆβ3n,ˆβ 1n sˆβ3n,ˆβ 2n s 2ˆβ3n sˆβ3n,ˆβ kn......... sˆβkn,ˆβ 1n sˆβkn,ˆβ 2n sˆβkn,ˆβ 3n s 2ˆβkn cov(ˆβ ˆ 1n, cov(ˆβ ˆ 2n, var(ˆβ ˆ 3n ) cov(ˆβ ˆ 3n,. var(ˆβ ˆ k

如前所述,ˆβ n = (X X) 1 X y 為 y 的線性估計式, 且 y N(Xβ,σ0I 2 n ), 因此, ˆβ n N(β,σ0(X 2 X) 1 ). 或 [σ0(x 2 X) 1 ] 1/2 (ˆβ n β) N(0,I n ).

而就單一個迴歸參數估計式 ˆβin 而言, 或 ˆβ in N(β i,σ 2ˆβin ), ˆβ in β i σˆβin N(0,1). 再者, 因 因此, (n k)ˆσ 2 n σ 2 0 ˆβ in β i sˆβin χ 2 (n k), t(n k).