第 6 章 複迴歸之一 Multiple Regression I
6.1 複迴歸模型 Multiple Regression Models 需要多個預測變數 在第 1 章迴歸分析時, 單一預測變數可能無法對反應變數提供適當完整的描述, 因為存在多個對於反應變數有重要或是關鍵性的影響的變數, 同時單一預測變數對反應變數所進行的預測並不夠精確以致於不實用 在第 2 章的 Toluca 公司案例中, 單一預測變數所進行的預測不夠精確的情形, 增加新預測變數雖然會複雜化模型, 但是經常有助於提供反應變數足夠精確的預測 前述的案例其分析資料多是依據觀察記錄得到的, 而沒有對預測變數進行控制, 這是因為預測變數不易進行控制, 如果進行可以控制預測變數的實驗, 則複迴歸分析在此情形下將是非常有用的 複迴歸分析模型可以使用於依據觀察記錄得到的案例資料, 或是在完全隨機設計下的實驗資料
雙預測變數的第一階模型 當有兩個預測變數 X1 與 X2 時, 迴歸模型為 : (6.1) 上面的迴歸模型稱為雙預測變數的第一階模型, 第一階模型是指模型中所有的預測變數都是線性的, Xi1 與 Xi2 分別表示兩項預測變數第 i 次實驗下的水準,β0 β1 與 β2 均為模型參數,εi 為隨機誤差項 假設, 則模型 (6.1) 迴歸函數為 : (6.2) 圖 6.1 所示為以下反應平面的部份圖示 : (6.3) 反應平面 (6.3) 上面的每一個點的高度正是每一對 X1 與 X2 的平面反應 E{Y}
圖 6.1 同時也標示出了兩個預測變數水準 (Xi1, Xi2) 的觀測值 Yi, 在圖 6.1 中 Yi 與反應平面的差距, 代表給定 (Xi1, Xi2) 時,Yi 與 Y 之機率分配下期望值的差, 也就是誤差項 εi, 亦即 εi= Yi -E{Yi} 複迴歸的迴歸函數常稱為迴歸曲面 (regression surface) 或是反應曲面 (response surface)
迴歸係數的意義 參數 β 0 是迴歸平面的 Y 截距, 當模型範圍涵蓋到 X 1 =0 與 X 2 =0, 則 β 0 =10 表示在 X 1 =0 與 X 2 =0 時的平均反應 E {Y}, 否則單獨的參數在迴歸模型中並無特殊意義 參數 β 1 表示當 X 2 固定時, 平均反應 E{Y} 隨著 X 1 每增加一個單位而改變的量, 同樣地, 參數 β 2 表示當 X 1 固定時, 平均反應隨著 X 2 每增加一個單位而改變的量 用前面的案例說明, 當 X 2 固定在水準 X 2 = 2 時, 迴歸函數 (6.3) 成為 : (6.4) 此迴歸函數是一條斜率為 β 1 =2 的直線, 即使在 X 2 等於其他值時, 此一結果仍然不變, 只是可能會改變反應函數的截距量
在迴歸函數 (6.3) 中 β 2 =5 表示當固定時, 隨著每增加一個單位, 平均反應 E= { Y }將增加 5 個單位 若 X 1 對平均反應的效應, 不受 X 2 的影響, 亦即與 X 2 的水準高低無關, 而 X 2 對平均反應的效應, 也與 X 1 的水準高低無關, 則此時兩個預測變數具有相加效應 (additive effect) 或稱為無交互作用 (not to interact), 所以第一階迴歸模型 (6.1) 的設定是預測變數對於反應變數的效應是相加的或無交互作用的 參數 β 1 與 β 2 有時也稱為偏迴歸係數 (partial regression coefficient), 因為該參數主要在反應所對應的預測變數, 在固定其他預測變數的情形下, 於模型中的部分效應或是偏效應
超過兩個預測變數的第一階模型現在考慮一個配適有 p 1 個預測變數的迴歸模型 : (6.5) 上面的迴歸模型稱為 具 p 1 個預測變數的第一階模型, 此模型也可以寫成 : (6.5a) 或令 Xi0=1, 則可以寫成 : (6.5b) 假設 E{εi}=0, 則迴歸模型 (6.5) 的反應函數為 : (6.6)
(6.5) 此反應函數為一個超平面 (hyperplane), 亦即它是一個超過二維的平面, 這裡所有的參數與兩個預測變數模型參數類似 : 參數 β k 表示當其他預測變數固定其值時, 預測變數每增加一個單位, 平均反應 E{Y} 變動的程度, 迴歸模型 (6.5) 中, 任何一個預測變數對反應變數影響的程度, 都不會受到其他預測變數的干擾而不同, 使得預測變數對平均反應的效應是相加的, 而沒有交互作用存在 說明 當 p-1=1 時, 迴歸模型 (6.5) 可以簡化為 : Y i = β 0 + β 1 X i1 + ε i 此模型即為簡單線性迴歸模型
一般線性迴歸模型在迴歸模型中變數, 所代表的意義不一定是完全不同或沒有關係的預測變數 ( 例如 X k 可以是 X 1 X 2 ), 因此定義下面的一般線性迴歸模型 : (6.7) 其中, 為參數, 為已知之常數, 獨立服從 i = 1,, n 如果令, 則迴歸模型 (6.7) 可以寫成 : (6.7a) 或 (6.7b)
因為, 所以迴歸模型 (6.7) 的反應函數為 (6.8) 所以具有常態誤差項的一般線性迴歸模型隱含著觀測值 Yi 為相互獨立 服從平均數 變異數之常態分配
P -1 個預測變數當 X 1,...,X p-1 代表 p-1 個完全無關的預測變數時, 一般線性迴歸模型 (6.7) 就是前面所提的第一階模型, 此時預測變數間不存在交互作用, 圖 6.1 就是一個雙預測變數下的第一階模型 質性的預測變數一般線性迴歸模型 (6.7) 不只包含了計量的預測變數, 也可以是質性的預測變數, 例如性別 ( 男 女 ), 或殘障程度 ( 正常 部分 完全 ), 可以用指標變數 (indicator variable) 來標識質性的預測變數的每一種分類如 X 2 考慮利用病患年齡(X 1 ) 與性別 (X 2 ) 預測在醫院中的住院天數 (Y), 定義 X 2 如下 :
則第一階迴歸模型為 : (6.9) 其中 迴歸模型 (6.9) 的反應函數為 : (6.10) 對男性病患而言,X 2 = 0, 所以反應函數 (6.10) 成為 : (6.10a) 對女性病患而言,X 2 = 1, 所以反應函數 (6.10) 成為 : (6.10b) 這兩個反應函數 (6.10a) 與 (6.10b) 代表著兩條不同截距的平行直線
一般而言, 當質性變數有 c 種分類情形時, 模型中需要 c 1 個指標變數來描述, 在住院天數的案例中, 殘障程度是一個質性變數 ( 殘障程度 ( 正常 部分 完全 )), 它可以用下面的兩個指標變數來描述 : 於是透過病患年齡 性別 殘障程度所構成的第一階迴歸模型為 : (6.11) 其中,
多項式迴歸 多項式迴歸模型是一般線性迴歸模型的一種特例, 包含了預測變數的二次式或更高項次, 所以此時反應函數為曲線型式, 下面單一預測變數多項式迴歸模型第一種情形 : (6.12) 當我們令 X i1 = X i X i2 = X i2, 則 (6.12) 可以表示為 : Y i =β 0 +β 1 X i1 +β 2 X i2 +ε i 而上式正式是一般線性迴歸模型 (6.7) 的形式,(6.12) 的反應函數為一個二次曲線迴歸模型, 類似的情形, 對於更高項次的多項式反應函數仍然是一般線性迴歸模型的特例
經轉換後之變數 變數經過轉換後的模型可能含有複雜的曲線型式反應函數, 不過它仍是一般線性迴歸模型的特例, 考慮下面這個變數 Y 經轉換後的模型 : (6.13) 此模型的反應曲面雖然複雜, 不過還是可以依照一般線性迴歸模型來處理 令, 則迴歸模型 (6.13) 成為 : 很多模型可以轉換成一般線性迴歸模型, 例如 : (6.14) 進行的變數轉換, 它就是一個一般線性迴歸模型 :
交互作用 當預測變數對反應變數的影響不是單純相加性的, 表示某一或某些預測變數對反應變數的影響, 會受到其他預測變數的干擾, 一般線性迴歸模型 (6.7) 也包含了不可相加性或具有交互作用效應的, 例如下面的雙預測變數模型 : (6.15) 此時由於交互作用項存在模型中, 造成反應函數複雜化, 但是迴歸模型 (6.15) 仍然是一個一般線性迴歸模型, 當令 X i3 =X i1 X i2, 則迴歸模型 (6.15) 可以寫成 : 還是一般線性迴歸模型 (6.15) 的形式,
組合情形 一個迴歸模型可能同時結合了上述幾種情形, 但仍是一般線性迴歸模型, 考慮下面的迴歸模型 : (6.16) 該模型中同時有預測變數的線性項 二次項與代表交互作用效應的交叉乘積項, 定義 : 則迴歸模型 (6.16) 可以寫成 : 它顯然還是一般線性迴歸模型 (6.7) 的形式
一般線性迴歸模型 (6.7) 可以包含許多複雜模型, 其中有些具有高度的複雜性, 圖 6.2 為兩個雙預測變數模型下的複雜反應曲面, 它們均能用一般線性迴歸模型 (6.7) 來表示
一般線性迴歸模型中的線性意義 一般線性迴歸模型 (6.7) 之為線性模型 (linear moder) 是因為模型 (6.7) 對參數, 是線性的, 而不是針對反應曲面的形狀, 所謂對參數線性是指模型可以寫成 : (6.17) 其中是由預測變數的水準所決定出的值 舉一個非線性迴歸模型的例子如下 : Y = ( + i1 ) i β exp 0 β i X + ε 因為上面這個模型無法表示成 (6.17) 的形式, 所以它是一個非線性迴歸模型, 本書在第三部分將探討非線性迴歸模
6.2 矩陣形式下的一般線性迴歸模型 General Linear Regression Model in Matrix Terms 利用矩陣的形式來表示一般線性迴歸模型 (6.7) 的結果, 僅有的一些差別如自由度以及預測變數之個數, 還有與矩陣階數有關的常數, 因此結果將可以被更為簡潔地表示出來 由於矩陣代數經常隱藏著龐大而複雜之運算, 例如要計算一個 10 10 的矩陣 A 之反矩陣, 只需用符號 A -1 表示即可 強調矩陣代數的原因, 是因為它可以簡單地指出一些觀念性的結果, 而不需要實際的計算工作 對於複雜的計算工作只需交由程式計算與電腦執行即可, 因此不需要花費心思在於 (X X) -1 是一個 2 2 的矩陣, 還是一個 10 10 的矩陣, 重點應該在於 (X X) -1 所代表的意義
在將一般線性迴歸模型 (6.7) 用矩陣的形式來表示前, 先定義下列矩陣 : 其中 (6.18) Y 與 ε 的定義與簡單線性迴歸模型都相同,β 向量新增了一些迴歸參數,X 矩陣包含第一行為 1 另外有 p-1 行分別代表 p-1 個預測變數, 在 X 矩陣中的任一元素 X ik, 其列下標 i 表示第 i 次試驗或是觀察個案, 行下標 k 表示第 k 個預測變數
用矩陣的形式來表示一般線性迴歸模型 (6.7) 如下 : 其中 Y 為反應向量, 為參數向量, X 為常數矩陣, 為獨立常態隨機變數之向量 (6.19), 共變異矩陣為 :
因此隨機向量 Y 之期望值為 : (6.20) 而 Y 之共變異矩陣與相同為 : (6.21)
6.3 迴歸係數的估計 Estimation of Regression Coeffcients 將 (1.8) 中的最小平方準則推廣至一般線性迴歸模型 (6.7) 中, 成為 : (6.22) 最小平方估計量就是在滿足能使 Q 最小化的, 用向量 b 表示所得到的最小平方估計量 : (6.23) 一般線性迴歸模型 (6.19) 的最小平方標準方程式為 : 而最小平方估計量 b 為 : Y (6.24) (6.25)
根據常態誤差迴歸模型 (6.19) 所得到的最大概似估計量與 (6.25) 的最小平方估計量 b 相同, 可以先將 (1.26) 的概似函數推廣至複迴歸模型, 如下 : (6.26) 最大概似估計量就是在滿足能使 (6.26) 最大化的, 而向量 b 正能滿足能使 (6.26) 最大化, 且具有第 1 章中所介紹的不偏 最小變異 一致性與充分性等性質
6.4 配適值及殘差 Fitted Values and Residuals 將配適值 組成向量, 殘差項 組成殘差向量 e: 可以將配適值向量與殘差向量 e 分別表示成 : (6.27) (6.28) (6.29)
將配適值用 H 矩陣表示為 : (6.30) 其中, 同樣地, 殘差向量 e 可以表示為 : (6.30a) (6.31) 而共變異矩陣則可以表示為 : 其估計式為 (6.32) (6.33)
6.5 變異數分析的結果 Analysis of Variance Results 平方和與均方變異數分析的平方和透過 (5.89) 可以用矩陣表示為 : (6.34) (6.35) (6.36) 其中矩陣 J 與 (5.18) 之定義完全相同, 是一個元素全為 1 的 n n 方陣, 而矩陣 H 則是定義於 (6.30a) 中的帽子矩陣 SSTO 的自由度仍然為 (n-1), 因為模型 (6.19) 有 p 個參數需要被估計, 所以 SSE 的自由度為 (n-p), 而 SSR 的自由度則為 (p-1), 分別代表著 (p-1) 個變數 X 1,,X p-1
在表 6.1 中列出了上面的變異數分析結果以及均方 MSR 與 MSE: (6.37) (6.38) 如同簡單線性迴歸的結果,MSE 的期望值為 σ 2,MSR 的期望值為 σ 2 再加上一個非負的量, 例如當 p -1=2 時 : 除非 β 1 = β 2 = 0, 則 MSR 的期望值為 σ 2, 否則 MSR 的期望值將大於 σ 2 } { ( ) ( ) ( )( ) [ ] 2 2 1 1 2 1 2 2 2 2 2 2 1 1 2 1 2 2 2 1 X X X X X X X X MSR E i i i i + + + = β β β β σ
迴歸關係的 F 檢定 現在先考慮反應變數 Y 與預測變數 X 1,,X p-1 間是否存在迴歸關係之檢定, 虛無假設與對立假設分別為 : 採用檢定統計量 : (6.39a) 控制型一錯誤的機率不大於 α, 決策法則為 : (6.39b) (6.39c)
複判定係數 (cofficient of multiple determination) 用 R 2 表示, 其定義為 : (6.40) 它是用來表示 Y 的總變異中與預測變數 X 1,,X p-1 有關的部份, 當 p 1 = 1 時, 則複判定係數 R 2 成為 (2.72) 的簡單判定係數 r 2, 複判定係數 R 2 與簡單判定係數 r 2 有相同的範圍限制 : (6.41) 當所有 b k 為 0 時 (k = 1,, p 1), R 2 之值為零, 當所有的觀測值 Y 均落於所配適的迴歸曲面上時, 亦即, 此時 R 2 = 1 在迴歸模型中增加預測變數 只 會提高 R 2 之值, 因為更多的預測變數只可能繼續降低 SSE ( 如式 6.40), 而給定一組樣本觀測值後的 SSTO 將會固定
由於 R 2 之值會因為採用大量的預測變數而增大, 有些學者建議採用調整的複判定係數 (adjusted coefficient of multiple determination), 用符號 R 2 a 表示, 其定義為 : (6.42) 此一調整的複判定係數當模型中增加預測變數時, 可能會因為 SSE 降低的程度比不上自由度 (n-p) 損失所低消之效果, 而導致 R a 2 反而降低 說明 : 複判定係數很高不代表配適的模型有用, 例如預測變數 只 取範圍很小 的水準數, 此時即使有很高的複判定係數 R 2, 當所需預測之值總是落在觀測範圍之外, 則配適的模型沒有用 同時, 就算有很高的複判定係數 R 2, 其 MSE 還是可能會太大而造成精確過低, 而不符合實際上的需求使用
複相關係數 複相關係數 (coeffcient of multiple correlation) 是複判定係數 R 2 的正平方根 R : (6.43) 當迴歸模型 (6.19) 中只有一個預測變數 X, 也就是當 p 1 = 1 時, 複相關係數 R 等於 (2.73) 中相關係數 r 的絕對值
6.6 迴歸參數的推論 Inference about Regression Parameter 最小平方估計量與最大概似估計量 b 為不偏之估計量 : (6.44) 其共變異矩陣 : (6.45) 可以藉由下面的公式算出 : (6.46) 而估計的共變異矩陣 : (6.47)
可以藉由下面的公式算出 : (6.48) 透過 s 2 {b}, 可以求出 s 2 {b 0 } s 2 {b 1 } 以及其他所需的變異數或共變異數 β k 的區間估計對於常態誤差迴歸模型 (6.19), 有下面的推論 : (6.49) 因此關於信賴係數 (1-α) 下 β k 的信賴區間為 : (6.50) β k 的檢定 關於 β k 的檢定 : (6.51a)
可以採用檢定統計量 : (6.51b) 檢定的法則為 : (6.51c)
6.7 平均反應的估計與新觀測值的預測 Estimation of Mean Response and Prediction of New Observation E{Y} 的區間估計 給定 X 1,,X p-1 的值為 X h1,,x h(p-1), 其平均反應為 E{Y h }, 定義向量 X h 為 : 則所要估計的平均反應 E{Y h } 為 : 用 Ŷ h 表示對應向量 X h 的平均反應之估計 : 上面的估計量也是一個不偏的估計量 : (6.53) (6.54) (6.55) (6.56)
其變異數為 : (6.57) 可以將上面的變異數轉換為估計係數的共變異矩陣之函數 : (6.57a) 從 (6.57a) 中,σ 2 {Ŷ h } 是迴歸係數的估計量其變異數 σ 2 {b k } 與共變異數 σ{b k,b k } 之函數, 估計的變異數 s 2 {Ŷ h } 如下 : (6.58) E{Y} 的 (1-α) 信賴界線為 : (6.59)
迴歸曲面的信賴域 (confidence region) 在 X h 的水準下 (1-α) 的信賴域之邊界點, 可以根據下面的公式得到 : (6.60) 其中, 多個平均反應的同步信賴區間 (6.60a) 在全族信賴係數 (1-α) 下, 要估計在不同的 X h 水準下, 多個平均反應 E{Y h } 的同步信賴區間可以採用下面的兩種方法 : 1. 對於所關心的 X h, 利用 (6.60) 的 Working-Hotelling 信賴域界線 : (6.61) 2. 採用 Bonferroni 同步信賴區間, 如果要同時進行 g 個區間估計, 則 Bonferroni 信賴界線為 : (6.62) 其中, (6.62a)
新觀測值的預測 對應於一個特定水準 X h, 一個新觀測值 Y h(new) 的 (1-α) 預測界線為 : 其中 預測 X h 處下的 m 個觀測值之平均 (6.63) (6.63a) 如果在 X h 處下抽選 m 個新觀測值, 則可預測其平均數的 (1-α) 預測界線 : 其中, (6.64) (6.64a)
g 個新觀測值的預測 在全族信賴係數 (1-α) 下,g 個不同 X h 水準下的新觀測值之預測問題, 根據 Scheffé 同步預測程序, 其預測界線為 : 其中, 而 s 2 { pred }如 (6.63a) 所示 (6.65) (6.65a) 當然, 我們也可以利用 Bonferroni 同步預測程序, 在全族信賴係數 (1-α) 下, 對 g 個不同 X h 水準下進行新觀測值之預測 : (6.66) 其中, (6.66a) 在實務界的應用中, 經常先比較乘數 S 與 B, 再決定較窄區間的程序
隱藏的外插之注意事項 在複迴歸中估計一個平均反應或是預測一個新觀測值, 需特別小心是否超出了模型的適用範圍, 由於超出範圍時此模型可能並不適當 在圖 6.3 中的陰影區域是一個雙預測變數複迴歸模型, 其觀測值的範圍, 如果要預測的 X 水準是針對圖中加圓圈的點 (X h1, X h2 ), 雖然分開考慮預測變數 X 1 與 X 2 的範圍, 都符合模型觀測範圍, 但是點 (X h1, X h2 ) 卻是超出模型適用範圍
散佈圖矩陣 6.8 診斷與矯正測量 Diagnostics and Remedial Measures 各預測變數與反應變數的盒型圖 順序圖 莖葉圖以及點圖, 都可以提供這些預測變數與反應變數初步的單變量訊息 如果是對反應變數與各預測變數所做的散佈圖, 則可以提供研究人員判斷關於各預測變數與反應變數間關係的性質與強度, 並且有助於辨認資料點之間隙與離群資料, 而每一個預測變數與其他預測變數所做的散佈圖, 可以作為探討兩兩預測變數間的關係, 同時也可以辨認資料點之間隙與離群資料
將上述這些散佈圖組成如圖 6.4a 的散佈圖矩陣 (scatter plot matrix), 將更方便進行資料分析, 在圖 6.4 中, 散佈圖中的 Y 變數如該列的位置所示, 而自變數則該行的位置所示 散佈圖矩陣主要用於變數間關係的探討 Y X1 X2
相關矩陣相關矩陣 (correlation matrix) 是散佈圖矩陣的一個有用的輔助工具如圖 6.4b 中, 此矩陣包含了 Y 與其他預測變數間, 兩兩的簡單相關係數, 其排列形式如同散佈圖矩陣 : (6.67) 因為變數與自身的簡單相關係數必然為 1, 而且變數間的簡單相關係數計算不會受到順序影響, 所以相關矩陣是一個主對角元素都是 1 的對稱矩陣 三維散佈圖三維散佈圖 (three-dimensional scatter) 或是雲點圖 (point clouds), 並且允許旋轉, 圖 6.6 例示了一個三維散佈圖及其旋轉功能
殘差圖 對配適值的殘差圖可以用於評估複迴歸函數的適當性, 以及常數誤差項變異數, 並提供離群質的訊息 殘差的時序圖或順序圖提供了複迴歸中誤差項間的相關性診斷訊息, 殘差的盒型圖與常態機率圖則可用於檢查誤差項是否合理地接近常態分配 如果對每一個預測變數作出殘差圖, 將有助於提供迴歸函數對預測變數適當與否的進一步訊息 ( 如是否須考慮變數的曲線效果 ), 以及是否發生了變異程度不均一的現象 殘差也應該對未被納入模型中的重要預測變數畫圖, 觀察這些重要的預測變數是否對反應變數有重大的影響, 另外可將迴歸模型中未被考慮的潛在交互作用項如 X 1 X 2 X 1 X 3 X 2 X 3 作出殘差圖, 以觀察模型中是否須加入這些交互作用項 配適值的絕對殘差圖或是平方殘差圖有助於檢查誤差項變異數的均等性,
常態性的相關檢定 可以直接套用在複迴歸模型中, 將殘差排序後, 在常態性假設條件下的期望值依照 (3.6) 計算, 然後求出計算結果與殘差間之相關係數, 最後利用表 B.6 評估常態性假設的合理性 常數變異數的 Brown-Forsythe 檢定 當誤差變異隨著某預測變數起伏, 則 (3.9) 的 Breusch-Forsythe 檢定有助於我們判斷常數變異數假設的合理性, 其作法首先將資料分成兩組, 一組對應的預測變數值較低, 而另一組較高, 然後進行與簡單迴歸分析時一樣的檢定程序 常數變異數的 Breusch-Pagan 檢定 當誤差變異隨著某預測變數起伏, 則 (3.11) 的 Breusch-Pagan 檢定也有助於我們判斷常數變異數假設的合理性, 其作法首先將殘差平方後對預測變數進行簡單迴歸, 計算其迴歸平方和 SSR*, 並使用原複迴歸模型中的誤差平方和 SSE 進行簡單線迴歸時一樣的檢定程序
配適不良的 F 檢定 在複迴歸模型中, 檢定以下反應函數是否為一個適當的反應曲面 : E{Y}=β 0 +β 1 X 1 +.. β p-1 X p-1 在複迴歸中, 重複觀測值的取法是固定每一個預測變數值, 重複觀察數次反應變數之結果 當表 6.1 的 ANOVA 表完成後, 將 SSE 分解成 ( 純誤差 SSPE) 與配適不良成分 (SSLE),( 配適不良平方和 SSLE=SSE-SSPE) 並計算純誤差平方和 SSPE,
首先計算每一個重複組內 Y 觀測值對組內平均的離差平方和 SSE, 假設有 c 組重複觀測值, 表示固定過 c 次測變數的值, 分別進行重複反應變數之觀測值, 而第 j 組的 Y 觀測值平均數用符號表示, 所有的 c 組平方和相加即為 (3.16) 的純誤差平方和 SSPE, (3.24) 的配適不良平方和 SSLE=SSE-SSPE SSPE 的自由度為 (n c),sslf 的自由度為 (n p) (n c) = (c p), 所以針對下面的檢定 : (6.68a) 檢定統計量為 : (6.68b) 其中 SSLF 與 SSPE 如 (3.24) 與 (3.16) 所示, 最後有決策法則 : (6.68c)
矯正測量 在複迴歸模型中, 有時需要一個較為複雜的模型以描述曲線關係或是交互作用, 例如將 X 2 2 視為一個變數, 來描述 X 2 的曲線效果, 或將 X 1 X 3 視為一個變數, 來描述 X 1 與 X 3 對反應變數的交互作用 對預測變數或反應變數進行變數轉換, 以矯正模型的缺失 當誤差項的分配呈現明顯偏態情形, 或是違背常數變異的情形, 可以對反應變數進行變數轉換, 經過對預測變數或反應變數轉換後, 有時可以不必考慮交互作用的效應 變數轉換的有效性需要再次經過殘差圖或是其它診斷工具, 來檢驗轉換後的複迴歸模型是否適當
6.9 雙預測變數的複迴歸案例 An Example-Multiple Regression with Two Predictor Variables 案例介紹 Dwaine 工作室在 21 個一般規模的城市中經營兒童肖像業務工作, 此時公司考慮在其他一般規模的城市中擴充營業據點, 所以想研究社區之營業額 (Y) 是否可以經由社區內十六歲以下之人口數 (X 1 ) 與平均每人可支配所得 (X 2 ) 預測, 目前該公司所經營的 21 個城市進一年來的資料如圖 6.5(b) 所示, 其中營業額 (Y) 的單位是千元, 輸出標記為 SALES, 十六歲以下之人口數 (X 1 ) 的單位是千人, 輸出標記為 TARGTPOP, 平均每人可支配所得 (X 2 ) 的單位是千元, 輸出標記為 DISPOINC 圖 6.5
從圖 6.4a 中的 SYGRAPH 散佈圖矩陣來看, 似乎可以預期為具有常態誤差的第一階迴歸模型 : (6.69) 應注意的是 X 1 與 Y X 2 與 Y 間的線性關係, 而後者的關係似乎較為鬆散, 同時 X 1 與 X 2 好像也有線性關係, 從圖 6.4b 中的數據可以支持圖 6.4a 中視覺判斷 Y X 1 X 2
透過 SYGRAPH 所畫出的雲點圖 6.6a 中, 將座標軸旋轉將出現圖 6.6b 的結果此一結果似乎也暫時支持迴歸函數為反應平面的假設性判斷
基本計算 Dwaine 工作室案例之 X 與 Y 如下 : 先計算 : 1. (6.70) 結果為 : (6.71)
2. 結果為 : (6.72) 3. 應用 (5.23) 可以得到結果 : (6.73)
代數等式在第一階迴歸模型 (6.69) 中的 X X 為 : 或是 : (6.74) 在 Dwaine 工作室案例中可以計算出 : n=21 X i1 = 68.5+45.2+.= 1,302.4 X i1 X i2 = 68.5(16.7)+45.2(16.8)+. = 22,609.2 X i2 = 360.0 等等這些結果在 (6.71) 中都可以找到
關於雙預測變數下的第一階迴歸模型 (6.69),X Y 為 : (6.75) 在 Dwaine 工作室案例中, 可以計算出 : Y i = 174.4+164.4+.= 3,820 X i1 Y i = 68.5(174.4)+45.2(64.4)+.= 249,643 X i2 Y i = 16.7(174.4)+16.8(64.4)+.= 66,073 這些結果在 (6.72) 中都可以找到 迴歸函數的估計從 (6.25) 中可以立即利用 (6.72) 與 (6.73) 計算最小平方估計量 b:
結果為 : 所以所估計的迴歸函數為 : (6.76) Ŷ=-68.857+1.455 X 1 +9.366X 2 畫出了反應變數疊印在所估計的迴歸函數平面上之情形, 連接在迴歸函數平面上的許多小段垂直細線, 表示對應的觀測值之殘差
圖 6.5a 為 Dwaine 工作室案例中的 SYSTAT 複迴歸輸出, 所估計的迴歸係數在欄位 COEFFICIENT 下 SYSTAT 也同時輸出 (X`X) -1, 由於它是一個對稱矩陣, 所以只有輸出該矩陣的左下角, 結果自然與 (6.73) 相同 圖 6.5a Dwaine 工作室案例
標準方程式的代數版本雙預測變數下的標準方程式之代數式可以透過 (6.74) 與 (6.75) 得出 : 因此有下面的標準方程式 : (6.77)
配適值及殘差 有關迴歸模型 (6.69) 對於資料的適切性的檢查工作, 先計算配適值 Ŷ i 與殘差 e i =Y i -Ŷ i, 根據 (6.28) 可以得到 : Ŷ=Xb Ŷ i 1 68.5 16.7-68.857 187.2 Ŷ 2 = 1 45.2 16.8 1.455 = 154.2 : : : : 9.366 : Ŷ 21 1 52.3 16.0 157.1 再利用 (6.29), 可以得到 e=y-ŷ e 1 174.4 187.2-12.8 e 2 = 164.4-154.2 = 10.2 : : : : e 21 166.5 157.1 9.4
圖 6.5b 第五欄及第六欄為配適值與殘差的電腦計算結果輸出, 再計算之結果較為精細模型配適度分析
模型配適度分析 圖 6.8a 中的配適值殘差圖來看, 圖中似乎沒有出現任何對於反應平面的系統性偏離, 也有看不出誤差項變異數與 Ŷ 之高低有相關性, 圖 6.8b 與圖 6.8c 是殘差 e 分別對於 X 1 與 X 2 的關係圖, 圖示反應函數的良好配適與常數的誤差變異數
在複迴歸模型的應用上, 可以透過對 X 1 X 2 畫出殘差圖來檢查 X 1 與 X 2 是否存在交互作用, 在對 X 1 X 2 殘差圖在圖 6.8d, 當圖中顯示某些型態時, 則可能需考慮交互作用效應, 此時反應函數可能為 : E { Y } =β 0 +β 1 X 1 +β 2 X 2 +β 3 X 1 X 2 不過, 在圖 6.8d 中沒有顯示任何系統性的型態, 因此不考慮交互作用效應
圖 6.9 是另外兩個診斷圖形, 在圖 6.9a 中所畫為配適值對絕對殘差圖, 圖中看不出來變異數有不穩定大小的情形, 圖 6.9b 是殘差的常態機率圖, 散佈的型態略為呈現直線, 將殘差排序後與常態期望值得相關係數為 0.980 ( 根據表 B.6, 在 n=21,α= 0.05 經過內插結果得到臨界值為.9525), 高的相關係數有助於確認誤差項沒有明顯背離常態分配之假設
變異數分析 檢定營業額是否真與十六歲以下人口數及平均每人可支配所得有迴歸關係, 可以製作 ANOVA 表來分析, 表中所需數據包括 : Y Y = 174.4 164.4 166.5 174.4 = 721.072.40 164.4 : 166.5 ( 1/n ) Y JY = [174.4 164.4 166.5] 1 1 1 174.4 SSTO = Y Y -(1/n)Y `JY SSE = Y Y - b X Y 1 1 1 164.4 ::: : 1 1 1 166.5 = (3820.0/21) 2 = 694.876.1
因此, SSTO=Y Y-(1/n)Y JY=721.072.40-694.876.19=26,196.21 另一方面, 從 (6.72) 與 (6.76) 的結果, 我們有 SSE = Y Y- b X Y 3,820 = 721,072.40 -[-68.857 1.455 9.366] 249,643 66,073 = 721,072.40-718,891.47 = 2,180.93 將上面兩個結果相減 : SSR = SSTO SSE = 26,196.21-2,180.93 = 24,015.28 圖 6.5a 中 ANOVA MSR MSE
迴歸關係的檢定 要檢定營業額是否真與十六歲以下人口數及平均每人可支配所得有迴歸關係, 可以考慮 : H 0 :β 1 = 0 與 β 2 = 0 H α :β 1 與 β 2 非全為 0 採用檢定統計量 (6.39b): F*= MSR MSE 12,007.64 121.1626 99.1 上面的檢定統計量在 SYSTAT 輸出位置在標視為 F-RATIO 的地方, 在顯著水準 α= 0.05 下, 臨界值 F(0.95;2, 18) = 3.55 < F* = 99.1, 所以結論為拒絕 H 0 之虛無假設 ( 接受 H a 之對立假設 ), 也就是營業額的確與十六歲以下人口數及平均每人可支配所得有迴歸關係, 此一檢定的 p- 值在 SYSTAT 的輸出位置標視為 p 的地方,SYSTAT 輸出為 0.0000 = =
複判定係數透過 (6.40) 可以得到 : SSR 24,015.28 R 2 = = =.917 SSTO 26,196.21 只考慮十六歲以下人口數及平均每人可支配所得這兩個預測變數, 則可以解釋了營業額資料變異原因的 91.7% (0.917), 複判定係數 R a 在 SYSTAT 的輸出位置在標示為 SQUARED MULTIPLE R 的地方,SYSTAT 的輸出還包括了複相關係數 R = 0.957 以及 (6.42) 的調整的複判定係數 R 2 a = 0.907,SYSTAT 的輸出位置在標示為 ADJUSTED SQUARED MULTIPLE R 的地方, 在本案例中變數的個數對 R 2 影響很小
迴歸參數的估計 案例中由於截距項落在模型範圍外很遠, 所以參數 β 0 並不感興趣, 現在要進行的是關於全族信賴係數 0.90 下,β 1 與 β 2 的聯合估計, 將採用 Bonferroni 同步信賴界限的程序 首先需先計算共變異矩陣的估計量 : 在圖 6.5a 中已經輸出了 MSE, 而過, 所以 : 則在 (6.73) 中計算 (6.78)
所需的兩個變異數或是標準差之估計量為 : s 2 {b 1 } = 0.448 或 s {b 1 } = 0.212 s 2 {b 2 } = 16.514 或 s {b 2 } = 4.06 n-p=21-3 其次需要 g = 2 個聯合估計數 : B = t[1-0.10 2(2);18]= t(0.975;18)= 2.101 所以同步信賴界限的結果為 1.455 ± 2.101(0.212) 與 9.366 ± 2.101(4.06), 而信賴區間為 : 1.01 β 1 1.90 0.84 β 2 17.9 在全族信賴係數 0.90, 可以合理推論 β 1 落在 1.01 與 1.09 之間,β 2 落在 0.84 與 17.9 之間 上面關於 β 1 與 β 2 的聯合信賴區間指出了範圍都是正值, 這一點也正式當其他條件不變時, 隨著十六歲以下人口數增加, 以及平均每人可支配所得增加, 符合預期營業額增加的理論
平均反應的估計 Dwaine 工作室想估計, 當十六歲以下人口數 X h1 = 65.4 千人, 平均每人可支配所得 X h2 = 17.6 千元時, 一城市的期望營業額之 95% 信賴區間, 先定義 : 1 X h = 6.54 17.6 平均營業額可以從 (6.55) 計算出 : -68.875 Ŷ h = X h b = 1 6.54 17.6 1.455 = 191.10 9.366
根據 (6.58), 同時應用 (6.78) 的結果, 其變異數之估計量為 : s 2 {Ŷ h }= X h s 2 {b} X h 3602.0 8.748-241.43 1 =[1 65.4 17.6] 8.748 0.448-0.679 65.4 =7.656-241.43-0.679 16.514 17.6 或是 s {Ŷ h } =2.77 要符合信賴係數 0.95, 我們需要 t(0.975;18) = 2.101, 利用 (6.59) 可以得到信賴界限為 191.10 ± 2.101(2.77), 所以 E{Ŷ h } 之 95% 信賴區間為 : 185.3 E {Ŷ h } 196.9 亦即在信賴係數.95 下, 當十六歲以下人口數 X h1 = 65.4 千人, 平均每人可支配所得 X h2 = 17.6 千元時, 一城市的期望營業額將介於 183.5 至 196.9 之間
變異數估計量 s 2 {Ŷ h } 的代數版本利用 (6.58) 在雙預測變數的第一階模型中, 我們有 : 新觀測值的預測界限 (6.79) 在 Dwaine 工作室的可能擴充方案中, 需要預測兩個新城市的營業額, 有如下的資料 : A 城市 B 城市 X h1 65.4 53.1 X h2 17.6 17.7 預測區間需要有 90% 的全族信賴係數, 注意這兩個城市的資料並沒有在原先 21 各城市的資料範圍內
為了評估哪一個同步預測區間較佳, 先依照 (6.65a) 與 (6.66a) 分別計算 S 與 B, 其中 g = 2,1-α = 0.90, 結果為 : S 2 =2F(.90;2,18)=2(2.62)=5.24, S=2.29 且 B=t[1-.10/2(2);18]= t (.975;18)=2.101 所以在本案例中 Bonferroni 程序的界限效率較佳 ( 較小 ) 對於 A 城市而言, 因為預測變數的值跟前面估計平均營業額相同, 所以可以引用 : Ŷ h =191.10 s 2 {Ŷ h } =7.656 MSE=121.1626 透過 (6.63a) 可以得到 : s 2 { pred } =MSE+s 2 {Ŷ h }=121.1626+7.656=128.82 或是 s { pred } =11.35 類似的過程在 B 城市上 ( 計算省略 ): Ŷ h =174.15 s { pred } =11.93
Bonferroni 乘數 B=2.101, 所以利用 (6.66) 可以得到全族信賴係數 0.90 的同步預測界限為 191.10 ± 2.101(11.35) 與 174.15 ± 2.101(11.93), 所以同步預測區間為 A 城市 :167.3 Y h(new) 214.9 B 城市 :149.1 Y h(new) 199.2 在全族信賴係數 0.90 下, 預測這兩個城市之營業額將會落在上面的界限內,Dwaine 工作室認為這樣的預測界限對計畫有些幫助, 但是希望能針對特定城市之營業額有更窄的預測區間, 因此聘請顧問研究是否尚有其他預測變數可以幫助 Dwaine 工作室做出更窄的預測區間 在上例中雖然複判定係數 R 2 = 0.917 相當高, 但是預測界限卻未能使人滿意, 這提醒了就算是高的 R 2 值, 也並不代表必然有高精確度的預測