平均數的變異分析 ANOVA 與 F TEST 變異數分析的基本原理 平均數差異檢定 : 計算兩個母體平均數間的差異, 如果差異夠大, 大於統計上的隨機差異, 便可能獲得顯著的結果, 拒絕虛無假設 接受對立假設 (z 檢定 t 檢定 p 值檢定 ) 平均數變異分析 : 超過兩個母體平均數間的差異的檢定, 其原理是以平均數間的變異數 ( 組間變異 ) 除以隨機變異得到的比值 (F 值 F 檢定 ), 能同時檢定三個 ( 或以上 ) 平均數的差異情形 當 F 值越大, 表示研究者關心的組間 ( 母體間 ) 平均數的分散情形較誤差變異來得大, 若大於研究者設定的臨界值, 研究者即可獲得 拒絕虛無假設 接受對立假設 的結論 Z obt X μ X μ = σ σ n = F=MS b /MS w X
變異數分析的基本原理 平均數變異分析 : 統計資料常會受到不同因素 (factor) 的影響, 而使個別觀測值產生差異 例如, 欲研究某農地稻米產量的差異是否顯著, 可能影響產量的因素有稻米種類 肥料 氣候及土壤 等等 但是這些影響因素是否顯著, 則可以透過變異數分析方法 先求算樣本總變異 (total varablty), 再依不同的影響因素將其分解為若干可解釋變異 (explaned varaton) 與不可解釋變異 (unexplaned varaton), 最後再利用 F 分配右尾來進行統計資料的檢定 3. 實驗單位 (experment unt): 實驗設計中所測量的基本單位. 因子 (factor): 實驗單位中各種不同的影響條件 3. 水準 (level): 一因子出現的各種不同條件 4. 處理 (treatment): 不同因子水準的每個特定組合稱為處理 如欲瞭解某塊農地單位面積 ( 即為實驗單位 ) 稻米產量是否有差異, 若研究三種不同的稻米種類是否會造成產量的差異, 則此問題為單因子變異數分析 (one factor ANOVA), 因子為稻米種類, 且具有三個水準 假若現在所要探討的因素增加二種土壤種類, 則此問題為二因子變異數分析 (two factors ANOVA), 因子有稻米及土壤種類, 其各自的水準分別為 3 和, 因此共可產生 3 *=6 種處理 依此類推, 尚有三因子 四因子等變異數分析 4
單因子變異數分析 (Sngle Factor ANOVA) 統計學家為了使變異數分析更具有效率, 設計許多實驗方法, 稱為實驗設計 (desgn of experment;doe), 主要是利用實驗設計中隨機化與重複性兩種特性來使其他無關的影響因素相互抵消, 藉以增加檢定結果的可靠度 實驗設計的種類很多, 最主要的有獨立樣本的完全隨機化設計 (completely randomzed desgn) 及相依樣本的隨機化區集設計 (randomzed bloc desgn) 完全隨機化設計 ( 獨立樣本 ) 處理 ( 水準 ) 觀測值總和平均數 y y y n y y y y y n y y Y y y n y y 總計 y y y j : 處理 的第 j 個觀測值 n : 處理 的樣本觀測值個數 n = y. y j : 處理 的樣本觀測值總和 j= = n y.. = y. = y: 所有樣本觀測值總和 y y / n y = j= j. =. : 處理 下的樣本觀測值平均數 = y = : 所有樣本觀測值平均數 3
H 0 :μ = μ = = μ H :μ, μ,, μ 不全相等 應用 ANOVA 方法 ANOVA 的基本假設. 每個反應變數的母體均為常態分配. 每個母體變異數均相同 3. 來自各母體的隨機樣本互為獨立 y j ~ N(μ, σ ) y j = μ + ε j (ε j ~ N(0,σ ) 且 ε j 互為獨立, =,,,,j =,,,n ) α = μ - μ = 第 個處理效應 (treatment effect) d y j = μ + α + ε ε j ~ N(0, σ ); ε j 互為獨立 ; j = α = 0 H 0 :α = α = = α = 0 H : 至少有一 α 不等於 0, =,,, 單因子變異數分析是在檢定多個處理平均值是否相同, 即檢定處理水準的效應存在與否 變異來源平方和 (SS) 自由度 (df) 均方 (MS) 組間 組內 ( 誤差 ) SS SS b w = n ( y. y.. ) = = n = j= 合計 SS = y t n j - SSB MS b = ( yj y ) N SSE. MS w = N ( y N- j.. ) 變異數分析的主要原理係將全體樣本在依變項的變異情形, 其 導因於自變項影響的變異 與 導因於誤差的變異 兩個部份加以分別計算 將總離散量 ( 總變異 ) 拆解成自變項 ( 組間 ) 效果與誤差 ( 組內 ) 效果兩個部份, 再加以比較 4
. 不論各處理的平均值相等與否,MSE 均是誤差項 ε j 的變異數 σ 之不偏估計式 其原因是因為隨機出現的誤差並不會受到 μ 的影響. 若在虛無假設 H 0 成立下, 則 E[MS b ]=E[MS w ]=σ, 故在 H 0 假設下,MSB 和 MSE 均為 σ 的不偏估計量 反之, 若 μ 不全相等 ( 即拒絕 H 0 ), 則 E[MS b ]>E[MS w ]= σ, 即只要 μ 不全相等, 則 MS b 恆大於 MS w H 0 :μ = μ = = μ H :μ, μ,, μ 不全相等 H 0 :E[MS b ] = E[MS w ] H :E[MSb] > E[MSw] E(MS w ) = σ H 0 為真時, 母體為常態分配的基本假設下 E(MS b )=σ +Σn (μ -μ)/(-) SS b /σ ~ χ (-);SS w /σ ~ χ (N-) 且 SS b /σ 與 SS w /σ 互為獨立 SS F = σ SS σ b w ( ) MS = ( N ) MS b w ~ F(, N ) 當 F 值愈大 ( 即 MS b 愈大於 MS w ), 表示 μ 不相等, 故應拒絕虛無假設 H 0 單因子變異數分析模式 : y j = μ + ε j = μ + α + ε j, =,,,,j=,,,n, α 為第 個處理的處理效應 在基本假設成立下, 單因子變異數分析即在檢定 H 0 :μ = μ = = μ H :μ, μ,, μ 不全相等 獨立樣本單因子變異數分析表 或 H 0 :α = α = = α = 0 H :α 有一不為 0 變異來源 SS df MS F 組間 SS b - SS b /df b MS b /MS w 組內 ( 誤差 ) SS w N- SS w /df w 全體 SS t N- 在顯著水準 α 下, 當 F > F α (-, N-), 則拒絕虛無假設, 即表示處理間之平均數有顯著差異 5
例 設隨機選擇條件相同的數塊田地, 分別以甲 乙 丙 丁四種不同品種的稻米來做實驗, 得到的收穫量 ( 千公斤 ) 如下表 : 處理觀測值平均數 甲 8 5 9 8 0 y. =8 乙 4 6 y. =4 丙 9 4 5 0 y 3. = 丁 0 8 9 0 y 4. =0 總平均 y.. = 試問在顯著水準 α = 0.05 下不同品種的稻米的平均產量是否會有顯著的差異? 設 μ, μ, μ 3, μ 4 分別為稻米品種甲 乙 丙 丁的母體平均產量 H 0 :μ = μ = μ 3 = μ 4 H :μ 不全相等 例 ANOVA Table 變異來源平方和 (SS) 自由度 (df) 均方 (MS) F 值 處理間 SSB=8 3 誤差 SSE=58 4 合計 SST=40 7 MSB=8/3 =7.33 MSE=58/4 =3.43 MSB/MSE= 7.3/3.43=7.97 在顯著水準 α = 0.05 下的拒絕域為 F > F 0.05 (3,4) = 3.35 因 F = 7.97 > 3.35 = F 0.05 (3,4), 故拒絕虛無假設 H 0, 表示此四種不同品種的稻米平均產量有顯著的差異 6
隨機化區集 (Bloc) 設計 區集設計是在比較 種處理時, 設計者安排相同條件, 或條件極為接近的一些個體當成一個區集 (bloc), 且每一個區集的實驗個數均相同, 其目的是為了減少實驗的誤差, 增加檢定能力 例如, 比較四種稻米的產量時, 若實驗是在某四個地區中各選取一塊條件相近的農地為一區集, 我們希望實驗的誤差愈小愈好, 故利用區集將農地間的變異從原有的實驗誤差 (SSE) 隔離出來, 以增加變異數分析的檢定能力 隨機化區集設計是使用最廣泛的一種實驗設計, 如在機器設備操作上, 操作員最常被定義為區集, 其他如原物料的進貨批次 時間等都可以透過區集劃分, 將區集的變異從實驗誤差隔離出來 3 區集處理 隨機化區集設計 b 處理和處理平均 y y y b y y. y y y b y y. a y a y a y ab y a y a. 區集總和 y y yb 總和 y.. = j y j 區集平均. y. y y. b 總平均 y.. = y.. N y j : 處理 下在區集 j 的觀測值 4 7
區集設計的統計模型為 : 隨機化區集設計 y j = μ + α + β j + ε j =,,,a;j =,,,b 其中,μ 是母體平均數,α 是處理 的效應,β j 是區集 j 的效應, d ε ~ N(0, σ ) j 且 ε j 互為獨立 a = 總差異 = 處理差異 + 區集差異 + 隨機誤差 SST = a b = j= SSBL = a b j= y j y. j y.. N y.. N SSTR = b SSE = SST SSTR SSBL 其中 N=ab a = α = 0 = 0 y. y.. N b β j j= 5 隨機化區集設計之 ANOVA 表 平方和變異來源 (SS) 自由度 (df) 均方 (MS) F 值 處理間 SSTR a MSTR=SSTR/(a-) F=MSTR/MSE 區集間 SSBL b MSB=SSB/(b-) 誤差 SSE (a-)(b-) MSE=SSE/(a-)(b-) 合計 SST N- 隨機化區集設計之變異數分析的決策法則 在顯著水準 α 下, 若 F=MSTR/MSE > F α ((a-), (a-)(b-)), 則拒絕 H 0 ; 反之, 若 F F α ((a-), (a-)(b-)), 則接受 H 0 6 8
單因子變異數分析資料實例 可以計算出四個平均數, 即三個組平均數與一個總平均數 (grand mean) 變異數分析檢定的就是這三個組平均數是否具有顯著的差異 研究假設 ( 對立假設 ): 高 中 低三種不同運動量的受測者, 其睡眠時間不同 H :μ x μ x μ x3 輕度運動量組 中度運動量組 重度運動量組 6.5 7. 7.4 7.4 8.0 8. 7.3 7.9 6.8 8. 7.7 8.5 6.6 8. 6.7 8. 7. 9.5 7.4 7.7 7.3 8.0 7.6 8.7 7. 7.5 7.6 7.6 6.6 9.6 6.8 7.6 7.4 8.0 7. 9.4 =ΣX j /n =7.3 =ΣX j /n =7.54 3=ΣX 3j /n 3 =8.8 t = ΣX j /N=7.68 變異數分析實例 變異來源 SS df MS F 組間 4.754.377.003 組內 ( 誤差 ) 6.88 33 受試者間.536.049 殘差 4.753.6 全體.04 35 8 9
固定效果模式與隨機效果模式 固定效果模式 (fxed effect model) 當一個研究的自變項的水準個數 ( 組 ), 包括了該變項所有可能的水準數 (K 組 ), 也就是樣本的水準數等於母體的水準數 (K=) 例如比較大學四個年級學生的曠課次數, 此時自變項為年級, 具有四個水準, 而母體亦為四個年級 隨機效果模式 (random effect model) 研究所取用的自變項, 只包含特定的一些水準, 而並非包括所有可能的類別, 即樣本的水準數小於母體的水準數 (K>) 例如教育學者比較不同的教學方法對於學生學習的影響, 自變項可能包括啟發法 講演法 多媒體法等, 不論研究者取用幾種, 事實上均無法涵蓋所有的教學方法, 該研究所關心的三個水準, 可以說是隨機自教學方法的母體中, 隨機取用得來的 隨機效果模式所得到的結論, 在推論上需考量如何自所選取的水準去推論自變項的所有水準 9 因子設計 (Factoral Desgn) 單一觀測值 (sngle replcaton) 的二因子實驗設計 B 因子 A 因子 b y y y b y y y b a y a y a y ab 0 0
因子設計 (Factoral Desgn) 單一觀測值 (sngle replcaton) 的二因子 ANOVA 表 變異來源 平方和 (SS) 自由度 (df) 均方 (MS) F 值 A 因子 SSA a- MSA=SSA/(a-) F A =MSA/MSE B 因子 SSB b- MSB=SSB/(b-) F B =MSB/MSE 誤差 SSE ( a )( b ) MSE=SSE/(a-)(b-) 合計 SST N ab- 檢定二個假設 : H 0 :μ A = μ A = = μ Aa H :μ A 不全相等 H 0 :μ B = μ B = = μ Bb H :μ Bj 不全相等 在顯著水準 α 下, 若 F A > F α ((a-), (a-)(b-)), 則拒絕 H 0, 表示因子 A 的不同水準對反應值有顯著差異 ; 若 F B > F α (b-), (a-)(b-), 則拒絕 H 0, 表示因子 B 的不同水準對反應值有顯著差異 因子設計 (Factoral Desgn) 重複實驗 (multple replcatons) 的二因子變異數分析 若對每一個處理組合均進行相同次數的實驗, 則稱為均衡的實驗設計 (balanced desgn of experment) B 因子 A 因子 b A 因子總和 A 因子平均數 y,y, y,y, y b,y b, y, y n, y n, y y.. bn y,y, y,y, y b,y b, y, y n, y n, y y.. bn a y a,y a,, y an y a,y a,, y an y ab,y ab,, y abn y a y a.. B 因子總和 y y y b 總和 y B 因子平均數.. y.. y y.b. 總平均 y...
因子設計 (Factoral Desgn) 二因子重複實驗之統計模型為 : y j = μ + α + β j + αβ j + ε j =,,,a;j =,,,b ; =,,,n 其中,μ 是母體平均數,α 是 A 因子 水準的效應,β j 是 B 因子 j 水準的效應, 而 αβ j 代表 A 因子 水準及 B 因子 j 水準間之交互作用 檢定三個假設 : H 0 :μ A = μ A = = μ Aa H :μ A 不全相等 H 0 :μ B = μ B = = μ Bb H :μ Bj 不全相等 H 0 :αβ j = 0 或 A B 無交互作用 H : 交互作用至少有一個不為 0 3 因子設計 (Factoral Desgn) 二因子重複實驗之 ANOVA 表 : 變異來源 平方和 (SS) 自由度 (df) 均方 (MS) F 值 A 因子 SSA a- MSA=SSA/(a-) F A =MSA/MSE B 因子 SSB b- MSB=SSB/(b-) F B =MSB/MSE AB 交互作用 SSAB (a-)(b-) MSAB= SSAB/(a-)(b-) 誤差 SSE ab(n-) MSE=SSE/ab(n-) 合計 SST abn F AB =MSAB/MSE 在顯著水準 α 下, 若 F A > F α ((a-), ab(n-)), 則拒絕 H 0 ; 若 F B > F α ((b-), ab(n-)), 則拒絕 H 0 若 F AB > F α ((a-)(b-), ab(n-)), 則拒絕 H 0 4
ANOVA 的基本假設 ( 一 ) 常態性假設變異數分析需處理超過三個以上的平均數, 須假設樣本是抽取自常態化母群體, 當樣本數越大, 常態化的假設越不易違反 ( 二 ) 隨機化假設 ( 三 ) 變異數同質性假設 (σ =σ = =σ =σ ) 多個樣本平均數的比較, 必須建立在樣本的其他參數保持恆定的基礎上, 如果樣本的變異數不同質, 將造成推論上的偏誤 也就是樣本變異數同質性假設 (homogenety of varance) ( 四 ) 可加性假設 (SS t =SS b +SS w ) 變異數分析牽涉到變異量的拆解, 因此, 各種變異來源的變異量須相互獨立, 且可以進行累積與加減, 稱為可加性 (addtvty) 假設 在進行加總時, 係使用離均差平方和 (SS), 而非變異數本身 ( 五 ) 球面性假設 (sphercty) 適用於相依樣本的變異數分析, 係指不同水準的同一組樣本, 在依變項上的得分, 兩兩配對相減所得的差的變異數必須相等 ( 同質 ) 也就是說, 不同的受試者在不同水準間配對或重複測量, 其變動情形應具有一致性 若違反基本假設 :ANOVA 產生錯誤結果 ( 一 ) 非常態性 : 易犯 Type-I 誤差 () 稍微違反常態性 較不影響 ( 尤其是對稱但非常態者 ); 樣本數,F 統計量具強韌性 () 偏態對 Type-I 誤差影響較小, 但樣本數不多時, 對檢定力影響較大 峰度為低闊峰時,F 檢定較鬆散,Type-I 誤差會增加 ( 二 ) 非隨機性 : 影響內外在效度 ( 三 ) 變異數非同質性 : 若變異數異質情形嚴重, 可將原始分數轉換, 以使變異數同質化 分數轉化的目的 :() 使誤差變異數同質性 ;() 誤差效果常態化 ; (3) 獲得效果值的可加性 分數轉化方法 : 平方根轉換法 對數轉換法 倒數轉換法 反正弦轉換法 變異數同質性檢定方法 :Barlett Test, Hartley Test, Brown- Forsythe Test, Welch Test SPSS Levene Test;SAS Hartley 最大最小變異法 ( 四 ) 非獨立性 ( 可加性 ): 當每個受試者有 個以上觀測値誤差項非獨立, 影響 Type-I 誤差與 F 統計檢定力 3
整體檢定與多重比較 整體檢定 (overall test): 當變異數分析的 F 檢定值達顯著水準, 即推翻平均數相等的虛無假設, 亦即表示至少有兩組平均數之間有顯著差異存在 多個平均數差異之整體效果 (overall effect) 達顯著水準 當整體檢定呈顯著性時, 需檢驗兩兩個別平均數間是否存在顯著不同, 即進行多重比較 (multple comparson) 之檢定 多重比較在進行 F 檢定之前進行, 稱為事前比較 (pror comparsons), 在獲得顯著的 F 值之後所進行的多重比較, 稱為事後比較 (posteror comparsons) 7 多重比較 -- 事前比較 又稱為計畫比較 (planned comparson), 是指在進行研究之前, 研究者即基於理論的推理或個人特定的需求, 事先另行建立研究假設, 以便能夠進行特定的兩兩樣本平均數的檢定, 而不去理會所有平均數整體性的比較 事前比較應用 t 檢定的原理, 針對特定的水準, 進行平均數差異檢定 進行事前比較需在研究進行之初即應先行提出特殊的研究假設 在統計軟體中可以利用對比 (contrast), 設定特殊的線性組合模式, 來檢定特定因子水準平均數間的差異 8 4
多重比較 -- 事前比較 若檢定結果為拒絕 H 0, 則可進一步探討 μ,, μ 中, 是否存在某兩個處理平均間並無顯著差異 是否存在何者最大或最小等等問題 聯立信賴區間 ( 多重信賴區間 ) 在 個處理中, 兩處理平均 (μ - μ j ) 的 00( α)% 之聯立信賴區間為 ( X X j ) ± t 其中, S p = α m m = C S p MSE + n n j ( 在 個處理中, 處理成對的組數 ), t 分配的自由度等於 MSE 的自由度 這些信賴區間的信賴水準變成 α C 9 多重比較 -- 事後比較 (Post hoc Test) ( 一 ) 假設各組變異數相同 多重比較多運用差距檢定法 (Studentzed Range Test) 原理進行, 即與 t 檢定原理類似 ( 平均數差異的檢定 ) Tuey s HSD (T) 法 : 將所有的配對比較視為一體, 使整個研究的 Type I 誤差維持衡定 適用於雙尾檢定, 亦適用於各組之 n 相等情況 n 不相等情況 : 採用 Tuey-Kramer (K) 法 紐曼 - 庫爾 (N-K) 法 (Newman-Keuls Method): 依平均數大小次序採用不同的臨界 Q 值 適用於各組之 n 相等情況 此法無法取得信賴區間 組數 >3 時, 無法維持預設之 α 値 檢定力較強, 較易拒絕虛無假設 註 :HSD 法對於平均數配對差異檢驗較 N-K 法嚴謹, 但是 HSD 法的統計檢定力則較 N-K 法為弱 30 5
多重比較 -- 事後比較 (Post hoc Test) ( 一 ) 假設各組變異數相同 雪費法 (Scheffe s methed) 一種以 F 檢定為基礎, 適用於各組之 n 不相等的多重比較技術 此方法對資料違反 常態性 與 變異數同質性 兩項假定較不敏感, 可控制整體 α 値, 且犯 type I 誤差的機率較小, 可說是各種方法中最嚴格 檢定力最低的一種多重比較法 Fsher s LSD (Least Sgnfcant Dfference) 法 Fsher-Hayter 法 REGW F, Q 法 Duncan 法 : 與 N-K 法類似, 但不同組數採用不同顯著水準 3 多重比較 -- 事後比較 (Post hoc Test) ( 二 ) 假設各組變異數不同 杜納法 (Dunnett method) 類似於 Scheffe 法, 適用於實驗研究中, 有 個平均數,- 個為實驗組, 一個對照組, 每一個實驗組需與對照組比較, 因此需進行 - 次配對比較 type I 誤差的設定, 是以整體實驗的成敗為考量 杜納法基於 t 分配的機率原理, 檢定 - 個實驗組的平均數與單一控制組的平均數之間的差異顯著性, 屬於非正交比較 (non-orthogonal comparson) 3 6
多重比較 -- 事後比較 (Post hoc Test) 多重比較檢定方法 成對比較 各組 n 相等 變異數同質 Fsher s LSD Scheffe ( 非成對亦可 ) R-E-G-W F R-E-G-W Q Newman-Keuls Tuey s HSD Tuey-Kramer Duncan Dunnett s T3 Dunnett s C Games-Howell 7