量表之合適度檢驗 : 信度與效度的型式 信度測量 ( 量表的可信度 ) 穩定性 內部一致性 複本信度 再測信度 問項一致性信度 量表合適性 折半信度 表面效度 效度測量 ( 量表是否準確測量到構念 ) 內容效度 效標關聯效度 預測效度 同時效度 建構效度 收斂效度 區辨效度 1
... 何時會使用信度 / 效度的檢測? 1. 自創一個新的量表時 2. 擷取同一個概念的不同量表, 取其部份問項整合成一個量表來衡量該構念 3. 增刪他人量表 4. 引用他人量表, 但該量表較新 5. 引用他人量表, 令受試者自評 ( 但事實上, 應為他評較佳時 ), 而且該量表衡量的是該研究中重要的依變項 信度 (Reliability) 1. 定義 : 測驗分數 ( 測量 / 量表 ) 的可信度 穩定性 和一致性 Test scores are reliable and dependable. The consistency/repeatability of test scores. 2. 概念 : 觀察到的分數 = 真實的分數 + 誤差 ( 誤差愈大, 信度愈小 ) observed scores = true score + error score r(reliability) = true score variance / obs score variance = 1- (error score variance / obs score variance) 受試者觀察到的分數真實的分數誤差 1 90 80 10 2 80 85 5 3 95 90 5 2
3. 各種型式的信度估計法 (reliability estimation) 摘要整理 : 型式信度係數資料收集程序 受測的構念受測者時點代表信度的統計值 /trait 信度值可接受的臨界點 複本信度 (Alternate Form or Equivalent Form) ( 見註 1) 等值係數 (Equivalence Coefficient) 給予第一種測驗版本, 再給予第二種測驗版本 相同 相同 二者的間隔時間很短或同時 皮爾森積差相關係數 (Pearson product moment coefficient) Pearson s r 相關係數要顯著相關 1. 何時使用 : 當我們要證明不同版本的測驗是在測量相同的概念時, 例如要證明從題庫中抽取的任何版本皆具有信度 ( 如 : 入學測驗 ) 2. 此兩種測驗版本亦必須達到平行測驗 (parallel tests) 的要求, 且 Pearson r 值要顯著, 才可說這兩個版本的測驗具有複本信度 平行測驗是指此兩種測驗版本 :1) 測量相同的 trait,2) 具有相同的平均數,3) 具有相同的標準差 再測信度 (Test-Retest) ( 見註 2 與註 3) 穩定係數 (Stability Coefficient) 測驗 等一下 再測驗 相同 相同 不同 皮爾森積差相關係數 (Pearson product moment coefficient) 1. 何時使用 : 同一個量表使用在前後測時, 須先證明該量表有高的再測信度 範例 : 檢驗員工訓練教案是否有效 2. 必須先以一個前測的樣本檢驗測驗的再測信度, 才可將此具有再測信度的測驗使用在研究者最終的樣本中 3. 實施前測時, 等待的時間必須和最終的樣本中的再測時間相同 4. 此兩種測驗版本亦必須達到平行測驗 (parallel tests) 的要求 5. 缺點 : 不同的時間間隔會有不同的係數結果 Pearson s r 相關係數要顯著相關 型式信度係數資料收集程序受測的構念受測者時點代表信度的統計值信度值可接受的臨界 3
/trait 點 折半信度 (Split-Half) 內部一致係數 (Internal Consistency Coefficient) 只測驗一次 相同 相同 一次 Spearman-Brown correction Rulon Guttman Flanagan.70 以上 1. 何時使用 : 欲將一個量表題目縮減, 或將一個測驗分為多個測驗 (C & A: p. 136) 2. 修正後的未刪節信度 (full-length reliability) 即為 縮減後的測驗 若為原題數時 的信度, 即題數減半但信度可維持和原題數時一樣高 (eq. 7.1 on C & A: p. 137) 3. 缺點 : 將測驗分成兩半的方法太多, 每種都可能產生不同的折半信度 問項共變數 / alpha 係數 (Item Covariances / Coefficient alpha): 以下各種方式會產生一模一樣的信度值 型式 信度係數 資料收集程序 受測的構念信度值可接受的臨界受測者時點代表信度的統計值 /trait 點 Cronbach s alpha ( 見註 4) 內部一致信度 (Internal Consistency Reliability) 只測驗一次 相同 相同 一次 Cronbach s alpha formula.70 以上 1. 可用於二分法 ( 或以上 ) 的問項 庫李係數 20 (Kuder Richardson 20) 內部一致信度 (Internal Consistency Reliability) 只測驗一次 相同 相同 一次 KR20 formula 愈高愈好 1. 只限用於二分法的問項 4
受測的構念信度值可接受的臨界型式信度係數資料收集程序受測者時點代表信度的統計值 /trait 點庫李係數 21 內部一致信度只測驗一次相同相同一次 KR21 formula 愈高愈好 (Kuder Richardson 21) (Internal Consistency Reliability) 1. 只限用於二分法的問項 2. 假設問項之間的困難度相同 3. KR21 KR20 Hoyt s Method 內部一致信度 (Internal Consistency Reliability) 只測驗一次相同相同一次 ANOVA table 愈高愈好 5
... 註 1: 複本信度 r = 0.96 r = 0.96 r = 1 rater Form 1 Form 2 Form 3 Form 4 1 90 (2) 75 (3) 8 (2) 80 (2) 2 70 (3) 80 (2) 7 (3) 70 (3) 3 95 (1) 95 (1) 9 (1) 90 (1) 4 60 (4) 63 (4) 5 (4) 50 (4) Form 1 與 Form 3 之相關係數將大於 Form 1 與 Form 2 之相關係數, 因為 Pearson s r 是以兩串數字的順序為計算相關方式, 而不是以值的大小 因此 Form 1 與 Form 3 之相關係數將等於 Form 1 與 Form 4 之相關係數 故在計算複本信度前, 應先執行平行測驗, 即用 t-test 測試不同 Form 間之平均數及標準差是否達到統計之顯著差異性, 未達顯著表示兩者分數 scale 相近, 計算出的複本信度才有代表性 6
註 2: 再測信度範例 A 樣本 目的 : 檢驗 溝通能力量表 的再測信度 B 樣本 目的 : 檢驗教案是否有效 施測 等 施測 施測 溝通 施測 溝通能 一 溝通能 溝通能 能力 溝通能 力量表 週 力量表 力量表 訓練 力量表 教案 Time1 Time2 Time1 Time2 相關係數高, 則量表有再測信度 假定訓練期間為一週 7
...... 註 3: 複本信度與再測信度之比較 複本信度 再測信度 相關度為.93 相關度為.89 受試者複本 1 複本 2 1 90 85 2 70 75 3 95 95 4 60 63 受試者時間點 1 時間點 2 1 92 90 2 87 85 3 56 60 4 69 65 計算複本 1 與複本 2 分數之相關係數 計算時間點 1 與時間點 2 分數之相關係數 8
... 註 4:Cronbach s alpha 受試者問項 1 問項 2 問項 3 1 5 2 2 2 4 2 3 3 5 1 3 4 5 1 2 若量表為新創量表,Cronbach s alpha 標準為 >.70, 但若量表已在不同研究使用過很多次, 則標準為 >.80 9