Alternate Form

Size: px

Start display at page:

Download "Alternate Form"

畏优喜塔腊
7 years ago
Views:

1 量表之合適度檢驗 : 信度與效度的型式信度測量 ( 量表的可信度 ) 穩定性內部一致性複本信度再測信度問項一致性信度量表合適性折半信度表面效度效度測量 ( 量表是否準確測量到構念 ) 內容效度效標關聯效度預測效度同時效度建構效度收斂效度區辨效度 1

2 ... 何時會使用信度 / 效度的檢測? 1. 自創一個新的量表時 2. 擷取同一個概念的不同量表, 取其部份問項整合成一個量表來衡量該構念 3. 增刪他人量表 4. 引用他人量表, 但該量表較新 5. 引用他人量表, 令受試者自評 ( 但事實上, 應為他評較佳時 ), 而且該量表衡量的是該研究中重要的依變項信度 (Reliability) 1. 定義 : 測驗分數 ( 測量 / 量表 ) 的可信度穩定性和一致性 Test scores are reliable and dependable. The consistency/repeatability of test scores. 2. 概念 : 觀察到的分數 = 真實的分數 + 誤差 ( 誤差愈大, 信度愈小 ) observed scores = true score + error score r(reliability) = true score variance / obs score variance = 1- (error score variance / obs score variance) 受試者觀察到的分數真實的分數誤差

3 3. 各種型式的信度估計法 (reliability estimation) 摘要整理 : 型式信度係數資料收集程序受測的構念受測者時點代表信度的統計值 /trait 信度值可接受的臨界點複本信度 (Alternate Form or Equivalent Form) ( 見註 1) 等值係數 (Equivalence Coefficient) 給予第一種測驗版本, 再給予第二種測驗版本相同相同二者的間隔時間很短或同時皮爾森積差相關係數 (Pearson product moment coefficient) Pearson s r 相關係數要顯著相關 1. 何時使用 : 當我們要證明不同版本的測驗是在測量相同的概念時, 例如要證明從題庫中抽取的任何版本皆具有信度 ( 如 : 入學測驗 ) 2. 此兩種測驗版本亦必須達到平行測驗 (parallel tests) 的要求, 且 Pearson r 值要顯著, 才可說這兩個版本的測驗具有複本信度平行測驗是指此兩種測驗版本 :1) 測量相同的 trait,2) 具有相同的平均數,3) 具有相同的標準差再測信度 (Test-Retest) ( 見註 2 與註 3) 穩定係數 (Stability Coefficient) 測驗等一下再測驗相同相同不同皮爾森積差相關係數 (Pearson product moment coefficient) 1. 何時使用 : 同一個量表使用在前後測時, 須先證明該量表有高的再測信度範例 : 檢驗員工訓練教案是否有效 2. 必須先以一個前測的樣本檢驗測驗的再測信度, 才可將此具有再測信度的測驗使用在研究者最終的樣本中 3. 實施前測時, 等待的時間必須和最終的樣本中的再測時間相同 4. 此兩種測驗版本亦必須達到平行測驗 (parallel tests) 的要求 5. 缺點 : 不同的時間間隔會有不同的係數結果 Pearson s r 相關係數要顯著相關型式信度係數資料收集程序受測的構念受測者時點代表信度的統計值信度值可接受的臨界 3

4 /trait 點折半信度 (Split-Half) 內部一致係數 (Internal Consistency Coefficient) 只測驗一次相同相同一次 Spearman-Brown correction Rulon Guttman Flanagan.70 以上 1. 何時使用 : 欲將一個量表題目縮減, 或將一個測驗分為多個測驗 (C & A: p. 136) 2. 修正後的未刪節信度 (full-length reliability) 即為縮減後的測驗若為原題數時的信度, 即題數減半但信度可維持和原題數時一樣高 (eq. 7.1 on C & A: p. 137) 3. 缺點 : 將測驗分成兩半的方法太多, 每種都可能產生不同的折半信度問項共變數 / alpha 係數 (Item Covariances / Coefficient alpha): 以下各種方式會產生一模一樣的信度值型式信度係數資料收集程序受測的構念信度值可接受的臨界受測者時點代表信度的統計值 /trait 點 Cronbach s alpha ( 見註 4) 內部一致信度 (Internal Consistency Reliability) 只測驗一次相同相同一次 Cronbach s alpha formula.70 以上 1. 可用於二分法 ( 或以上 ) 的問項庫李係數 20 (Kuder Richardson 20) 內部一致信度 (Internal Consistency Reliability) 只測驗一次相同相同一次 KR20 formula 愈高愈好 1. 只限用於二分法的問項 4

5 受測的構念信度值可接受的臨界型式信度係數資料收集程序受測者時點代表信度的統計值 /trait 點庫李係數 21 內部一致信度只測驗一次相同相同一次 KR21 formula 愈高愈好 (Kuder Richardson 21) (Internal Consistency Reliability) 1. 只限用於二分法的問項 2. 假設問項之間的困難度相同 3. KR21 KR20 Hoyt s Method 內部一致信度 (Internal Consistency Reliability) 只測驗一次相同相同一次 ANOVA table 愈高愈好 5

6 ... 註 1: 複本信度 r = 0.96 r = 0.96 r = 1 rater Form 1 Form 2 Form 3 Form (2) 75 (3) 8 (2) 80 (2) 2 70 (3) 80 (2) 7 (3) 70 (3) 3 95 (1) 95 (1) 9 (1) 90 (1) 4 60 (4) 63 (4) 5 (4) 50 (4) Form 1 與 Form 3 之相關係數將大於 Form 1 與 Form 2 之相關係數, 因為 Pearson s r 是以兩串數字的順序為計算相關方式, 而不是以值的大小因此 Form 1 與 Form 3 之相關係數將等於 Form 1 與 Form 4 之相關係數故在計算複本信度前, 應先執行平行測驗, 即用 t-test 測試不同 Form 間之平均數及標準差是否達到統計之顯著差異性, 未達顯著表示兩者分數 scale 相近, 計算出的複本信度才有代表性 6

7 註 2: 再測信度範例 A 樣本目的 : 檢驗溝通能力量表的再測信度 B 樣本目的 : 檢驗教案是否有效施測等施測施測溝通施測溝通能一溝通能溝通能能力溝通能力量表週力量表力量表訓練力量表教案 Time1 Time2 Time1 Time2 相關係數高, 則量表有再測信度假定訓練期間為一週 7

8 註 3: 複本信度與再測信度之比較複本信度再測信度相關度為.93 相關度為.89 受試者複本 1 複本受試者時間點 1 時間點計算複本 1 與複本 2 分數之相關係數計算時間點 1 與時間點 2 分數之相關係數 8

9 ... 註 4:Cronbach s alpha 受試者問項 1 問項 2 問項若量表為新創量表,Cronbach s alpha 標準為 >.70, 但若量表已在不同研究使用過很多次, 則標準為 >.80 9

26 D00 27 D02 28 D03 29 D05 30 D06 31 D10 32 D12 33 D13 34 D14 35 D16 36 D17 37 D18, 38 D19 39 D20 40 D21 41 D22 42 D23 43 D24 44 D25 45 D26 46 D27 47

26 D00 27 D02 28 D03 29 D05 30 D06 31 D10 32 D12 33 D13 34 D14 35 D16 36 D17 37 D18, 38 D19 39 D20 40 D21 41 D22 42 D23 43 D24 44 D25 45 D26 46 D27 47 2 (600 ) 1 A03 2 A18 3 A23 4 A38 5 A39 6 A41 7 A59 [ ] 8 B15 9 B16 10 B17 11 B18 12 B19 13 B30 14 B37 15 C47 16 C50 17 C53 18 C54 19 C56 20 C60 21 C62 22 C64 ( ) 23 C65 24 C66 25 C71 16 26 D00 27 D02 28