量表的信度 5-1 信度的基本內涵 5-2 信度操作程序 5-3 重測信度考驗 5-4 信度分析報表解析
5 SPSS 統計應用學習實務 SPSS 5-1 信度的基本內涵 信度 (reliability) 可界定為真實分數 (true score) 的變異數與觀察分數 (observed score) 的變異數之比例 信度是指測驗分數的特性或測量的結果, 而非指測驗或測量工具本身, 因此, 某測驗或量表是可信賴的說法 (test reliable) 是不正確的, 應該說是此測驗分數是可信賴的 (scores are reliable), 由此可知, 信度適用於測驗分數而非測驗本身 ( 傳粹馨, 民 87) 信度亦可解釋為某一群特定受試者之測驗分數的特性, 分數會因受試之不同而有所不同, 所以多數學者認為每次施測量表後, 應估計分數的特性, 而不是只報告前人在信度研究之數值或測驗指導手冊上之數值 ( 傳粹馨, 民 91) 可見, 在研究過程中, 即使使用前人編製或修訂過的量表, 最好還是經預試的工作, 以重新考驗其信度, 因為受試對象會因時間或外在等干擾因素對量表內涵產生不同的知覺與感受 如可以的話, 研究者除提供目前研究所得分數之信度係數外, 最好能提供信度係數之信賴區間 (confidence interval for reliablity coefficient)(fan & Thompson, 2001) 在因素分析完後, 為進一步了解問卷的可靠性與有效性, 要繼續進行信度考驗分析 在李克特態度量表法中常用的信度考驗方法為 Cronbach α 係數及 折半信度 (Split-half reliabilty) 如果一個量表的信度愈高, 代表量表愈穩定 (stability) 以 再測信度 (test-retest reliability) 而言, 其代表的是受試者在不同時間得分的一致性 (consistence), 因而又稱 穩定係數 (coefficient of stability) Crocker 和 Algina(1986) 指出 :α 係數是估計信度的最低限度 (lower bound), 是為所有可能的折半係數之平均數, 估計內部一致性係數, 用 α 係數優於折半法, 因為任何長度的測驗有許多種的折半方式, 相同資料, 不同的折半方式求得的數據, 便會產生不同的估計值 α 係數於編製測驗或量表時, 常作為測量分數信度之一的數據, 在社會科學的研究領域或其相關期刊中,α 係數的使用率甚高 α 係數是內部一致性之函數, 也是試題間相互關連程度的函數, 一組試題之間或許有相當的關連性且是多向度的 測驗或量表之內部一致性是表示題目間的關連性 (interrelatedness), 但不必然是指試題所包括的向度 (dimensionality) 因而一個量表具有單一向度, 則具有內部一致性 ; 但反之則不然, 也就是說一個量表具有內部一致性, 有高 α 值, 但不儘然具有單一向度的特性 ( 傳粹馨, 民 91;Gardner, 1995) 5-2
第 5 章量表的信度 信度的涵義即是經由多次複本測驗測量所得結果間的一致性或穩定性, 或估計測量誤差有多少, 以實際反映出真實量數程度的一種指標 當測驗分數中測量誤差所占的比率降低時, 則真實特質部分所占的比率就相對提高, 因而信度係數值就會增高 ; 相對的, 當測量誤差所占的比率部份增加時, 則真實特質部分所占的比率便相對降低, 因而, 信度係數值便會降低 ( 余民寧, 民 91) 一般而言, 一份優良的教育測驗至少應該具有.80 以上的信度係數值, 才比較具有使用的教育價值 (Camines & Zeller, 1979) 信度有 外在信度 (external reliability) 與 內在信度 (internal reliability) 二大類 外在信度通常指不同時間測量時, 量表一致性的程度, 再測信度即是外在信度最常使用的考驗法 在 多選項量表 (multipleitem scales) 中, 內在信度特別重要, 所謂內在信度指的是每一個量表是否測量單一概念 (idea), 同時, 組成量表題項的內在一致性程度如何 如果內在信度 α 係數在.80 以上 (Bryman & Cramer,1997), 表示量表有高的信度, 因素分析完後每個構念層面的內在信度 α 係數通常會較總量表之信度值低, 內在信度最常使用的方法是 Cronbach's alpha 係數 K-R 信度係數適用於 對或錯 之是非題, 亦即為二元化計分的測驗資料方面 Cronbach's alpha 係數是屬內部一致性信度的一種, 最常適用於李克特式量表法, 此法由 Cronbach(1951) 年創用, 他以 α 係數來代表量表的內部一致性信度,α 係數愈高, 代表量表的內部一致性愈佳 此外, 由於折半信度只是使用半份測驗的信度而已, 它通常會降低原來試題長度的測驗信度, 因此, 為了能夠評估原來量表試題長度的信度, 必須使用斯布校正公式 (Spearman-Brown formula) 加以校正, 將折半信度加以還原估計 斯布校正公式有個基本假設, 那就是兩半測驗的變異數必須相等, 亦即要滿足變異數同質性的假設, 若違反這個假設, 就會導致高估測驗的信度 (Cronbach, 1951), 所估計出來的信度係數值將會比其它內部一致性方法所估計出的信度係數值還高 因此, 為了避免此種嚴謹的假設在現實測驗情境中無法被滿足, 於是福樂蘭根 (Flanagan) 提出另一種的校正公式 另一種用來估計折半信度的方法, 則為盧隆 (Rulon) 所創的校正公式, 其算法較為簡便 以上三種校正折半信度的方法, 其計算公式均符合信度理論的依據, 亦即, 它們都是在計算真實分數變異數占實得分數總變數之比率, 若以實際資料來計算, 它們的結果差異不大 ( 余民寧, 民 91) 5-3
5 SPSS 統計應用學習實務 SPSS Cortina(1993) 歸納有關國外 α 係數研究的觀點, 發現以下四項特性 :1. α 係數是所有可能的折半係數之平均數 ;2. α 係數是估計信度的最低限度 ;3. α 係數是表示第一個因素飽和度的量數 (a measure of first-factor saturation);4. 當試題計分為二分名義變數時 ( 答案登錄為 1 或 0), 則 α 係數之值與 KR20 之值是相同的 於 SPSS 統計軟體中, 會同時呈現 α 係數與標準化之 α 係數 (standardized item alpha), 這二個 α 值略微不同 ( 參見下面的實例操作部份結果 ), 究竟這二個 α 值之適用時機為何? 當研究者採用試題之標準分數的總和作為量表分數時, 此情況宜選用標準化 α 係數 ; 當研究者用試題之原始分數總和作為量表分數時, 則不宜選用標準化 α 係數 ; 此外, 如測驗題目之同質性高, 則 α 係數與折半信度所估計的值近似, 若題目之異質性高, 則 α 係數會低於折半信度所估計的值, 故 α 係數常被稱為估計信度的最低限度 ( 傳粹馨, 民 91) 從教育測驗與計量觀點而言, 內部一致性所關注的誤差包括內容取樣和內容異質性 不過, 通常在折半時會儘可能將評量工具分成對等的兩半, 因此, 採用折半法對內容異質性較不敏感 學者 Anastasi(1988) 認為以折半法估計信度會高於 alpha 係數, 而兩者間的差異可作為評量工具內容異質性的一項粗略指標 Cronbach(1951) 明確指出 :alpha 係數是各種可能折半方式所得的信度係數之平均值, 內部一致性係數的主要限制為不能估計速度測驗的信度 受測者若速度過慢, 則無法完成排列在後的題目, 若採用內部一致性係數, 則會高估信度, 因為用折半時, 折半後的兩個測驗分數會有高相關, 若用 alpha 係數, 則排列在前面及後面的題目變異趨近於零, 信度係數會偏高 ( 張郁雯, 民 89) 內部一致性係數要多大, 才表示測驗的分數是可靠的, 根據 Henson(2001) 的觀點, 認為這與研究目的與測驗分數的運用有關, 如研究者目的在於編製預測問卷或測驗 (predictor tests) 或測量某構念之先導性研究, 信度係數在.50 至.60 已足夠 當以基礎研究為目的時, 信度係數最好在.80 以上 當測驗分數是用來作為截斷分數 (cutoff score) 之用而扮演重要的角色, 如篩選 分組 接受特殊教育等, 則信度係數最好在.90 以上, 而.95 是最適宜的標準 如果以發展測量工具為目的時, 信度係數應在.70 以上 Log(2001) 從近年來之 諮商發展與測量及評估 期刊的探究中發現, 對於一般性的研究而言, 內部一致性估計值普遍可接受數值為.80, 當標準化測驗分數作為重要的臨床或教育決策時, 則係數至少為.90 以上 5-4
第 5 章量表的信度 根據學者 Gay(1992) 觀點, 任何測驗或量表的信度係數如果在.90 以上, 表示測信或量表的信度甚佳 在社會科學領域中, 可接受的最小信度係數值為何, 是多數研究者最為關注的, 不過, 此一方面學者間看法也未盡一致, 有些學者則定在.80 以上, 如學者 Gay (1992) 等人即是, 而有些學者則認為在.70 以上是可接受的最小信度值, 如學者 DeVellis(1991) Nunnally(1978) 等人 如果研究者編製之研究工具的信度過低如在.60 以下, 應該重新修訂研究工具或重新編製較為適宜 正常狀況下,α 係數受到題數多少的影響, 試題間相關係數平均數愈低, 則其影響愈大, 題數愈大, 相對的 α 係數也會提高 在一般社會科學領域研究中,α 係數受到測驗或量表中的題項 試題間的相關係數之平均數與向度數目等三個因素所影響 : 1. 即使試題間相關低和量表具有多向度的特性, 該量表仍有個高的 α 係數 2. 試題間相關係數之平均數增加,α 係數亦會增加 3. 當量表之向度愈多, 則 α 係數會變小 ( 傳粹馨, 民 91) 由於在社會科學研究領域中, 每份量表包含分層面 ( 構面 ), 因而研究者除提供總量表的信度係數外, 也應提供各層面的信度係數 綜合上述各學者的觀點, 可以發現, 以研究者觀點出發, 研究並非篩選或作為入學 分組的參考, 只是一般的態度或心理知覺量表, 一份信度係數佳的量表或問卷, 其總量表的信度係數最好在.80 以上, 如果在.70 至.80 之間, 還算是可以接受的範圍 ; 如果是分量表, 其信度係數最好在.70 以上, 如果是在.60 至.70 之間, 還可以接受使用, 如果分量表 ( 層面 ) 的內部一致性 α 係數在.60 以下或總量表的信度係數在.80 以下, 應考量重新修訂量表或增刪題項 此外, 在研究者呈現的統計資料中, 不應只是呈現信度係數值的大小, 還應該說明測驗或量表適用的群體, 以提供有價值而可比對的資訊, 供未來測驗發展者或其它研究者繼續研究發展的參考 如果一個測驗或量表, 包含了數個小測驗或構念層面, 則每個小量表或構念層面的信度也要考驗, 不能只呈現總量表的信度係數 因為信度是測驗題項數的函數, 子測驗或構念層面所涵括的題項數較少, 因而多數子測驗或構念層面的信度係數值, 通常會低於總測驗或總量表的信度係數值 ; 但如果子測驗或構念層面間的差異性太大, 亦即總量表的同質性不高, 則構念層面的信度係數則反而高於總量表的信度, 但此種情形較少發生, 在研究報告中出現的機率也較小 5-5
5 SPSS 統計應用學習實務 SPSS 在前述第三章教師行為量表的因素分析中, 共抽取三個因素, 三個因素所包括的題項分別為 : 層面一 :d3 d7 d8 d11 d15 d16 等六題 層面二 :d5 d6 d10 d13 d18 等五題 層面三 :d1 d2 d9 d14 d17 等五題 5-2 信度操作程序 求出各因素及總量表的內部一致性係數 分析 / 量尺法 / 信度分析, 出現 信度分析 對話視窗 操作 1 將第一個層面的題項選入右邊 項目 方盒內, 例題中第一個層面的題項為 c3 c7 c8 c11 c15 c16 在 模式 方盒選項中選取 Alpha 值 ( 內部一致性 α 係數考驗 )( 如要求出其折半效度係數則選取 折半信度 ), 按 統計量 鈕 5-6
第 5 章量表的信度 操作 2 按 統計量 鈕後, 出現 信度分析 : 統計量 次對話視窗在 描述統計量對象 方盒中選取 項目 量尺法 刪除項目後之量尺摘要 在 各分量表內項目之間, 勾選 相關. 按 繼續 鈕回到 信度分析 對話視窗, 按 確定 鈕 重述上面的步驟, 只要在 信度分析 對話視窗中, 重新選取題項進入 項目 下的方盒中即可 5-7
5 SPSS 統計應用學習實務 SPSS 5-3 重測信度考驗 如要做重測信度, 則需間隔一段時間, 以同一量表重複對同一對象施測, 求其二次的積差相關 執行 分析 / 相關 / 雙變數 程序, 求出二份量表之積差相關係數即是重測信度 在進行重測信度資料建檔之前, 每個受試者均要編號, 如果量表有十題, 第一次施測時變項名稱為 a1..a10; 第二次施測時變項名稱為 b1..b10, 重測資料檔建檔為如下, 第一列為變項名稱, 每位受試者第一次與第二次的施測資料要對應, 如第二列全為第一位受者 ; 第三列全為第二位受試者測量數據 num a1 a2 a3 a4 a5 a6 a7 a8 a9 a10 b1 b2 b3 b4 b5 b6 b7 b8 b9 b10 001 002 003 如果有二個層面, 如第一題至第五題為第一個層面 第六題至第十題為第二題層面, 則分析時分別將各層面加總, 以求其層面總分, 如 : tota1=a1+a2+a3+a4+a5. tota2=a6+a7+a8+a9+a10. tota3= a1+a2+a3+a4+a5+a6+a7+a8+a9+a10. totb1=b1+b2+b3+b4+b5. totb2=b6+b7+b8+b9+b10. totb3= b1+b2+b3+b4+b5+b6+b7+b8+b9+b10 再分別求出 tota1 與 totb1 tota2 與 totb2 tota3 與 totb3 的積差相關, 則相關係數的大小即為重測信度係數 5-8
第 5 章量表的信度 5-4 信度分析報表解析 ****** Method 2 (covariance matrix) will be used for this analysis ****** R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A) Mean Std Dev Cases 1. D3 3.5850 1.0335 200.0 2. D7 2.9400.9544 200.0 3. D8 2.9050 1.0154 200.0 4. D11 3.0950 1.0871 200.0 5. D15 3.0150 1.1582 200.0 6. D16 2.7050.8728 200.0 列出各題項的平均數 標準差與樣本數 Correlation Matrix D3 D7 D8 D11 D15 D3 1.0000 D7.4178 1.0000 D8.4123.4504 1.0000 D11.5049.4414.5226 1.0000 D15.4166.4190.5695.4658 1.0000 D16.3037.3768.4558.4216.4369 列出題項間的相關矩陣 N of Cases = 200.0 Statistics for Mean Variance Std Dev Variables Scale 18.2450 20.1658 4.4906 6 列出層面的平均數 變異數 標準差 變項個數 一 第一個層面的 α 係數 Item-total Statistics 題項與層面量表的統計數分別包括 : 題項刪除後的層面平均數 題項刪除後的量表變異數 題項與層面總分的相關 多元相關係數的平方 該題題項刪除後信度係數的改變 多元相關係數的平方表示以該題項為依變項, 其餘的題項為自變項, 進行多元迴歸分析後所得的決定係數, 此係數愈高, 表示各題項對其的解釋量愈大, 其內部一致性愈高 N of 5-9
5 SPSS 統計應用學習實務 SPSS 題項與層面之相關係數, 表示某一題項與分量表層面間之相關係數, 此係數愈大, 表示該題項與其它題項間的內部一致性愈高 Scale Scale Corrected Mean Variance Item- Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted D3 14.6600 14.7280.5509.3293.8064 D7 15.3050 15.0874.5621.3178.8039 D8 15.3400 14.0949.6610.4526.7831 D11 15.1500 13.8065.6408.4214.7870 D15 15.2300 13.5046.6249.4112.7915 D16 15.5400 15.7371.5295.2952.8105 R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A) Reliability Coefficients 6 items Alpha =.8254 Standardized item alpha =.8256 信度係數為.8254; 標準化的信度係數為.8256, 所謂標準化的 alpha 係數係表示考量各題項變異量不相等所造成的影響, 經校正後的係數 在決定題項時, 最後一欄題項 刪除後的 alpha 係數改變 比較重要, 以此層面為例, 如果刪除 D3( 第三題 ), 剩下五題 (D7 D8 D11 D15 D16) 的總 alpha 係數變成.8064, 表示此題不適合刪除, 因為刪除此題後, 層面的 α 係數反而減少 ; 如果在刪除某個題項後, 層面的 α 係數值變得很大, 表示此題與其它題項間的內部一致性很低, 則此題項可考慮將之刪除 二 第二個層面的 α 係數 Item-total Statistics Scale Scale Corrected Mean Variance Item- Squared Alpha if Item if Item Total Multiple if Item Deleted Deleted Correlation Correlation Deleted D5 10.9700 6.2705.6147.4415.7081 D6 10.8700 6.4956.6684.4791.6951 D10 10.9550 6.8271.4932.2828.7501 D13 10.8700 7.2493.4790.2630.7541 D18 10.9750 6.1652.5091.3046.7522 R E L I A B I L I T Y A N A L Y S I S - S C A L E (A L P H A) Reliability Coefficients 5 items Alpha =.7740 Standardized item alpha =.7797 5-10