NCCU 2015 年 2 月 12 日 CHT (NCCU) 信度與效度 1 / 38
報告內容 1 研究的基本概念 2 測量的概念 3 信度估計信度的方法 4 效度因素分析 5 結論 CHT (NCCU) 信度與效度 2 / 38
研究的基本概念 分析單位 CHT (NCCU) 信度與效度 3 / 38
研究的基本概念 分析單位 變項 CHT (NCCU) 信度與效度 3 / 38
研究的基本概念分析單位變項相關 CHT (NCCU) 信度與效度 3 / 38
研究的基本概念分析單位變項相關因果關係 CHT (NCCU) 信度與效度 3 / 38
分析單位個人 : 所有成人 65 歲以上成人 孕婦等等群體 : 學校的班級 醫院的單位個人有可能受到群體的影響 ; 個人的差異有可能同時來自群體以及個人本身有分析單位才能確定測量的方式 例如 : 個人的身高 體重 生活品質必須以個人為單位進行測量 一個國家的醫療品質 生育率 離婚率等等則是以國家為單位測量 CHT (NCCU) 信度與效度 4 / 38
變數 抽象概念例如 生活品質 顧客滿意度 需要轉換成可測量的概念, 測量之後得到變數 例如 : 顧客滿意度 就是對於品質以及付出價格相比在心理上的滿意程度 一個概念如果有不止一個面向, 可以考慮用一個以上的測量 例如 : 心理健康 測量包括自己的生理狀況評估 與家人 朋友相處情況等等 例如 : 休閒運動 測量包括去過幾次美術館 每週做幾次明顯的流汗運動等等 CHT (NCCU) 信度與效度 5 / 38
相關定義 : 兩個變數有一起變動的傾向 例如 : 挫折感 產生攻擊的傾向 例如 : 做運動可以降低焦慮感 相關的背後應該有理論 例如, 科學家發現只要你的身體有在活動, 看待周遭環境的看法就會改變, 變得不再那麼有威脅 有攻擊性, 也不會覺得有那麼多不安全感 CHT (NCCU) 信度與效度 6 / 38
因果關係如果兩個變數有相關, 而且可以確定變數 X 是造成變數 Y 變動的唯一變數,X 與 Y 有因果關係 例如 : 隨機分派兩組成年人 實驗組除了喝水之外, 每天喝兩杯咖啡, 控制組每天只喝水 兩組的唯一差異來自於喝咖啡, 因此咖啡跟心跳或是血壓之間可能有因果關係 CHT (NCCU) 信度與效度 7 / 38
因果關係 以方程式表示因果關係如下 : Y=β 0 + β 1 X 1 + β 2 D (1) 其中 { 1 喝兩杯咖啡 D = 0 其他當 D = 1, 式 1 可改寫為 : (2) 當 D = 0, 式 1 可改寫為 : Y=β 0 + β 1 X 1 + β 2 =(β 0 + β 2 ) + β 1 X 1 (3) Y=β 0 + β 1 X 1 + β 2 0 =β 0 + β 1 X 1 (4) 式 4 以及式 3 相減等於 β 2, 也就是類別變數 D 的作用 CHT (NCCU) 信度與效度 8 / 38
何謂測量根據變項, 以及一定的規則, 決定研究對象所有的值 測量必須盡可能地得到與對象一致的值 可以用觀察或是自我報告進行測量 例如 : 用體重以及身高, 測量身體質量 (BMI) 例如 : 用自我檢查表測驗視力 例如 : 以一個假設世代的育齡婦女, 按照目前生育的年齡水準, 一生所生育的嬰兒數, 測量總生育數 CHT (NCCU) 信度與效度 9 / 38
測量的層次名目 : 如果測量的目的是分類, 屬於名目層次的測量順序 : 如果測量的目的是排名次, 屬於順序層次的測量, 例如高 中 低 過去血壓超過 140/90mmHg( 毫米汞柱 ), 才是高血壓, 現在標準則降低為 120/80mmHg 等距 : 分數之間的距離相等, 但是沒有絕對零點, 例如智力沒有 0, 所以不能說某人智力是另一人的倍數 比值 : 除了等距之外還有絕對零點, 例如講話的長度 CHT (NCCU) 信度與效度 10 / 38
何謂信度? 1 測量的工具應該盡可能地測量到態度或是行為的真實分數, 但是真實分數觀察不到, 而是由測量分數與誤差所構成 : 信度公式 X = T + E X: 觀察分數 T: 真實分數 E: 誤差 2 當誤差為 0, 測量工具完美地測量到真實的分數 但是施測時的環境或者是受訪者當時的狀況不一樣, 有可能產生測量的誤差 CHT (NCCU) 信度與效度 11 / 38
影響信度的因素 受訪者的變異程度 ; 變異程度越高, 信度越高 信度理論上可以表示總變異量減去誤差分數的變異量, 或者表示為 : 信度的公式 r xx = S2 x S 2 S2 e x S 2 x = 1 S2 e S 2 x 如果 S 2 e = 0, 也就是沒有誤差, 信度等於 1 因此信度的範圍是 0 到 1 CHT (NCCU) 信度與效度 12 / 38
估計信度的方法重測複本內部一致性 CHT (NCCU) 信度與效度 13 / 38
重測對同一群人在不同時間進行同一測量, 得到的相關分數稱為重測信度係數 (test-retest reliability coefficient) 兩次測量間隔的時間如果太長, 有可能測量到其他的誤差, 例如受訪者本身的態度 身心狀況改變, 測量的信度可能低估 間隔的時間太短, 受訪者有可能記憶上一次的答案, 測量的信度可能高估 重測如果多次, 理論上應該會得到一個平均分數, 如果誤差是隨機的, 平均之後誤差會消失 CHT (NCCU) 信度與效度 14 / 38
相關係數 Pearson 相關係數 r = i=1 n (X i X)(Y i Ȳ) (Xi X) 2 (Yi Ȳ) 2 介於 -1 與 1 之間 0 1 表示正相關 CHT (NCCU) 信度與效度 15 / 38
相關係數以美國五十個州的每人平均收入與不識字率進行相關分析, 其中平均收入取對數 CHT (NCCU) 信度與效度 16 / 38
散佈圖 CHT (NCCU) 信度與效度 17 / 38
複本信度 1 從一組題目之中, 選取部分題目進行測量, 前後兩次的測量的相關係數, 可得到複本信度 2 因為測量內容不完全相同, 但是本質相同, 所以得到的相關可以反應測量的信度 3 複本信度需要足夠的題目可供挑選 CHT (NCCU) 信度與效度 18 / 38
內部一致性 1 折半方法 : 把測量題目隨機分為一半, 然後計算各一半測驗分數的相關係數 Spearman-Brown formula nr 1 + (n 1)r r: 原測驗的信度 n: 測驗加長或是減短倍數 2 當 n = 2, 就是測驗加倍, 可獲得折半的信度 CHT (NCCU) 信度與效度 19 / 38
計算折半信度範例假設有五名受訪者填寫問卷, 其中四題的結果如下 : Name I1 I2 I3 I4 odd even A 1 1 1 1 2 2 B 1 0 1 1 2 1 C 1 0 1 0 2 0 D 0 0 1 0 1 0 E 0 0 0 0 0 0 CHT (NCCU) 信度與效度 20 / 38
計算折半信度 以相關係數計算原始信度 : 假設增加一倍的數目, 計算 Spearman-Brown 信度 CHT (NCCU) 信度與效度 21 / 38
計算 Cronbach s α 範例 假設有十名受訪者填寫問卷, 其中五題的結果如下 : Name I1 I2 I3 I4 I5 A 0 0 0 0 0 B 0 0 0 0 0 C 0 0 0 0 1 D 0 0 0 1 1 E 0 0 1 1 1 F 0 1 1 1 1 G 1 1 1 1 1 H 1 0 1 1 1 I 0 0 0 1 1 J 0 1 1 1 1 CHT (NCCU) 信度與效度 22 / 38
計算 Cronbach s α 計算每一列的和 計算每一列和的變異數 計算每一行的變異數 總和 題數 或者是用 的 CTT 套件之中的 指令 : CHT (NCCU) 信度與效度 23 / 38
信度與效度 CHT (NCCU) 信度與效度 24 / 38
何謂效度正確地測量到心目中的概念例如 : 智力定義為聰明的程度, 因此, 好的智力測驗應該能夠測量聰明的程度 智力測驗的分數越高, 應該表現出越高的推理能力 但是智力測驗可能無法測量到記憶力 效度無法直接測量, 只能間接地推論 只有相對的校度, 要由研究者來選擇哪一種測量比較適合 CHT (NCCU) 信度與效度 25 / 38
效度的類型 1 表面效度 2 內容效度 3 建構效度 4 構念效度 CHT (NCCU) 信度與效度 26 / 38
表面效度 從測量的字面意義判斷是否具有效度例如 : 健康狀況可以用如下的題目測量 ( 社會變遷調查 ): 1 請問您抽煙嗎? 2 請問您抽煙抽了多少年? 3 請問您喝酒嗎? 4 請問您多常做至少持續 20 分鐘會讓您流汗或呼吸較平常急促的運動? 5 請問您嚼不嚼檳榔? 6 請問您的身高?( 公分, 請輸入整數 ) 7 請問您的體重?( 公分, 請輸入整數 ) 8 請問您認為自己是屬於何種體型? CHT (NCCU) 信度與效度 27 / 38
內容效度和表面效度類似, 但是進一步考慮概念的面向, 判斷每一個題目是否符合測量的目標, 內容是否周延 具代表性 適切性 並確實包含所欲測量主題的內涵 為了確認內容效度, 最好依據適當的文獻進行理論的探索 如果可以的話, 用複本信度確認效度 CHT (NCCU) 信度與效度 28 / 38
建構效度 用一個外在的測量與我們建立的測量進行相關分析, 相關係數越高, 代表測量具有效度 又可分為同時與預測效度 同時效度 : 在同一個時間, 進行兩種測量, 其中一個已經公認具有效度, 或稱為效標, 另一個是不確定效度的測量 如果兩者出現理論上預期的相關, 那麼可以確定測量的效度 心理健康與憂鬱症量表應該有高度相關, 後者已經具有公認的效度, 可以用來檢測前者的效度 預測效度 : 在測量進行之後一段時間, 分析與效標之間的相關程度 如果相關程度高, 代表測量具有效度 例如, 國中三年級的成績, 可以評估國中二年級的學習測量 CHT (NCCU) 信度與效度 29 / 38
構念效度 用更周延的理論架構, 衡量測量能夠符合理論上的結構的程度 根據理論, 可以提出一些假設, 而測量應該要符合理論的各種預期 智力應該 : 1 隨著年齡而增長 2 可以預測學業成就 3 應該會受到不同教學方法的影響 因此智力測量的結果應該符合以上的預期, 才具有構念效度 如果沒有得到預期的發現, 有可能是 : 1 沒有測量到所要測量的對象 ; 2 理論架構有缺陷 ; 3 研究設計沒有考慮其他潛在因素的影響 CHT (NCCU) 信度與效度 30 / 38
因素分析 因素分析可以縮減資料的面向 (dimensionality) 原本一筆資料可能有 A Z 等等變數, 透過因素分析, 也許縮減成三個變數, 仍然可以包含大部分資料中的變異程度 一個測量如果具有構念效度, 不同變數應該會測量到相近的特質, 或者是潛在的結構 例如 : 學生對於老師的印象, 可能來自老師對學生的鼓勵 互動, 也可能來自於老師的上課技巧 評分方式 因此, 要測量學生對老師的印象, 應該包含至少這兩個因素, 而設計一系列的問題 而這些題目透過因素分析, 應該會出現兩個因素 如果真的是如此, 可以說這個測量具有構念效度 因素分析又稱為主成份分析, 目的都是找到一個矩陣做為原始資料矩陣的權數, 使得變數之間沒有任何相關 而新的變數將會是自身與其他變數的線性組合 CHT (NCCU) 信度與效度 31 / 38
因素分析範例利用一筆學生的成績資料, 其中有六個科目的成績 : 生物 地理 化學 代數 微積分 統計 預期生物 地理 化學應該成為一個因素, 代表學生對於生物 化學等的理解力, 另外三個科目代表學生的數學運算能力 資料結構如下 : ID BIO GEO CHEM ALG CALC STAT 1 1 1 1 1 1 1 2 4 4 3 4 4 4 3 2 1 3 4 1 1 4 2 3 2 4 4 3 CHT (NCCU) 信度與效度 32 / 38
主成份分析首先, 用主成分分析計算每個主成分的標準差以及解釋的變異量 : PC1 PC2 PC3 PC4 PC5 PC6 Std dev 166 133 079 058 051 045 Prop of Var 046 029 010 005 004 003 Cumulative Prop 047 075 086 092 096 1000 CHT (NCCU) 信度與效度 33 / 38
解釋變異量圖形 CHT (NCCU) 信度與效度 34 / 38
主成份分析 其次, 顯示每一個變數與主成分之間的線性組合, 例如 : = 0494 + 0486 + PC1 PC2 PC3 PC4 PC5 PC6 BIO 0494-0285 0063-0352 0703-0230 GEO 0486-0255 -0006 0835-0024 0008 CHEM 0499-0349 0061-0417 -0652 0164 ALG 0267 0542 0472 0013-0203 -0609 CALC 0306 0501 0281-0025 0191 0734 STAT 0325 0432-0831 -0064-0045 -0103 CHT (NCCU) 信度與效度 35 / 38
因素分析圖形 CHT (NCCU) 信度與效度 36 / 38
結論 1 信度低, 效度一定低 信度高, 效度未必高 2 測量一定有誤差, 因此測量包含真實分數以及誤差 3 信度測量為 0 到 1 的指標 4 可以用重測法 複本法 折半法估計信度 5 效度關心研究者是否測量到想要測量的事物或概念 6 效度可用表面效度 內容效度 建構效度 構念效度表示 7 因素分析可幫助判斷測量的構念效度 CHT (NCCU) 信度與效度 37 / 38
CHT (NCCU) 信度與效度 38 / 38