應用試題反應理論三參數對數模式估計排球影片的認知測驗 國立體育學院運動技術學系教授姚漢禱 國立體育學院運動科學研究所研究生張俊峰 摘要 本研究的目的是應用試題反應理論三參數對數模式 (3-Parameter Logistic Model, 簡稱 3-PLM) 估計排球影片的認知測驗, 受試者為兩百四十六名國中二年級學生, 利用 ASCAL 3.20 BILOG 3.07 和 XCALIBRE 1.10 等三個電腦程式估計測驗, 以模式和資料適合度統計 (model-data fit statistics) 指標比較估計測驗的結果, 根據本研究的結果, 得到結論是 : 利用 XCALIBRE 程式校準小樣本和較短的測驗, 具有良好的模式和資料適合度統計指標 關鍵詞 : 試題反應理論, 估計, 排球, 影片測驗, 認知測驗, 三參數對數模式, 適合度統計 APPLICATIONS OF THE 3-PLM OF ITEM RESPONSE THEORY TO ESTIMATE THE COGNITIVE FILM TEST IN VOLLEYBALL. Han-Dau Yau, Department of Sports Training Science, National College of Physical Education and Sports. Chun-Feng Chang, Graduate Institute of Sports Science, National College of Physical Education and Sports. ABSTRACT The purpose of this study was to estimate the volleyball cognitive film test for using the 3-PLM (3-Parameter Logistic Model) of item response theory. The subjects were 246 2nd grade students in the junior high school. The estimations were using ASCAL 3.20, BILOG 3.07and XCALIBRE 1.10 computer program. They compared the indices of model-data fit statistics at testing data. Based on the results of this study, the conclusion was that the model-data fit statistics had good calibration to using XCALIBRE program on smaller sample sizes and shorter tests. Keywords: Item response theory; Estimation; Volleyball; Film Test; Cognitive Test; 3-PLM, Fit statistic. 1
壹 緒論 國內在民國九十年開始舉行國中基本學力測驗, 真正的將試題反應理論應用在實際的測驗上, 理論上這是可行的, 而且國外也很多成功的例子 Embretson 和 Reise (2000) 指出 : 試題反應理論的一些優點, 可能研究者畢竟對人格測驗的興趣較少, 例如 : 教育測驗服務社 (Educational Testing Service) 和美國大學測驗中心 (American College Testing) 的電腦適性測驗都偏愛大型的測驗計畫, 超過基本的人格測驗研究者 大型的測驗最初仍然須要基本的測驗研究, 國內將來是否也將測驗品質提高到 電腦適性測驗 的層次? 體育運動是否列入考試的項目? 如果是肯定的, 那麼吾人應該及早從事相關的基礎研究 ( 影片測驗 體育運動認知測驗 ) 基於上述的理由, 本研究首先嘗試應用試題反應理論的方法估計排球影片的認知測驗, 以提高測驗的品質, 獲得更多的測驗訊息 所以, 本研究的目的是應用試題反應理論三參數對數模式 (3-Parameter Logistic Model, 簡稱 3-PLM) 估計排球影片的認知測驗 貳 文獻探討 試題反應理論的發展源自成就測驗和適性測驗,Lord 和 Novick(1968) 就以選擇題和是非題的題型發展學術性向測驗, 至今以廣泛的應用於各種教育測驗 例如用試題反應理論的方法發展知識測驗, Sijtsma 和 Verweij(1999): 提出試題反應理論是模式導向, 研究認知測驗的對錯反應過程和策略, 結果試題反應理論模式估計綜合知識, 得到有用的單向度量尺 另外, 用試題反應理論的方法發展影片的認知測驗,Suddendorf(1999): 研究兒童能力對自我認知, 是否受放慢錄影帶回饋而改變自我知覺, 結果錄影帶測驗, 可能同時受假正向和假負向指標影響自我知覺差異的有效測量 電腦可以由指導者提供一個經慎密設計的課程以供學習者學者, 學習的進度完全依照學習者的能力而定, 且能得到立即性回饋的學習方法 Dempsey 和 Sales(1993) 認為 : 互動式多媒體電腦系統在運動技能的學習上, 不但能提供明確清晰的技能要素, 如 : 運動技能的細部動作在文字 圖形 影像 - 連續 快慢 靜上畫面及音效的調配下, 使學習者容易辨明及觀察動作結構的聯結與連貫性, 而且可以根據學習者學習反應提供適當的回饋 Fitts 和 Posner (1967) 的運動學習模式, 第一個階段就是 認知階段 由此可知運動技能的學習, 係由對動作技能內容的認知, 透過各種方式的練習 連結後, 才能達到預期的動作目標 在體育學習領域中, 學習者如何能以最有效 及最短時間內得到該項運動技能的認知概念, 是運動技能學習的主要條件, 所以, 有意義的運動學習必須建構在學生既有的認知基模上 參 研究方法 一 研究對象和施測時間受試者為台北縣頭前國中二年級學生兩百四十六名, 年齡 13.65±0.42 歲 民國八十九年十月二日至十月七日預試, 正式施測於民國九十年元月八日至元月十二日 二 排球影片的認知測驗 2
測驗採用的影片共二十題, 取材自 1999 及 2000 年世界女排邀請賽決賽影片經剪輯而成, 答案選項有五個 :A 式快攻選 (A),B 式快攻選 (B),C 式快攻選 (C),D 式快攻選 (D),Open B 快攻選 (E), 要求學生就認知影片所看到的是哪一種快攻作判定 施測地點為國中電腦教室, 配備為 Pentium II 等級多媒體電腦, 教師主機配備有廣播系統, 施測時教師由教師主機透過廣播系統撥放試題影片供學生判別, 每題撥放三次, 學生可以在未看清楚題目時要求重播一次 三 資料處理利用 ASCAL 3.20 BILOG 3.07 和 XCALIBRE 1.10 等三個電腦程式估計測驗, 以模式和資料適合度統計 (model-data fit statistics) 指標比較估計測驗的結果 肆 研究結果 一 ASCAL 電腦程式估計測驗的結果 以 ASCAL3.20 電腦程式估計測驗的結果 ( 參見表一 ), 鑑別度的範圍在 2.5 和 0.772 之間, 難度的 範圍在 3 和 -0.802 之間, 猜測度的範圍在 0.04 和 0.24 之間 整體而言 : 鑑別度良好 猜測度合理, 難 度偏難 模式和資料適合度統計方面, 表一中卡方適合度統計 ( 自由度 17) 顯示 : 第一題 第二題 第 十一題 第十二題和第十五題等, 卡方值達顯著水準 (p<.05), 即二十題中有五題不適合三參數模式 (3-PLM) 總之, 用 ASCAL 估計測驗有四分之一的試題不良 表一 A S C A L 程式估計試題參數最後結果摘要表 試題鑑別度難度猜測度卡方值自由度 1 0.781-0.802 0.12 92.863* 17 2 2.5 3 0.2 51.446* 17 3 1.087 1.813 0.23 23.865 17 4 1.667 1.931 0.21 19.095 17 5 1.254 1.482 0.21 22.118 17 6 1.526 0.925 0.14 26.27 17 7 0.991 1.74 0.22 23.659 17 8 0.794 1.01 0.15 25.703 17 9 1.088 1.952 0.16 23.182 17 10 1.71 1.898 0.24 7.243 17 11 0.772 0.981 0.06 30.883* 17 12 0.922 0.3 0.04 35.295* 17 13 1.955 1.353 0.22 17.933 17 14 1.522 1.488 0.21 27.289 17 15 0.921 0.335 0.04 28.364* 17 16 1.342 1.586 0.15 17.245 17 17 0.839 0.959 0.05 14.641 17 18 1.103 1.371 0.17 11.658 17 19 1.241 1.672 0.17 23.73 17 20 1.238 2.165 0.15 8.736 17 註 : *χ 2 (0.5,17)=27.587 3
二 BILOG 電腦程式估計測驗的結果 以 BILOG 3.07 電腦程式估計測驗的結果 ( 參見表二 ), 鑑別度平均 1.461 標準差 0.354( 範圍在 1.937 和 0.62 之間 ), 難度平均 1.413 標準差 0.655( 範圍在 2.164 和 -1.022 之間 ), 猜測度平均 0.162 標準差 0.035( 範圍在 0.089 和 0.207 之間 ) 整體而言 : 鑑別度中等 猜測度合理, 難度尚稱適中 模 式和資料適合度統計方面, 表二中卡方適合度統計顯示 : 第一題 第三題 第十四題和第十五題等, 卡方 值達顯著水準 (p<.05), 即二十題中有四題不適合三參數模式 (3-PLM) 總之, 用 BILOG 估計測驗仍有 五分之一的試題不良 表二 B I L O G 程式估計試題參數最後結果摘要表 試題鑑別度難度猜測度卡方值自由度 1 0.62-1.022 0.207 17.3* 3 2 1.842 1.545 0.089 4 4 3 1.254 1.795 0.192 14.6* 5 4 1.902 1.953 0.194 4.1 5 5 1.643 1.535 0.194 3.8 4 6 1.932 1.139 0.148 4.5 4 7 1.097 1.825 0.182 2 5 8 1.164 1.387 0.189 7.1 5 9 1.362 1.994 0.136 2.5 5 10 1.678 1.814 0.207 8.7 5 11 1.138 1.598 0.146 9.4 5 12 1.029 1.005 0.172 6.4 4 13 1.937 1.313 0.182 1.8 4 14 1.484 1.381 0.153 9.6* 4 15 1.206 1.01 0.183 10.7* 4 16 1.811 1.461 0.119 6.8 4 17 1.479 1.37 0.132 1.8 4 18 1.429 1.345 0.133 6.1 4 19 1.671 1.638 0.148 2.9 5 20 1.542 2.164 0.13 1 5 註 : *p<.05 三 XCALIBRE 電腦程式估計測驗的結果 以 XCALIBRE1.10 電腦程式估計測驗的結果 ( 參見表三 ), 鑑別度平均 0.91 標準差 0.88( 範圍在 1.02 和 0.66 之間 ), 難度平均 1.75 標準差 0.65( 範圍在 2.57 和 -0.63 之間 ), 猜測度平均 0.19 標準差 0.01( 範圍在 0.2 和 0.16 之間 ) 整體而言: 鑑別度可接受 猜測度合理, 難度偏難 模式和資料適合度統計方面, 表三中殘差值範圍在 1.07 和 0.18 之間, 最大值未超過 2.0, 所以, 二十題皆未達顯著水準 (p<.05), 即二十題中都適合三參數模式 (3-PLM) 進一步參考: 點二系列相關平均 0.41 標準差 0.07 ( 範圍在 0.51 和 0.22 之間 ), 皮爾遜 (Pearson) 積差相關平均 0.39 標準差 0.08( 範圍在 0.52 和 0.22 之間 ), 相關皆達顯著水準 (p<.05) 總之, 用 XCALIBRE 估計測驗時, 所有的試題皆適合三參數模式 4
表三 X C A L I B R E 程式估計試題參數最後結果摘要表 試題鑑別度難度猜測度殘差 P 值點二系列相關積差相關 1 0.66-0.63 0.2 1 0.72 0.22 0.43 2 1 2.08 0.16 1.07 0.21 0.5 0.49 3 0.86 1.96 0.2 0.26 0.31 0.36 0.35 4 0.99 2.31 0.2 0.61 0.26 0.33 0.22 5 0.93 1.84 0.2 0.28 0.32 0.41 0.35 6 1 1.52 0.19 0.43 0.32 0.51 0.52 7 0.85 2 0.2 0.32 0.32 0.37 0.31 8 0.84 1.58 0.2 0.29 0.37 0.39 0.39 9 0.94 2.37 0.18 0.47 0.23 0.38 0.31 10 0.93 2.11 0.2 0.37 0.3 0.38 0.3 11 0.85 1.88 0.19 0.3 0.3 0.4 0.4 12 0.78 1.18 0.2 0.41 0.42 0.4 0.45 13 0.98 1.65 0.19 0.3 0.32 0.47 0.44 14 0.93 1.79 0.19 0.18 0.31 0.46 0.41 15 0.83 1.15 0.2 0.27 0.41 0.42 0.49 16 1.02 1.98 0.18 0.67 0.25 0.5 0.43 17 0.93 1.8 0.19 0.4 0.29 0.46 0.44 18 0.93 1.79 0.19 0.25 0.3 0.48 0.43 19 0.96 2.05 0.18 0.53 0.26 0.43 0.38 20 0.96 2.57 0.18 0.64 0.2 0.35 0.3 伍 討論 三個程式估計測驗結果不同的原因在於 : 試題校準的方法有差異, 且模式和資料適合度統計指標也不盡相同 首先是 ASCAL 程式, 它是利用最大可能率法 (Maximum Likelihood) 和貝氏 (Bayesian) 模式程序估計試題參數, 鑑別度及難度的初始值使用常態分配曲線近似法, 猜測度依據選項數目而定, 能力使用標準常態事前分配的貝氏模式推估 θ 的初始分配, 割分為 20 個小區塊, 每一個區塊的平均數皆由區塊內所有受試者所決定, 接著用貝氏法的最大近似等式來估計試題參數 而估計試題的適合度是用皮爾遜卡方適合度統計, 卡方的自由度在本實驗中為 20-3=17(20: 最大分組,3: 試題參數個數 ) BILOG 程式採用邊際最大可能率 (Marginal Maximum Likelihood) 估計, 首先假定 : 受試者的能力抽自常態分配的母群, 則可積分出可能率函數, 結果能夠得到令人滿意的漸近線特性 由於積分的使用, 因此邊際最大可能率估計優於最大可能率估計, 但邊際最大可能率估計需要近似常態分配的能力, 所以必需有較多的受試者 某些情況邊際最大可能率估計可能失敗, 為避免此項可能,BILOG 就內定 c 參數為選項, 運算前需先設定 ; 本研究估計是先進行 EM 迭代十次, 再進行 牛頓 高斯 (Newton-Gauss) 法迭代兩次 假定 : 受試者抽自常態分配的母群, 鑑別度和猜測度參數為對數常態先驗分配 (Log Normal Prior Distribution), 同時估計試題和能力的參數 本研究的適合度考驗, 屬於 BILOG 短的測驗 ( 十一題至二十題 ), 試題個別的適合度訊息是計算 正確反應的後設機率 (Posterior Probability) 和 適合反應模式 之標準差異, 稱為標準化後設殘差, 當殘差值大於 2.0 時, 表示試題的適合度不良, 結果轉換為試題個別的卡方統計呈現 5
XCALIBRE 程式是透過四個階段的程序來估計試題參數, 最初估計階段 是由古典試題統計轉換為初步估計, 其次是 EM 階段 進一步精緻的估計試題參數, 使用 EM 迭代法是邊際最大可能率估計的程序之一, 第三是 選擇連結階段, 將試題參數量尺轉換到事先界定的試題 ( 一個固定的參數值 ), 最後是 殘差階段, 計算標準殘差提供準確性的評價, 或檢查估計的試題參數是否適合試題反應理論模式, 如果標準殘差超過 2.0, 表示試題不適合試題反應理論模式 歸納前述的程式,ASCAL 利用最大可能率法, 缺點是 : 無法估計在滿分和最低分情況, 異常的反應類型也找不到最大可能率 因而用貝氏模式程序來解決, 但須要增加測驗的長度, 以達到估計能力的分配為常態的 BILOG 採用邊際最大可能率估計, 而邊際最大可能率估計應用在三參數模式時, 能力由積分求得, 然後估計試題參數, 再以試題參數估計能力 ; 因為能力和試題參數的先驗分配, 必須排除不當的參數估計 不能聚斂和不能計算等問題, 而且也需要較多的受試者, 能力才近似常態分配 XCALIBRE 則是分階段來估計試題參數, 先是由樣本的古典試題統計轉換為初步估計 三者比較之下發現,ASCAL 和 BILOG 都依賴 能力近似常態分配, 只有 XCALIBRE 就樣本的特質進行試題校準, 所以,XCALIBRE 在小樣本和較短的測驗中具有良好的模式和資料適合度統計指標 陸 結論 本研究的目的是應用試題反應理論三參數對數模式估計排球影片的認知測驗, 受試者為兩百四十六名國中二年級學生, 實施二十題排球影片的認知測驗, 利用 ASCAL 3.20 BILOG 3.07 和 XCALIBRE 1.10 等三個電腦程式估計, 比較模式和資料適合度統計指標, 結果發現 :ASCAL 估計的測驗有五題不適合, BILOG 估計的測驗有四題不適合, XCALIBRE 估計的測驗則全部適合, 因此, 得到結論是 : 利用 XCALIBRE 程式校準小樣本和較短的測驗, 具有良好的模式和資料適合度統計指標 參考文獻 Dempesy, R.E., & Sales, G.C. (1993). Interactive instruction and feedback. Englewood Cliffs, NJ: Educational Technology Publication. Embretson, S. E., & Reise, S. P.(2000). Item Response Theory for Psychologists. Mahwah, NJ: Lawrence Erlbaum Associates. Fitts, P. M., & Posner, M. I. (1967). Human performance. Belrnont, CA: Brooks /Cole. Lord, F. M. & Novick, M. R. (1968). Statistical theories of mental test scores. Reading, MA: Addison-Wesley. Sijtsma, K., & Verweij, A. C. (1999). Knowledge of Solution Strategies and IRT Modeling of Items for Transitive Reasoning. Psychological Measurement, 23:1, 55-68. Suddendorf, T. (1999). Children's Understanding of the Relation between Delayed Video Representation and Current Reality: A Test for Self-Awareness? Journal of Experimental Child Psychology, 72:3, 157-76. 6