Microsoft Word - 中文3-PLM應用.doc

Size: px

Start display at page:

Download "Microsoft Word - 中文3-PLM應用.doc"

射耿
7 years ago
Views:

1 應用試題反應理論三參數對數模式估計排球影片的認知測驗國立體育學院運動技術學系教授姚漢禱國立體育學院運動科學研究所研究生張俊峰摘要本研究的目的是應用試題反應理論三參數對數模式 (3-Parameter Logistic Model, 簡稱 3-PLM) 估計排球影片的認知測驗, 受試者為兩百四十六名國中二年級學生, 利用 ASCAL 3.20 BILOG 3.07 和 XCALIBRE 1.10 等三個電腦程式估計測驗, 以模式和資料適合度統計 (model-data fit statistics) 指標比較估計測驗的結果, 根據本研究的結果, 得到結論是 : 利用 XCALIBRE 程式校準小樣本和較短的測驗, 具有良好的模式和資料適合度統計指標關鍵詞 : 試題反應理論, 估計, 排球, 影片測驗, 認知測驗, 三參數對數模式, 適合度統計 APPLICATIONS OF THE 3-PLM OF ITEM RESPONSE THEORY TO ESTIMATE THE COGNITIVE FILM TEST IN VOLLEYBALL. Han-Dau Yau, Department of Sports Training Science, National College of Physical Education and Sports. Chun-Feng Chang, Graduate Institute of Sports Science, National College of Physical Education and Sports. ABSTRACT The purpose of this study was to estimate the volleyball cognitive film test for using the 3-PLM (3-Parameter Logistic Model) of item response theory. The subjects were 246 2nd grade students in the junior high school. The estimations were using ASCAL 3.20, BILOG 3.07and XCALIBRE 1.10 computer program. They compared the indices of model-data fit statistics at testing data. Based on the results of this study, the conclusion was that the model-data fit statistics had good calibration to using XCALIBRE program on smaller sample sizes and shorter tests. Keywords: Item response theory; Estimation; Volleyball; Film Test; Cognitive Test; 3-PLM, Fit statistic. 1

2 壹緒論國內在民國九十年開始舉行國中基本學力測驗, 真正的將試題反應理論應用在實際的測驗上, 理論上這是可行的, 而且國外也很多成功的例子 Embretson 和 Reise (2000) 指出 : 試題反應理論的一些優點, 可能研究者畢竟對人格測驗的興趣較少, 例如 : 教育測驗服務社 (Educational Testing Service) 和美國大學測驗中心 (American College Testing) 的電腦適性測驗都偏愛大型的測驗計畫, 超過基本的人格測驗研究者大型的測驗最初仍然須要基本的測驗研究, 國內將來是否也將測驗品質提高到電腦適性測驗的層次? 體育運動是否列入考試的項目? 如果是肯定的, 那麼吾人應該及早從事相關的基礎研究 ( 影片測驗體育運動認知測驗 ) 基於上述的理由, 本研究首先嘗試應用試題反應理論的方法估計排球影片的認知測驗, 以提高測驗的品質, 獲得更多的測驗訊息所以, 本研究的目的是應用試題反應理論三參數對數模式 (3-Parameter Logistic Model, 簡稱 3-PLM) 估計排球影片的認知測驗貳文獻探討試題反應理論的發展源自成就測驗和適性測驗,Lord 和 Novick(1968) 就以選擇題和是非題的題型發展學術性向測驗, 至今以廣泛的應用於各種教育測驗例如用試題反應理論的方法發展知識測驗, Sijtsma 和 Verweij(1999): 提出試題反應理論是模式導向, 研究認知測驗的對錯反應過程和策略, 結果試題反應理論模式估計綜合知識, 得到有用的單向度量尺另外, 用試題反應理論的方法發展影片的認知測驗,Suddendorf(1999): 研究兒童能力對自我認知, 是否受放慢錄影帶回饋而改變自我知覺, 結果錄影帶測驗, 可能同時受假正向和假負向指標影響自我知覺差異的有效測量電腦可以由指導者提供一個經慎密設計的課程以供學習者學者, 學習的進度完全依照學習者的能力而定, 且能得到立即性回饋的學習方法 Dempsey 和 Sales(1993) 認為 : 互動式多媒體電腦系統在運動技能的學習上, 不但能提供明確清晰的技能要素, 如 : 運動技能的細部動作在文字圖形影像 - 連續快慢靜上畫面及音效的調配下, 使學習者容易辨明及觀察動作結構的聯結與連貫性, 而且可以根據學習者學習反應提供適當的回饋 Fitts 和 Posner (1967) 的運動學習模式, 第一個階段就是認知階段由此可知運動技能的學習, 係由對動作技能內容的認知, 透過各種方式的練習連結後, 才能達到預期的動作目標在體育學習領域中, 學習者如何能以最有效及最短時間內得到該項運動技能的認知概念, 是運動技能學習的主要條件, 所以, 有意義的運動學習必須建構在學生既有的認知基模上參研究方法一研究對象和施測時間受試者為台北縣頭前國中二年級學生兩百四十六名, 年齡 13.65±0.42 歲民國八十九年十月二日至十月七日預試, 正式施測於民國九十年元月八日至元月十二日二排球影片的認知測驗 2

3 測驗採用的影片共二十題, 取材自 1999 及 2000 年世界女排邀請賽決賽影片經剪輯而成, 答案選項有五個 :A 式快攻選 (A),B 式快攻選 (B),C 式快攻選 (C),D 式快攻選 (D),Open B 快攻選 (E), 要求學生就認知影片所看到的是哪一種快攻作判定施測地點為國中電腦教室, 配備為 Pentium II 等級多媒體電腦, 教師主機配備有廣播系統, 施測時教師由教師主機透過廣播系統撥放試題影片供學生判別, 每題撥放三次, 學生可以在未看清楚題目時要求重播一次三資料處理利用 ASCAL 3.20 BILOG 3.07 和 XCALIBRE 1.10 等三個電腦程式估計測驗, 以模式和資料適合度統計 (model-data fit statistics) 指標比較估計測驗的結果肆研究結果一 ASCAL 電腦程式估計測驗的結果以 ASCAL3.20 電腦程式估計測驗的結果 ( 參見表一 ), 鑑別度的範圍在 2.5 和之間, 難度的範圍在 3 和之間, 猜測度的範圍在 0.04 和 0.24 之間整體而言 : 鑑別度良好猜測度合理, 難度偏難模式和資料適合度統計方面, 表一中卡方適合度統計 ( 自由度 17) 顯示 : 第一題第二題第十一題第十二題和第十五題等, 卡方值達顯著水準 (p<.05), 即二十題中有五題不適合三參數模式 (3-PLM) 總之, 用 ASCAL 估計測驗有四分之一的試題不良表一 A S C A L 程式估計試題參數最後結果摘要表試題鑑別度難度猜測度卡方值自由度 * * * * * 註 : *χ 2 (0.5,17)=

4 二 BILOG 電腦程式估計測驗的結果以 BILOG 3.07 電腦程式估計測驗的結果 ( 參見表二 ), 鑑別度平均標準差 0.354( 範圍在和 0.62 之間 ), 難度平均標準差 0.655( 範圍在和之間 ), 猜測度平均標準差 0.035( 範圍在和之間 ) 整體而言 : 鑑別度中等猜測度合理, 難度尚稱適中模式和資料適合度統計方面, 表二中卡方適合度統計顯示 : 第一題第三題第十四題和第十五題等, 卡方值達顯著水準 (p<.05), 即二十題中有四題不適合三參數模式 (3-PLM) 總之, 用 BILOG 估計測驗仍有五分之一的試題不良表二 B I L O G 程式估計試題參數最後結果摘要表試題鑑別度難度猜測度卡方值自由度 * * * * 註 : *p<.05 三 XCALIBRE 電腦程式估計測驗的結果以 XCALIBRE1.10 電腦程式估計測驗的結果 ( 參見表三 ), 鑑別度平均 0.91 標準差 0.88( 範圍在 1.02 和 0.66 之間 ), 難度平均 1.75 標準差 0.65( 範圍在 2.57 和之間 ), 猜測度平均 0.19 標準差 0.01( 範圍在 0.2 和 0.16 之間 ) 整體而言: 鑑別度可接受猜測度合理, 難度偏難模式和資料適合度統計方面, 表三中殘差值範圍在 1.07 和 0.18 之間, 最大值未超過 2.0, 所以, 二十題皆未達顯著水準 (p<.05), 即二十題中都適合三參數模式 (3-PLM) 進一步參考: 點二系列相關平均 0.41 標準差 0.07 ( 範圍在 0.51 和 0.22 之間 ), 皮爾遜 (Pearson) 積差相關平均 0.39 標準差 0.08( 範圍在 0.52 和 0.22 之間 ), 相關皆達顯著水準 (p<.05) 總之, 用 XCALIBRE 估計測驗時, 所有的試題皆適合三參數模式 4

5 表三 X C A L I B R E 程式估計試題參數最後結果摘要表試題鑑別度難度猜測度殘差 P 值點二系列相關積差相關伍討論三個程式估計測驗結果不同的原因在於 : 試題校準的方法有差異, 且模式和資料適合度統計指標也不盡相同首先是 ASCAL 程式, 它是利用最大可能率法 (Maximum Likelihood) 和貝氏 (Bayesian) 模式程序估計試題參數, 鑑別度及難度的初始值使用常態分配曲線近似法, 猜測度依據選項數目而定, 能力使用標準常態事前分配的貝氏模式推估 θ 的初始分配, 割分為 20 個小區塊, 每一個區塊的平均數皆由區塊內所有受試者所決定, 接著用貝氏法的最大近似等式來估計試題參數而估計試題的適合度是用皮爾遜卡方適合度統計, 卡方的自由度在本實驗中為 20-3=17(20: 最大分組,3: 試題參數個數 ) BILOG 程式採用邊際最大可能率 (Marginal Maximum Likelihood) 估計, 首先假定 : 受試者的能力抽自常態分配的母群, 則可積分出可能率函數, 結果能夠得到令人滿意的漸近線特性由於積分的使用, 因此邊際最大可能率估計優於最大可能率估計, 但邊際最大可能率估計需要近似常態分配的能力, 所以必需有較多的受試者某些情況邊際最大可能率估計可能失敗, 為避免此項可能,BILOG 就內定 c 參數為選項, 運算前需先設定 ; 本研究估計是先進行 EM 迭代十次, 再進行牛頓高斯 (Newton-Gauss) 法迭代兩次假定 : 受試者抽自常態分配的母群, 鑑別度和猜測度參數為對數常態先驗分配 (Log Normal Prior Distribution), 同時估計試題和能力的參數本研究的適合度考驗, 屬於 BILOG 短的測驗 ( 十一題至二十題 ), 試題個別的適合度訊息是計算正確反應的後設機率 (Posterior Probability) 和適合反應模式之標準差異, 稱為標準化後設殘差, 當殘差值大於 2.0 時, 表示試題的適合度不良, 結果轉換為試題個別的卡方統計呈現 5

6 XCALIBRE 程式是透過四個階段的程序來估計試題參數, 最初估計階段是由古典試題統計轉換為初步估計, 其次是 EM 階段進一步精緻的估計試題參數, 使用 EM 迭代法是邊際最大可能率估計的程序之一, 第三是選擇連結階段, 將試題參數量尺轉換到事先界定的試題 ( 一個固定的參數值 ), 最後是殘差階段, 計算標準殘差提供準確性的評價, 或檢查估計的試題參數是否適合試題反應理論模式, 如果標準殘差超過 2.0, 表示試題不適合試題反應理論模式歸納前述的程式,ASCAL 利用最大可能率法, 缺點是 : 無法估計在滿分和最低分情況, 異常的反應類型也找不到最大可能率因而用貝氏模式程序來解決, 但須要增加測驗的長度, 以達到估計能力的分配為常態的 BILOG 採用邊際最大可能率估計, 而邊際最大可能率估計應用在三參數模式時, 能力由積分求得, 然後估計試題參數, 再以試題參數估計能力 ; 因為能力和試題參數的先驗分配, 必須排除不當的參數估計不能聚斂和不能計算等問題, 而且也需要較多的受試者, 能力才近似常態分配 XCALIBRE 則是分階段來估計試題參數, 先是由樣本的古典試題統計轉換為初步估計三者比較之下發現,ASCAL 和 BILOG 都依賴能力近似常態分配, 只有 XCALIBRE 就樣本的特質進行試題校準, 所以,XCALIBRE 在小樣本和較短的測驗中具有良好的模式和資料適合度統計指標陸結論本研究的目的是應用試題反應理論三參數對數模式估計排球影片的認知測驗, 受試者為兩百四十六名國中二年級學生, 實施二十題排球影片的認知測驗, 利用 ASCAL 3.20 BILOG 3.07 和 XCALIBRE 1.10 等三個電腦程式估計, 比較模式和資料適合度統計指標, 結果發現 :ASCAL 估計的測驗有五題不適合, BILOG 估計的測驗有四題不適合, XCALIBRE 估計的測驗則全部適合, 因此, 得到結論是 : 利用 XCALIBRE 程式校準小樣本和較短的測驗, 具有良好的模式和資料適合度統計指標參考文獻 Dempesy, R.E., & Sales, G.C. (1993). Interactive instruction and feedback. Englewood Cliffs, NJ: Educational Technology Publication. Embretson, S. E., & Reise, S. P.(2000). Item Response Theory for Psychologists. Mahwah, NJ: Lawrence Erlbaum Associates. Fitts, P. M., & Posner, M. I. (1967). Human performance. Belrnont, CA: Brooks /Cole. Lord, F. M. & Novick, M. R. (1968). Statistical theories of mental test scores. Reading, MA: Addison-Wesley. Sijtsma, K., & Verweij, A. C. (1999). Knowledge of Solution Strategies and IRT Modeling of Items for Transitive Reasoning. Psychological Measurement, 23:1, Suddendorf, T. (1999). Children's Understanding of the Relation between Delayed Video Representation and Current Reality: A Test for Self-Awareness? Journal of Experimental Child Psychology, 72:3,

教育學報31-2期.indd

教育學報31-2期.indd 從 TIMSS 2007 臺灣八年級學生數學科作答反應檢視古典測驗理論和試題反應理論特性和測驗分析結果 TIMSS 2007 * ** TIMSS 2007 TIMSS 2007 287 R 2.13.1 Excel 2003 SPSS 12.0 ConQuest 2.0 PCM TIMSS DOI: 10.3966/199679772014123102003 2013 12 31 2014 3 252014