Microsoft Word - 碩士論文－浮水印0726.doc

Transcription

1 國立臺中教育大學教育測驗統計研究所理學碩士論文 郭伯臣博士指導教授 : 吳慧珉博士 大型測驗不同量尺化程序之等化效果探究 研究生 : 詹慧君撰 中華民國一百年六月

2

3 摘要 本研究欲探討在進行測驗等化時, 不同量尺化方法於不同年度間等化效果的差異 以試題反應理論 (item response theory, IRT) 三參數 Logistic 模式 (three-parameter logistic model) 為基礎, 進行模擬實驗, 探討不同受試人數 不同定錨試題比例及不同題本長度於不同量尺化程序中的等化效果 研究中主要的變項設定為 :( 一 ) 量尺化方法為 PISA 使用之量尺化方法 固定試題參數量尺化方法 (fixed-item scaling method) NAEP 與 TIMSS 使用之量尺化方法及同時估計量尺化方法 (concurrent calibration scaling method);( 二 ) 受試人數為 5460 人 7540 人及 人 ;( 三 ) 不同定錨試題比例為 10% 20% 及 30%;( 四 ) 不同題本長度為 30 題及 60 題 ;( 五 ) 兩年度受試者能力差距分為無差距 小差距及大差距 本研究結果發現 : 1. 兩年度受試者能力無差距時,NAEP 與 TIMSS 使用之量尺化方法的估計效果最好, 但差距不大, 可藉由增加受試者人數 定錨試題比例及題本長度而降低估計誤差值 2. 兩年度受試者能力小差距時, 同時估計量尺化方法的估計效果最好, 但差距不大, 可藉由增加定錨試題比例及題本長度而降低估計誤差值 3. 兩年度受試者能力大差距,PISA 使用之量尺化方法的估計效果最好, 但差距不大 ; 而 NAEP 與 TIMSS 使用之量尺化方法的估計效果最差 關鍵字 : 大型測驗 測驗等化 同時估計法 量尺化方法 I

4 Abstract The research aims to discuss the differences of equating effects of different test equating method within different years when test equating is processed. Simulation examinations are proceeded based on IRT 3PL method to discuss the differences of equating effects within different population tested, different proportion of anchor items and different number of test items within different process of scaling. The settles of main variables in the research are as following:(1)the scaling methods used by PISA, fixed-item scaling method, scaling method adopted by NAEP and TIMSS and concurrent calibration scaling method;(2)the populations on test are 5460, 7540 and respectively;(3)the proportions of different anchor items are 10%, 20%, and 30%;(4)the different number of test items are 30 and 60; (5)the different range of ability distribution are no difference, small difference, and large difference. Followings are the findings of the research: 1. When there is no difference in ability distribution, the estimation error could be reduced by increasing tested population, the proportion of anchor items and the number of test items. The equating effects of the scaling method used by NAEP and TIMSS and concurrent calibration scaling method are much better than those adopted by fixed-item parameter scaling method and the scaling methods used by PISA; 2. When there is a small differencein ability distritution, the estimation error could be reduced by increasing the proportion of anchor items and the number of test items. The equating effects of the concurrent calibration scaling method are the best; 3. When there is a large differencein ability distritution, the estimation error could be reduced by increasing the number of test items. The equating effects of the scaling method used by NAEP and TIMSS are the worst. Key words: large-scale assessments, test equating, concurrent calibration, scaling methods II

5 致謝 感謝指導教授郭伯臣教授及吳慧珉教授的悉心指導, 才能完成本論文, 三年來, 在測統所的學習獲益匪淺 感謝口試委員曾建銘老師及謝名娟老師在百忙中審閱論文的, 您們的指正與見解使得論文內容更完備 感謝暄博學長的照顧, 協助我解決論文上所有的難題, 因為你的幫助我才能度過每一次的挫折, 才能順利完成論文 感謝雅玲 艷鴽三年來的勉勵與打氣, 從暑期班一起重考夜間班的革命情感, 一起參加研討會, 一起準備作業, 你們的相伴讓熬夜跑程式變得不那麼折磨, 令我永生難忘 感謝家人的關懷與幫助, 深夜的一聲 加油 ", 讓我更堅持走下去 ; 感謝同事們的叮嚀及督促, 讓我更有動力完成論文 最期盼的時刻終於來到, 感謝所有幫助我 關心我的人, 謝謝你們 詹慧君 中華民國一百年七月 III

6 目錄 摘要...Ⅰ 目錄...IV 表目錄...V 圖目錄...VI 第一章緒論...1 第一節研究背景與動機...1 第二節研究目的...2 第三節名詞釋義...3 第二章文獻探討...5 第一節大型測驗...5 第二節測驗等化...7 第三節大型測驗之等化估計方法...10 第三章研究方法...13 第一節研究流程...13 第二節模擬研究變項設計...14 第三節等化設計...16 第四節量尺化程序...18 第五節估計精準度...20 第四章研究結果...21 第一節兩年度受試者能力無差距之等化效果...21 第二節兩年度受試者能力小差距之等化效果...27 第三節兩年度受試者能力大差距之等化效果...34 第四節不同受試者能力分布差距之等化效果...40 第五章結論與建議...47 第一節結論...47 第二節改進建議...48 參考文獻...49 中文部分...49 英文部分...50 附錄一兩年度受試者能力無差距之估計誤差...53 附錄二兩年度受試者能力小差距之估計誤差...54 附錄三兩年度受試者能力大差距之估計誤差...55 IV

7 表目錄 表 3-1 共同變項設定...14 表 3-2 BIB 等化設計...17 表 3-3 定錨試題題數分配...17 V

8 圖目錄 圖 3-1 研究流程圖...13 圖 4-1 受試者人數 5460 人之...21 圖 4-2 受試者人數 7540 人之...22 圖 4-3 受試者人數 人之...22 圖 4-4 定錨試題比例 10% 之...23 圖 4-5 定錨試題比例 20% 之...24 圖 4-6 定錨試題比例 30% 之...24 圖 4-7 題本長度 30 題之...25 圖 4-8 題本長度 60 題之...25 圖 4-9 不同受試者人數之...26 圖 4-10 不同定錨試題比例之...27 圖 4-11 不同題本長度之...27 圖 4-12 受試者人數 5460 人之...28 圖 4-13 受試者人數 7540 人之...28 圖 4-14 受試者人數 人之...29 圖 4-15 定錨試題比例 10% 之...30 圖 4-16 定錨試題比例 20% 之...30 圖 4-17 定錨試題比例 30% 之...31 圖 4-18 題本長度 30 題之...32 圖 4-19 題本長度 60 題之...32 圖 4-20 不同受試者人數之...33 圖 4-21 不同定錨試題比例之...33 圖 4-22 不同題本長度之...34 圖 4-23 受試者人數 5460 人之...35 圖 4-24 受試者人數 7540 人之...35 圖 4-25 受試者人數 人之...36 圖 4-26 定錨試題比例 10% 之...36 圖 4-27 定錨試題比例 20% 之...37 圖 4-28 定錨試題比例 30% 之...37 圖 4-29 題本長度 30 題之...38 圖 4-30 題本長度 60 題之...38 圖 4-31 不同受試者人數之...39 圖 4-32 不同定錨試題比例之...39 圖 4-33 不同題本長度之...40 圖 4-34 受試者人數 5460 人於不同受試者能力分布之...41 VI

9 圖 4-35 受試者人數 7540 人於不同受試者能力分布之...41 圖 4-36 受試者人數 人於不同受試者能力分布之...42 圖 4-37 定錨試題比例 10% 於不同受試者能力分布之...42 圖 4-38 定錨試題比例 20% 於不同受試者能力分布之...43 圖 4-39 定錨試題比例 30% 於不同受試者能力分布之...44 圖 4-40 題本長度 30 題於不同受試者能力分布之...44 圖 4-41 題本長度 60 題於不同受試者能力分布之...45 VII

10 第一章緒論 本研究藉由探討國內外大型測驗 (large-scale assessments) 於不同年度間的量尺化程序 (scaling procedures), 擬透過模擬實驗方式進行受試者能力值估計效果之探究 本章將針對研究背景與動機 研究目的及名詞釋義進行闡述 第一節研究背景與動機 為了長時間追蹤學生學習變化的趨勢, 檢視國家教育體制與政策, 許多國家皆透過教育資料庫之建置, 以做為教學改進 制定政策的參考依據 國家教育進展評量 (National Assessment of Educational Progress, NAEP) 國際數學與科學教育成就趨勢調查 (Trends in International Mathematics and Science Study, TIMSS) 學生能力國際評量計劃 (the Programme for International Student Assessment, PISA) 皆是國際上相當著名的大型測驗 在國際逐漸重視大型測驗之際, 臺灣除了積極參與國際性教育資料庫的建置之外, 並於 2006 年成立 臺灣學生學習成就評量資料庫 (Taiwan Assessment of Student Achievement, TASA), 針對國小 國中及高中職三個教育階段建立國語文 英語文 數學 社會及自然五科之學習成就資料庫, 並積極與國際接軌, 加入國際比較的行列 ( 臺灣學生學習成就評量資料庫網站,2011) 綜合以上發現, 大型測驗已受到矚目, 國內外皆十分重視此議題, 並致力於此 然而, 為了達到長期追蹤學生學習成就的趨勢的目標, 在建置大型測驗資料庫的過程中, 必須透過量尺化程序建立共同量尺 量尺化程序是指透過適當的測驗等化 (test equating) 方法, 將不同的測驗分數連結 (linking) 至相同的量尺上, 以進行受試者學習成就的比較與測驗分數的解釋 郭伯臣與王暄博 (2008) 指出要建立共同量尺必須考慮同年級不同測驗間之連結 (linking) 不同年級不同測驗間之連結 同年級不同年度測驗間之連結 不同年級不同年度測驗間之連結 因此, 為考慮施測不同題本 1

11 (booklet) 的測驗分數能建立在同一個量尺上, 大型測驗必須定期地進行受試者能力參數與試題參數之連結, 也就是必須選擇適當的量尺化方法 近年來, 較常被使用的量尺化方法 (scaling methods) 是以試題反應理論 (item response theory, IRT) 為基礎的同時估計法 (concurrent calibration) 與分開估計法 (separate estimation) Hanson 與 Beguin(2002) 指出, 同時估計法在進行測驗等化時有較佳的等化效果 且國內外的大型測驗, 例如 NAEP TIMSS TASA 等在同年度不同測驗間皆使用同時估計法來進行量尺化程序 (scaling procedures)(allen & Schoeps, 2001;John, Michael, & Ina, 2008; 國家教育研究院,2010) 然而,Qian(2005) 指出 NAEP 在連結不同年度測驗量尺分數時, 必須透過線性轉換的量尺化程序 ;John, Michael, 與 Ina(2008) 的技術報告中指出 TIMSS 在進行不同年度測驗量尺分數之連結, 採用 NAEP 的量尺化方法 ;Margaret Wu(2009) 於臺中教育大學舉辦的 2009 大型測驗暨 ConQuest 工作坊 中提到 PISA 在連結不同年度測驗量尺分數時, 亦使用了線性轉換的量尺化程序, 但 PISA 使用之線性轉換程序與 NAEP 和 TIMSS 不同 此外, 國家教育研究院 (2010) 的研究報告中指出 TASA 在連結不同年度測驗量尺分數時, 則使用固定試題參數 (fixed-item parameter) 的量尺化方法 是故, 本研究欲以模擬研究的方式比較不同的量尺化方法於不同年度測驗之連結成效, 並加入一般較為常見的同時估計量尺化方法 第二節研究目的 本研究欲探討不同量尺化方法於不同年度間之連結效果, 包括同時估計量尺化方法 (concurrent calibration scaling method) NAEP 與 TIMSS 使用之量尺化方法 PISA 使用之量尺化方法 (OECD scaling method) 以及固定試題參數 (fixed-item parameter) 量尺化方法 本研究的變項包括 : 量尺化方法 題本長度 定錨試題比例及受試人數 綜合上述, 將研究項目羅列如下 : 一 不同量尺化方法之等化效果 2

12 二 不同測驗題本長度於不同量尺化方法之等化效果 三 不同定錨試題比例於不同量尺化方法之等化效果 四 不同受試人數於不同量尺化方法之等化效果 五 不同受試者能力分布差距於不同量尺化方法之等化效果 一 量尺化方法 第三節名詞釋義 量尺化方法 (scaling methods) 可以將一測驗分數轉換到另一份測驗的分數量尺上, 使其分數能相互比較的程序 本研究欲比較不同大型測驗在進行量尺化程序所使用的方法, 包括同時估計量尺化方法 NAEP 與 TIMSS 使用之量尺化方法 PISA 使用之量尺化方法與 TASA 使用之固定試題參數量尺化方法 二 NAEP 與 TIMSS 使用之量尺化方法 美國教育研究社 (Educational Testing Service, ETS) 是個教育測驗與評量機構, 亦協助個人 教育組織或國家進行教育研究, 提供有關國際性測驗的相關訊息, 例如 : TOEFL TOEIC GRE 等 (Allen, Donoghue, & Schoeps, 2001), 而 NAEP 亦是由 ETS 主辦的測驗 ;John, Michael, 與 Ina(2008) 指出 TIMSS 於不同年度間量尺化程序所使用的方法與 ETS 設計的方法相同 因此, 本研究將 NAEP 與 TIMSS 在不同年度間量尺化程序所使用的轉化方法稱為 NAEP 與 TIMSS 使用之量尺化方法 三 PISA 使用之量尺化方法 PISA 於 2000 年由 OECD 推動, 目的是研究學生生活知能的學習成效, 到了 2009 年已有 68 個國家參與計畫 (OECD, 2009) 本研究將 PISA 在不同年度間量尺化程序所使用的方法稱為 PISA 使用之量尺化方法 四 同時估計量尺化方法 3

13 同時估計法透過等化設計同時對測驗的所有試題進行校準, 將所有受試者能力值與試題參數放在共同量尺上, 以進行比較 而 NAEP TIMSS 以及 TASA 在同年度不同測驗間皆採用此方法來進行量尺化程序, 但和進行不同年度間量尺化程序的方法不同, 因此, 本研究欲探討同時估計法之等化效果, 並將同時估計法定義為同時估計量尺化方法 五 固定試題參數量尺化方法 TASA 使用固定試題參數法進行不同年度間的量尺化程序, 藉由固定定錨試題參數建立兩份測驗分數的共同量尺, 本研究將之稱為固定試題參數量尺化方法 ( 國家教育研究院,2010) 4

14 第二章文獻探討 本研究欲探討不同年度間不同量尺化方法等化效果的差異, 故本章將針對大型教 育測驗 測驗等化及大型教育資料庫之等化估計方法等相關文獻分析整理 壹 國家教育進展評量 (NAEP) 第一節大型測驗 NAEP 是由美國教育部教育統計中心 (U.S. Department of Education National Centerfor Education Statistics) 主辦, 成立的目的在長時間測量教育發展情形, 了解美國學生在主要課程中應該知道以及執行的能力, 由美國教育研究社 (Educational Testing Service, ETS) 協助進行教育研究 (Allen & Schoeps, 2001) 從 1969 年開始, 針對 4 年級 8 年級及 12 年級學生進行學科評量, 涵蓋的範圍廣泛, 其中較常見的能力包括閱讀 數學 科學 寫作 公民 地理 美國歷史與藝術 各學科施測的時間不同, 閱讀 數學及科學每兩至三年評量一次, 其他學科每兩年 三年 五年甚至每八年才評量一次 NAEP 依目的不同可分為主要評量 (main) 及長期發展趨勢評量 (long-term trend) 兩種, 主要評量的結果表示在主要課程領域中學生應該知道並實現的能力, 著重於學生正在學習的內容 ; 而長期發展趨勢評量的結果則顯示長時間的教育發展情形, 著重於學生閱讀及數學能力長期發展的趨勢 貳 學生基礎素養國際研究計畫 (PISA) OECD(2009) 指出, 此研究計畫由 經濟合作暨發展組織 (Organization for Economic Co-operation and Development, OECD) 主辦, 以終身學習的角度來評量學生是否有能力應付未來的世界, 評估完成基礎教育的 15 歲學生是否習得未來面對問題環境所需的知識和技能, 試題設計重視應用與模擬情境, 不侷限於課程內容, 著重於理 5

15 解 統整資訊後, 進行評鑑及省思的過程, 最終能靈活運用 PISA 是持續進行的計畫, 長期蒐集各國測驗訊息, 以追蹤 比較各國學生知識與技能的變化趨勢, 每三年舉辦一次, 針對參與國 15 歲學生進行閱讀素養 數學素養及科學素養之評量, 每次評量從三項素養中擇一做為主項目, 約佔施測時間的三分之二, 另外兩項素養為輔, 例如 PISA 在 2012 年的施測將以數學素養為主科, 閱讀和科學為輔 PISA 自 2000 年第一次實施, 僅 43 個國家參與, 發展至今,2009 年已有 68 國參與其中, 而臺灣亦於 2006 年加入此計畫且預計參與 2012 年的計畫 由此可知,PISA 評量理念及品質已獲得國際的肯定 參 國際數學與科學教育成就趨勢調查 (TIMSS) TIMSS 是由 國際成就調查委員會 (The International Association for the Evaluation of Education Achievement, IEA) 主辦, 目的在評量學生數學及科學表現趨勢發展, 致力於改善全球數學及科學教學及學習 自 1999 進行 TIMSS-R(TIMSS-REPEAT) 後, 每四年舉辦一次, 針對國小四年級及國中二年級進行數學及科學成就之評量 (Mullis, Martin, Ruddock, O'Sullivan, Arora, & Eberber, 2005) TIMSS 是一個跨國際的研究計畫, 透過問卷廣泛的蒐集參與國的教育背景資料, 綜合測驗及問卷資料分析後, 比較參與國家的教育成效, 至 2011 年已有超過 60 個國家參與其中 (TIMSS & PIRLS International Study Center, 2011) 臺灣首次參與國際大型測驗即加入此研究計畫, 於 1999 年完成 TIMSS-R 相關工作, 近一步比較我國學生與國際間數學及科學的學習成效, 可提供我國數學及科學教育實施參考之用 肆 臺灣學生學習成就評量資料庫 (TASA) 根據中華民國教育部國民中小學九年一貫課程推動工作小組第 43 次會議決議 : 有關學生學習成就調查是本部研訂課程與教學政策之重要參據, 有必要進行常態性之資料建立 因此成立 臺灣學生學習成就評量資料庫, 針對國小 國中及高中職 6

16 三個教育階段建立國語文 英語文 數學 社會及自然五科之學習成就資料庫, 以追蹤學生的學習變化趨勢, 進而檢視國家課程及教學成效 TASA 的施測對象為國小四年級 國小六年級 國中二年級及高中職二年級學生, 2005 至 2007 年間全面施測, 從 2009 年起每三年施測一次, 以利建置完整的資料庫, 長期觀察學生的成就趨勢 ( 臺灣學生學習成就評量資料庫網站,2011) 伍 小結 綜合上述介紹, 為了長期觀察學生學習成就的趨勢, 大型測驗每幾年施測一次 然而, 不同年度間測驗的分數不可直接比較, 必須透過量尺化程序建立不同年度間測驗分數之共同量尺, 方能進行比較 本研究欲探討不同量尺化方法之等化效果 第二節測驗等化 測驗等化利用統計的方法, 將受試者在一份測驗的分數轉換到另一份測驗的分數量尺上, 使其分數能相互比較, 其目的是為了校準試題難度的差異, 結果並不會因時間或人而有所改變 (Michael & Robert, 2004) 進行測驗等化必須滿足對稱性 (symmetry property) 相同試題規格(same specifications property) 相等性(equity properties) 觀察分數等化性質(observed score equating properties) 及群體不變性 (group invariance property) 五項特質 (Michael & Robert, 2004) 以下介紹測驗等化的種類及量尺化方法相關文獻 壹 測驗等化的種類 測驗等化的種類分為水平等化及垂直等化兩種, 介紹如下 ( 王暄博,2006): 一 水平等化 (horizontal equating): 當一測驗有數個測量相同特質的不同題本, 且試題難度與受試者能力分布相似時, 即可進行水平等化的技術, 亦即將兩個或兩個以上測量相同特質 相同能力的測驗分數利用測驗等化技術進行轉換的過程 為了降低練習因素 (practice effect) 以保 7

17 護試題的安全性 (test security), 因此, 利用題庫建立數個類似平行測驗 (parallel test) 的題本, 再透過量尺等化 (scale equating) 程序比較這些不同測驗的結果, 將不同測驗分數轉換至相同量尺上, 此過程稱為水平等化 水平等化的應用廣泛, 例如 : 托福 GRE 等, 皆有多種複本測驗, 一年可以進行多次考試 ; 除此之外, 大型測驗的量尺化程序中, 同年度間測驗等化即屬於水平等化 二 垂直等化 (vertical equating) 當一測驗有數個測量相同特質的不同題本, 而試題難度與受試者能力分布卻不相同時, 即可進行垂直等化的技術, 亦即將兩個或兩個以上測量相同特質 不同能力的測驗分數利用測驗等化技術進行轉換的過程 為了比較不同題本的分數, 必須透過量尺等化 (scale equating) 程序建立題本間的等化分數 此類測驗的受試者能力屬於不同年齡或不同年級的分配情形, 例如 : 愛奥華基本技能測驗 (Iowa Test of Basic Skills), 就是透過垂直等化進行測驗分數的連結 三 小結本研究提到的國內外大型測驗建置的共同目的之一, 即追蹤受試者的能力變化情況, 為達成此目的必須藉助等化技術, 同時進行水平等化及垂直等化 ( 陳煥文,2004) 例如, 本研究大型測驗同年度及不同年度間測驗等化使用水平等化設計, 將不同測驗分數轉換至共同量尺上, 以作為比較各國 各地區 各學校 及個人表現的依據 ; 以比較跨學科 跨年級 甚至跨年度的測驗分數 貳 等化估計方法 等化估計方法分為古典測驗理論 (classical test theory, CTT) 等化估計方法及試題反應理論 (item response theory, IRT) 等化估計方法 Crocker 與 Algina(1986) 指出 CTT 等化估計方法利用原始總分來進行量尺化程序, 其中最常見的三種方法為平均數等化 (mean equating) 線性等化(linear equating) 及等百分位數等化 (equipercentile equating), 但在實施上有其限制, 因此出現了 IRT 等化估計方法 8

18 IRT 等化估計方法估計不同群組受試者反應資料的試題參數及能力參數, 經過連結 (linking) 將參數轉換至同一量尺, 以進行比較 其大致分為同時估計法 (concurrent estimation) 及分開估計法 (separate estimation) 兩大類 (Michael & Robert, 2004) 一 同時估計法此方法藉由等化設計對所有測驗的試題同時進行校準, 即可將所有受試者能力值與試題參數放在相同量尺上 等化設計時, 各測驗皆設有定錨試題, 利用定錨試題將所有測驗反應資料合併, 同時進行參數估計, 方能使所有測驗的受試者能力值及試題參數在同一個量尺上, 以利進行比較 (Mislevy & Bock, 1982) 等化過程中藉由等化係數將不同測驗題本的試題參數值放在同一量尺上, 而其中的風險來自於等化係數估計值正確與否, 此問題可透過使用同時估計法來解決 因此, 同時估計法優於以線性技術為基礎的等化方法, 例如 : 特徵曲線法 (Stocking & Lord, 1983) 二 分開估計法此方法先分別估計兩份不同測驗之試題參數, 再藉由各測驗中的定錨試題參數得到量尺之間的轉換係數, 將不同測驗量尺轉換至同一量尺, 以便進行比較, 其中較為人所知的方法為平均數法 (mean method) 平均數與標準差法(mean and sigma method) 及特徵曲線法 (characteristic curve method) 三 小結許多文獻指出, 同時估計法比分開估計法擁有較佳估計精準度 (Anton & Bradley, 2001;Hanson & Beguin, 2002; 黃美芳,2006; 陳煥文,2004),Hanson 與 Beguin(2002) 指出在同年度間不同測驗時, 同時估計法在樣本數較大時比分開估計法有較佳的等化效果 ;Simon(2008) 指出在樣本數較大時同時估計法比分開估計法擁有較佳的估計精準度, 尤其是在施測試題數量少的情況下, 兩者估計精準度差異會越大 而大型測驗將同時估計法使用於同年度間的量尺化程序, 與不同年度間使用的量尺化方法不同 因此, 本研究擬使用同時估計法於不同年度間測驗 9

19 第三節大型測驗之等化估計方法 NAEP TIMSS PISA TASA 等大型測驗在同年度不同測驗皆使用同時估計法來進行量尺化程序 (Allen & Schoeps, 2001;Mullis, Martin, Ruddock, O'Sullivan, Arora & Eberber, 2005; 臺灣學生學習成就評量資料庫網站,2011) 然而, 並沒有相關研究探討不同年度間測驗量尺化程序使用何等化方法有較佳的等化效果, 因此, 本研究欲探討大型測驗不同年度間量尺化方法 壹 NAEP 與 TIMSS 使用之量尺化方法 NAEP 是由 ETS 協助進行研究, 於不同年度間量尺化程序是經由同時校準連結兩個年度的測驗, 再藉由共同群體 (common population) 及線性轉換 (linear transformation) 將兩次測驗連結在一起 以連結 NAEP2003 與 NAEP20005 兩個年度測驗為例, 其量尺化程序如下 (Allen & Schoeps, 2001): 一 取得 2003 年公布的 NAEP2003 測驗估計值之平均數與標準差 ; 二 將 2003 與 2005 兩個不同母群的測驗結果同時估計 ; 三 取出步驟二中 2003 的估計值, 將其平均數與標準差轉換至步驟一所取得之平均數與標準差 ; 四 取出步驟二 2005 的估計值, 使用步驟三的轉換方法得一新估計值 John, Michael 與 Ina(2008) 指出,TIMSS 量尺化程序亦是由 ETS 執行, 以 TIMSS2003 與 TIMSS2007 不同年度間的量尺化程序為例, 步驟有三 : 一 將 2007 測驗透過定錨試題與 2003 測驗同時估計 ; 二 將前一步驟所得之 2003 測驗分布透過線性轉換至 2003 年公布之 TIMSS2003 測驗分布 ; 三 將步驟二之線性轉換公式運用於步驟一所產生之 2007 測驗分布, 即可建立 2003 與 2007 兩個年度測驗共同量尺 上述步驟中第一年度在之前報告中所得的能力分布, 與兩年度透過定錨試題同時 10

20 估計後的能力分布有些微的位移, 但差距不大, 透過線性轉換的步驟可以消除此差距, 而建立兩年度的共同量尺 (John, Michael, & Ina, 2008) 綜合以上,NAEP 及 TIMSS 的量尺化程序皆由 ETS 執行, 所使用的量尺化方法相同, 本研究將兩大型測驗不同年度間的等化方法稱為 NAEP 與 TIMSS 使用之量尺化方法 貳 PISA 使用之量尺化方法 PISA 是由 OECD 主辦的研究計畫, 本研究將其不同年度間的等化方法稱為 PISA 使用之量尺化方法 其量尺化方法如下, 以 PISA2000 與 PISA2003 兩個不同年度間量尺化程序為例 (OECD, 2009): 一 單獨估計 2003 之試題參數 ; 二 將 2000 測驗資料在固定 2003 定錨試題參數後重新估計 ; 三 比較步驟二所得之平均數與標準差與 PISA2000 年報告之平均數與標準差, 將 2003 之量尺分數透過線性轉換至 2000, 以建立共同量尺 參 TASA 使用之固定試題參數量尺化方法 TASA 在不同年度間量尺化程序是採取固定試題參數法 (fixed-item linking method), 再運用同時估計法將所有試題一起估計, 獲得新的量尺分數 以 TASA2006 與 TASA2007 兩年度間量尺化程序為例, 將 2006 年報告之 2006 定錨試題參數固定後, 放進 2007 資料中, 估計 2007 試題參數及能力值 Zhang(2010) 指出當兩組受試者能力分布相似時進行量尺化程序, 使用固定試題參數法與同時估計法的估計誤差值差異不大, 但兩組受試者能力分布差異變大時, 使用固定試題參數法比同時估計法產生更大的估計誤差值 11

21 12

22 第三章研究方法 本章分為五節, 包括研究流程, 模擬研究變項設計 等化設計 量尺化程序 以 及估計精準度, 茲說明如下 第一節研究流程 本研究以試題反應理論中的三參數 logistic 模式 (three-parameter logistic model) 為基礎, 欲透過模擬研究方式探討不同量尺化方法於不同年度測驗之等化效果, 研究流程如圖 3-1 設定研究主題 文獻蒐集與探討 研究變項設定 產生模擬資料 不同量尺化方法 參數估計精準度 撰寫研究報告 圖 3-1 研究流程圖 圖 3-1 為本研究流程圖, 本研究依據文獻探討比較四種量尺化方法於不同年度測 13

23 驗之等化效果, 包括 NAEP 與 TIMSS 使用之量尺化方法 PISA 使用之量尺化方法 固定試題參數量尺化方法及同時估計量尺化方法 其中, 模擬研究變項設定 等化設 計 以及量尺化程序等研究步驟將分段詳列於後 第二節模擬研究變項設計 本研究藉由模擬資料之程序, 欲探討不同量尺化方法於不同年度測驗之等化效果, 因此, 茲將模擬研究變項設定與研究步驟分別說明如下 : 壹 研究變項設定 一 共同變項設定本研究模擬不同年度題庫資料, 將共同變項設定整理如表 3-1 表 3-1 共同變項設定 研究變項 變項設定 測驗題本長度 30 題 60 題 各題本配置的試題區塊數 3 個 定錨試題比例 10% 20% 30% NAEP 與 TIMSS 使用之量尺化方法 量尺化方法 PISA 使用之量尺化方法固定試題參數量尺化方法 同時估計量尺化方法 受試人數 5460 人 7540 人 人 無差距 兩年度受試者能力差距 小差距 大差距 等化設計 BIB 模擬次數 100 次 如下 : 根據研究目的, 依各變項分別模擬兩個年度不同情境的測驗資料, 研究變項敘述 14

24 1. 測驗題本長度設定 : 模擬 30 題 60 題兩種題本長度 2. 各題本配置的試題區塊數設定 : 在題本長度為 30 題 60 題的情況下, 皆設定 3 個題本試題區塊數 即題本長度為 30 題時, 每個試題區塊為 10 題 ; 題本長度 為 60 題時, 每個試題區塊為 20 題 3. 定錨試題比例設定 :NAEP PISA 及 TIMSS 三大國際教育測驗的定錨試題比例 大多介於 20%~25% 之間, 本研究亦欲探討比例增加或減少對等化效果的影 響, 因此在題本長度為 30 題 60 題的情況下, 分別將定錨試題比例定為 10% 20% 及 30% 亦即題本長度為 30 題時, 其定錨試題為 3 題 6 題或 9 題 ; 題本 長度為 60 題時, 其定錨試題為 6 題 12 題或 18 題 4. 受試人數設定 : 根據 TASA 計畫模擬受試人數 人及 7540 人, 本研究欲探 討人數減少對等化效果的影響, 因此模擬 5460 人, 共三種受試人數 5. 兩年度受試者能力分布差距設定 : 本研究模擬三種兩年度受試者能力差距, 包 括無差距 小差距及大差距 (Wong-Chan Lee, 2009), 說明如下 (1) 兩年度受試者能力無差距 : 兩年度受試者能力分布皆為 N(0,1), 範圍為 (-3~3); (2) 兩年度受試者能力小差距 : 兩年度受試者能力分布分別為 N(-0.05,1) 及 N(0.05,1), 範圍為 (-3~3); (3) 兩年度受試者能力大差距 : 兩年度受試者能力分布分別為 N(-0.3,1) 及 N(0.3,1), 範圍為 (-3~3) 為求研究結果的穩定及精確, 上述各種不同變項均進行 100 次的模擬資料, 來估 計受試者能力參數及試題參數, 並計算各參數之根均方差 (root mean square error, ) 二 試題參數分布設定 1. 鑑別度參數 : 研究指出鑑別度參數近似於 lognormal 分布 (Mislevy, 1986), 故採 用 lognormal(1.13,0.6), 範圍為 0.5 ~

25 2. 難度參數 : 截尾常態分布 N(0,1), 範圍為 3 ~ 3 3. 猜測度參數 : 根據文獻建議猜測度參數模式採 beta 先驗分布 (Swaminathan & Gifford, 1986), 因此, 本研究猜測度參數為 beta(4,16), 範圍為 0 ~ 貳 模擬實驗步驟 本研究運用電腦產生兩個年度題庫模擬資料, 步驟如下 : 一 依據參數設定及變項設定, 模擬兩年度測驗的真實資料, 包括試題參數及受試者 能力參數 ; 二 將試題參數及受試者能力參數代入試題反應三參數模式計算受試者作答各試題 的答對機率值 P(θ ) ; 三 隨機產生一組服從 U ( 0,1) 之數值, 與受試者作答各試題的答對機率值 P(θ ) 比 較, 若受試者作答反應 P(θ ) 大於 U ( 0,1) 視為答對, 反之則是為答錯, 依此方式 產生受試者作答反應 ; 四 將試題作答反應分成 13 個試題區塊, 採用平衡不完全區塊測驗等化設計 (BIB 設 計 ), 螺旋式排列配置試題區塊, 建置 26 個題本, 區塊間與區塊內的試題皆不重 複 ; 五 利用受試者作答反應進行本研究各變項設定的參數估計 ; 六 重複上述實驗程序 100 次, 以比較不同變項設定的估計精準度 第三節等化設計 量尺化程序包括同年度不同題本間的量尺化以及不同年度間的量尺化 NAEP 及 TASA 在同年度不同題本間量尺化程序的題本設計使用 BIB(balanced incomplete block, BIB) 及 PBIB(partially balanced incomplete block deign, PBIB) 設計 ;PISA 及 TIMSS 則使用 BIB 設計 (OECD, 2009;John, Michael, & Ina, 2008) 而 NAEP PISA 及 TIMSS 於不同年度間皆使用 BIB 設計, 因此, 本研究採用 BIB 設計為各年級之等化設計 為 16

26 了使研究結果能應用於國內大型教育測驗, 故受試者與題本配置採取 TASA 等化設計 配置方法 本研究模擬兩個不同年度測驗資料, 將所有試題分成 13 個試題區塊 (M1~M13), 再以 BIB 設計編成 26 個題本 (S1~S26), 每個題本皆包含 3 個試題區塊, 如表 3-2 表 3-2 BIB 等化設計 題本試題區塊題本試題區塊 S1 M1 M10 M11 S14 M1 M4 M12 S2 M6 M8 M11 S15 M6 M10 M13 S3 M2 M6 M12 S16 M3 M7 M13 S4 M7 M9 M10 S17 M8 M9 M12 S5 M2 M7 M11 S18 M2 M4 M10 S6 M4 M6 M7 S19 M3 M5 M6 S7 M1 M7 M8 S20 M5 M8 M10 S8 M1 M6 M9 S21 M2 M5 M9 S9 M11 M12 M13 S22 M4 M9 M13 S10 M5 M7 M12 S23 M1 M5 M13 S11 M3 M9 M11 S24 M2 M8 M13 S12 M3 M10 M12 S25 M4 M5 M11 S13 M1 M2 M3 S26 M3 M4 M8 為了不同年度間的比較, 必須從試題中選取定錨試題作為連結之用 依照研究變項設計, 分別選取每題本試題數的 10% 20% 及 30% 作為定錨試題, 選取標準以鑑別度高者為優先 例如 : 在題本長度 30 題 定錨試題比例為 10% 的情況下, 每個試題區塊中選取鑑別度最高的 1 題為定錨試題 ( 每個試題區塊 10 題,10% 為 1 題 ), 每個題本有 3 個試題區塊, 因此應有 3 題定錨試題 其他模擬情境以此類推, 如表 3-3 表 3-3 定錨試題題數分配 定錨比例 10% 題本長度 試題區塊題數 定錨試題題數 各年度施測總題數 兩年度施測總題數 30 題 10 題 3 題 題 20 題 6 題

27 20% 30% 30 題 10 題 6 題 題 20 題 12 題 題 10 題 9 題 題 20 題 18 題 第四節量尺化程序 量尺化程序是指將兩個測驗分數轉換到相同分數量尺上, 使其分數能相互比較的 程序 本研究欲探討不同年度間量尺化程序之等化效果差異, 以下分別介紹本研究所 使用的量尺化方法及步驟 壹 NAEP 與 TIMSS 使用之量尺化方法估計程序 一 使用同時估計法求得第一年度之能力估計值 ( 平均數 μ 1 及標準差 σ 1 ) 並獲得第一 年度量尺 ; 二 使用同時估計法估計第一年度與第二年度參數, 並獲得一個臨時性量尺 (provisional scale); 三 由臨時性量尺中挑出第一年度的能力估計值 ( 平均數 μ 及標準差 σ ); 四 藉由線性轉換程序求出轉換係數 (A B), 透過轉換係數將臨時性量尺中第一年 度的能力估計值轉換至原本第一年度的能力估計值 ; 五 透過相同程序, 藉由轉換係數求得第二年度的能力估計值 ( 臨時性量尺 ) 線性轉換方法如下 : * Z 1 = Z 1 * * θ1 μ1 θ1 μ1 = σ σ θ θ 1 σ * 1 σ 1 * 1 * 1 μ1 = θ * 1 μ * 1 σ1 σ1 σ σ 1 * 1 * 1 = θ * 1 + μ1 μ * 1 σ1 σ1 σ A, 1 令 = * σ1 B = μ A * 1 μ 1 * 1 * 1 18

28 * θ = A + B 1 θ 1 其中, θ 1 為原本第一年的能力估計值 ; * θ 1 為臨時性量尺中第一年度的能力估計值 貳 PISA 使用之量尺化方法估計程序 一 透過同時估計法分別估計第一年度與第二年度資料, 獲得第一年度試題參數估計 值及能力估計值 ( 平均數 μ 1 及標準差 σ 1 ) 及第二年度試題參數估計值及能力估計 值 ( 平均數 μ 2 及標準差 σ 2 ); 二 透過固定試題參數法重新估計第一年度的能力估計值 ( 平均數 μ 及標準差 σ ); 三 透過線性轉換程序獲得第二年度能力估計值 線性轉換方法如下 : ( θ μ ) * new 2 1 θ 2 = σ * 1 + σ1 μ 1 其中, θ 2 為步驟一之第二年度能力估計值 ; new θ 2 為透過線性轉換後獲得之第二年度能力估計值 參 固定試題參數量尺化方法估計程序 一 透過同時估計法求得第一年度的試題參數估計值及能力估計值 ( 平均數 μ 1 及標準 差 σ 1 ); 二 透過固定試題參數法估計第二年度的試題參數估計值及能力估計值 ( 平均數 μ 2 及 標準差 σ 2 ) 肆 同時估計量尺化方法估計程序 一 將兩年度受試者作答反應採 BIB 等化設計配置定錨試題, 存於同一檔案中 ; 二 執行 BILOG-MG 等化程式, 同時估計所有參數 ; 三 計算等化後受試者能力參數及受試者能力真值的誤差 * 1 * 1 19

29 第五節估計精準度 本研究將原始模擬的參數視為真值, 以真值產生的作答反應進行參數估計, 得參 數估計值, 再計算真值及估計值之間的根均方差 (), 模擬 100 次的平均值作為 參數估計誤差, 以此作為評斷等化估計效果的依據 越小, 代表估計越準確, 其計算公式如下 : ( θ, ˆ θ ) i i N i= 1 = ( ˆ θ θ ) 其中, θ i 為第 i 位受試者能力真值 ; i N i 2 θˆ i 為第 i 位受試者能力估計值 ; N 為受試者人數 20

30 第四章研究結果 本研究欲探討不同年度間不同量尺化方法之等化效果, 透過資料模擬程序估計不同年度受試者能力值之 (θ ), 其中, 研究變項包括不同受試人數 定錨試題比例 測驗題本長度及不同受試者能力分布, 研究結果說明如下 由於本研究中四種不同量尺化方法名稱太長, 故本章將同時估計量尺化方法簡稱為同時估計法 ;NAEP 與 TIMSS 使用之量尺化方法簡稱為 N&T 量尺化 ;PISA 使用之量尺化方法簡稱為 PISA 量尺化 ; 固定試題參數量尺化方法簡稱為固定試題參數法 第一節兩年度受試者能力無差距之等化效果 本研究模擬無差距 小差距及大差距三種不同能力分布, 本節探討兩年度受試者能力無差距之不同受試者人數 不同定錨試題比例與不同題本長度於不同年度間量尺化方法之等化效果 壹 不同受試者人數之等化效果 本研究模擬 5460 人 7540 人及 人三種受試人數, 圖中 X 軸為不同定錨試題及不同題本長度的情境設計, 例如, 定錨試題比例 10% 及題本長度 60 題記為 10_60 一 受試者人數 5460 人之等化效果如圖 4-1, 得以下結論 _30 10_60 20_30 20_60 30_30 30_60 情境設計 圖 4-1 受試者人數 5460 人之 21

31 ( 一 )N&T 量尺化及同時估計法的等化效果較 PISA 量尺化及固定試題參數法好 ( 二 ) 估計誤差值隨著定錨試題比例及題本長度增加而降低 ( 三 ) 在 N&T 量尺化及同時估計法中, 題本長度對估計誤差值的影響較明顯 二 受試者人數 7540 人之等化效果如圖 4-2, 得以下結論 _30 10_60 20_30 20_60 30_30 30_60 情境設計 圖 4-2 受試者人數 7540 人之 ( 一 )N&T 量尺化及同時估計法的等化效果較 PISA 量尺化及固定試題參數法好 ( 二 ) 估計誤差值隨著定錨試題比例及題本長度增加而降低 ( 三 ) 在 N&T 量尺化及同時估計法中, 題本長度對估計誤差值的影響較明顯 三 受試者人數 人之等化效果如圖 4-3, 得以下結論 _30 10_60 20_30 20_60 30_30 30_60 情境設計 圖 4-3 受試者人數 人之 ( 一 )N&T 量尺化及同時估計法的等化效果較 PISA 量尺化及固定試題參數法好 22

32 ( 二 ) 估計誤差值隨著定錨試題比例及題本長度增加而降低 ( 三 ) 在 N&T 量尺化及同時估計法中, 題本長度對估計誤差值的影響較明顯 貳 不同定錨試題比例之等化效果 本研究模擬 10% 20% 及 30% 三種不同定錨試題比例, 圖中 X 軸為不同受試者人數及不同題本長度的情境設計, 例如,5460 人及題本長度 30 題記為 5460_30 一 定錨試題比例 10% 之等化效果如圖 4-4, 得以下結論 _ _ _ _ _ _60 情境設計 圖 4-4 定錨試題比例 10% 之 ( 一 )N&T 量尺化及同時估計法的等化效果較 PISA 量尺化及固定試題參數法好 ( 二 ) 估計誤差值隨著題本長度增加而降低 ( 三 ) 題本長度對估計誤差值的影響較明顯, 受試者人數對估計誤差值的影響沒有一致性的效果 ( 四 ) 定錨試題比例 10% 時,PISA 量尺化的估計效果最差 二 定錨試題比例 20% 之等化效果如圖 4-5, 得以下結論 ( 一 )N&T 量尺化及同時估計法的等化效果較 PISA 量尺化及固定試題參數法好 ( 二 ) 估計誤差值隨著題本長度增加而降低 ( 三 ) 題本長度對估計誤差值的影響較明顯, 受試者人數對估計誤差值的影響沒有一致性的效果 ( 四 ) 定錨試題比例 20% 且題本長度為 30 題時,PISA 量尺化的估計效果最差 ; 定 23

33 錨試題比例 20% 且題本長度為 60 題時, 固定試題參數法的估計效果最差 _ _ _ _ _ _60 情境設計 圖 4-5 定錨試題比例 20% 之 三 定錨試題比例 30% 之等化效果如圖 4-6, 得以下結論 _ _ _ _ _ _60 情境設計 圖 4-6 定錨試題比例 30% 之 ( 一 )N&T 量尺化及同時估計法的等化效果較 PISA 量尺化及固定試題參數法好 ( 二 ) 估計誤差值隨著題本長度增加而降低 ( 三 ) 題本長度對估計誤差值的影響較明顯, 受試者人數對估計誤差值的影響沒有一致性的效果 ( 四 ) 定錨試題比例 30% 且題本長度為 30 題時,PISA 量尺化的估計效果最差 ; 定錨試題比例 30% 且題本長度為 60 題時, 固定試題參數法的估計效果最差 參 不同題本長度之等化效果 24

34 本研究模擬題本長度 30 題及 60 題, 圖中 X 軸為不同受試者人數及不同定錨試題的 情境設計, 例如,5460 人及定錨試題比例為 10%, 記為 5460_10 一 題本長度 30 題之等化效果如圖 4-7, 得以下結論 _ _ _ _ _ _ _ _ _30 情境設計 圖 4-7 題本長度 30 題之 ( 一 )N&T 量尺化及同時估計法的等化效果較 PISA 量尺化及固定試題參數法好 ( 二 ) 估計誤差值隨著定錨試題比例增加而降低 ( 三 ) 定錨試題比例對估計誤差值的影響較明顯, 受試者人數對估計誤差值的影響沒有一致性的效果 ( 四 ) 題本長度為 30 題時,PISA 量尺化的估計效果最差 二 題本長度 60 題之等化效果如圖 4-8, 得以下結論 _ _ _ _ _ _ _ _ _30 情境設計 圖 4-8 題本長度 60 題之 25

35 ( 一 )N&T 量尺化及同時估計法的等化效果較 PISA 量尺化及固定試題參數法好 ( 二 ) 估計誤差值隨著定錨試題比例增加而降低 ( 三 ) 定錨試題比例對估計誤差值的影響較明顯, 受試者人數對估計誤差值的影響沒有一致性的效果 ( 四 ) 題本長度為 60 題, 定錨試題比例為 10% 時,PISA 量尺化的估計效果最差 ; 而題本長度為 60 題, 定錨試題比例為 20% 及 30% 時, 固定試題參數法的估計效果最差 肆 不同量尺化方法之等化效果 一 不同量尺化方法於不同受試者人數之等化效果如圖 4-9, 得以下結論 人 7540 人 人 受試者人數 圖 4-9 不同受試者人數之 ( 一 ) 受試者人數對估計誤差值的影響不明顯 ( 二 )PISA 量尺化的估計效果最差,N&T 量尺化的估計效果最好 二 不同量尺化方法於不同定錨試題比例之等化效果如圖 4-10, 得以下結論 ( 一 ) 估計誤差值隨著定錨試題比例增加而降低 ( 二 )N&T 量尺化的估計效果最好 ( 三 ) 定錨試題比例為 10% 及 20% 時,PISA 量尺化的估計效果最差 ; 定錨試題比例為 30% 時, 固定試題參數法的估計效果最差 26

36 % 20% 30% 定錨試題比例 圖 4-10 不同定錨試題比例之 三 不同量尺化方法於不同題本長度之等化效果如圖 4-11, 得以下結論 題 60 題 題本長度 圖 4-11 不同題本長度之 ( 一 ) 估計誤差值隨著題本長度增加而降低 ( 二 ) 題本長度 30 題時,PISA 量尺化的估計效果最差, 同時估計法的估計效果最好 ; 題本長度 60 題時, 固定試題參數法的估計效果最差, N&T 量尺化的估計效果最好 第二節兩年度受試者能力小差距之等化效果 本研究模擬無差距 小差距及大差距三種不同能力分布, 本節探討兩年度受試者 能力小差距之不同受試者人數 不同定錨試題比例與不同題本長度於不同年度間量尺 27

37 化方法之等化效果 壹 不同受試者人數之等化效果 本研究模擬 5460 人 7540 人及 人三種受試人數, 圖中 X 軸為不同定錨試題及不同題本長度的情境設計, 例如, 定錨試題比例 10% 及題本長度 60 題記為 10_60 一 受試者人數 5460 人之等化效果如圖 4-12, 得以下結論 _30 10_60 20_30 20_60 30_30 30_60 情境設計 圖 4-12 受試者人數 5460 人之 ( 一 ) 估計誤差值隨著定錨試題比例及題本長度增加而降低 ( 二 ) 在 N&T 量尺化及同時估計法中, 題本長度對估計誤差值的影響較明顯 二 受試者人數 7540 人之等化效果如圖 4-13, 得以下結論 _30 10_60 20_30 20_60 30_30 30_60 情境設計 圖 4-13 受試者人數 7540 人之 ( 一 ) 估計誤差值隨著定錨試題比例及題本長度增加而降低, 題本長度對估計誤 28

38 差值的影響較明顯 ( 二 ) 題本長度為 30 題時, 四種量尺化方法的估計效果差不多 ; 題本長度為 60 題時, 四種量尺化方法的估計效果差異較大, 但無一致性的效果 三 受試者人數 人之等化效果如圖 4-14, 得以下結論 _30 10_60 20_30 20_60 30_30 30_60 情境設計 圖 4-14 受試者人數 人之 ( 一 ) 估計誤差值隨著定錨試題比例及題本長度增加而降低, 題本長度對估計誤差值的影響較明顯 ( 二 ) 題本長度為 30 題時, 四種量尺化方法的估計效果差不多 ; 題本長度為 60 題時, 四種量尺化方法的估計效果差異較大, 但無一致性的效果 貳 不同定錨試題比例之等化效果 本研究模擬 10% 20% 及 30% 三種不同定錨試題比例, 圖中 X 軸為不同受試者人數及不同題本長度的情境設計, 例如,5460 人及題本長度 30 題記為 5460_30 一 定錨試題比例 10% 之等化效果如圖 4-15, 得以下結論 ( 一 ) 估計誤差值隨著題本長度增加而降低 ( 二 ) 題本長度對估計誤差值的影響較明顯, 受試者人數對估計誤差值的影響沒有一致性的效果 ( 三 )PISA 量尺化的估計效果最差 ( 四 ) 題本長度為 30 題時, 同時估計法的估計效果最好 29

39 _ _ _ _ _ _60 情境設計 圖 4-15 定錨試題比例 10% 之 二 定錨試題比例 20% 之等化效果如圖 4-16, 得以下結論 _ _ _ _ _ _60 情境設計 圖 4-16 定錨試題比例 20% 之 ( 一 ) 估計誤差值隨著題本長度增加而降低 ( 二 ) 題本長度對估計誤差值的影響較明顯, 受試者人數對估計誤差值的影響沒有一致性的效果 ( 三 ) 同時估計法的估計效果最好 ( 四 ) 題本長度為 60 題時, 固定試題參數法的估計效果最差 ( 五 ) 題本長度為 30 題時, 四種量尺化方法的估計效果差不多 ; 題本長度為 60 題時, 四種量尺化方法的估計效果差異較明顯 三 定錨試題比例 30% 之等化效果如圖 4-17, 得以下結論 30

40 _ _ _ _ _ _60 情境設計 圖 4-17 定錨試題比例 30% 之 ( 一 ) 估計誤差值隨著題本長度增加而降低 ( 二 ) 題本長度對估計誤差值的影響較明顯, 受試者人數對估計誤差值的影響沒有一致性的效果 ( 三 ) 同時估計法的估計效果最好 ( 四 ) 題本長度為 30 題時,PISA 量尺化的估計效果最差 ; 題本長度為 60 題時, 固定試題參數法的估計效果最差 ( 五 ) 題本長度為 30 題時, 四種量尺化方法的估計效果差不多 ; 題本長度為 60 題時, 四種量尺化方法的估計效果差異較明顯 參 不同題本長度之等化效果 本研究模擬題本長度 30 題及 60 題, 圖中 X 軸為不同受試者人數及不同定錨試題的情境設計, 例如,5460 人及定錨試題比例為 10%, 記為 5460_10 一 題本長度 30 題之等化效果如圖 4-18, 得以下結論 ( 一 ) 估計誤差值隨著定錨試題比例增加而降低 ( 二 ) 定錨試題比例對估計誤差值的影響較明顯, 受試者人數對估計誤差值的影響沒有一致性的效果 ( 三 ) 同時估計法的估計效果最好 ;PISA 量尺化的估計效果最差 31

41 _ _ _ _ _ _ _ _ _30 情境設計 圖 4-18 題本長度 30 題之 二 題本長度 60 題之等化效果如圖 4-19, 得以下結論 _ _ _ _ _ _ _ _ _30 情境設計 圖 4-19 題本長度 60 題之 ( 一 ) 估計誤差值隨著定錨試題比例增加而降低 ( 二 ) 定錨試題比例對估計誤差值的影響較明顯, 受試者人數對估計誤差值的影響沒有一致性的效果 ( 三 ) 定錨試題比例為 10% 時,PISA 量尺化的估計效果最差 ; 定錨試題比例為 20 % 及 30% 時, 固定試題參數法的估計效果最差 肆 不同量尺化方法之等化效果 一 不同量尺化方法於不同受試者人數之等化效果如圖 4-20, 得以下結論 ( 一 ) 受試者人數對估計誤差值的影響不明顯 32

42 ( 二 ) 同時估計法的估計效果最好 人 7540 人 人 受試者人數 圖 4-20 不同受試者人數之 二 不同量尺化方法於不同定錨試題比例之等化效果如圖 4-21, 得以下結論 % 20% 30% 定錨試題比例 圖 4-21 不同定錨試題比例之 ( 一 ) 估計誤差值隨著定錨試題比例增加而降低 ( 二 ) 同時估計法的估計效果最好 ( 三 ) 定錨試題比例為 10% 時,PISA 量尺化的估計效果最差 ; 定錨試題比例為 20 % 及 30% 時, 固定試題參數法的估計效果最差 三 不同量尺化方法於不同題本長度之等化效果如圖 4-22, 得以下結論 ( 一 ) 估計誤差值隨著題本長度增加而降低 ( 二 ) 題本長度 30 題時,PISA 量尺化的估計效果最差, 同時估計法的估計效果最 33

43 好 ; 題本長度 60 題時, 固定試題參數法的估計效果最差, 同時估計法的估 計效果最好 題 60 題 題本長度 圖 4-22 不同題本長度之 第三節兩年度受試者能力大差距之等化效果 本研究模擬無差距 小差距及大差距三種不同能力分布, 本節探討兩年度受試者能力大差距之不同受試者人數 不同定錨試題比例與不同題本長度於不同年度間量尺化方法之等化效果 壹 不同受試者人數之等化效果 本研究模擬 5460 人 7540 人及 人三種受試人數, 圖中 X 軸為不同定錨試題及不同題本長度的情境設計, 例如, 定錨試題比例 10% 及題本長度 60 題記為 10_60 一 受試者人數 5460 人之等化效果如圖 4-23, 得以下結論 ( 一 )N&T 量尺化的估計效果最差 ( 二 ) 估計誤差值隨著題本長度增加而降低, 而定錨試題比例對估計誤差值的影響沒有一致性的效果 34

44 _30 10_60 20_30 20_60 30_30 30_60 情境設計 圖 4-23 受試者人數 5460 人之 二 受試者人數 7540 人之等化效果如圖 4-24, 得以下結論 _30 10_60 20_30 20_60 30_30 30_60 情境設計 圖 4-24 受試者人數 7540 人之 ( 一 )N&T 量尺化的估計效果最差 ( 二 ) 估計誤差值隨著題本長度增加而降低, 而定錨試題比例對估計誤差值的影響沒有一致性的效果 三 受試者人數 人之等化效果如圖 4-25, 得以下結論 ( 一 )N&T 量尺化的估計效果最差 ( 二 ) 估計誤差值隨著題本長度增加而降低, 而定錨試題比例對估計誤差值的影響沒有一致性的效果 35

45 _30 10_60 20_30 20_60 30_30 30_60 情境設計 貳 不同定錨試題比例之等化效果 圖 4-25 受試者人數 人之 本研究模擬 10% 20% 及 30% 三種不同定錨試題比例, 圖中 X 軸為不同受試者人數及不同題本長度的情境設計, 例如,5460 人及題本長度 30 題記為 5460_30 一 定錨試題比例 10% 之等化效果如圖 4-26, 得以下結論 _ _ _ _ _ _60 情境設計 圖 4-26 定錨試題比例 10% 之 ( 一 )N&T 量尺化的估計效果最差 ( 二 ) 估計誤差值隨著題本長度增加而降低, 而受試者人數對估計誤差值的影響沒有一致性的效果 ( 三 ) 題本長度為 30 題時, 固定試題參數法的估計效果最好 二 定錨試題比例 20% 之等化效果如圖 4-27, 得以下結論 36

46 _ _ _ _ _ _60 情境設計 圖 4-27 定錨試題比例 20% 之 ( 一 )N&T 量尺化的估計效果最差 ( 二 ) 估計誤差值隨著題本長度增加而降低, 而受試者人數對估計誤差值的影響沒有一致性的效果 ( 三 ) 題本長度為 30 題時, 固定試題參數法的估計效果最好 ; 題本長度為 60 題時, PISA 量尺化的估計效果最好 三 定錨試題比例 30% 之等化效果如圖 4-28, 得以下結論 _ _ _ _ _ _60 情境設計 圖 4-28 定錨試題比例 30% 之 ( 一 )N&T 量尺化的估計效果最差 ( 二 ) 估計誤差值隨著題本長度增加而降低, 而受試者人數對估計誤差值的影響沒有一致性的效果 37

47 ( 三 ) 題本長度為 60 題時,PISA 量尺化的估計效果最好 參 不同題本長度之等化效果 本研究模擬題本長度 30 題及 60 題, 圖中 X 軸為不同受試者人數及不同定錨試題的情境設計, 例如,5460 人及定錨試題比例為 10%, 記為 5460_10 一 題本長度 30 題之等化效果如圖 4-29, 得以下結論 _ _ _ _ _ _ _ _ _30 情境設計 圖 4-29 題本長度 30 題之 ( 一 )N&T 量尺化的估計效果最差 ( 二 ) 受試者人數及定錨試題比例對估計誤差值的影響均沒有一致性的效果 ( 三 ) 定錨試題比例為 10% 時, 固定試題參數法的估計效果最好 二 題本長度 60 題之等化效果如圖 4-30, 得以下結論 _ _ _ _ _ _ _ _ _30 情境設計 圖 4-30 題本長度 60 題之 38

48 ( 一 )N&T 量尺化的估計效果最差 ( 二 ) 受試者人數及定錨試題比例對估計誤差值的影響均沒有一致性的效果 ( 三 ) 定錨試題比例為 20% 及 30% 時,PISA 量尺化的估計效果最好 肆 不同量尺化方法之等化效果 一 不同量尺化方法於不同受試者人數之等化效果如圖 4-31, 得以下結論 人 7540 人 人 受試者人數 圖 4-31 不同受試者人數之 ( 一 ) 受試者人數對估計誤差值的影響不明顯 ( 二 )N&T 量尺化的估計效果最差 二 不同量尺化方法於不同定錨試題比例之等化效果如圖 4-32, 得以下結論 % 20% 30% 定錨試題比例 圖 4-32 不同定錨試題比例之 ( 一 ) 定錨試題比例對估計誤差值的影響不明顯 39

49 ( 二 )N&T 量尺化的估計效果最差 三 不同量尺化方法於不同題本長度之等化效果如圖 4-33, 得以下結論 題 60 題 題本長度 圖 4-33 不同題本長度之 ( 一 ) 估計誤差值隨著題本長度增加而降低 ( 二 )N&T 量尺化的估計效果最差 第四節不同受試者能力分布差距之等化效果 本節探討不同年度間無差距 (no difference) 小差距(small difference) 及大差距 (large difference) 三種不同能力分布差距於不同受試者人數 不同定錨試題比例與不同題本長度之等化效果 壹 不同受試者人數於不同受試者能力分布之等化效果 一 受試者人數 5460 人於不同受試者能力分布之等化效果如圖 4-34, 得以下結論 ( 一 ) 兩年度受試者能力分布無差距及小差距時,PISA 量尺化的估計效果最差 ; 而兩年度受試者能力分布大差距時,N&T 量尺化的估計效果最差 ( 二 ) 兩年度受試者能力分布無差距及小差距時,N&T 量尺化及同時估計法的估計效果比 PISA 量尺化及固定試題參數法好 ; 而兩年度受試者能力分布大差距時, 是 N&T 量尺化及同時估計法的估計效果比 PISA 量尺化及固定試題參 40

50 數法差 no difference small difference large difference 不同受試者能力分佈 圖 4-34 受試者人數 5460 人於不同受試者能力分布之 二 受試者人數 7540 人於不同受試者能力分布之等化效果如圖 4-35, 得以下結論 no difference small difference large difference 不同受試者能力分佈 圖 4-35 受試者人數 7540 人於不同受試者能力分布之 ( 一 ) 受試者人數為 7540 人時, 三種不同受試者能力分布對估計誤差值的影響沒有一致性的效果 ( 二 ) 兩年度受試者能力分布無差距及小差距時,N&T 量尺化及同時估計法的估計效果比 PISA 量尺化及固定試題參數法好 ; 而兩年度受試者能力分布大差距時, 是 N&T 量尺化及同時估計法的估計效果比 PISA 量尺化及固定試題參數法差 三 受試者人數 人於不同受試者能力分布之等化效果如圖 4-36, 得以下結論 41

51 no difference small difference large difference 圖 4-36 受試者人數 人於不同受試者能力分布之 ( 一 ) 受試者人數為 人時, 三種不同受試者能力分布對估計誤差值的影響沒有一致性的效果 ( 二 ) 兩年度受試者能力分布無差距及小差距時,N&T 量尺化及同時估計法的估計效果比 PISA 量尺化及固定試題參數法好 ; 而兩年度受試者能力分布大差距時, 是 N&T 量尺化及同時估計法的估計效果比 PISA 量尺化及固定試題參數法差 貳 不同定錨試題比例於不同受試者能力分布之等化效果 一 定錨試題比例 10% 於不同受試者能力分布之等化效果如圖 4-37, 得以下結論 no difference small difference large difference 不同受試者能力分佈 圖 4-37 定錨試題比例 10% 於不同受試者能力分布之 ( 一 ) 兩年度受試者能力分布無差距及小差距時,PISA 量尺化的估計效果最差 ; 42

52 而兩年度受試者能力分布大差距時,N&T 量尺化的估計效果最差 ( 二 ) 兩年度受試者能力分布無差距及小差距時,N&T 量尺化及同時估計法的估計效果比 PISA 量尺化及固定試題參數法好 ; 而兩年度受試者能力分布大差距時, 是 N&T 量尺化及同時估計法的估計效果比 PISA 量尺化及固定試題參數法差 二 定錨試題比例 20% 於不同受試者能力分布之等化效果如圖 4-38, 得以下結論 no difference small difference large difference 不同受試者能力分佈 圖 4-38 定錨試題比例 20% 於不同受試者能力分布之 ( 一 ) 受試者人數為 7540 人時, 三種不同受試者能力分布對估計誤差值的影響沒有一致性的效果 ( 二 ) 兩年度受試者能力分布無差距及小差距時,N&T 量尺化及同時估計法的估計效果比 PISA 量尺化及固定試題參數法好 ; 而兩年度受試者能力分布大差距時,N&T 量尺化及同時估計法的估計效果比 PISA 量尺化及固定試題參數法差 三 定錨試題比例 30% 於不同受試者能力分布之等化效果如圖 4-39, 得以下結論 ( 一 ) 兩年度受試者能力分布無差距及小差距時, 固定試題參數法的估計效果最差 ; 而兩年度受試者能力分布大差距時,N&T 量尺化的估計效果最差 ( 二 ) 兩年度受試者能力分布無差距及小差距時,N&T 量尺化及同時估計法的估計效果比 PISA 量尺化及固定試題參數法好 ; 而兩年度受試者能力分布大差 43

53 距時, 是 N&T 量尺化及同時估計法的估計效果比 PISA 量尺化及固定試題參 數法差 no difference small difference large difference 不同受試者能力分佈 圖 4-39 定錨試題比例 30% 於不同受試者能力分布之 參 不同題本長度於不同受試者能力分布之等化效果 一 題本長度為 30 題於不同受試者能力分布之等化效果如圖 4-40, 得以下結論 no difference small difference large difference 不同受試者能力分佈 圖 4-40 題本長度 30 題於不同受試者能力分布之 受試者人數為 7540 人時, 三種不同受試者能力分布對估計誤差值的影響沒有一致性的效果 二 題本長度為 60 題於不同受試者能力分布之等化效果如圖 4-41, 得以下結論 44

54 no difference small difference large difference 不同受試者能力分佈 圖 4-41 題本長度 60 題於不同受試者能力分布之 ( 一 ) 題本長度 60 題時, 三種不同受試者能力分布對估計誤差值的影響沒有一致性的效果 ( 二 ) 兩年度受試者能力分布無差距及小差距時,N&T 量尺化及同時估計法的估計效果比 PISA 量尺化及固定試題參數法好 ; 而兩年度受試者能力分布大差距時,N&T 量尺化及同時估計法的估計效果比 PISA 量尺化及固定試題參數法差 45

55 46

56 第五章結論與建議 第一節結論 本研究欲探討在進行不同年度間測驗等化時, 不同受試者能力分布 不同受試人數 不同定錨試題比例及不同測驗題本長度在不同量尺化方法中等化連結的效果 比較四種量尺化方法在 BIB 設計情況下, 三種受試者能力分布差距, 無差距 小差距及大差距 ; 三種受試人數,5460 人 7540 人及 人 ; 三種定錨試題比例,10% 20 % 及 30%; 兩種測驗題本長度,30 題及 60 題, 各情況之下的等化結果差異 結論羅列如下 : 一 兩年度受試者能力分布無差距時, 可藉由增加受試者人數 定錨試題比例及題本長度而降低估計誤差值 然而增加受試者人數時變化較小, 增加定錨試題比例及題本長度時變化較大 若考慮施測成本, 採用受試者人數 5460 人, 即可獲得受試人數 7540 人或 人的效果 ; 定錨試題比例為 10% 增加至 20% 時變化較大, 而 20% 增加至 30% 時變化較較小, 考慮測驗題庫的試題量, 可選擇定錨試題比例為 20%, 以減少不同年度間定錨試題數 二 兩年度受試者能力分布無差距時, N&T 量尺化與同時估計法之間, 以及固定試題參數法及 PISA 量尺化之間的能力參數估計差異都不大, 但 N&T 量尺化與同時估計法之等化效果都比固定試題參數法及 PISA 量尺化更好 三 兩年度受試者能力分布小差距時, 可藉由增加定錨試題比例及題本長度而降低估計誤差值, 而受試者人數對估計誤差值的影響沒有一致性的效果 四 兩年度受試者能力分布小差距時, 同時估計法的估計效果最好, 而 N&T 量尺化與同時估計法之等化效果都比固定試題參數法及 PISA 量尺化更好 五 兩年度受試者能力分布大差距時, 可藉由增加題本長度而降低估計誤差值, 而受試者人數及定錨試題比例對估計誤差值的影響沒有一致性的效果 六 兩年度受試者能力分布大差距時,N&T 量尺化的估計效果最差, 而固定試題參 47

57 數法及 PISA 量尺化之等化效果都比同時估計法更好 七 兩年度受試者能力分布無差距時,N&T 量尺化的估計效果最好, 但差異不大 ; 兩年度受試者能力分布小差距時, 同時估計法的估計效果最好, 但差異不大 ; 但兩年度受試者能力分布大差距時,PISA 量尺化的估計效果最好 第二節改進建議 本模擬研究在進行不同年度間測驗等化時, 共同變項設定三種受試人數,5460 人 7540 人及 人 ; 三種定錨試題比例,10% 20% 及 30%; 兩種測驗題本長度, 30 題及 60 題 ; 三種受試者能力分布差距, 無差距 小差距及大差距, 進行不同量尺化程序的比較 茲就本研究未盡完備之處, 提出研究建, 供後續研究亦者參考 一 本研究僅考慮受試者能力為常態分布, 以及一種試題參數分布, 可進一步考量不同參數分布的等化效果比較 二 本研究僅模擬二元計分之作答反應組型, 可進一步考量多元計分在不同量尺化程序下的等化效果 48

58 中文部分 參考文獻 王暄博 (2006) BIB 與 NEAT 設計之水平及垂直等化效果比較 國立臺中教育大學教育測驗統計研究所碩士論文, 未出版, 臺中市 郭伯臣 楊思偉 白曉珊 張鈺卿 (2008) BIB 與 NEAT 設計在不同年度測驗連結效果之比較 測驗統計年刊,16(2) 台中市 : 國立台中教育大學 郭伯臣 王暄博 (2008) 大型測驗中同時進行垂直與水平等化效果之探討 教育研究與發展期刊,4(4), 陳煥文 (2004) 垂直等化連結特性之研究- 四種連結方法的比較 ( 國科會專題研究計畫,NSC H ) 臺南市..國立臺南大學測驗統計研究所 張宛婷 (2010) 臺灣學生學習成就評量資料庫試題等化設計 臺灣學生學習成就評量資料庫電子報,5,2010 年 2 月 1 日, 臺灣學生學習成就評量資料庫網站 國家教育研究院 (2010) 大型標準化測驗建置流程應用於 TASA 之研究 臺北市 : 國家教育研究院 黃美芳 (2006) 試題反應理論三參數模式下等化效果之探究 國立臺中教育大學教育測驗統計研究所碩士論文, 未出版, 臺中市 臺灣學生學習成就評量資料庫網站 (2011) 臺灣學生學習成就評量資料庫 檢索日期 :2011 年 6 月 12 日 網址 : 49

59 英文部分 Allen, N.L., Donoghue, J.R., & Schoeps, T.L. (2001). The NAEP 1998 technical report. Washington, DC: National Center for Educational Statistics. Angoff, W. H.(1971). Scales, norms, and equivalent scores. In R.L. Thorridike (Ed.), Educational measurement (2nd ed., ). Washington, DC: American Council on Education. (Reprinted as W. A. Angoff, Scales, norms, and equivalent scores. Princeton, NJ: Educational Testing Service, 1984.) Anton B. & Bradley H.(2001).Effect of Noncompensatory Multidimensionality on Separate and Concurrent Estimation in IRT Observed Score Equating. Measurement and Research Department Reports Baker, F. B.(1992). Item Response Theory: Parameter Estimation Techniques. New Yook: Marcel Dekker. Crocker, L. & Algina, J.(1986). Introduction to Classical and Modem Test Theory. New York: Holt, Rinehart and Winston. Educational Testing Service.(2011). About ETS. Retrieved June 14,2011, from Hanson,B.A. & Beguin, A.A.(2002). Obtaining a Common Scale for Item Response Theory Item Parameters Using Separate Versus Concurrent estimation in the Common-Item Equating Design. Applied Psychological Measurement,26,3-24. John, F.O. Michael, O.M. & Ina, V.S.M.(2008).TIMSS 2007 Technical Report. TIMSS & PIRLS International Study Center. Kolen, M. J.& Brennan, R. J.(2004).Test Equating, Scaling, and Linking:Methods and Practices. New York: Springer-Verlag. Lord, F. M.(1980).Applications of Item Response Theory to Practical Testing Problems. 50

60 hillsdale, NJ:Lawrence Erlbaum. Mislevy, R. J. & Bock, R. D. (1982).Implementation of the EM algorithm in the estimation of item parameters:the BILOG computer program. In:Item Response Theory and Computerized Adaptive Testing Conference Proceedings(Wayzata, MN). Mislevy, R. J. (1986). Bayes model estimation in item response models. Psychometrika, 51, Mullis, I. V. S., Martin, M. O., Ruddock, G. J., O'Sullivan, C.Y., Arora, A., & Eberber, E. (2005). TIMSS 2007 Assessment Frameworks. From NAEP Technical Documentation,(2011). The Nation s Report Card. June 14,2011, from National Center for Education Statistics: OECD (2009). PISA 2006 Technical Report. OCED, Paris. Simon, M. K. (2008). Comparison of concurrent and separate multidimensional IRT linking of item parameters. Educational Psychology. ProQuest Dissertations and Theses, Retrieved from Stocking, M. L. & Lord, F. M.(1983).Developing a Common Metric in Item Response Theory. Applied Psychological Measurement,7(2) Swaminathan, H., & Gifford, J. A. (1986). Bayesian estimation in the threeparameter logistic models. Psychometrika, 51, The 13th International Objective Measurement Workshop(2006). Symposium 7: Current Critical Issues Related to Science Assessments TIMSS & PIRLS International Study Center(2011). TIMSS June 16,2011,from Zhang, Z. (2010). Comparison of different equating methods and an application to link testlet-based tests. The Chinese University of Hong Kong (Hong Kong)). ProQuest 51

61 Dissertations and Theses, Retrieved from 52

62 附錄一兩年度受試者能力無差距之估計誤差 不同 實驗設計 5460_10_ _10_ _10_ _10_ _10_ _10_ _20_ _20_ _20_ _20_ _20_ _20_ _30_ _30_ _30_ _30_ _30_ _30_ 不同實驗設計中代碼為 N_A_T,N 為受試者人數,A 為定錨試題比例,T 為每一題本 試題數 53

63 附錄二兩年度受試者能力小差距之估計誤差 不同 實驗設計 5460_10_ _10_ _10_ _10_ _10_ _10_ _20_ _20_ _20_ _20_ _20_ _20_ _30_ _30_ _30_ _30_ _30_ _30_ 不同實驗設計中代碼為 N_A_T,N 為受試者人數,A 為定錨試題比例,T 為每一題本試 題數 54

64 附錄三兩年度受試者能力大差距之估計誤差 不同 實驗設計 5460_10_ _10_ _10_ _10_ _10_ _10_ _20_ _20_ _20_ _20_ _20_ _20_ _30_ _30_ _30_ _30_ _30_ _30_ 不同實驗設計中代碼為 N_A_T,N 為受試者人數,A 為定錨試題比例,T 為每一題本試 題數 55