Developing an Item Bank of Fraction Concepts Jyun-Ji Lin Ph. D. Candidate, Department of Psychology, National Chung Cheng University Yuh-Yin Wu Profes

Transcription

1 分 數 概 念 題 庫 之 建 立 : 跨 學 習 階 段 的 校 準 與 測 量 林 俊 吉 國 立 正 大 心 理 系 博 士 候 選 吳 毓 瑩 國 立 台 北 教 育 大 心 理 與 諮 商 系 教 授 呂 玉 琴 國 立 台 北 教 育 大 數 暨 訊 教 育 系 教 授 摘 要 本 研 究 目 的 旨 在 整 合 目 前 現 有 的 分 數 概 念 研 究 之 紙 筆 測 驗 題 目, 經 古 典 試 題 理 論 項 目 反 應 理 論 雙 參 數 羅 吉 斯 模 式 篩 選, 校 準 學 生 跨 學 習 階 段 之 能 力, 同 時 建 立 一 個 可 以 後 續 發 展 的 題 庫 本 研 究 定 義 分 數 概 念 為 五 個 數 學 內 容 上 的 子 概 念 與 四 個 認 知 處 理 程 序, 受 測 對 象 為 台 灣 地 區 北 中 南 國 小 三 到 六 年 級 2771 位 學 生, 以 專 家 檢 驗 與 雙 向 細 目 表 確 認 內 容 之 正 確, 並 以 瑞 文 式 標 準 圖 形 推 理 測 驗 與 各 子 概 念 建 立 效 標 關 聯 效 度 證 據 研 究 結 果 顯 示, 各 分 數 子 概 念 愈 難, 則 與 圖 形 推 理 測 驗 愈 困 難 時 的 相 關 愈 高, 表 示 當 學 生 在 回 答 困 難 的 分 數 概 念 試 題 時 需 要 運 用 更 高 層 次 更 有 彈 性 的 圖 形 推 理 思 考 能 力 學 生 在 經 過 連 結 後 的 134 個 分 數 概 念 試 題 的 表 現, 由 高 而 低 分 別 為 六 年 級 ( 1.51) 五 年 級 (0.52) 三 年 級 (0.10) 四 年 級 (-0.17); 整 體 題 庫 試 題 平 均 難 度 為 -0.67, 平 均 鑑 別 度 為 1.33 由 於 四 年 級 學 生 遇 到 新 舊 課 程 銜 接 的 斷 層, 使 得 四 年 級 學 生 的 平 均 能 力 值 與 三 年 級 沒 有 顯 著 差 異, 不 同 年 級 與 不 同 數 學 版 本 間 在 學 生 的 能 力 值 上 有 顯 著 交 互 作 用 存 在 關 鍵 詞 : 分 數 概 念 項 目 反 應 理 論 教 材 版 本 題 庫 187

2 Developing an Item Bank of Fraction Concepts Jyun-Ji Lin Ph. D. Candidate, Department of Psychology, National Chung Cheng University Yuh-Yin Wu Professor, Department of Psychology and Counseling, National Taipei University of Education Yuh-Chyn Leu Professor, Department of Mathematics and Information Education, National Taipei University of Education Abstract The purpose of this study was to develop a test composed of 134 items selected from 178 items through classical test theory and two parameter logistical model of item response theory. Two dimensions of fraction concepts were represented by the items: Five sub-concepts in mathematical contents and four levels of cognitive processing. The average difficulty was and the average discrimination was Students ability levels were: 1.51 for the 6th graders, 0.52 for the 5th graders, for the 4th graders, and 0.10 for the 3rd graders. The gaps in the old curriculum and new curriculum for the 4th graders might be the reason of their lower performance was not significantly superior to the 3rd graders. Interaction existed among grades and textbook versions. Keywords: fraction concepts, item response theory, curriculum and materials, item bank 188

3 壹 緒 論 分 數 概 念 (fraction concepts) 是 指 學 生 在 平 分 測 量 比 例 部 分 全 部 四 種 皆 有 除 法 的 意 義 下, 所 展 現 出 的 心 智 表 徵 狀 況, 分 數 能 力 是 指 操 作 此 表 徵 的 能 力 分 數 與 小 數 百 分 率 比 除 法 等 概 念 之 關 係 十 分 密 切, 學 習 者 所 面 臨 的 情 境 變 化 非 常 多, 因 此 學 生 需 瞭 解 各 種 表 徵 系 統, 並 透 過 表 徵 以 呈 現 其 瞭 解, 例 如 圖 形 符 號 語 言 與 具 體 操 作 等 (Behr, Wachsmuth & Post, 1988; Lesh, Behr & Post,1987) 關 於 分 數 能 力 之 測 量, 紙 筆 測 驗 乃 為 最 普 遍 的 工 具, 國 內 一 些 研 究 者 已 編 製 了 許 多 分 數 概 念 試 題 ( 陳 靜 姿,1999; 游 政 雄,2002; 黃 靖 瑩,2003; 詹 婉 華,2004; 龐 嘉 芬 陳 淑 琳,2000), 期 望 能 篩 選 出 有 迷 思 概 念 的 學 生, 以 歸 納 學 生 在 分 數 概 念 上 典 型 的 犯 錯 類 型 可 惜 的 是 這 些 研 究 所 得 結 果 並 未 校 正 在 同 一 量 尺 上, 施 測 的 對 象 也 分 立 在 各 個 年 級 中, 使 得 測 驗 分 數 在 跨 年 級 的 解 釋 上 容 易 失 準 研 究 者 整 合 上 述 測 驗 內 容, 但 是 不 以 迷 思 概 念 為 核 心, 而 以 認 知 處 理 程 序 為 出 發 觀 點, 橫 斷 性 地 討 論 三 四 五 六 年 級 學 生 的 分 數 概 念 之 能 力 面 向 與 發 展 狀 況 透 過 題 目 的 整 合, 吾 人 可 以 了 解 分 數 能 力 在 各 個 分 數 子 概 念 下 所 對 應 的 量 尺 位 置, 有 助 於 提 高 測 驗 品 質 以 及 對 於 分 數 之 內 容 知 識 與 認 知 處 理 程 序 之 解 釋 的 效 度 許 多 研 究 已 指 出 建 立 題 庫 可 以 收 集 不 同 層 級 水 準 的 試 題, 將 試 題 特 性 與 學 生 的 能 力 校 準 在 同 一 量 尺 上, 不 但 能 使 測 驗 分 數 在 比 較 時 有 意 義, 更 能 呈 現 學 生 在 不 同 學 習 階 段 的 成 長 趨 勢 樣 貌 ( 王 力 行 周 東 山,1996; 吳 裕 益,1991; 張 敏 強,1999; 簡 茂 發,1999) 由 於 建 立 題 庫 對 於 測 驗 編 製 以 及 使 用 具 有 經 濟 效 益 方 便 以 及 彈 性 運 用 等 優 勢, 特 別 是 利 用 項 目 反 應 理 論 (IRT, item response theory) 模 型 所 建 立 的 題 庫, 其 選 題 組 卷 的 品 質 通 常 會 比 測 驗 實 施 者 自 己 編 寫 題 目 的 品 質 還 要 好 (Choppin, 1985; Hambleton & Swaminathan, 1985; Suen, 1990; Vale, 1986) 本 研 究 今 提 出 分 數 概 念 之 題 庫 雛 形 架 構, 研 究 者 透 過 項 目 反 應 理 論 (IRT) 之 參 數 估 計, 使 得 題 目 之 性 質 可 幫 助 教 學 者 或 研 究 者 對 於 不 同 學 習 階 段 的 學 生, 以 能 力 為 依 歸, 瞭 解 學 189

4 生 分 數 概 念 不 同 面 向 的 表 現 ; 另 外, 透 過 此 題 庫 之 建 立, 亦 可 以 作 為 未 來 電 腦 適 性 測 驗 之 準 備 貳 文 獻 探 討 一 分 數 概 念 的 評 量 ( 一 ) 分 數 概 念 的 意 義 分 數 (fraction) 在 不 同 情 境 下 所 指 涉 的 意 義 不 同, 需 要 有 多 種 的 定 義 才 能 充 分 描 述 在 不 同 情 境 所 代 表 的 意 義 根 據 九 年 一 貫 數 學 學 習 領 域 課 程 綱 要 ( 教 育 部,2003), 分 數 包 含 平 分 測 量 比 例 部 分 / 全 部 四 種 意 義, 這 四 種 意 義 的 核 心 意 涵 是 除 的 意 涵 在 課 程 綱 要 中, 分 數 是 歸 類 在 國 小 階 段 數 與 量 主 題 下 的 有 理 數 中, 是 以 有 理 數 來 看 待 分 數 課 程 綱 要 指 出 有 理 數 即 分 數, 有 些 分 數 可 以 小 數 表 示 因 此 不 管 是 分 數 還 是 小 數 都 有 著 平 分 測 量 比 例 部 分 / 全 部 四 種 意 義 概 念 指 的 是 某 種 類 別 的 心 智 表 徵 ( 彭 聃 齡 張 必 隱,1999; Medin, Ross & Markman, 2002) Vergnaud(1988; 引 自 呂 玉 琴,1991) 認 為, 概 念 可 以 用 一 個 三 元 組 C =(S,I,R) 來 表 示 C 指 的 是 概 念 S 是 使 概 念 有 意 義 情 境 (situation) 的 集 合 I 是 情 境 中 的 共 同 不 變 性 (invariance) R 是 為 呈 現 共 同 不 變 性 與 表 達 情 境 的 表 徵 (representation) 研 究 者 認 為, 概 念 的 本 質 是 一 種 關 係 的 呈 現, 這 種 關 係 指 的 是 能 夠 掌 握 某 類 事 物 共 同 屬 性 的 關 係, 而 且 這 個 關 係 必 需 要 在 一 個 有 意 義 且 不 變 的 情 境 下 才 能 建 立 本 研 究 所 指 的 分 數 概 念 就 是 在 平 分 測 量 比 例 部 分 / 全 部 四 種 不 同 有 意 義 情 境 下, 共 有 著 除 的 意 涵 的 不 變 性, 並 透 過 各 種 不 同 的 表 徵 方 式 加 以 呈 現 ( 二 ) 分 數 概 念 評 量 的 處 境 與 需 要 分 數 概 念 的 學 習 情 況, 如 以 紙 筆 測 驗 檢 驗 者, 主 要 在 測 量 學 生 對 於 分 190

5 數 概 念 的 圖 形 符 號 以 及 語 言 的 表 徵 能 力 至 於 具 體 操 作 表 徵 與 真 實 情 境 表 徵 礙 於 紙 筆 測 驗 的 限 制, 無 法 展 現 在 紙 筆 測 驗 的 結 果 中 呂 玉 琴 (1991) 曾 指 出, 在 分 數 概 念 的 研 究 方 法 中, 紙 筆 測 驗 的 限 制 在 於 無 法 進 一 步 探 討 學 生 解 題 的 思 考 過 程 及 影 響 其 思 考 的 真 正 原 因, 呂 玉 琴 並 建 議 採 用 個 別 面 測 的 方 法 才 能 隨 學 生 的 反 應 而 當 下 調 整 問 題 的 難 易, 以 了 解 學 生 所 具 備 的 分 數 概 念 研 究 者 認 為, 在 分 數 概 念 的 研 究 初 期 確 實 需 採 用 個 別 面 測 或 訪 談 的 方 法 來 瞭 解 學 生 的 解 題 歷 程 及 錯 誤 類 型, 而 當 研 究 已 能 掌 握 學 生 的 認 知 處 理 程 序 與 典 型 錯 誤 類 型 時 便 可 開 始 編 製 分 數 概 念 測 驗, 以 收 診 斷 之 效 率 在 分 數 概 念 的 紙 筆 測 驗 上, 測 驗 編 製 者 可 以 將 學 生 的 不 同 認 知 處 理 程 序 中 的 典 型 錯 誤 類 型 編 入 各 題 目 的 選 項 中, 使 得 每 個 試 題 能 夠 區 辨 學 生 的 典 型 錯 誤 類 型, 並 藉 由 紙 筆 測 驗 的 結 果 找 出 學 生 分 數 能 力 的 整 體 趨 勢 編 製 好 的 分 數 概 念 試 卷 必 須 一 再 地 修 訂, 因 為 一 份 好 的 測 驗 是 需 要 持 續 不 斷 地 進 行 有 效 化 工 作, 透 過 不 同 來 源 的 證 據, 並 與 理 論 相 互 辯 證 以 修 正 測 驗, 如 此 連 續 不 斷 的 有 效 化 歷 程 (validation), 是 一 個 良 好 紙 筆 測 驗 的 基 礎 ( 吳 毓 瑩,2004) 關 於 分 數 概 念, 目 前 為 止, 已 經 有 許 多 研 究 者 編 製 許 多 分 數 概 念 試 卷, 利 用 大 規 模 施 測 的 方 式 尋 找 不 同 背 景 變 項 學 生 在 各 分 數 子 概 念 的 整 體 表 現 與 典 型 錯 誤 類 型 ( 陳 瑞 發,2003; 游 政 雄,2002; 詹 婉 華,2004) 這 些 研 究 中 亦 提 出 分 數 概 念 試 題 未 來 能 以 電 腦 適 性 測 驗 結 合 線 上 評 量 的 方 式, 以 便 利 未 來 在 施 測 的 過 程 中 隨 著 學 生 的 反 應 調 整 問 題 的 難 易 研 究 者 認 為, 題 庫 的 建 立 可 以 將 試 題 特 性 與 學 生 的 能 力 校 準 在 同 一 量 尺 上, 使 能 呈 現 學 生 分 數 概 念 能 力 在 不 同 階 段 一 個 連 貫 趨 勢 的 樣 貌 對 於 學 生 在 不 同 版 本 教 材 的 學 習, 亦 能 透 過 題 庫 建 立 的 過 程 了 解 教 材 順 序 安 排 對 於 學 生 學 習 能 力 的 關 係 同 一 個 年 級 的 學 生 在 學 習 不 同 內 容 的 分 數 概 念 教 材 後, 經 過 本 研 究 的 試 題 施 測, 採 行 不 同 版 本 教 科 書 的 學 生 會 因 版 本 教 材 安 排 順 序 的 不 同 而 造 成 其 能 力 上 的 差 異 不 同 年 級 學 生 會 因 年 齡 的 發 展 使 得 分 數 概 念 學 習 經 驗 的 增 加, 透 過 試 題 施 測 後, 不 同 年 級 學 生 的 學 習 發 展 情 形 會 展 現 在 分 數 差 異 上 從 測 驗 構 念 的 角 度 來 看, 若 試 題 能 將 受 試 者 不 同 的 學 習 經 驗 反 191

6 映 在 能 力 估 計 上, 本 研 究 試 題 所 測 量 的 構 念, 的 確 為 分 數 概 念 學 習 後 的 能 力 鑑 於 目 前 學 生 在 分 數 概 念 對 不 同 版 本 的 學 習 成 果 之 橫 斷 性 實 徵 證 據 不 多, 故 研 究 者 在 建 立 題 庫 為 電 腦 適 性 測 驗 做 準 備 的 同 時, 並 予 以 了 解 學 生 在 不 同 年 級 性 別 與 版 本 教 材 的 學 習 狀 態 二 關 於 題 庫 的 建 立 ( 一 ) 題 庫 的 定 義 與 分 類 題 庫 的 定 義, 學 者 各 有 不 同 的 看 法 Millman & Arter(1984) 認 為, 題 庫 是 在 編 製 測 驗 時 能 方 便 挑 選 試 題 的 大 型 試 題 集 合 Choppin(1981) Lippey(1974) Mead(1981) Newbould 和 Massey(1977) 等 人 認 為, 題 庫 不 光 只 是 試 題 的 集 合 而 已, 題 庫 會 依 據 試 題 的 內 容 試 題 特 性 ( 難 度 信 度 等 ), 經 過 組 織 分 類 後, 以 電 腦 化 的 方 式 儲 存 以 確 保 試 題 的 品 質, 並 將 試 題 的 難 度 放 在 同 一 量 尺 上 進 行 校 準 這 樣 的 定 義 雖 然 精 確 地 指 出 題 庫 建 置 時 的 大 致 樣 貌, 但 是 卻 也 限 制 了 題 庫 建 置 者 必 須 使 用 精 確 的 量 尺 化 技 術 才 能 算 是 真 正 地 在 建 立 題 庫 研 究 者 認 為 Umar(1999) 的 看 法 比 較 彈 性 且 為 實 用,Umar 表 示 題 庫 的 定 義 是 依 照 題 庫 使 用 者 的 目 的 而 有 所 不 同, 並 非 只 有 限 於 使 用 IRT 的 量 尺 化 技 術 才 算 建 立 題 庫 然 而, 不 管 題 庫 的 定 義 為 何, 這 些 定 義 都 有 一 個 共 通 點 - 只 有 好 題 目 才 會 被 收 納 到 題 庫 裡 Umar(1999) 依 據 題 庫 使 用 者 在 編 製 測 驗 的 目 的 之 不 同, 將 題 庫 分 為 基 本 水 準 進 階 水 準 以 及 高 級 水 準 三 類 : 1. 基 本 水 準 的 題 庫 (basic level) 基 本 水 準 的 題 庫 是 一 個 內 容 有 效 的 題 庫, 題 庫 內 的 試 題 皆 為 內 容 適 當 評 量 項 目 具 有 代 表 性 試 題 在 命 題 時 能 符 合 測 驗 編 製 的 原 則 測 驗 實 施 者 若 要 編 製 的 測 驗 類 似 隨 堂 測 驗 或 測 驗 分 數 不 重 要 時, 便 可 利 用 基 本 水 準 的 題 庫 來 編 製 測 驗, 如 : 劉 湘 川 黃 孝 雲 (1998) 的 國 小 國 語 科 在 家 考 試 題 庫 2. 進 階 水 準 的 題 庫 (advanced level) 進 階 水 準 的 題 庫 是 一 個 具 有 傳 統 實 徵 證 據 的 題 庫, 除 了 滿 足 基 本 192

7 水 準 題 庫 的 內 容 有 效 外, 並 藉 由 古 典 測 驗 理 論 的 方 法 來 建 置 題 庫 測 驗 實 施 者 若 要 發 展 標 準 化 測 驗 或 是 多 份 標 準 化 測 驗 的 複 本 時, 題 庫 內 的 試 題 除 了 要 達 到 基 本 水 準 ( 內 容 有 效 ) 外, 題 庫 內 的 試 題 更 需 要 透 過 編 製 多 份 測 驗 進 行 預 試, 利 用 古 典 試 題 分 析 的 通 過 率 鑑 別 度 選 項 分 析 等 符 合 信 效 度 原 則 作 為 選 題 入 題 庫 的 標 準 如 : 吳 權 威 王 佩 蓮 (1995) 的 國 小 環 保 題 庫 系 統 研 究 3. 高 級 水 準 的 題 庫 (high level) 高 級 水 準 的 題 庫 是 一 個 校 準 過 的 題 庫, 主 要 利 用 IRT 模 型 測 量 試 題 的 特 性 估 計 受 試 者 的 能 力 以 進 行 試 題 校 準 (calibration) 的 工 作, 並 將 所 有 的 試 題 參 數 都 建 立 在 同 一 個 能 力 量 尺 上 高 級 水 準 題 庫 內 的 試 題 除 了 必 須 達 到 基 本 水 準 進 階 水 準 外, 還 必 須 符 合 項 目 反 應 理 論 的 模 型 測 驗 實 施 者 若 要 建 構 一 個 測 量 系 統 (measurement system) 電 腦 適 性 測 驗 或 網 路 測 驗, 便 需 要 這 樣 校 準 過 的 題 庫, 如 吳 裕 益 陳 英 豪 林 惠 華 陳 香 吟 馬 景 榮 (1992) 國 小 低 年 級 學 術 性 向 測 驗 題 庫 之 建 立, 李 盛 祖 與 林 世 華 (1999) 國 小 數 學 乘 法 診 斷 測 驗 題 庫 的 建 立, 洪 碧 霞 吳 裕 益 洪 淑 琴 洪 嘉 品 曾 秋 琪 (1992) 國 小 高 年 級 數 學 科 應 用 問 題 題 庫 之 建 立, 洪 碧 霞 邱 上 真 林 素 微 葉 千 綺 (1998) 國 小 中 低 年 級 國 語 文 成 就 測 驗 題 庫 建 立, 鄭 蕙 如 與 林 世 華 (2002) 九 年 一 貫 課 程 數 學 領 域 第 三 四 階 段 能 力 測 驗 試 題 題 庫 的 建 立 等, 都 是 高 級 水 準 的 題 庫 本 研 究 即 在 處 理 高 級 水 準 的 分 數 能 力 之 題 庫 ( 二 ) 題 庫 建 立 的 步 驟 與 時 機 題 庫 的 建 立 程 序 與 測 驗 編 製 的 程 序 相 似, 主 要 步 驟 有 建 立 雙 向 細 目 表 根 據 命 題 原 則 編 寫 試 題 修 訂 與 審 查 試 題 預 試 與 試 題 分 析 篩 選 試 題 將 試 題 內 容 與 試 題 參 數 輸 入 電 腦 資 料 庫 (Choppin, 1976; Rudner, 1998 ; Wainer, Dorans, Flaugher, Green, Mislevy, Steinberg, & Thissen, 1990) 由 於 建 立 題 庫 需 要 花 費 相 當 的 人 力 金 錢 與 時 間, 實 務 上 也 有 著 一 些 困 難 的 課 題 (Keeves & Masters, 1999; Mckinley & Reckase, 1981; Runder, 1998) Umar(1999) 認 為 只 有 在 需 要 建 立 題 庫 的 時 機 下, 發 展 題 193

8 庫 才 能 突 顯 題 庫 的 價 值 之 處, 否 則 只 會 導 致 題 庫 建 立 後 棄 置 不 用 的 情 況 根 據 Millman & Arter(1984) 的 說 法, 在 有 下 列 任 一 項 情 況 之 需 要 下, 建 立 題 庫 才 可 發 揮 其 最 大 效 用 : 1. 現 存 測 驗 已 無 法 接 受, 需 要 自 編 測 驗 的 時 候 2. 經 常 需 要 使 用 測 驗 的 時 候 3. 測 驗 需 要 多 個 複 本 的 時 候 4. 設 計 個 別 化 測 驗 (individually tailored test) 的 時 候 5. 有 多 位 測 驗 實 施 者 需 要 從 題 庫 建 立 自 己 的 測 驗 時 6. 已 經 有 題 庫 系 統 ( 如 : 電 腦 軟 硬 體 ) 及 已 有 潛 在 的 題 庫 使 用 者 時 研 究 者 認 為, 題 庫 建 立 的 時 機 是 未 來 題 庫 使 用 頻 率 多 寡 的 關 鍵, 在 建 立 題 庫 前 若 能 了 解 建 立 題 庫 的 時 機 是 否 適 當 外, 預 期 題 庫 建 立 後 的 使 用 者 來 源 題 庫 使 用 者 的 能 力, 更 能 使 題 庫 在 使 用 時 發 揮 最 大 的 效 用 本 研 究 所 建 立 的 題 庫, 乃 屬 Umar(1999) 所 稱 的 高 級 水 準, 而 其 建 立 的 時 機 乃 是 在 於 分 數 概 念 的 測 量 已 累 積 了 相 當 多 的 經 驗, 而 在 進 入 電 腦 適 性 化 測 驗 之 前, 題 庫 必 須 建 立 起 來 的 情 況 下, 此 時 將 有 利 於 適 性 之 選 題 與 能 力 的 估 計 鑑 於 目 前 分 數 概 念 研 究, 本 題 庫 之 建 立 乃 基 於 以 下 的 需 要 : 1. 分 數 概 念 是 國 小 學 童 學 習 數 學 歷 程 中, 遭 遇 到 的 第 一 個 重 大 關 卡, 試 題 時 常 有 被 施 測 的 需 要, 高 品 質 的 題 庫 可 幫 助 教 師 或 是 行 政 主 管 瞭 解 學 生 的 能 力 狀 況 本 研 究 之 目 的, 乃 在 建 立 此 題 庫, 並 確 認 題 目 的 有 效 性 2. 在 不 同 版 本 教 材 之 情 況 下, 我 們 需 利 用 項 目 反 應 理 論 將 國 小 不 同 年 級 分 數 概 念 的 試 題 建 立 在 同 一 量 尺 上, 並 需 要 利 用 垂 直 等 化 將 不 同 年 級 學 生 分 數 概 念 能 力 呈 現 一 個 連 貫 趨 勢 的 圖 像, 以 瞭 解 學 習 的 基 本 與 發 展 狀 況 3. 因 為 本 題 庫 之 最 後 目 的 在 於 教 學 上, 是 以 需 要 經 常 使 用 測 驗, 並 且 需 有 測 驗 的 複 本 不 同 使 用 者 ( 包 括 研 究 者 以 及 教 師 ) 皆 可 自 此 題 庫 中 建 構 適 合 的 測 驗 4. 電 腦 適 性 化 測 驗 是 分 數 概 念 題 庫 之 未 來 發 展, 我 們 希 望 確 認 目 前 題 目 之 品 質, 建 立 為 未 來 適 性 化 測 驗 之 基 礎 194

9 參 研 究 方 法 一 研 究 對 象 本 研 究 施 測 對 象 為 國 小 三 到 六 年 級 學 生, 樣 本 收 集 自 台 灣 地 區 北 中 南 國 民 小 學 共 14 所, 顧 及 地 區 性 城 鄉 別 以 及 大 小 之 不 同, 詳 細 資 料 以 及 年 級 別 如 表 1 所 示, 共 計 2771 位 學 生 表 1 各 年 級 受 試 樣 本 在 各 施 測 卷 別 之 人 數 分 配 表 施 測 年 級 學 校 大 小 ( 班 級 數 ) 施 測 學 校 3 年 級 4 年 級 5 年 級 6 年 級 A 卷 B 卷 B 卷 C 卷 D 卷 C 卷 D 卷 北 部 中 (46) 台 北 市 中 正 國 小 中 (36) 台 北 市 健 康 國 小 大 (102) 台 北 縣 民 安 國 小 大 (85) 台 北 縣 安 和 國 小 大 (61) 桃 園 縣 華 勛 國 小 大 (59) 桃 園 市 大 業 國 小 中 部 大 (54) 台 中 市 文 昌 國 小 中 (35) 台 中 市 順 天 國 小 南 部 中 (30) 高 雄 市 九 如 國 小 大 (52) 高 雄 市 十 全 國 小 大 (52) 高 雄 市 桂 林 國 小 大 (64) 高 雄 市 加 昌 國 小 中 (41) 屏 東 縣 內 埔 國 小 31 中 (44) 屏 東 縣 萬 丹 國 小 96 各 卷 別 人 數 總 和 各 年 級 施 測 人 數 施 測 人 數 總 和 2771 註 1: 學 校 大 小 以 24 班 以 下 為 小 型 學 校 25 班 -48 班 為 中 型 學 校 49 班 以 上 為 大 型 學 校 註 2: 各 學 習 階 段 之 測 驗 卷, 有 分 A B C D 等 卷, 僅 為 區 別 之 用, 沒 有 特 別 意 義 195

10 二 研 究 工 具 ( 一 ) 分 數 概 念 試 卷 本 研 究 分 數 概 念 題 庫 的 試 題 蒐 集 自 分 數 概 念 能 力 指 標 的 詮 釋 ( 呂 玉 琴,2004) 共 4 份 試 卷 (A B C D 卷 ),178 題 該 研 究 從 九 年 一 貫 數 學 學 習 領 域 中 選 取 重 要 的 分 數 能 力 指 標, 定 義 構 念 以 及 雙 向 細 目 表, 設 計 試 題 後, 經 過 專 家 審 題 的 流 程, 在 試 題 內 容 上 具 有 代 表 性 在 試 題 的 內 容 分 析 方 面, 本 研 究 分 數 概 念 題 庫 之 雙 向 細 目 表 採 用 TIMSS 2003 數 學 科 的 雙 向 細 目 表 (Martin, Mullis & Chrostowski, 2004) 作 為 本 研 究 題 庫 建 置 的 架 構, 該 雙 向 細 目 表 包 括 兩 個 主 軸 : 內 容 領 域 與 認 知 層 次 內 容 領 域 指 數 學 主 題, 就 分 數 能 力 而 言, 包 含 等 分 概 念 分 數 符 號 概 念 單 位 量 概 念 等 量 概 念 等 值 分 數 概 念 等 五 個 子 概 念 ; 認 知 層 次 定 義 為 我 們 所 期 望 學 生 在 探 究 數 學 內 容 時 的 行 為, 包 含 熟 知 知 識 與 程 序 概 念 使 用 解 決 例 行 問 題 推 理 等 四 個 認 知 層 次, 這 四 個 認 知 層 次 所 運 用 的 認 知 處 理 程 序 由 易 而 難 愈 來 愈 複 雜 表 2 為 題 庫 雙 向 細 目 表 兩 個 主 軸 的 試 題 篩 選 原 則 經 內 容 篩 選 後, 共 計 154 題 保 留, 有 24 題 因 內 容 不 符 合 試 題 原 則 而 刪 除 本 題 庫 較 著 重 學 生 在 分 數 概 念 下 不 同 表 徵 轉 換 的 熟 練 度 以 及 運 用 分 數 概 念 來 解 決 情 境 問 題 的 能 力, 是 以 從 題 庫 雙 向 細 目 表 內 所 蒐 集 的 題 數 總 和 ( 請 見 表 2), 亦 可 以 看 到 內 容 領 域 以 等 值 分 數 概 念 的 題 目 54 題 最 多, 等 分 概 念 的 題 目 13 題 最 少 認 知 層 次 以 解 決 例 行 問 題 的 題 目 75 題 最 多, 以 推 理 的 題 目 12 題 最 少 表 2 內 容 適 當 之 試 題 題 數 分 配 表 認 知 層 次 內 容 領 域 熟 知 知 識 與 程 序 概 念 使 用 解 決 例 行 問 題 推 理 題 數 總 和 分 數 符 號 概 念 等 分 概 念 等 量 概 念 單 位 量 概 念 等 值 分 數 概 念 題 數 總 和

11 從 各 年 級 在 各 分 數 子 概 念 下 的 題 數 分 配 來 看 ( 表 3), 三 年 級 未 有 等 值 分 數 概 念 的 教 學, 因 此 三 年 級 未 施 測 等 值 分 數 概 念 的 試 題 在 四 五 六 年 級 方 面, 教 材 上 逐 漸 涉 及 所 有 分 數 子 概 念 因 此, 本 題 庫 在 試 題 內 容 領 域 上 涵 蓋 了 五 種 分 數 子 概 念, 特 別 是 在 等 值 分 數 概 念 與 單 位 量 概 念 皆 有 豐 富 的 試 題 這 些 試 題 在 呂 玉 琴 劉 曼 麗 李 源 順 等 資 深 數 學 教 育 研 究 者 篩 選 內 容 合 適 的 試 題, 透 過 專 家 篩 選 的 方 式 形 成 正 式 施 測 題 目, 使 得 題 目 能 達 到 Umar(1999) 在 基 本 水 準 題 庫 對 試 題 內 容 有 效 的 要 求, 能 夠 符 合 內 容 適 當 評 量 項 目 具 有 代 表 性 且 符 合 命 題 原 則 等 要 求 內 容 領 域 表 3 各 年 級 在 內 容 領 域 上 之 試 題 題 數 分 配 表 年 級 3 年 級 4 年 級 5 年 級 6 年 級 分 數 符 號 概 念 等 分 概 念 等 量 概 念 單 位 量 概 念 等 值 分 數 概 念 題 數 總 和 註 : 年 級 間 有 共 同 試 題 在 施 測 過 程 中, 每 位 學 生 只 受 測 一 份 試 卷 在 施 測 時 間 方 面,A 卷 施 測 時 間 為 一 節 課 (40 分 鐘 ),B C D 卷 為 二 節 課 (80 分 鐘 ) 各 卷 別 之 施 測 年 級 與 樣 本 數 如 表 1 所 示 在 試 題 安 排 方 面, 由 於 一 個 學 生 無 法 一 次 將 所 有 的 試 題 都 答 題 完 畢, 如 此 將 相 當 耗 費 時 間 與 精 力, 因 此 研 究 者 採 用 不 平 衡 等 組 定 錨 測 驗 (non-equivalent groups with anchor test design, NEAT) 的 概 念 進 行 安 排 研 究 者 將 試 題 以 卷 別 及 跨 學 習 階 段 兩 者 分 類 到 同 屬 性 的 試 題 組 塊 ( block), 不 同 試 題 組 塊 所 連 結 的 學 習 階 段 亦 不 相 同, 但 此 四 份 試 卷 (A B C D 卷 ) 之 間 存 在 著 共 同 試 題 組 塊, 以 進 行 試 題 參 數 的 校 準 表 4 為 各 試 卷 試 題 組 塊 的 組 合 及 題 數 以 A 卷 為 例,A 卷 施 測 於 三 年 級, 包 含 組 塊 1 組 塊 5 與 197

12 組 塊 9, 其 中 組 塊 5 是 A B 兩 卷 的 共 同 試 題, 而 組 塊 9 是 A B C D 卷 的 共 同 試 題 換 句 話 說,A 卷 的 試 題 和 BCD 卷 的 部 分 試 題 是 相 同 的 (20 題 中 有 8 題 為 共 同 試 題 ) 四 份 試 卷 皆 有 共 同 試 題 以 進 行 跨 學 習 階 段 之 連 結 表 4 各 試 卷 之 試 題 組 塊 分 佈 摘 要 表 試 題 組 塊 卷 別 組 塊 1 組 塊 2 組 塊 3 組 塊 4 組 塊 5 組 塊 6 組 塊 7 組 塊 8 組 塊 9 題 數 A 卷 B 卷 C 卷 D 卷 註 : 表 示 組 成 該 試 卷 的 試 題 組 塊 ( 二 ) 效 標 關 聯 之 工 具 在 試 題 的 效 標 關 聯 證 據 方 面, 由 於 分 數 概 念 題 目 中, 有 許 多 圖 形 思 考 的 問 題, 是 以 本 研 究 採 用 瑞 文 氏 標 準 圖 形 推 理 測 驗 (Standard Progressive Matrices, 簡 稱 SPM) 作 為 蒐 集 試 題 效 標 關 聯 證 據 的 工 具 瑞 文 氏 標 準 圖 形 推 理 測 驗 主 要 是 給 予 受 試 者 一 個 挖 空 的 圖 形, 受 試 者 從 六 選 一 的 選 項 中 找 出 能 夠 填 補 挖 空 圖 形 的 正 確 圖 案, 以 測 量 學 生 的 圖 形 推 理 能 力 瑞 文 氏 標 準 圖 形 測 驗 可 分 為 甲 乙 丙 丁 戊 5 個 分 測 驗, 每 個 分 測 驗 有 12 題, 共 計 60 題 試 題 的 難 度 採 用 漸 進 式 階 層 排 列, 每 個 分 測 驗 由 甲 到 戊 逐 漸 由 易 而 難 排 列, 分 測 驗 中 的 每 個 試 題 也 依 題 號 由 易 而 難 排 序, 每 個 分 測 驗 的 後 半 部 試 題 與 下 個 分 測 驗 前 半 部 試 題 的 難 度 相 當 舉 例 而 言, 甲 測 驗 後 半 部 試 題 的 難 度 與 乙 測 驗 前 半 部 試 題 的 難 度 相 當 研 究 者 採 用 瑞 文 氏 標 準 圖 形 推 理 測 驗 作 為 效 標 的 工 具, 原 因 在 於 該 測 驗 在 國 小 的 使 用 率 相 當 高 外 ( 彭 麗 琦,1994), 瑞 文 氏 標 準 圖 形 推 理 測 驗 與 分 數 概 念 試 題 同 樣 反 應 學 生 圖 形 表 徵 的 特 質 由 於 分 數 概 念 的 試 題 可 以 展 現 出 學 生 運 用 圖 形 表 徵 符 號 表 徵 與 語 言 表 徵 的 能 力, 而 瑞 文 氏 標 準 圖 形 推 理 測 驗 主 要 在 測 量 學 生 的 圖 形 推 理 能 力, 該 能 力 包 含 觀 察 力 思 考 198

13 能 力 與 推 理 能 力 三 種 能 力, 這 兩 份 測 驗 皆 反 應 學 生 圖 形 表 徵 的 共 同 能 力 Lesh Behr 與 Post(1987) 指 出 學 生 是 否 能 在 不 同 表 徵 自 由 轉 換, 足 以 代 表 其 對 分 數 概 念 是 否 能 掌 握, 而 且 不 同 表 徵 系 統 的 運 用, 會 直 接 影 響 到 學 生 在 作 答 試 題 的 難 易 程 度 換 句 話 說, 分 數 概 念 的 試 題 可 以 看 出 學 生 在 不 同 表 徵 下 或 不 同 表 徵 間 的 表 現 差 異, 這 個 差 異 可 以 反 映 學 生 在 圖 形 符 號 與 語 言 表 徵 間 的 轉 換 能 力 程 度 或 是 其 他 影 響 學 生 運 用 表 徵 系 統 更 深 層 的 能 力 研 究 者 抽 取 台 北 縣 安 和 國 小 169 位 高 年 級 學 生 以 兩 節 課 同 時 施 測 本 研 究 之 C 卷 與 瑞 文 式 標 準 圖 形 推 理 測 驗, 分 別 求 取 各 分 數 子 概 念 與 瑞 文 式 各 分 測 驗 的 相 關 係 數, 以 了 解 同 一 位 學 生 在 施 測 兩 份 測 驗 中 所 運 用 的 共 同 能 力 之 相 關 強 度, 作 為 本 研 究 試 題 的 同 時 效 標 關 聯 效 度 證 據 ( 結 果 見 表 8) 三 資 料 分 析 研 究 者 將 所 蒐 集 的 試 題 以 本 研 究 的 構 念 與 雙 向 細 目 表 進 行 試 題 內 容 分 析, 再 將 所 蒐 集 資 料 進 行 古 典 試 題 分 析 與 項 目 反 應 理 論 分 析 等 三 步 驟, 使 得 題 庫 內 的 試 題 能 達 到 內 容 適 當 具 鑑 別 力 且 能 符 合 IRT 參 數 模 式 的 原 則, 同 時 符 合 Umar(1999) 所 提 的 題 庫 設 計 之 基 本 水 準 進 階 水 準 以 及 高 級 水 準 三 項 要 求 首 先, 在 試 題 內 容 分 析 方 面, 研 究 者 採 用 TIMSS 2003 數 學 科 的 雙 向 細 目 表 (Martin, Mullis & Chrostowski, 2004) 作 為 本 研 究 題 庫 建 置 的 思 考 架 構, 針 對 試 題 的 內 容 與 特 性 進 行 試 題 篩 選, 將 不 符 雙 向 細 目 表 的 題 目 刪 除 雙 向 細 目 表 以 及 刪 題 結 果 見 下 一 章 在 古 典 試 題 分 析 方 面, 研 究 者 利 用 BILOG-MG 軟 體 分 析 各 試 題 的 通 過 率 鑑 別 力 等 試 題 資 訊 在 通 過 率 部 分, 研 究 者 以 不 同 年 級 學 生 在 共 同 試 題 的 表 現 探 討 其 結 果 ; 在 鑑 別 力 部 分, 由 於 本 研 究 的 資 料 屬 於 0 1 對 錯 的 二 元 反 應 資 料, 本 研 究 採 用 二 系 列 相 關 係 數 作 為 鑑 別 力 分 析 的 依 據 對 於 二 系 列 相 關 係 數 小 於 等 於 0.2 的 低 相 關 試 題 研 究 者 視 為 鑑 別 力 低 的 試 題, 將 之 刪 除 不 納 入 後 續 分 析 (Anderson & George, 2008) 在 效 標 關 聯 證 據 蒐 集 方 面, 研 究 者 針 對 169 位 學 生 在 C 卷 各 分 數 子 概 念 與 瑞 文 氏 標 準 圖 形 推 理 測 驗 各 分 199

14 測 驗 得 分 求 取 相 關 係 數 矩 陣, 以 探 討 分 數 概 念 試 題 是 否 與 圖 形 推 理 能 力 中 的 觀 察 力 思 考 能 力 與 推 理 能 力 有 相 當 程 度 之 關 聯 在 項 目 反 應 理 論 分 析 方 面, 研 究 者 先 採 用 未 轉 軸 之 主 成 分 分 析 來 檢 驗 本 研 究 的 資 料 是 否 有 違 反 單 維 IRT 的 單 一 向 度 檢 定 若 無 嚴 重 違 反 單 一 向 度 的 假 設, 研 究 者 將 採 用 BILOG-MG 軟 體 利 用 邊 際 最 大 概 似 估 計 法 (MML, marginal maximum likelihood) 分 別 進 行 單 參 數 羅 吉 斯 模 式 雙 參 數 羅 吉 斯 模 式 三 參 數 羅 吉 斯 模 式 同 時 估 計 三 種 模 式 下 的 試 題 參 數, 並 分 別 針 對 三 個 模 式, 考 量 符 合 模 式 的 題 數 與 模 式 的 測 驗 訊 息 曲 線 狀 況, 挑 選 出 最 適 當 的 模 式 以 將 所 有 的 試 題 參 數 與 學 生 能 力 校 準 在 同 一 能 力 量 尺 上, 學 生 能 力 參 數 採 用 最 大 概 似 估 計 法 (ML, maximum likelihood) 估 計 Reckase(1979) 提 及 單 一 向 度 的 兩 個 檢 驗 標 準, 分 別 是 :1 最 大 特 徵 值 需 佔 總 變 異 量 的 20% 以 上 ;2 第 一 特 徵 值 要 比 第 二 特 徵 值 來 得 大 本 研 究 結 果 顯 示 不 同 試 卷 的 特 徵 值 佔 總 變 異 量 在 18.86% 到 26.55% 之 間, 第 一 特 徵 值 與 第 二 特 徵 值 的 比 值 在 到 之 間, 因 此 可 以 採 用 單 一 向 度 假 定 的 項 目 反 應 理 論 肆 研 究 結 果 一 古 典 試 題 分 析 結 果 ( 一 ) 刪 除 分 數 概 念 試 卷 中 沒 有 鑑 別 力 的 試 題 根 據 Umar(1999) 對 題 庫 進 階 水 準 的 要 求, 題 庫 內 的 試 題 必 須 符 合 古 典 試 題 理 論 中 的 信 效 度 原 則 透 過 古 典 測 驗 理 論 來 篩 選 題 目, 的 確 會 冒 著 樣 本 依 賴 的 風 險, 是 以 我 們 僅 使 用 它 來 做 初 步 的 篩 選 研 究 者 採 用 Bilog-MG 軟 體 進 行 古 典 試 題 分 析, 分 析 各 試 題 的 作 答 人 數 答 對 人 數 答 對 率 二 系 列 相 關 係 數 等 資 訊, 以 檢 視 試 題 特 性 與 古 典 試 題 理 論 的 實 徵 證 據 其 中, 二 系 列 相 關 係 數 過 低 表 示 該 試 題 的 鑑 別 力 過 低, 研 究 者 將 二 系 列 相 關 係 數 小 於 等 於 0.2 的 低 相 關 試 題 刪 除 不 納 入 後 續 分 析 在 154 題 中, 共 有 3 題 因 鑑 別 力 低 而 刪 除, 共 計 151 題 符 合 內 容 有 效 與 有 鑑 別 力 的 原 則 所 刪 除 之 這 三 題, 在 題 目 內 容 上 存 在 混 淆 學 生 的 多 餘 資 訊, 非 常 困 難, 使 得 高 能 力 學 生 幾 乎 答 錯, 部 分 低 能 力 學 生 猜 對, 相 信 在 我 們 後 續 的 IRT 模 式 中, 此 三 200

15 題 亦 會 遭 到 刪 除 ( 二 ) 檢 視 各 年 級 在 共 同 試 題 中 的 表 現 經 刪 除 沒 有 具 鑑 別 力 的 試 題 後, 研 究 者 針 對 9 個 試 題 組 塊 探 討 不 同 年 級 在 共 同 試 題 上 的 表 現 ( 見 表 5) 在 同 一 個 試 題 組 塊 中, 由 於 各 年 級 所 施 測 的 試 題 相 同, 所 以 不 同 年 級 在 同 一 個 試 題 組 塊 下 的 平 均 答 對 率 可 以 直 接 比 較 但 是, 不 同 試 題 組 塊 間 所 測 得 各 年 級 平 均 答 對 率 是 來 自 不 同 試 題 的 反 應, 所 以 不 同 試 題 組 塊 的 測 驗 分 數 是 無 法 直 接 做 跨 年 級 的 比 較 對 此, 研 究 者 在 古 典 試 題 分 析 中 只 針 對 各 個 試 題 組 塊 內 進 行 各 年 級 的 比 較 分 析 表 5 各 年 級 在 各 試 題 組 塊 之 答 對 率 平 均 數 摘 要 表 中 年 級 高 年 級 試 題 組 塊 所 屬 試 卷 題 數 三 年 級 四 年 級 五 年 級 六 年 級 Block 1 A Block 2 B Block 3 C Block 4 D Block 5 A B Block 6 A C Block 7 A D Block 8 B C D Block 9 A B C D 註 : - 表 示 無 資 料 按 常 理 假 設, 學 生 的 數 學 能 力 應 隨 著 年 齡 的 發 展 年 級 的 增 加 而 提 升 從 表 5 的 數 據 來 看, 在 同 一 個 試 題 組 塊 下, 六 年 級 表 現 優 於 五 年 級, 五 年 級 表 現 優 於 四 年 級 然 而, 三 四 年 級 間 的 差 異 則 值 得 進 一 步 檢 核 研 究 者 針 對 三 四 年 級 共 同 試 題 Block5 與 Block9 的 試 題 組 塊 內 進 行 各 題 答 對 率 的 差 異 檢 定 ( 表 6) 結 果 指 出, 三 年 級 在 等 分 概 念 與 分 數 符 號 概 念 顯 著 優 於 四 年 級, 在 等 量 與 單 位 量 概 念 上 三 四 年 級 並 無 顯 著 差 異, 此 項 結 果 與 過 去 研 究 者 ( 陳 靜 姿,1999; 游 政 雄,2002; 黃 靖 瑩,2003) 的 發 現 不 一 致 201

16 表 6 試 題 組 塊 Block5 與 Block9 在 三 四 年 級 間 答 對 率 差 異 檢 定 摘 要 表 試 題 組 塊 題 號 ( 內 容 領 域 ) 年 級 答 對 率 平 均 數 平 均 數 差 異 t 4 年 級 -3 年 級 95% 信 賴 區 間 p 下 界 上 界 p012 ( 等 分 概 念 ) ** p020 ( 分 數 符 號 概 念 ) * Block 5 p021 ( 分 數 符 號 概 念 ) p022 ( 分 數 符 號 概 念 ) ** ** p023 ( 等 量 概 念 ) p025 ( 等 量 概 念 ) Block 9 p015 ( 單 位 量 概 念 ) p024 ( 單 位 量 概 念 ) 註 : * 表 示 p.05; ** 表 示 p.01 本 研 究 受 試 者 為 92 學 年 度 三 到 六 年 級 學 生, 其 中 三 四 五 年 級 學 生 皆 採 用 九 年 一 貫 暫 行 綱 要 的 新 版 教 材, 只 有 六 年 級 學 生 採 用 最 後 一 屆 82 年 版 的 舊 教 材 本 研 究 四 年 級 受 試 者 學 生 有 新 舊 教 材 銜 接 之 問 題, 丁 志 仁 等 人 (2002, 頁 63) 與 歐 慧 敏 (2004, 頁 420) 的 研 究 指 出 91 學 年 度 三 年 級 升 92 學 年 度 四 年 級 學 生 的 數 學 課 程 中, 在 分 數 概 念 與 分 數 計 算 上 出 現 新 舊 課 程 的 斷 層, 而 三 五 六 年 級 的 學 生 並 無 課 程 銜 接 之 問 題 ( 見 表 7) 因 此, 研 究 者 不 排 除 新 舊 教 材 銜 接 出 狀 況 使 得 四 年 級 分 數 概 念 的 數 學 能 力 在 較 難 的 等 202

17 量 概 念 與 單 位 量 概 念 上, 與 三 年 級 表 現 差 不 多, 反 而 在 較 簡 單 的 等 分 概 念 以 及 分 數 符 號 概 念 上 比 三 年 級 差 進 一 步 的 分 析 討 論, 見 項 目 反 應 理 論 分 析 結 果 表 7 九 十 二 學 年 度 各 年 級 之 新 舊 教 材 銜 接 狀 況 ( 三 ) 效 標 關 聯 效 度 證 據 分 數 概 念 的 紙 筆 測 驗 試 題 主 要 在 提 供 施 測 者 了 解 學 生 在 分 數 符 號 與 圖 形 間 的 轉 換 關 係, 以 及 學 生 展 現 在 圖 形 的 彈 性 思 考 能 力 為 探 究 本 研 究 的 分 數 概 念 試 題 是 否 能 夠 真 正 測 量 到 學 生 對 圖 形 的 觀 察 與 思 考 能 力, 研 究 者 另 外 找 尋 169 位 高 年 級 學 生 同 時 施 測 C 卷 與 瑞 文 氏 標 準 圖 形 推 理 測 驗, 以 獲 得 分 數 概 念 試 題 與 圖 形 推 理 測 驗 的 同 時 關 聯 效 度 證 據 瑞 文 氏 標 準 圖 形 測 驗 是 由 5 個 分 測 驗 ( 甲 乙 丙 丁 戊 ) 所 組 成, 試 題 難 度 由 甲 到 戊 漸 進 增 加 表 8 為 C 卷 各 分 數 子 概 念 下 的 總 分 與 瑞 文 氏 標 準 圖 形 推 理 測 驗 在 各 分 測 驗 的 相 關 係 數, 大 部 份 分 數 子 概 念 與 瑞 文 氏 標 準 圖 形 測 驗 的 得 分 呈 現 正 相 關 並 達 顯 著, 而 且 當 圖 形 推 理 測 驗 愈 困 難 時 與 各 分 數 子 概 念 以 及 C 卷 總 分 的 相 關 係 數 愈 高 這 表 示 當 學 生 在 回 答 分 數 概 念 試 題 時 需 要 運 用 更 高 層 次 更 有 彈 性 的 推 理 思 考 能 力 才 能 正 確 回 答 試 題 從 瑞 文 氏 標 準 圖 形 測 驗 的 效 標 關 聯 證 據 顯 示, 本 研 究 的 分 數 概 念 試 題 與 圖 形 推 理 有 相 當 程 度 之 關 係 換 句 話 說, 本 研 究 的 分 數 概 念 試 題 與 瑞 文 氏 標 準 圖 形 測 驗 能 夠 測 得 一 個 共 同 能 力, 而 該 能 力 便 是 學 生 掌 握 圖 形 推 理 的 能 力, 且 分 數 概 念 題 目 越 難, 與 瑞 文 氏 推 理 測 驗 進 階 測 驗 的 相 關 越 高 203

18 表 8 C 卷 各 分 數 子 概 念 與 瑞 文 氏 標 準 圖 形 測 驗 各 分 測 驗 與 總 分 相 關 係 數 表 甲 分 測 驗 乙 分 測 驗 丙 分 測 驗 丁 分 測 驗 戊 分 測 驗 瑞 文 氏 測 驗 總 分 等 分 概 念 ** 0.26** 0.23** 0.33** 0.35** 等 量 概 念 0.31** 0.21** 0.25** 0.26** 0.38** 0.40** 單 位 量 概 念 0.15* ** 0.30** 0.41** 0.40** 等 值 分 數 概 念 0.29** 0.37** 0.37** 0.50** 0.50** 0.59** C 卷 總 分 0.29** 0.30** 0.38** 0.44** 0.52** 0.57** 註 : ** 表 示 p.01 經 研 究 者 篩 選 出 具 鑑 別 力 的 試 題 後, 上 述 所 列 151 題 內 的 試 題 除 了 內 容 有 效 外, 試 題 的 鑑 別 度 皆 大 於 0.2 以 上, 在 效 度 證 據 上 也 蒐 集 了 與 瑞 文 氏 圖 形 推 理 測 驗 作 為 同 時 關 聯 效 度 證 據, 已 達 Umar(1999) 對 進 階 水 準 題 庫 具 備 古 典 實 徵 證 據 的 要 求 接 下 來 本 研 究 將 進 行 項 目 反 應 理 論 的 試 題 刪 除 與 參 數 校 準, 以 達 到 高 級 水 準 題 庫 的 要 求 二 項 目 反 應 理 論 分 析 結 果 ( 一 ) 單 一 向 度 檢 定 本 研 究 採 單 向 度 的 項 目 反 應 理 論 模 式 為 了 檢 測 本 研 究 所 測 量 的 能 力 有 無 嚴 重 違 反 單 一 向 度 的 假 設, 研 究 者 先 進 行 單 一 向 度 檢 定 研 究 者 根 據 Reckase(1979) 所 提 出 第 一 主 成 分 特 徵 值 要 比 第 二 主 成 分 特 徵 值 來 得 大, 或 第 一 主 成 分 特 徵 值 可 以 解 釋 整 份 測 驗 20% 的 總 變 異 量 作 為 本 研 究 單 一 向 度 的 標 準 研 究 者 將 排 除 內 容 不 符 鑑 別 力 過 低 等 試 題 後 的 四 份 試 卷 (151 題 ) 進 行 未 轉 軸 之 主 成 分 分 析 各 試 卷 單 一 向 度 檢 定 顯 示 ( 表 9), 除 了 在 A 卷 略 低 於 第 一 特 徵 值 可 解 釋 20% 的 總 變 異 量 之 條 件 外, 其 他 試 卷 皆 能 符 合 第 一 主 成 分 特 徵 值 要 比 第 二 主 成 分 特 徵 值 來 得 大, 或 第 一 主 成 分 特 徵 值 可 以 解 釋 整 份 測 驗 20% 的 總 變 異 量 單 一 向 度 的 假 定 從 圖 1 各 試 題 的 主 成 分 負 荷 量 散 佈 圖 的 右 半 部 來 看, 幾 乎 大 部 分 的 試 題 都 能 集 中 在 散 佈 圖 上 下 對 角 線 交 集 區 內, 在 交 集 區 內 的 試 題 204

19 分數概念題庫之建立 跨學習階段的校準與測量 其第一主成分的負荷量必大於第二主成分 這表示大部分的試題與該試卷所 測量的某一種能力特質有相當程度地關聯 整體而言 本研究的試題並不嚴 重違反單一向度的檢定 適合採用單一向度IRT模式進行分析 表9 各試卷單一向度檢定摘要表 卷 別 第一特徵值 第二特徵值 單一向度檢定 第一特徵值/第二特徵值 第一特徵值 可解釋總變異量之比率 A卷 B卷 C卷 D卷 A B C D 圖1 各試卷試題主成分之負荷量散佈圖 教育研究與發展期刊 第五卷第四期

20 ( 二 ) 參 數 模 式 的 選 取 本 研 究 題 庫 的 試 題 包 含 選 擇 題 是 非 題 填 充 題 作 圖 題, 在 參 數 估 計 方 面, 研 究 者 採 用 邊 際 最 大 概 似 法 (MML) 分 別 進 行 單 參 數 羅 吉 斯 模 式 雙 參 數 羅 吉 斯 模 式 三 參 數 羅 吉 斯 模 式 同 時 估 計 三 種 模 式 的 試 題 參 數, 再 以 模 式 總 卡 方 值 G 2 比 較 資 料 之 最 符 合 理 論 模 式 根 據 Umar(1999) 對 高 級 水 準 題 庫 的 期 待, 題 庫 中 的 各 試 題 需 能 符 合 項 目 反 應 理 論 模 式, 本 研 究 乃 以 Bilog-MG 之 MML 所 計 算 出 的 各 題 卡 方 值 與 p 值 為 指 標 在 整 體 模 式 適 配 方 面, 單 參 數 模 式 之 對 數 比 卡 方 統 計 量 G 2 = , 雙 參 數 模 式 之 G 2 = , 三 參 數 模 式 之 G 2 = , 三 種 模 式 中 的 對 數 比 卡 方 統 計 量 G 2 以 雙 參 數 模 式 最 小, 表 示 雙 參 數 模 式 與 資 料 的 適 配 情 形 最 為 理 想 在 試 題 適 配 方 面, 由 於 樣 本 人 數 算 多, 題 目 適 配 容 易 達 到 模 式 與 資 料 間 的 顯 著 差 異, 因 此 給 予 較 寬 鬆 的 標 準 來 篩 檢 試 題, 當 p 小 於 等 於.01 時 表 示 該 題 不 符 合 項 目 反 應 理 論 的 理 論 模 式 在 四 份 卷 別 151 題 中, 單 參 數 模 式 共 計 70 題 未 能 符 合 模 式, 雙 參 數 模 式 共 計 17 題 未 能 符 合 模 式, 三 參 數 模 式 共 計 12 題 未 能 符 合 模 式 綜 合 以 下 三 個 狀 況 的 考 量, 研 究 者 決 定 以 雙 參 數 模 式 作 為 本 研 究 題 庫 之 題 目 特 質 估 計 的 模 式 : 1. 雖 然 三 參 數 模 式 在 成 就 測 驗 下 較 能 夠 描 述 受 試 者 對 於 選 擇 題 是 非 題 的 猜 測 狀 況, 但 從 模 式 適 配 的 情 況 來 看, 三 參 數 模 式 的 適 配 情 形 並 無 雙 參 數 模 式 來 得 好, 換 句 話 說, 三 參 數 模 式 考 量 猜 測 行 為 給 予 猜 測 參 數 並 沒 有 比 雙 參 數 模 式 更 能 解 釋 學 生 的 能 力 值 由 於 本 研 究 題 庫 的 試 題 難 度 較 為 簡 單, 甚 至 部 分 內 容 領 域 的 平 均 難 度 值 在 -2 以 下, 題 目 簡 單 使 得 受 試 者 不 需 要 猜 測 便 能 正 確 回 答 問 題 另 外, 根 據 模 式 選 取 的 簡 約 原 則 (principle of parsimony), 最 佳 模 式 乃 是 參 數 量 少 又 能 發 揮 模 式 解 釋 的 最 大 效 能, 在 此 條 件 下, 研 究 者 認 為 選 擇 雙 參 數 模 式 比 三 參 數 模 式 更 佳 2. 其 次, 從 訊 息 曲 線 的 角 度 來 看 ( 圖 2), 雖 然 三 參 數 模 式 的 訊 息 曲 線 在 平 均 能 力 以 上 之 範 圍 比 單 雙 參 數 模 式 還 要 高, 表 示 能 力 估 計 較 準 確, 但 是 此 訊 息 曲 線 的 多 峰 分 配 狀 況 顯 示 能 力 估 計 標 準 誤 在 不 同 能 力 206

21 區 段 間 忽 高 忽 低, 這 對 於 本 研 究 在 能 力 估 計 誤 差 的 解 釋 會 產 生 困 難 本 研 究 分 數 概 念 題 庫 期 望 的 訊 息 曲 線 以 平 坦 式 的 曲 線 為 優 先 選 取 考 量, 因 此, 三 參 數 模 式 的 確 不 適 合 本 題 庫 3. 比 較 單 參 數 與 雙 參 數 模 式, 雙 參 數 模 式 的 適 配 情 形 比 單 參 數 模 式 得 好 這 是 合 理 的 但 因 從 古 典 試 題 分 析 的 結 果 發 現 題 目 的 二 系 列 相 關 係 數 散 佈 範 圍 較 廣, 而 二 系 列 相 關 係 數 又 與 IRT 中 的 鑑 別 度 參 數 a 有 函 數 關 係 (Lord & Novick, 1968), 研 究 者 不 能 將 鑑 別 度 參 數 a 視 為 常 數 ( 即 等 鑑 別 度 ), 鑑 別 度 參 數 的 估 計 是 必 要 的 雖 然 在 各 種 模 式 中, 只 有 單 參 數 羅 吉 斯 模 式 是 建 立 在 一 個 客 觀 等 距 的 量 尺 上 ( 王 文 中,2004), 研 究 者 綜 合 上 述 考 量, 認 為 以 雙 參 數 羅 吉 斯 模 式 所 估 計 的 參 數 較 適 合 本 研 究 之 題 庫 圖 2 本 研 究 題 庫 三 種 IRT 模 式 之 測 驗 訊 息 曲 線 圖 ( 三 ) 試 題 參 數 分 析 在 項 目 反 應 理 論 分 析 結 果 中, 共 有 134 題 符 合 雙 參 數 羅 吉 斯 模 式, 研 究 者 刪 除 不 恰 當 的 17 題 後, 將 此 134 題 收 納 至 題 庫 內, 各 內 容 領 域 的 難 度 與 鑑 別 度 之 平 均 數 與 標 準 差 如 表 10 所 示 在 試 題 內 容 領 域 方 面, 以 分 數 符 號 概 念 的 試 題 最 簡 單, 以 等 值 分 數 概 念 的 試 題 最 難 在 鑑 別 度 方 面 以 等 207

22 值 分 數 概 念 的 試 題 最 有 鑑 別 度, 以 等 量 概 念 的 試 題 鑑 別 度 最 低 在 試 題 的 認 知 層 次 方 面, 以 熟 知 知 識 與 程 序 的 試 題 最 簡 單, 以 推 理 的 試 題 最 難 試 題 難 度 分 配 的 結 果 與 TIMSS 2003 認 知 層 次 的 架 構 相 同, 因 此 可 推 估 本 研 究 的 試 題 能 夠 反 應 認 知 層 次 上 的 差 別 在 鑑 別 度 方 面 以 熟 知 知 識 與 程 序 的 試 題 最 有 鑑 別 度, 以 推 理 的 試 題 鑑 別 度 最 低 本 研 究 經 過 內 容 分 析 古 典 試 題 分 析 項 目 反 應 理 論 分 析, 在 刪 除 試 題 後, 共 收 錄 134 題, 平 均 難 度 為 -0.67, 平 均 鑑 別 度 為 1.33, 題 庫 內 的 題 數 分 配 摘 要 表 如 表 11 所 示 表 10 題 庫 內 容 領 域 與 認 知 層 次 難 度 與 鑑 別 度 描 述 性 統 計 摘 要 表 變 項 平 均 數 標 準 差 難 度 鑑 別 度 難 度 鑑 別 度 內 容 領 域 分 數 符 號 概 念 等 分 概 念 等 量 概 念 單 位 量 概 念 等 值 分 數 概 念 認 知 層 次 熟 知 知 識 與 程 序 概 念 使 用 解 決 例 行 性 問 題 推 理 整 體 題 庫 根 據 Millman & Arter(1984) 以 及 Prosser(1974) 的 說 法, 題 庫 內 每 個 概 念 的 試 題 至 少 要 包 含 10 題, 而 且 每 個 課 程 單 元 下 至 少 要 包 含 50 題 若 是 要 使 用 在 電 腦 適 性 測 驗 上, 題 庫 內 至 少 要 有 100 至 200 題 難 度 均 勻 鑑 別 度 合 理 的 試 題 (Millman & Arter, 1984; Reckase,1981) 本 研 究 雖 然 在 各 個 分 數 208

23 子 概 念 與 認 知 層 次 的 試 題 數 皆 達 到 Prosser 提 示 10 題 的 建 議, 但 研 究 者 認 為 在 題 數 分 配 摘 要 表 ( 表 11) 中 仍 有 少 數 細 格 的 題 數 為 0 題, 關 於 此 部 分, 研 究 者 建 議 在 未 來 題 庫 擴 充 時 能 再 蒐 集 或 撰 寫 此 類 試 題 表 11 本 研 究 題 庫 之 題 數 分 配 摘 要 表 認 知 層 次 內 容 領 域 熟 知 知 識 與 程 序 概 念 使 用 解 決 例 行 問 題 推 理 題 數 總 和 分 數 符 號 概 念 2 (1.49%) 9 (6.27%) 3 (2.24%) 0 (0.00%) 14 (10.45%) 等 分 概 念 1 (0.75%) 1 (0.75%) 3 (2.24%) 7 (5.22%) 12 (8.96%) 等 量 概 念 0 (0.00%) 1 (0.75%) 18 (13.43%) 0 (0.00%) 19 (14.18%) 單 位 量 概 念 0 (0.00%) 18 (13.43%) 20 (14.93%) 3 (2.24%) 41 (30.60%) 等 值 分 數 概 念 11 (8.21) 18 (13.43%) 18 (13.43%) 1 (0.75%) 48 (35.82%) 題 數 總 和 14 (10.45%) 47 (35.07%) 註 : 括 弧 內 的 數 值 為 該 細 格 佔 題 庫 總 題 數 的 百 分 比 62 (46.27%) 11 (8.21%) 134 (100.00%) ( 四 ) 學 生 能 力 參 數 分 析 在 學 生 的 能 力 參 數 方 面, 本 研 究 採 羅 吉 斯 雙 參 數 模 式 以 最 大 概 似 估 計 法 估 計 2771 位 學 生 的 能 力 參 數, 共 計 39 位 受 試 者 不 符 合 雙 參 數 模 式 這 些 不 符 合 模 式 的 受 試 者 答 對 率 偏 低, 其 答 對 的 試 題 同 時 包 含 極 簡 單 與 極 困 難 的 試 題, 因 此 無 法 符 合 模 式 換 句 話 說, 這 39 位 受 試 者 對 能 力 參 數 估 計 的 幫 助 不 大 經 研 究 者 刪 除 39 位 不 符 合 模 式 的 受 試 者 後, 研 究 者 以 2732 位 受 試 者 的 能 力 值 進 行 變 異 數 分 析, 以 了 解 學 生 的 分 數 概 念 能 力 在 不 同 年 級 不 同 性 別 及 不 同 版 本 的 數 學 教 科 書 之 間 是 否 有 差 異 ( 表 12) 209

24 表 12 不 同 年 級 性 別 學 生 在 不 同 版 本 教 科 書 下 的 分 數 概 念 能 力 之 變 異 數 分 析 摘 要 表 變 異 來 源 自 由 度 平 方 和 均 方 F p 年 級 ** 性 別 數 學 版 本 ** 年 級 性 別 年 級 數 學 版 本 ** 性 別 數 學 版 本 年 級 性 別 數 學 版 本 誤 差 總 和 註 : ** 表 示 p.01 研 究 結 果 顯 示, 學 生 的 分 數 概 念 能 力 在 年 級 間 有 顯 著 差 異 數 學 版 本 間 有 顯 著 差 異 年 級 與 數 學 版 本 間 有 顯 著 地 交 互 作 用 雖 然 描 述 性 統 計 ( 表 13) 顯 示, 不 同 年 級 學 生 間 的 能 力 值 由 高 而 低 分 別 為 : 六 年 級 五 年 級 三 年 級 四 年 級, 但 由 於 年 級 與 版 本 間 有 交 互 作 用 存 在, 透 過 能 力 折 線 圖 ( 圖 3) 亦 可 知 年 級 之 間 的 差 異 狀 況 實 際 上 因 版 本 有 不 同, 尤 其 在 三 年 級 與 四 年 級 之 間, 是 以 無 法 斷 言 四 年 級 全 然 比 三 年 級 低 經 Scheffe 事 後 比 較 顯 示, 三 四 年 級 之 間, 三 年 級 學 生 採 行 康 軒 版 本 與 翰 林 版 本 的 平 均 值 顯 著 高 於 四 年 級 採 行 南 一 版 本 的 學 生, 至 於 其 他 版 本 則 兩 個 年 級 間 沒 有 顯 著 差 異 以 版 本 的 角 度 來 看 學 生 在 各 年 級 間 的 表 現 狀 況, 採 行 翰 林 版 本 的 三 四 六 年 級 學 生 的 平 均 能 力 值 並 無 顯 差 異 ; 採 行 康 軒 版 本 學 生 平 均 能 力 值 則 不 同 年 級 間 有 別 : 六 年 級 > 五 年 級 > 三 四 年 級 ; 採 行 牛 頓 版 本 的 三 五 年 級 學 生 平 均 能 力 值 並 無 顯 差 異 ( 四 年 級 沒 有 牛 頓 版 本 者 ); 採 行 南 一 版 本 學 生 平 均 能 力 值 之 差 異 狀 況 為 : 六 年 級 > 五 年 級 > 三 四 年 級 210

25 表 13 年 級 數 學 版 本 年 級 數 學 版 本 描 述 性 統 計 摘 要 表 因 子 平 均 數 標 準 誤 因 子 平 均 數 標 準 誤 年 級 年 級 數 學 版 本 年 級 仁 林 年 級 牛 頓 年 級 南 一 年 級 康 軒 數 學 版 本 3 年 級 翰 林 仁 林 年 級 南 一 牛 頓 年 級 康 軒 南 一 年 級 翰 林 康 軒 年 級 牛 頓 翰 林 年 級 南 一 年 級 康 軒 年 級 南 一 年 級 康 軒 年 級 翰 林 註 : 本 研 究 資 料 無 四 年 級 牛 頓 與 五 年 級 翰 林 版 本 的 資 料, 仁 林 版 本 只 有 三 年 級 圖 3 不 同 年 級 不 同 數 學 教 科 書 版 本 之 學 生 能 力 折 線 圖 211

26 四 年 級 的 表 現 出 現 不 同 版 本 教 科 書 造 成 學 生 能 力 有 差 異 關 於 此 點 發 現, 研 究 者 針 對 四 年 級 中 能 力 最 高 的 翰 林 版 本 與 能 力 最 低 的 南 一 版 本 的 數 學 教 科 書 進 行 分 數 概 念 內 容 比 較, 以 檢 驗 是 否 版 本 間 的 內 容 差 異 會 使 得 學 生 的 能 力 有 所 差 別 : 在 三 年 級 下 學 期, 兩 個 版 本 所 採 用 的 皆 為 82 年 的 數 學 課 程, 兩 者 並 無 太 大 差 異, 但 從 四 年 級 上 學 期 進 入 九 年 一 貫 教 育 課 程 後 在 內 容 上 開 始 出 現 了 分 歧 四 上 時, 翰 林 版 的 教 科 書 在 進 行 假 分 數 與 帶 分 數 的 教 學, 南 一 版 的 教 科 書 則 仍 是 真 分 數 的 教 學 到 了 四 年 級 下 學 期, 翰 林 版 的 教 科 書 已 在 進 行 等 值 分 數 的 教 學 時, 南 一 版 的 教 科 書 開 始 進 入 帶 分 數 與 假 分 數 的 教 學 ( 本 研 究 施 測 時 間 為 92 學 年 度 下 學 期 開 學 (1/26) 後 的 二 個 月 ( 3/22-3/26), 此 時 採 用 翰 林 版 的 四 年 級 學 生 已 學 到 分 數 的 等 值 遞 移 或 次 序 遞 移 關 係, 而 南 一 版 學 生 才 剛 學 完 真 分 數 的 合 成 分 解 活 動 ) 由 此 顯 示, 不 同 版 本 的 教 材 因 教 材 順 序 安 排 不 同, 確 實 會 造 成 學 生 在 分 數 概 念 的 表 現 上 有 所 差 異 從 測 驗 構 念 的 角 度 來 看 上 述 差 異, 同 一 個 年 級 的 學 生 在 學 習 不 同 內 容 的 分 數 概 念 教 材 後, 經 過 本 研 究 的 試 題 施 測, 確 實 將 不 同 的 學 習 經 驗 反 映 在 能 力 估 計 上 換 句 話 說, 採 行 不 同 版 本 教 科 書 的 學 生 會 因 版 本 在 教 材 安 排 順 序 的 不 同 而 造 成 其 能 力 上 的 差 異, 而 這 個 能 力 差 異 顯 現 在 本 研 究 分 數 概 念 試 題 的 表 現 上 這 樣 團 體 差 異 的 證 據 可 以 顯 示, 本 研 究 試 題 所 測 量 的 構 念, 的 確 為 分 數 概 念 學 習 後 的 能 力 伍 結 論 本 研 究 共 蒐 集 178 個 試 題, 施 測 於 北 中 南 地 區 共 2771 學 生 研 究 者 依 內 容 篩 選 二 系 列 相 關 係 數 的 鑑 別 力 篩 選 單 一 向 度 檢 定 IRT 的 雙 參 數 羅 吉 斯 模 式 的 篩 選, 共 收 納 134 題 分 數 概 念 試 題 作 為 分 數 概 念 題 庫 的 試 題 在 試 題 的 統 計 特 徵 方 面, 內 容 領 域 的 五 個 分 數 子 概 念 試 題 之 平 均 難 度 由 易 而 難 依 序 為 : 分 數 符 號 概 念 等 分 概 念 等 量 概 念 單 位 量 概 念 等 值 分 數 概 念, 在 認 知 層 次 的 試 題 之 平 均 難 度 由 易 而 難 依 序 為 : 熟 知 知 識 與 212

27 程 序 概 念 使 用 解 決 例 行 問 題 推 理 題 庫 中 的 每 個 試 題 都 能 達 到 內 容 有 效 有 鑑 別 力 皆 校 準 在 同 一 個 能 力 量 尺 上, 整 個 分 數 概 念 題 庫 的 平 均 難 度 為 -0.67, 平 均 鑑 別 度 為 1.33, 有 著 良 好 的 統 計 特 徵 在 試 題 的 效 度 證 據 上, 本 研 究 所 蒐 集 的 證 據 有 三 : 第 一, 各 分 數 子 概 念 的 試 題 與 瑞 文 氏 標 準 圖 形 推 理 測 驗 各 項 分 測 驗 達 顯 著 正 相 關, 該 相 關 係 數 的 大 小 是 隨 各 個 分 數 子 概 念 的 難 度 與 瑞 文 標 準 圖 形 推 理 測 驗 的 各 分 測 驗 難 度 的 增 加 而 愈 大, 顯 示 本 研 究 的 試 題 所 測 得 的 能 力 與 學 生 對 圖 形 的 觀 察 力 思 考 能 力 與 推 理 能 力 具 有 相 當 程 度 的 關 聯 第 二, 本 研 究 在 探 討 不 同 年 級 學 生 的 能 力 時, 不 同 年 級 團 體 對 分 數 概 念 所 展 現 的 差 異 情 形 可 以 藉 由 本 研 究 的 試 題 展 現 出 來 第 三, 本 研 究 的 試 題 能 夠 呈 現 學 生 的 能 力, 且 對 於 學 習 教 材 相 當 敏 感, 可 以 反 映 教 科 書 內 容 的 順 序 安 排 在 學 生 能 力 方 面, 不 同 年 級 學 生 在 各 個 試 題 組 塊 下 的 平 均 答 對 率 以 六 年 級 學 生 顯 著 高 於 五 年 級 學 生, 高 年 級 學 生 顯 著 高 於 中 年 級 學 生, 但 三 四 年 級 的 差 異 並 不 明 顯 在 項 目 反 應 理 論 分 析 中, 各 年 級 的 平 均 能 力 值 由 高 而 低 分 別 為 六 年 級 (1.51) 五 年 級 (0.52) 三 年 級 (0.10) 四 年 級 ( -0.17) 由 於 本 研 究 的 四 年 級 學 生 遇 到 新 舊 課 程 的 斷 層, 正 好 在 銜 接 時 候 包 含 了 分 數 概 念 教 學 的 不 連 續 狀 況, 使 得 四 年 級 學 生 的 能 力 值 低 於 三 年 級 學 生 的 能 力 值 另 外, 學 生 的 能 力 表 現 在 年 級 與 數 學 版 本 間 有 顯 著 交 互 作 用 存 在, 由 於 各 版 本 教 材 安 排 順 序 不 同, 使 得 學 生 在 分 數 概 念 的 能 力 表 現 也 有 不 同 由 於 題 庫 內 的 試 題 構 念 效 度 良 好, 對 於 不 同 數 學 版 本 或 者 是 教 育 變 革 產 生 新 舊 課 程 銜 接 問 題, 都 能 有 效 反 映 出 來 目 前 義 務 教 育 已 全 面 採 行 九 年 一 貫 課 程, 與 本 研 究 樣 本 的 四 年 級 之 學 習 經 驗 有 所 不 同, 然 此 狀 況 不 致 於 影 響 本 題 庫 之 題 目 參 數 的 變 化, 因 題 目 已 進 行 跨 年 級 項 目 反 應 理 論 之 量 尺 化 校 正 本 研 究 的 核 心 目 標 旨 在 建 立 分 數 概 念 題 庫, 研 究 者 在 整 合 國 小 分 數 概 念 試 題 時, 利 用 項 目 反 應 理 論 的 技 術 將 試 題 統 計 特 徵 建 立 在 同 一 量 尺 上, 使 得 跨 年 級 的 比 較 更 具 意 義 建 議 後 續 研 究 一 方 面 可 以 進 行 電 腦 化 適 性 測 驗 的 編 製, 另 外 可 以 進 行 學 生 能 力 隨 年 級 而 發 展 的 診 斷 測 量 213

28 參 考 文 獻 丁 志 仁 吳 財 順 盧 雪 梅 林 佳 蓉 李 美 穗 林 陳 涌 高 永 遠 楊 舒 茹 周 愫 嫻 張 政 亮 彭 增 龍 吳 忠 泰 吳 錦 秀 王 壬 (2002) 國 民 小 學 三 四 年 級 及 國 小 六 年 級 國 中 一 年 級 之 新 舊 課 程 銜 接 研 究 報 告 台 北 : 教 育 部 王 文 中 (2004) Rasch 測 量 理 論 與 其 在 教 育 和 心 理 之 應 用 教 育 與 心 理 研 究, 27, 王 立 行 周 東 山 (1996) 應 用 IRT 試 題 連 結 設 計 建 立 能 力 成 長 曲 線 測 驗 年 刊, 43,53-66 吳 毓 瑩 (2004) 效 度 載 於 王 文 中 呂 金 燮 吳 毓 瑩 張 郁 雯 張 淑 慧 主 編, 教 育 測 驗 與 評 量 教 室 學 習 觀 點 ( 頁 49-76) 台 北 : 五 南 吳 裕 益 (1991) IRT 等 化 法 在 題 庫 建 立 之 應 用 台 南 師 範 學 院 學 報,4, 吳 裕 益 陳 英 豪 林 惠 華 陳 香 吟 馬 景 榮 (1992) 國 小 低 年 級 學 術 性 向 測 驗 題 庫 建 立 之 研 究 : 題 庫 建 立 時 題 目 參 數 的 估 計 與 連 結 問 題 之 探 討 台 南 師 範 學 院 學 報,5,1-31 吳 權 威 王 佩 蓮 (1995) 國 民 小 學 環 保 題 庫 系 統 之 研 究 台 北 市 立 師 範 學 院 學 報,26,9-38 呂 玉 琴 (1991) 分 數 概 念 : 文 獻 探 討 國 立 台 北 師 範 學 院 學 報,4, 呂 玉 琴 (2004) 分 數 概 念 能 力 指 標 的 詮 釋 論 文 發 表 於 國 科 會 科 教 處 九 十 二 年 度 九 年 一 貫 數 學 領 域 能 力 指 標 詮 釋 計 畫 成 果 發 表 會 台 北 : 國 立 台 灣 師 範 大 學 數 學 系 李 盛 祖 林 世 華 (1999) 國 小 數 學 乘 法 系 列 診 斷 測 驗 題 庫 的 建 立 與 應 用 師 大 學 報 : 教 育 類,44(1&2),55-74 洪 碧 霞 吳 裕 益 洪 淑 琴 洪 嘉 品 曾 秋 琪 (1992) 國 小 高 年 級 數 學 科 應 用 問 題 題 庫 之 建 立 及 其 題 目 參 數 估 計 和 量 尺 化 相 關 問 題 之 探 討 台 南 師 範 學 院 學 報,5, 洪 碧 霞 邱 上 真 林 素 微 葉 千 綺 (1998) 國 小 中 低 年 級 國 語 文 成 就 測 驗 題 庫 建 立 之 研 究 測 驗 年 刊,45(2),1-18 張 敏 強 (1999) 教 育 考 試 等 值 方 法 的 應 用 研 究 載 於 中 國 測 驗 學 會 主 編, 新 世 紀 測 驗 學 術 發 展 趨 勢 ( 頁 ) 台 北 : 心 理 教 育 部 (2003) 九 年 一 貫 數 學 學 習 領 域 綱 要 台 北 : 作 者 214

29 陳 瑞 發 (2003) 國 小 低 年 級 學 童 分 數 概 念 之 研 究 國 立 台 北 師 範 學 院 數 理 教 育 研 究 所 碩 士 論 文 陳 靜 姿 (1999) 國 小 四 年 級 兒 童 等 值 分 數 瞭 解 之 初 探 中 師 數 理 學 報,2(2), 彭 聃 齡 張 必 隱 (1999) 認 知 心 理 學 台 北 : 東 華 彭 麗 琦 (1994) 從 瑞 文 氏 測 驗 談 對 測 驗 的 幾 點 看 法 教 與 愛,46,29-31 游 政 雄 (2002) 台 灣 北 部 地 區 國 小 中 年 級 學 童 分 數 概 念 之 研 究 國 立 臺 北 教 育 大 學 學 報 : 數 理 科 技 教 育 類,15,37-67 黃 靖 瑩 (2003) 國 小 中 年 級 學 童 分 數 概 念 之 研 究 國 立 台 北 師 範 學 院 數 理 教 育 研 究 所 碩 士 論 文 詹 婉 華 (2003) 國 小 高 年 級 學 童 分 數 概 念 之 探 究 國 立 台 北 師 範 學 院 數 理 教 育 研 究 所 碩 士 論 文 詹 婉 華 (2004) 國 小 高 年 級 學 童 分 數 概 念 量 表 之 設 計 研 究 科 學 教 育 學 刊,12( 2), 劉 湘 川 黃 孝 雲 (1998) 國 小 國 語 科 在 家 考 試 題 庫 初 探 測 驗 統 計 簡 訊,24, 歐 慧 敏 (2004) 新 舊 課 程 銜 接 理 念 與 實 務 以 數 學 學 習 領 域 為 例 國 民 中 小 學 九 年 一 貫 課 程 : 理 論 基 礎,2, 鄭 蕙 如 林 世 華 (2002) 九 年 一 貫 課 程 數 學 領 域 第 三 四 學 習 階 段 分 段 能 力 指 標 序 階 之 適 切 性 初 探 研 究 測 驗 年 刊,49(1),51-74 簡 茂 發 (1999) 心 理 與 教 育 測 驗 發 展 之 趨 勢 載 於 中 國 測 驗 學 會 主 編, 新 世 紀 測 驗 學 術 發 展 趨 勢 ( 頁 1-16) 台 北 : 心 理 龐 嘉 芬 陳 淑 琳 (2000) 談 國 小 學 童 等 值 分 數 概 念 的 了 解 屏 師 科 學 教 育,12, Anderson, P., & George, M. (2008). Developing tests and questionnaires for a national assessment of educational achievement. Washington, DC: World Bank Publications. Behr, M. J., Wachsmuth, I., & Post, T. R. (1988). Construct a sum: A measure of children s understanding of fration size. Journal for Research in Mathematics Education, 15(5), Choppin, B. H. (1976). Recent developments in item banking: a review. In D. N. M. De Gruijter and L. J. van der Kamp (Eds.), Advances in psychological and educational measurement. (pp ). New York, NY: John Wiley & Sons. Choppin, B. H. (1981). Educational measurement and the item bank model. In C. Lacey 215

30 & D. Lawton (Eds.), Issues in evaluation and accountability. (pp ). New York, NY: Methuen. Choppin, B. H. (1985). Principles of item banking. Evaluation in Education, 9(1), Hambleton R. K.,& Swaminathan H. (1985). Item response theory: Principle and application. Boston: Kluwer Nijhoff. Keeves, J. P., & Masters, G. N. (1999). Issues in educational measurement. In G. N. Masters & J. P. Keeves (Eds.), Advances in measurement in educational and research and assessment. (pp ). New York, NY: Pergamon. Lesh, R., Behr, M. & Post, T. (1987). Rational number relations and proportions. In C. Janvier (Ed.), Problems in the teaching and learning of mathematics. London: New Jersey. Lippey, G. (1974). Computer-assisted test construction. Englewood Cliffs, NJ: Educational Technology Publications. Lord, F. M., & Novick, M. R. (1968). Statistical theories of mental test scores. Reading, MA: Addison-Wesley. Martin, M. O., Mullis, I. V. S., & Chrostowski, S. J. (2004). TIMSS 2003 technical report. Chestnut Hill, MA: Boston College. Mckinley, R. L. & Reckase, M. D. (1981). A comparison of procedures for constructing large item pools. Columbia, MO: University of Missouri. Mead, R.J. (1981). Basic ideas in item banking. Paper presented at the annual meeting of the National Council on Measurement in Education, Los Angeles. Medin, D. L., Ross, B.H.,& Markman, A. B. (2002). Cognitive psychology. NK: John Wiley & Sons. Millman, J. & Arter, J. A. (1984). Issues in item banking. Journal of Educational Measurement, 21(4), Newbould, C. A., & Massey, A. J. (1997). A Computerized item banking system (CIBS). British Journal of Educational Technology, 8(2), Prosser, F. (1974). Item banking. In G. Lippey (Ed.), Computer-assisted test construction. (pp ). Englewood Cliffs, NJ: Educational Techology Publications. Reckase, M. D. (1979). Unifactor latent trait models applied to multifactor test: Results and implications. Journal of Educational Statistics, 4(3), Rudner, L. (1998). Item banking. Practical Assessment Research & Evaluation, 6(4), 1-7. Suen, H. K. (1990). Principles of test theories. Hillsdale, NJ: Lawrence Erlbaum Associates. Umar, J. (1999). Item banking. In G. N. Masters & J. P. Keeves (Eds.), Advances in measurement in educational and research and assessment. (pp ). New York, NY: Pergamon. 216

31 Vale C.D. (1986). Linking item parameters onto a common scale. Applied Psychological Measurement, 10(4), Wainer, H., Dorans, N. J., Flaugher, R., Green, B. F., Mislevy, R. J., Steinberg, L. & Thissen, D. (1990). Computerized Adaptive Testing: A Primer. Hillsdale, NJ: Lawrence Erlbaum Associates. 謝 誌 : 感 謝 國 立 屏 東 教 育 大 學 數 理 教 育 研 究 所 劉 曼 麗 教 授 以 及 台 北 市 立 教 育 大 學 數 學 資 訊 教 育 學 系 李 源 順 教 授 對 於 研 究 結 果 的 詮 釋 以 及 施 測 過 程 之 諮 詢 ; 亦 感 謝 許 見 行 江 愛 華 研 究 助 理 在 資 料 蒐 集 上 的 協 助 另 外 並 感 謝 國 科 會 專 題 研 究 計 畫 之 支 助 (NSC S , NSC S ) 217

32 218