Developing an Item Bank of Fraction Concepts Jyun-Ji Lin Ph. D. Candidate, Department of Psychology, National Chung Cheng University Yuh-Yin Wu Profes

分 數 概 念 題 庫 之 建 立 : 跨 學 習 階 段 的 校 準 與 測 量 林 俊 吉 國 立 正 大 心 理 系 博 士 候 選 吳 毓 瑩 國 立 台 北 教 育 大 心 理 與 諮 商 系 教 授 呂 玉 琴 國 立 台 北 教 育 大 數 暨 訊 教 育 系 教 授 摘 要 本 研 究 目 的 旨 在 整 合 目 前 現 有 的 分 數 概 念 研 究 之 紙 筆 測 驗 題 目, 經 古 典 試 題 理 論 項 目 反 應 理 論 雙 參 數 羅 吉 斯 模 式 篩 選, 校 準 學 生 跨 學 習 階 段 之 能 力, 同 時 建 立 一 個 可 以 後 續 發 展 的 題 庫 本 研 究 定 義 分 數 概 念 為 五 個 數 學 內 容 上 的 子 概 念 與 四 個 認 知 處 理 程 序, 受 測 對 象 為 台 灣 地 區 北 中 南 國 小 三 到 六 年 級 2771 位 學 生, 以 專 家 檢 驗 與 雙 向 細 目 表 確 認 內 容 之 正 確, 並 以 瑞 文 式 標 準 圖 形 推 理 測 驗 與 各 子 概 念 建 立 效 標 關 聯 效 度 證 據 研 究 結 果 顯 示, 各 分 數 子 概 念 愈 難, 則 與 圖 形 推 理 測 驗 愈 困 難 時 的 相 關 愈 高, 表 示 當 學 生 在 回 答 困 難 的 分 數 概 念 試 題 時 需 要 運 用 更 高 層 次 更 有 彈 性 的 圖 形 推 理 思 考 能 力 學 生 在 經 過 連 結 後 的 134 個 分 數 概 念 試 題 的 表 現, 由 高 而 低 分 別 為 六 年 級 ( 1.51) 五 年 級 (0.52) 三 年 級 (0.10) 四 年 級 (-0.17); 整 體 題 庫 試 題 平 均 難 度 為 -0.67, 平 均 鑑 別 度 為 1.33 由 於 四 年 級 學 生 遇 到 新 舊 課 程 銜 接 的 斷 層, 使 得 四 年 級 學 生 的 平 均 能 力 值 與 三 年 級 沒 有 顯 著 差 異, 不 同 年 級 與 不 同 數 學 版 本 間 在 學 生 的 能 力 值 上 有 顯 著 交 互 作 用 存 在 關 鍵 詞 : 分 數 概 念 項 目 反 應 理 論 教 材 版 本 題 庫 187

Developing an Item Bank of Fraction Concepts Jyun-Ji Lin Ph. D. Candidate, Department of Psychology, National Chung Cheng University Yuh-Yin Wu Professor, Department of Psychology and Counseling, National Taipei University of Education Yuh-Chyn Leu Professor, Department of Mathematics and Information Education, National Taipei University of Education Abstract The purpose of this study was to develop a test composed of 134 items selected from 178 items through classical test theory and two parameter logistical model of item response theory. Two dimensions of fraction concepts were represented by the items: Five sub-concepts in mathematical contents and four levels of cognitive processing. The average difficulty was -0.67 and the average discrimination was 1.33. Students ability levels were: 1.51 for the 6th graders, 0.52 for the 5th graders, -0.17 for the 4th graders, and 0.10 for the 3rd graders. The gaps in the old curriculum and new curriculum for the 4th graders might be the reason of their lower performance was not significantly superior to the 3rd graders. Interaction existed among grades and textbook versions. Keywords: fraction concepts, item response theory, curriculum and materials, item bank 188

壹 緒 論 分 數 概 念 (fraction concepts) 是 指 學 生 在 平 分 測 量 比 例 部 分 全 部 四 種 皆 有 除 法 的 意 義 下, 所 展 現 出 的 心 智 表 徵 狀 況, 分 數 能 力 是 指 操 作 此 表 徵 的 能 力 分 數 與 小 數 百 分 率 比 除 法 等 概 念 之 關 係 十 分 密 切, 學 習 者 所 面 臨 的 情 境 變 化 非 常 多, 因 此 學 生 需 瞭 解 各 種 表 徵 系 統, 並 透 過 表 徵 以 呈 現 其 瞭 解, 例 如 圖 形 符 號 語 言 與 具 體 操 作 等 (Behr, Wachsmuth & Post, 1988; Lesh, Behr & Post,1987) 關 於 分 數 能 力 之 測 量, 紙 筆 測 驗 乃 為 最 普 遍 的 工 具, 國 內 一 些 研 究 者 已 編 製 了 許 多 分 數 概 念 試 題 ( 陳 靜 姿,1999; 游 政 雄,2002; 黃 靖 瑩,2003; 詹 婉 華,2004; 龐 嘉 芬 陳 淑 琳,2000), 期 望 能 篩 選 出 有 迷 思 概 念 的 學 生, 以 歸 納 學 生 在 分 數 概 念 上 典 型 的 犯 錯 類 型 可 惜 的 是 這 些 研 究 所 得 結 果 並 未 校 正 在 同 一 量 尺 上, 施 測 的 對 象 也 分 立 在 各 個 年 級 中, 使 得 測 驗 分 數 在 跨 年 級 的 解 釋 上 容 易 失 準 研 究 者 整 合 上 述 測 驗 內 容, 但 是 不 以 迷 思 概 念 為 核 心, 而 以 認 知 處 理 程 序 為 出 發 觀 點, 橫 斷 性 地 討 論 三 四 五 六 年 級 學 生 的 分 數 概 念 之 能 力 面 向 與 發 展 狀 況 透 過 題 目 的 整 合, 吾 人 可 以 了 解 分 數 能 力 在 各 個 分 數 子 概 念 下 所 對 應 的 量 尺 位 置, 有 助 於 提 高 測 驗 品 質 以 及 對 於 分 數 之 內 容 知 識 與 認 知 處 理 程 序 之 解 釋 的 效 度 許 多 研 究 已 指 出 建 立 題 庫 可 以 收 集 不 同 層 級 水 準 的 試 題, 將 試 題 特 性 與 學 生 的 能 力 校 準 在 同 一 量 尺 上, 不 但 能 使 測 驗 分 數 在 比 較 時 有 意 義, 更 能 呈 現 學 生 在 不 同 學 習 階 段 的 成 長 趨 勢 樣 貌 ( 王 力 行 周 東 山,1996; 吳 裕 益,1991; 張 敏 強,1999; 簡 茂 發,1999) 由 於 建 立 題 庫 對 於 測 驗 編 製 以 及 使 用 具 有 經 濟 效 益 方 便 以 及 彈 性 運 用 等 優 勢, 特 別 是 利 用 項 目 反 應 理 論 (IRT, item response theory) 模 型 所 建 立 的 題 庫, 其 選 題 組 卷 的 品 質 通 常 會 比 測 驗 實 施 者 自 己 編 寫 題 目 的 品 質 還 要 好 (Choppin, 1985; Hambleton & Swaminathan, 1985; Suen, 1990; Vale, 1986) 本 研 究 今 提 出 分 數 概 念 之 題 庫 雛 形 架 構, 研 究 者 透 過 項 目 反 應 理 論 (IRT) 之 參 數 估 計, 使 得 題 目 之 性 質 可 幫 助 教 學 者 或 研 究 者 對 於 不 同 學 習 階 段 的 學 生, 以 能 力 為 依 歸, 瞭 解 學 189

生 分 數 概 念 不 同 面 向 的 表 現 ; 另 外, 透 過 此 題 庫 之 建 立, 亦 可 以 作 為 未 來 電 腦 適 性 測 驗 之 準 備 貳 文 獻 探 討 一 分 數 概 念 的 評 量 ( 一 ) 分 數 概 念 的 意 義 分 數 (fraction) 在 不 同 情 境 下 所 指 涉 的 意 義 不 同, 需 要 有 多 種 的 定 義 才 能 充 分 描 述 在 不 同 情 境 所 代 表 的 意 義 根 據 九 年 一 貫 數 學 學 習 領 域 課 程 綱 要 ( 教 育 部,2003), 分 數 包 含 平 分 測 量 比 例 部 分 / 全 部 四 種 意 義, 這 四 種 意 義 的 核 心 意 涵 是 除 的 意 涵 在 課 程 綱 要 中, 分 數 是 歸 類 在 國 小 階 段 數 與 量 主 題 下 的 有 理 數 中, 是 以 有 理 數 來 看 待 分 數 課 程 綱 要 指 出 有 理 數 即 分 數, 有 些 分 數 可 以 小 數 表 示 因 此 不 管 是 分 數 還 是 小 數 都 有 著 平 分 測 量 比 例 部 分 / 全 部 四 種 意 義 概 念 指 的 是 某 種 類 別 的 心 智 表 徵 ( 彭 聃 齡 張 必 隱,1999; Medin, Ross & Markman, 2002) Vergnaud(1988; 引 自 呂 玉 琴,1991) 認 為, 概 念 可 以 用 一 個 三 元 組 C =(S,I,R) 來 表 示 C 指 的 是 概 念 S 是 使 概 念 有 意 義 情 境 (situation) 的 集 合 I 是 情 境 中 的 共 同 不 變 性 (invariance) R 是 為 呈 現 共 同 不 變 性 與 表 達 情 境 的 表 徵 (representation) 研 究 者 認 為, 概 念 的 本 質 是 一 種 關 係 的 呈 現, 這 種 關 係 指 的 是 能 夠 掌 握 某 類 事 物 共 同 屬 性 的 關 係, 而 且 這 個 關 係 必 需 要 在 一 個 有 意 義 且 不 變 的 情 境 下 才 能 建 立 本 研 究 所 指 的 分 數 概 念 就 是 在 平 分 測 量 比 例 部 分 / 全 部 四 種 不 同 有 意 義 情 境 下, 共 有 著 除 的 意 涵 的 不 變 性, 並 透 過 各 種 不 同 的 表 徵 方 式 加 以 呈 現 ( 二 ) 分 數 概 念 評 量 的 處 境 與 需 要 分 數 概 念 的 學 習 情 況, 如 以 紙 筆 測 驗 檢 驗 者, 主 要 在 測 量 學 生 對 於 分 190

數 概 念 的 圖 形 符 號 以 及 語 言 的 表 徵 能 力 至 於 具 體 操 作 表 徵 與 真 實 情 境 表 徵 礙 於 紙 筆 測 驗 的 限 制, 無 法 展 現 在 紙 筆 測 驗 的 結 果 中 呂 玉 琴 (1991) 曾 指 出, 在 分 數 概 念 的 研 究 方 法 中, 紙 筆 測 驗 的 限 制 在 於 無 法 進 一 步 探 討 學 生 解 題 的 思 考 過 程 及 影 響 其 思 考 的 真 正 原 因, 呂 玉 琴 並 建 議 採 用 個 別 面 測 的 方 法 才 能 隨 學 生 的 反 應 而 當 下 調 整 問 題 的 難 易, 以 了 解 學 生 所 具 備 的 分 數 概 念 研 究 者 認 為, 在 分 數 概 念 的 研 究 初 期 確 實 需 採 用 個 別 面 測 或 訪 談 的 方 法 來 瞭 解 學 生 的 解 題 歷 程 及 錯 誤 類 型, 而 當 研 究 已 能 掌 握 學 生 的 認 知 處 理 程 序 與 典 型 錯 誤 類 型 時 便 可 開 始 編 製 分 數 概 念 測 驗, 以 收 診 斷 之 效 率 在 分 數 概 念 的 紙 筆 測 驗 上, 測 驗 編 製 者 可 以 將 學 生 的 不 同 認 知 處 理 程 序 中 的 典 型 錯 誤 類 型 編 入 各 題 目 的 選 項 中, 使 得 每 個 試 題 能 夠 區 辨 學 生 的 典 型 錯 誤 類 型, 並 藉 由 紙 筆 測 驗 的 結 果 找 出 學 生 分 數 能 力 的 整 體 趨 勢 編 製 好 的 分 數 概 念 試 卷 必 須 一 再 地 修 訂, 因 為 一 份 好 的 測 驗 是 需 要 持 續 不 斷 地 進 行 有 效 化 工 作, 透 過 不 同 來 源 的 證 據, 並 與 理 論 相 互 辯 證 以 修 正 測 驗, 如 此 連 續 不 斷 的 有 效 化 歷 程 (validation), 是 一 個 良 好 紙 筆 測 驗 的 基 礎 ( 吳 毓 瑩,2004) 關 於 分 數 概 念, 目 前 為 止, 已 經 有 許 多 研 究 者 編 製 許 多 分 數 概 念 試 卷, 利 用 大 規 模 施 測 的 方 式 尋 找 不 同 背 景 變 項 學 生 在 各 分 數 子 概 念 的 整 體 表 現 與 典 型 錯 誤 類 型 ( 陳 瑞 發,2003; 游 政 雄,2002; 詹 婉 華,2004) 這 些 研 究 中 亦 提 出 分 數 概 念 試 題 未 來 能 以 電 腦 適 性 測 驗 結 合 線 上 評 量 的 方 式, 以 便 利 未 來 在 施 測 的 過 程 中 隨 著 學 生 的 反 應 調 整 問 題 的 難 易 研 究 者 認 為, 題 庫 的 建 立 可 以 將 試 題 特 性 與 學 生 的 能 力 校 準 在 同 一 量 尺 上, 使 能 呈 現 學 生 分 數 概 念 能 力 在 不 同 階 段 一 個 連 貫 趨 勢 的 樣 貌 對 於 學 生 在 不 同 版 本 教 材 的 學 習, 亦 能 透 過 題 庫 建 立 的 過 程 了 解 教 材 順 序 安 排 對 於 學 生 學 習 能 力 的 關 係 同 一 個 年 級 的 學 生 在 學 習 不 同 內 容 的 分 數 概 念 教 材 後, 經 過 本 研 究 的 試 題 施 測, 採 行 不 同 版 本 教 科 書 的 學 生 會 因 版 本 教 材 安 排 順 序 的 不 同 而 造 成 其 能 力 上 的 差 異 不 同 年 級 學 生 會 因 年 齡 的 發 展 使 得 分 數 概 念 學 習 經 驗 的 增 加, 透 過 試 題 施 測 後, 不 同 年 級 學 生 的 學 習 發 展 情 形 會 展 現 在 分 數 差 異 上 從 測 驗 構 念 的 角 度 來 看, 若 試 題 能 將 受 試 者 不 同 的 學 習 經 驗 反 191

映 在 能 力 估 計 上, 本 研 究 試 題 所 測 量 的 構 念, 的 確 為 分 數 概 念 學 習 後 的 能 力 鑑 於 目 前 學 生 在 分 數 概 念 對 不 同 版 本 的 學 習 成 果 之 橫 斷 性 實 徵 證 據 不 多, 故 研 究 者 在 建 立 題 庫 為 電 腦 適 性 測 驗 做 準 備 的 同 時, 並 予 以 了 解 學 生 在 不 同 年 級 性 別 與 版 本 教 材 的 學 習 狀 態 二 關 於 題 庫 的 建 立 ( 一 ) 題 庫 的 定 義 與 分 類 題 庫 的 定 義, 學 者 各 有 不 同 的 看 法 Millman & Arter(1984) 認 為, 題 庫 是 在 編 製 測 驗 時 能 方 便 挑 選 試 題 的 大 型 試 題 集 合 Choppin(1981) Lippey(1974) Mead(1981) Newbould 和 Massey(1977) 等 人 認 為, 題 庫 不 光 只 是 試 題 的 集 合 而 已, 題 庫 會 依 據 試 題 的 內 容 試 題 特 性 ( 難 度 信 度 等 ), 經 過 組 織 分 類 後, 以 電 腦 化 的 方 式 儲 存 以 確 保 試 題 的 品 質, 並 將 試 題 的 難 度 放 在 同 一 量 尺 上 進 行 校 準 這 樣 的 定 義 雖 然 精 確 地 指 出 題 庫 建 置 時 的 大 致 樣 貌, 但 是 卻 也 限 制 了 題 庫 建 置 者 必 須 使 用 精 確 的 量 尺 化 技 術 才 能 算 是 真 正 地 在 建 立 題 庫 研 究 者 認 為 Umar(1999) 的 看 法 比 較 彈 性 且 為 實 用,Umar 表 示 題 庫 的 定 義 是 依 照 題 庫 使 用 者 的 目 的 而 有 所 不 同, 並 非 只 有 限 於 使 用 IRT 的 量 尺 化 技 術 才 算 建 立 題 庫 然 而, 不 管 題 庫 的 定 義 為 何, 這 些 定 義 都 有 一 個 共 通 點 - 只 有 好 題 目 才 會 被 收 納 到 題 庫 裡 Umar(1999) 依 據 題 庫 使 用 者 在 編 製 測 驗 的 目 的 之 不 同, 將 題 庫 分 為 基 本 水 準 進 階 水 準 以 及 高 級 水 準 三 類 : 1. 基 本 水 準 的 題 庫 (basic level) 基 本 水 準 的 題 庫 是 一 個 內 容 有 效 的 題 庫, 題 庫 內 的 試 題 皆 為 內 容 適 當 評 量 項 目 具 有 代 表 性 試 題 在 命 題 時 能 符 合 測 驗 編 製 的 原 則 測 驗 實 施 者 若 要 編 製 的 測 驗 類 似 隨 堂 測 驗 或 測 驗 分 數 不 重 要 時, 便 可 利 用 基 本 水 準 的 題 庫 來 編 製 測 驗, 如 : 劉 湘 川 黃 孝 雲 (1998) 的 國 小 國 語 科 在 家 考 試 題 庫 2. 進 階 水 準 的 題 庫 (advanced level) 進 階 水 準 的 題 庫 是 一 個 具 有 傳 統 實 徵 證 據 的 題 庫, 除 了 滿 足 基 本 192

水 準 題 庫 的 內 容 有 效 外, 並 藉 由 古 典 測 驗 理 論 的 方 法 來 建 置 題 庫 測 驗 實 施 者 若 要 發 展 標 準 化 測 驗 或 是 多 份 標 準 化 測 驗 的 複 本 時, 題 庫 內 的 試 題 除 了 要 達 到 基 本 水 準 ( 內 容 有 效 ) 外, 題 庫 內 的 試 題 更 需 要 透 過 編 製 多 份 測 驗 進 行 預 試, 利 用 古 典 試 題 分 析 的 通 過 率 鑑 別 度 選 項 分 析 等 符 合 信 效 度 原 則 作 為 選 題 入 題 庫 的 標 準 如 : 吳 權 威 王 佩 蓮 (1995) 的 國 小 環 保 題 庫 系 統 研 究 3. 高 級 水 準 的 題 庫 (high level) 高 級 水 準 的 題 庫 是 一 個 校 準 過 的 題 庫, 主 要 利 用 IRT 模 型 測 量 試 題 的 特 性 估 計 受 試 者 的 能 力 以 進 行 試 題 校 準 (calibration) 的 工 作, 並 將 所 有 的 試 題 參 數 都 建 立 在 同 一 個 能 力 量 尺 上 高 級 水 準 題 庫 內 的 試 題 除 了 必 須 達 到 基 本 水 準 進 階 水 準 外, 還 必 須 符 合 項 目 反 應 理 論 的 模 型 測 驗 實 施 者 若 要 建 構 一 個 測 量 系 統 (measurement system) 電 腦 適 性 測 驗 或 網 路 測 驗, 便 需 要 這 樣 校 準 過 的 題 庫, 如 吳 裕 益 陳 英 豪 林 惠 華 陳 香 吟 馬 景 榮 (1992) 國 小 低 年 級 學 術 性 向 測 驗 題 庫 之 建 立, 李 盛 祖 與 林 世 華 (1999) 國 小 數 學 乘 法 診 斷 測 驗 題 庫 的 建 立, 洪 碧 霞 吳 裕 益 洪 淑 琴 洪 嘉 品 曾 秋 琪 (1992) 國 小 高 年 級 數 學 科 應 用 問 題 題 庫 之 建 立, 洪 碧 霞 邱 上 真 林 素 微 葉 千 綺 (1998) 國 小 中 低 年 級 國 語 文 成 就 測 驗 題 庫 建 立, 鄭 蕙 如 與 林 世 華 (2002) 九 年 一 貫 課 程 數 學 領 域 第 三 四 階 段 能 力 測 驗 試 題 題 庫 的 建 立 等, 都 是 高 級 水 準 的 題 庫 本 研 究 即 在 處 理 高 級 水 準 的 分 數 能 力 之 題 庫 ( 二 ) 題 庫 建 立 的 步 驟 與 時 機 題 庫 的 建 立 程 序 與 測 驗 編 製 的 程 序 相 似, 主 要 步 驟 有 建 立 雙 向 細 目 表 根 據 命 題 原 則 編 寫 試 題 修 訂 與 審 查 試 題 預 試 與 試 題 分 析 篩 選 試 題 將 試 題 內 容 與 試 題 參 數 輸 入 電 腦 資 料 庫 (Choppin, 1976; Rudner, 1998 ; Wainer, Dorans, Flaugher, Green, Mislevy, Steinberg, & Thissen, 1990) 由 於 建 立 題 庫 需 要 花 費 相 當 的 人 力 金 錢 與 時 間, 實 務 上 也 有 著 一 些 困 難 的 課 題 (Keeves & Masters, 1999; Mckinley & Reckase, 1981; Runder, 1998) Umar(1999) 認 為 只 有 在 需 要 建 立 題 庫 的 時 機 下, 發 展 題 193

庫 才 能 突 顯 題 庫 的 價 值 之 處, 否 則 只 會 導 致 題 庫 建 立 後 棄 置 不 用 的 情 況 根 據 Millman & Arter(1984) 的 說 法, 在 有 下 列 任 一 項 情 況 之 需 要 下, 建 立 題 庫 才 可 發 揮 其 最 大 效 用 : 1. 現 存 測 驗 已 無 法 接 受, 需 要 自 編 測 驗 的 時 候 2. 經 常 需 要 使 用 測 驗 的 時 候 3. 測 驗 需 要 多 個 複 本 的 時 候 4. 設 計 個 別 化 測 驗 (individually tailored test) 的 時 候 5. 有 多 位 測 驗 實 施 者 需 要 從 題 庫 建 立 自 己 的 測 驗 時 6. 已 經 有 題 庫 系 統 ( 如 : 電 腦 軟 硬 體 ) 及 已 有 潛 在 的 題 庫 使 用 者 時 研 究 者 認 為, 題 庫 建 立 的 時 機 是 未 來 題 庫 使 用 頻 率 多 寡 的 關 鍵, 在 建 立 題 庫 前 若 能 了 解 建 立 題 庫 的 時 機 是 否 適 當 外, 預 期 題 庫 建 立 後 的 使 用 者 來 源 題 庫 使 用 者 的 能 力, 更 能 使 題 庫 在 使 用 時 發 揮 最 大 的 效 用 本 研 究 所 建 立 的 題 庫, 乃 屬 Umar(1999) 所 稱 的 高 級 水 準, 而 其 建 立 的 時 機 乃 是 在 於 分 數 概 念 的 測 量 已 累 積 了 相 當 多 的 經 驗, 而 在 進 入 電 腦 適 性 化 測 驗 之 前, 題 庫 必 須 建 立 起 來 的 情 況 下, 此 時 將 有 利 於 適 性 之 選 題 與 能 力 的 估 計 鑑 於 目 前 分 數 概 念 研 究, 本 題 庫 之 建 立 乃 基 於 以 下 的 需 要 : 1. 分 數 概 念 是 國 小 學 童 學 習 數 學 歷 程 中, 遭 遇 到 的 第 一 個 重 大 關 卡, 試 題 時 常 有 被 施 測 的 需 要, 高 品 質 的 題 庫 可 幫 助 教 師 或 是 行 政 主 管 瞭 解 學 生 的 能 力 狀 況 本 研 究 之 目 的, 乃 在 建 立 此 題 庫, 並 確 認 題 目 的 有 效 性 2. 在 不 同 版 本 教 材 之 情 況 下, 我 們 需 利 用 項 目 反 應 理 論 將 國 小 不 同 年 級 分 數 概 念 的 試 題 建 立 在 同 一 量 尺 上, 並 需 要 利 用 垂 直 等 化 將 不 同 年 級 學 生 分 數 概 念 能 力 呈 現 一 個 連 貫 趨 勢 的 圖 像, 以 瞭 解 學 習 的 基 本 與 發 展 狀 況 3. 因 為 本 題 庫 之 最 後 目 的 在 於 教 學 上, 是 以 需 要 經 常 使 用 測 驗, 並 且 需 有 測 驗 的 複 本 不 同 使 用 者 ( 包 括 研 究 者 以 及 教 師 ) 皆 可 自 此 題 庫 中 建 構 適 合 的 測 驗 4. 電 腦 適 性 化 測 驗 是 分 數 概 念 題 庫 之 未 來 發 展, 我 們 希 望 確 認 目 前 題 目 之 品 質, 建 立 為 未 來 適 性 化 測 驗 之 基 礎 194

參 研 究 方 法 一 研 究 對 象 本 研 究 施 測 對 象 為 國 小 三 到 六 年 級 學 生, 樣 本 收 集 自 台 灣 地 區 北 中 南 國 民 小 學 共 14 所, 顧 及 地 區 性 城 鄉 別 以 及 大 小 之 不 同, 詳 細 資 料 以 及 年 級 別 如 表 1 所 示, 共 計 2771 位 學 生 表 1 各 年 級 受 試 樣 本 在 各 施 測 卷 別 之 人 數 分 配 表 施 測 年 級 學 校 大 小 ( 班 級 數 ) 施 測 學 校 3 年 級 4 年 級 5 年 級 6 年 級 A 卷 B 卷 B 卷 C 卷 D 卷 C 卷 D 卷 北 部 中 (46) 台 北 市 中 正 國 小 33 34 35 17 17 17 15 中 (36) 台 北 市 健 康 國 小 32 33 29 15 15 14 14 大 (102) 台 北 縣 民 安 國 小 32 35 34 16 18 16 16 大 (85) 台 北 縣 安 和 國 小 36 16 17 19 18 大 (61) 桃 園 縣 華 勛 國 小 35 33 60 15 17 17 16 大 (59) 桃 園 市 大 業 國 小 35 35 33 16 17 18 18 中 部 大 (54) 台 中 市 文 昌 國 小 205 174 201 34 33 104 102 中 (35) 台 中 市 順 天 國 小 49 49 南 部 中 (30) 高 雄 市 九 如 國 小 44 44 大 (52) 高 雄 市 十 全 國 小 98 88 46 45 大 (52) 高 雄 市 桂 林 國 小 66 92 49 53 大 (64) 高 雄 市 加 昌 國 小 31 36 43 中 (41) 屏 東 縣 內 埔 國 小 31 中 (44) 屏 東 縣 萬 丹 國 小 96 各 卷 別 人 數 總 和 572 524 550 258 270 300 297 各 年 級 施 測 人 數 572 524 1078 597 施 測 人 數 總 和 2771 註 1: 學 校 大 小 以 24 班 以 下 為 小 型 學 校 25 班 -48 班 為 中 型 學 校 49 班 以 上 為 大 型 學 校 註 2: 各 學 習 階 段 之 測 驗 卷, 有 分 A B C D 等 卷, 僅 為 區 別 之 用, 沒 有 特 別 意 義 195

二 研 究 工 具 ( 一 ) 分 數 概 念 試 卷 本 研 究 分 數 概 念 題 庫 的 試 題 蒐 集 自 分 數 概 念 能 力 指 標 的 詮 釋 ( 呂 玉 琴,2004) 共 4 份 試 卷 (A B C D 卷 ),178 題 該 研 究 從 九 年 一 貫 數 學 學 習 領 域 中 選 取 重 要 的 分 數 能 力 指 標, 定 義 構 念 以 及 雙 向 細 目 表, 設 計 試 題 後, 經 過 專 家 審 題 的 流 程, 在 試 題 內 容 上 具 有 代 表 性 在 試 題 的 內 容 分 析 方 面, 本 研 究 分 數 概 念 題 庫 之 雙 向 細 目 表 採 用 TIMSS 2003 數 學 科 的 雙 向 細 目 表 (Martin, Mullis & Chrostowski, 2004) 作 為 本 研 究 題 庫 建 置 的 架 構, 該 雙 向 細 目 表 包 括 兩 個 主 軸 : 內 容 領 域 與 認 知 層 次 內 容 領 域 指 數 學 主 題, 就 分 數 能 力 而 言, 包 含 等 分 概 念 分 數 符 號 概 念 單 位 量 概 念 等 量 概 念 等 值 分 數 概 念 等 五 個 子 概 念 ; 認 知 層 次 定 義 為 我 們 所 期 望 學 生 在 探 究 數 學 內 容 時 的 行 為, 包 含 熟 知 知 識 與 程 序 概 念 使 用 解 決 例 行 問 題 推 理 等 四 個 認 知 層 次, 這 四 個 認 知 層 次 所 運 用 的 認 知 處 理 程 序 由 易 而 難 愈 來 愈 複 雜 表 2 為 題 庫 雙 向 細 目 表 兩 個 主 軸 的 試 題 篩 選 原 則 經 內 容 篩 選 後, 共 計 154 題 保 留, 有 24 題 因 內 容 不 符 合 試 題 原 則 而 刪 除 本 題 庫 較 著 重 學 生 在 分 數 概 念 下 不 同 表 徵 轉 換 的 熟 練 度 以 及 運 用 分 數 概 念 來 解 決 情 境 問 題 的 能 力, 是 以 從 題 庫 雙 向 細 目 表 內 所 蒐 集 的 題 數 總 和 ( 請 見 表 2), 亦 可 以 看 到 內 容 領 域 以 等 值 分 數 概 念 的 題 目 54 題 最 多, 等 分 概 念 的 題 目 13 題 最 少 認 知 層 次 以 解 決 例 行 問 題 的 題 目 75 題 最 多, 以 推 理 的 題 目 12 題 最 少 表 2 內 容 適 當 之 試 題 題 數 分 配 表 認 知 層 次 內 容 領 域 熟 知 知 識 與 程 序 概 念 使 用 解 決 例 行 問 題 推 理 題 數 總 和 分 數 符 號 概 念 2 10 5 0 17 等 分 概 念 1 1 4 7 13 等 量 概 念 0 1 21 0 22 單 位 量 概 念 0 20 24 4 48 等 值 分 數 概 念 12 20 21 1 54 題 數 總 和 15 52 75 12 154 196

從 各 年 級 在 各 分 數 子 概 念 下 的 題 數 分 配 來 看 ( 表 3), 三 年 級 未 有 等 值 分 數 概 念 的 教 學, 因 此 三 年 級 未 施 測 等 值 分 數 概 念 的 試 題 在 四 五 六 年 級 方 面, 教 材 上 逐 漸 涉 及 所 有 分 數 子 概 念 因 此, 本 題 庫 在 試 題 內 容 領 域 上 涵 蓋 了 五 種 分 數 子 概 念, 特 別 是 在 等 值 分 數 概 念 與 單 位 量 概 念 皆 有 豐 富 的 試 題 這 些 試 題 在 呂 玉 琴 劉 曼 麗 李 源 順 等 資 深 數 學 教 育 研 究 者 篩 選 內 容 合 適 的 試 題, 透 過 專 家 篩 選 的 方 式 形 成 正 式 施 測 題 目, 使 得 題 目 能 達 到 Umar(1999) 在 基 本 水 準 題 庫 對 試 題 內 容 有 效 的 要 求, 能 夠 符 合 內 容 適 當 評 量 項 目 具 有 代 表 性 且 符 合 命 題 原 則 等 要 求 內 容 領 域 表 3 各 年 級 在 內 容 領 域 上 之 試 題 題 數 分 配 表 年 級 3 年 級 4 年 級 5 年 級 6 年 級 分 數 符 號 概 念 6 8 14 8 等 分 概 念 6 7 8 3 等 量 概 念 2 5 22 17 單 位 量 概 念 6 18 43 28 等 值 分 數 概 念 0 35 54 29 題 數 總 和 20 73 141 85 註 : 年 級 間 有 共 同 試 題 在 施 測 過 程 中, 每 位 學 生 只 受 測 一 份 試 卷 在 施 測 時 間 方 面,A 卷 施 測 時 間 為 一 節 課 (40 分 鐘 ),B C D 卷 為 二 節 課 (80 分 鐘 ) 各 卷 別 之 施 測 年 級 與 樣 本 數 如 表 1 所 示 在 試 題 安 排 方 面, 由 於 一 個 學 生 無 法 一 次 將 所 有 的 試 題 都 答 題 完 畢, 如 此 將 相 當 耗 費 時 間 與 精 力, 因 此 研 究 者 採 用 不 平 衡 等 組 定 錨 測 驗 (non-equivalent groups with anchor test design, NEAT) 的 概 念 進 行 安 排 研 究 者 將 試 題 以 卷 別 及 跨 學 習 階 段 兩 者 分 類 到 同 屬 性 的 試 題 組 塊 ( block), 不 同 試 題 組 塊 所 連 結 的 學 習 階 段 亦 不 相 同, 但 此 四 份 試 卷 (A B C D 卷 ) 之 間 存 在 著 共 同 試 題 組 塊, 以 進 行 試 題 參 數 的 校 準 表 4 為 各 試 卷 試 題 組 塊 的 組 合 及 題 數 以 A 卷 為 例,A 卷 施 測 於 三 年 級, 包 含 組 塊 1 組 塊 5 與 197

組 塊 9, 其 中 組 塊 5 是 A B 兩 卷 的 共 同 試 題, 而 組 塊 9 是 A B C D 卷 的 共 同 試 題 換 句 話 說,A 卷 的 試 題 和 BCD 卷 的 部 分 試 題 是 相 同 的 (20 題 中 有 8 題 為 共 同 試 題 ) 四 份 試 卷 皆 有 共 同 試 題 以 進 行 跨 學 習 階 段 之 連 結 表 4 各 試 卷 之 試 題 組 塊 分 佈 摘 要 表 試 題 組 塊 卷 別 組 塊 1 組 塊 2 組 塊 3 組 塊 4 組 塊 5 組 塊 6 組 塊 7 組 塊 8 組 塊 9 題 數 12 51 15 18 6 10 33 4 2 A 卷 B 卷 C 卷 D 卷 註 : 表 示 組 成 該 試 卷 的 試 題 組 塊 ( 二 ) 效 標 關 聯 之 工 具 在 試 題 的 效 標 關 聯 證 據 方 面, 由 於 分 數 概 念 題 目 中, 有 許 多 圖 形 思 考 的 問 題, 是 以 本 研 究 採 用 瑞 文 氏 標 準 圖 形 推 理 測 驗 (Standard Progressive Matrices, 簡 稱 SPM) 作 為 蒐 集 試 題 效 標 關 聯 證 據 的 工 具 瑞 文 氏 標 準 圖 形 推 理 測 驗 主 要 是 給 予 受 試 者 一 個 挖 空 的 圖 形, 受 試 者 從 六 選 一 的 選 項 中 找 出 能 夠 填 補 挖 空 圖 形 的 正 確 圖 案, 以 測 量 學 生 的 圖 形 推 理 能 力 瑞 文 氏 標 準 圖 形 測 驗 可 分 為 甲 乙 丙 丁 戊 5 個 分 測 驗, 每 個 分 測 驗 有 12 題, 共 計 60 題 試 題 的 難 度 採 用 漸 進 式 階 層 排 列, 每 個 分 測 驗 由 甲 到 戊 逐 漸 由 易 而 難 排 列, 分 測 驗 中 的 每 個 試 題 也 依 題 號 由 易 而 難 排 序, 每 個 分 測 驗 的 後 半 部 試 題 與 下 個 分 測 驗 前 半 部 試 題 的 難 度 相 當 舉 例 而 言, 甲 測 驗 後 半 部 試 題 的 難 度 與 乙 測 驗 前 半 部 試 題 的 難 度 相 當 研 究 者 採 用 瑞 文 氏 標 準 圖 形 推 理 測 驗 作 為 效 標 的 工 具, 原 因 在 於 該 測 驗 在 國 小 的 使 用 率 相 當 高 外 ( 彭 麗 琦,1994), 瑞 文 氏 標 準 圖 形 推 理 測 驗 與 分 數 概 念 試 題 同 樣 反 應 學 生 圖 形 表 徵 的 特 質 由 於 分 數 概 念 的 試 題 可 以 展 現 出 學 生 運 用 圖 形 表 徵 符 號 表 徵 與 語 言 表 徵 的 能 力, 而 瑞 文 氏 標 準 圖 形 推 理 測 驗 主 要 在 測 量 學 生 的 圖 形 推 理 能 力, 該 能 力 包 含 觀 察 力 思 考 198

能 力 與 推 理 能 力 三 種 能 力, 這 兩 份 測 驗 皆 反 應 學 生 圖 形 表 徵 的 共 同 能 力 Lesh Behr 與 Post(1987) 指 出 學 生 是 否 能 在 不 同 表 徵 自 由 轉 換, 足 以 代 表 其 對 分 數 概 念 是 否 能 掌 握, 而 且 不 同 表 徵 系 統 的 運 用, 會 直 接 影 響 到 學 生 在 作 答 試 題 的 難 易 程 度 換 句 話 說, 分 數 概 念 的 試 題 可 以 看 出 學 生 在 不 同 表 徵 下 或 不 同 表 徵 間 的 表 現 差 異, 這 個 差 異 可 以 反 映 學 生 在 圖 形 符 號 與 語 言 表 徵 間 的 轉 換 能 力 程 度 或 是 其 他 影 響 學 生 運 用 表 徵 系 統 更 深 層 的 能 力 研 究 者 抽 取 台 北 縣 安 和 國 小 169 位 高 年 級 學 生 以 兩 節 課 同 時 施 測 本 研 究 之 C 卷 與 瑞 文 式 標 準 圖 形 推 理 測 驗, 分 別 求 取 各 分 數 子 概 念 與 瑞 文 式 各 分 測 驗 的 相 關 係 數, 以 了 解 同 一 位 學 生 在 施 測 兩 份 測 驗 中 所 運 用 的 共 同 能 力 之 相 關 強 度, 作 為 本 研 究 試 題 的 同 時 效 標 關 聯 效 度 證 據 ( 結 果 見 表 8) 三 資 料 分 析 研 究 者 將 所 蒐 集 的 試 題 以 本 研 究 的 構 念 與 雙 向 細 目 表 進 行 試 題 內 容 分 析, 再 將 所 蒐 集 資 料 進 行 古 典 試 題 分 析 與 項 目 反 應 理 論 分 析 等 三 步 驟, 使 得 題 庫 內 的 試 題 能 達 到 內 容 適 當 具 鑑 別 力 且 能 符 合 IRT 參 數 模 式 的 原 則, 同 時 符 合 Umar(1999) 所 提 的 題 庫 設 計 之 基 本 水 準 進 階 水 準 以 及 高 級 水 準 三 項 要 求 首 先, 在 試 題 內 容 分 析 方 面, 研 究 者 採 用 TIMSS 2003 數 學 科 的 雙 向 細 目 表 (Martin, Mullis & Chrostowski, 2004) 作 為 本 研 究 題 庫 建 置 的 思 考 架 構, 針 對 試 題 的 內 容 與 特 性 進 行 試 題 篩 選, 將 不 符 雙 向 細 目 表 的 題 目 刪 除 雙 向 細 目 表 以 及 刪 題 結 果 見 下 一 章 在 古 典 試 題 分 析 方 面, 研 究 者 利 用 BILOG-MG 軟 體 分 析 各 試 題 的 通 過 率 鑑 別 力 等 試 題 資 訊 在 通 過 率 部 分, 研 究 者 以 不 同 年 級 學 生 在 共 同 試 題 的 表 現 探 討 其 結 果 ; 在 鑑 別 力 部 分, 由 於 本 研 究 的 資 料 屬 於 0 1 對 錯 的 二 元 反 應 資 料, 本 研 究 採 用 二 系 列 相 關 係 數 作 為 鑑 別 力 分 析 的 依 據 對 於 二 系 列 相 關 係 數 小 於 等 於 0.2 的 低 相 關 試 題 研 究 者 視 為 鑑 別 力 低 的 試 題, 將 之 刪 除 不 納 入 後 續 分 析 (Anderson & George, 2008) 在 效 標 關 聯 證 據 蒐 集 方 面, 研 究 者 針 對 169 位 學 生 在 C 卷 各 分 數 子 概 念 與 瑞 文 氏 標 準 圖 形 推 理 測 驗 各 分 199

測 驗 得 分 求 取 相 關 係 數 矩 陣, 以 探 討 分 數 概 念 試 題 是 否 與 圖 形 推 理 能 力 中 的 觀 察 力 思 考 能 力 與 推 理 能 力 有 相 當 程 度 之 關 聯 在 項 目 反 應 理 論 分 析 方 面, 研 究 者 先 採 用 未 轉 軸 之 主 成 分 分 析 來 檢 驗 本 研 究 的 資 料 是 否 有 違 反 單 維 IRT 的 單 一 向 度 檢 定 若 無 嚴 重 違 反 單 一 向 度 的 假 設, 研 究 者 將 採 用 BILOG-MG 軟 體 利 用 邊 際 最 大 概 似 估 計 法 (MML, marginal maximum likelihood) 分 別 進 行 單 參 數 羅 吉 斯 模 式 雙 參 數 羅 吉 斯 模 式 三 參 數 羅 吉 斯 模 式 同 時 估 計 三 種 模 式 下 的 試 題 參 數, 並 分 別 針 對 三 個 模 式, 考 量 符 合 模 式 的 題 數 與 模 式 的 測 驗 訊 息 曲 線 狀 況, 挑 選 出 最 適 當 的 模 式 以 將 所 有 的 試 題 參 數 與 學 生 能 力 校 準 在 同 一 能 力 量 尺 上, 學 生 能 力 參 數 採 用 最 大 概 似 估 計 法 (ML, maximum likelihood) 估 計 Reckase(1979) 提 及 單 一 向 度 的 兩 個 檢 驗 標 準, 分 別 是 :1 最 大 特 徵 值 需 佔 總 變 異 量 的 20% 以 上 ;2 第 一 特 徵 值 要 比 第 二 特 徵 值 來 得 大 本 研 究 結 果 顯 示 不 同 試 卷 的 特 徵 值 佔 總 變 異 量 在 18.86% 到 26.55% 之 間, 第 一 特 徵 值 與 第 二 特 徵 值 的 比 值 在 2.019 到 4.977 之 間, 因 此 可 以 採 用 單 一 向 度 假 定 的 項 目 反 應 理 論 肆 研 究 結 果 一 古 典 試 題 分 析 結 果 ( 一 ) 刪 除 分 數 概 念 試 卷 中 沒 有 鑑 別 力 的 試 題 根 據 Umar(1999) 對 題 庫 進 階 水 準 的 要 求, 題 庫 內 的 試 題 必 須 符 合 古 典 試 題 理 論 中 的 信 效 度 原 則 透 過 古 典 測 驗 理 論 來 篩 選 題 目, 的 確 會 冒 著 樣 本 依 賴 的 風 險, 是 以 我 們 僅 使 用 它 來 做 初 步 的 篩 選 研 究 者 採 用 Bilog-MG 軟 體 進 行 古 典 試 題 分 析, 分 析 各 試 題 的 作 答 人 數 答 對 人 數 答 對 率 二 系 列 相 關 係 數 等 資 訊, 以 檢 視 試 題 特 性 與 古 典 試 題 理 論 的 實 徵 證 據 其 中, 二 系 列 相 關 係 數 過 低 表 示 該 試 題 的 鑑 別 力 過 低, 研 究 者 將 二 系 列 相 關 係 數 小 於 等 於 0.2 的 低 相 關 試 題 刪 除 不 納 入 後 續 分 析 在 154 題 中, 共 有 3 題 因 鑑 別 力 低 而 刪 除, 共 計 151 題 符 合 內 容 有 效 與 有 鑑 別 力 的 原 則 所 刪 除 之 這 三 題, 在 題 目 內 容 上 存 在 混 淆 學 生 的 多 餘 資 訊, 非 常 困 難, 使 得 高 能 力 學 生 幾 乎 答 錯, 部 分 低 能 力 學 生 猜 對, 相 信 在 我 們 後 續 的 IRT 模 式 中, 此 三 200

題 亦 會 遭 到 刪 除 ( 二 ) 檢 視 各 年 級 在 共 同 試 題 中 的 表 現 經 刪 除 沒 有 具 鑑 別 力 的 試 題 後, 研 究 者 針 對 9 個 試 題 組 塊 探 討 不 同 年 級 在 共 同 試 題 上 的 表 現 ( 見 表 5) 在 同 一 個 試 題 組 塊 中, 由 於 各 年 級 所 施 測 的 試 題 相 同, 所 以 不 同 年 級 在 同 一 個 試 題 組 塊 下 的 平 均 答 對 率 可 以 直 接 比 較 但 是, 不 同 試 題 組 塊 間 所 測 得 各 年 級 平 均 答 對 率 是 來 自 不 同 試 題 的 反 應, 所 以 不 同 試 題 組 塊 的 測 驗 分 數 是 無 法 直 接 做 跨 年 級 的 比 較 對 此, 研 究 者 在 古 典 試 題 分 析 中 只 針 對 各 個 試 題 組 塊 內 進 行 各 年 級 的 比 較 分 析 表 5 各 年 級 在 各 試 題 組 塊 之 答 對 率 平 均 數 摘 要 表 中 年 級 高 年 級 試 題 組 塊 所 屬 試 卷 題 數 三 年 級 四 年 級 五 年 級 六 年 級 Block 1 A 12 0.81 - - - Block 2 B 51-0.68 0.81 - Block 3 C 15 - - 0.45 0.71 Block 4 D 18 - - 0.67 0.75 Block 5 A B 6 0.84 0.80 0.87 - Block 6 A C 10-0.56 0.67 0.81 Block 7 A D 33 - - 0.56 0.72 Block 8 B C D 4-0.49 0.58 0.72 Block 9 A B C D 2 0.30 0.34 0.48 0.60 註 : - 表 示 無 資 料 按 常 理 假 設, 學 生 的 數 學 能 力 應 隨 著 年 齡 的 發 展 年 級 的 增 加 而 提 升 從 表 5 的 數 據 來 看, 在 同 一 個 試 題 組 塊 下, 六 年 級 表 現 優 於 五 年 級, 五 年 級 表 現 優 於 四 年 級 然 而, 三 四 年 級 間 的 差 異 則 值 得 進 一 步 檢 核 研 究 者 針 對 三 四 年 級 共 同 試 題 Block5 與 Block9 的 試 題 組 塊 內 進 行 各 題 答 對 率 的 差 異 檢 定 ( 表 6) 結 果 指 出, 三 年 級 在 等 分 概 念 與 分 數 符 號 概 念 顯 著 優 於 四 年 級, 在 等 量 與 單 位 量 概 念 上 三 四 年 級 並 無 顯 著 差 異, 此 項 結 果 與 過 去 研 究 者 ( 陳 靜 姿,1999; 游 政 雄,2002; 黃 靖 瑩,2003) 的 發 現 不 一 致 201

表 6 試 題 組 塊 Block5 與 Block9 在 三 四 年 級 間 答 對 率 差 異 檢 定 摘 要 表 試 題 組 塊 題 號 ( 內 容 領 域 ) 年 級 答 對 率 平 均 數 平 均 數 差 異 t 4 年 級 -3 年 級 95% 信 賴 區 間 p 下 界 上 界 p012 ( 等 分 概 念 ) 3 0.76 4 0.55-0.21 7.33.00** -0.26-0.15 p020 ( 分 數 符 號 概 念 ) 3 0.88 4 0.92 0.04-2.25.03* 0.00 0.08 Block 5 p021 ( 分 數 符 號 概 念 ) p022 ( 分 數 符 號 概 念 ) 3 0.98 4 0.93 3 0.98 4 0.94-0.05 3.60.00** -0.07-0.02-0.04 3.91.00** -0.07-0.02 p023 ( 等 量 概 念 ) 3 0.54 4 0.59 0.05-1.58.11-0.01 0.11 p025 ( 等 量 概 念 ) 3 0.91 4 0.89-0.02 1.36.17-0.06 0.01 Block 9 p015 ( 單 位 量 概 念 ) p024 ( 單 位 量 概 念 ) 3 0.44 4 0.48 3 0.16 4 0.20 0.04-1.54.12-0.01 0.11 0.04-1.49.14-0.08 0.01 註 : * 表 示 p.05; ** 表 示 p.01 本 研 究 受 試 者 為 92 學 年 度 三 到 六 年 級 學 生, 其 中 三 四 五 年 級 學 生 皆 採 用 九 年 一 貫 暫 行 綱 要 的 新 版 教 材, 只 有 六 年 級 學 生 採 用 最 後 一 屆 82 年 版 的 舊 教 材 本 研 究 四 年 級 受 試 者 學 生 有 新 舊 教 材 銜 接 之 問 題, 丁 志 仁 等 人 (2002, 頁 63) 與 歐 慧 敏 (2004, 頁 420) 的 研 究 指 出 91 學 年 度 三 年 級 升 92 學 年 度 四 年 級 學 生 的 數 學 課 程 中, 在 分 數 概 念 與 分 數 計 算 上 出 現 新 舊 課 程 的 斷 層, 而 三 五 六 年 級 的 學 生 並 無 課 程 銜 接 之 問 題 ( 見 表 7) 因 此, 研 究 者 不 排 除 新 舊 教 材 銜 接 出 狀 況 使 得 四 年 級 分 數 概 念 的 數 學 能 力 在 較 難 的 等 202

量 概 念 與 單 位 量 概 念 上, 與 三 年 級 表 現 差 不 多, 反 而 在 較 簡 單 的 等 分 概 念 以 及 分 數 符 號 概 念 上 比 三 年 級 差 進 一 步 的 分 析 討 論, 見 項 目 反 應 理 論 分 析 結 果 表 7 九 十 二 學 年 度 各 年 級 之 新 舊 教 材 銜 接 狀 況 ( 三 ) 效 標 關 聯 效 度 證 據 分 數 概 念 的 紙 筆 測 驗 試 題 主 要 在 提 供 施 測 者 了 解 學 生 在 分 數 符 號 與 圖 形 間 的 轉 換 關 係, 以 及 學 生 展 現 在 圖 形 的 彈 性 思 考 能 力 為 探 究 本 研 究 的 分 數 概 念 試 題 是 否 能 夠 真 正 測 量 到 學 生 對 圖 形 的 觀 察 與 思 考 能 力, 研 究 者 另 外 找 尋 169 位 高 年 級 學 生 同 時 施 測 C 卷 與 瑞 文 氏 標 準 圖 形 推 理 測 驗, 以 獲 得 分 數 概 念 試 題 與 圖 形 推 理 測 驗 的 同 時 關 聯 效 度 證 據 瑞 文 氏 標 準 圖 形 測 驗 是 由 5 個 分 測 驗 ( 甲 乙 丙 丁 戊 ) 所 組 成, 試 題 難 度 由 甲 到 戊 漸 進 增 加 表 8 為 C 卷 各 分 數 子 概 念 下 的 總 分 與 瑞 文 氏 標 準 圖 形 推 理 測 驗 在 各 分 測 驗 的 相 關 係 數, 大 部 份 分 數 子 概 念 與 瑞 文 氏 標 準 圖 形 測 驗 的 得 分 呈 現 正 相 關 並 達 顯 著, 而 且 當 圖 形 推 理 測 驗 愈 困 難 時 與 各 分 數 子 概 念 以 及 C 卷 總 分 的 相 關 係 數 愈 高 這 表 示 當 學 生 在 回 答 分 數 概 念 試 題 時 需 要 運 用 更 高 層 次 更 有 彈 性 的 推 理 思 考 能 力 才 能 正 確 回 答 試 題 從 瑞 文 氏 標 準 圖 形 測 驗 的 效 標 關 聯 證 據 顯 示, 本 研 究 的 分 數 概 念 試 題 與 圖 形 推 理 有 相 當 程 度 之 關 係 換 句 話 說, 本 研 究 的 分 數 概 念 試 題 與 瑞 文 氏 標 準 圖 形 測 驗 能 夠 測 得 一 個 共 同 能 力, 而 該 能 力 便 是 學 生 掌 握 圖 形 推 理 的 能 力, 且 分 數 概 念 題 目 越 難, 與 瑞 文 氏 推 理 測 驗 進 階 測 驗 的 相 關 越 高 203

表 8 C 卷 各 分 數 子 概 念 與 瑞 文 氏 標 準 圖 形 測 驗 各 分 測 驗 與 總 分 相 關 係 數 表 甲 分 測 驗 乙 分 測 驗 丙 分 測 驗 丁 分 測 驗 戊 分 測 驗 瑞 文 氏 測 驗 總 分 等 分 概 念 0.13 0.23** 0.26** 0.23** 0.33** 0.35** 等 量 概 念 0.31** 0.21** 0.25** 0.26** 0.38** 0.40** 單 位 量 概 念 0.15* 0.11 0.29** 0.30** 0.41** 0.40** 等 值 分 數 概 念 0.29** 0.37** 0.37** 0.50** 0.50** 0.59** C 卷 總 分 0.29** 0.30** 0.38** 0.44** 0.52** 0.57** 註 : ** 表 示 p.01 經 研 究 者 篩 選 出 具 鑑 別 力 的 試 題 後, 上 述 所 列 151 題 內 的 試 題 除 了 內 容 有 效 外, 試 題 的 鑑 別 度 皆 大 於 0.2 以 上, 在 效 度 證 據 上 也 蒐 集 了 與 瑞 文 氏 圖 形 推 理 測 驗 作 為 同 時 關 聯 效 度 證 據, 已 達 Umar(1999) 對 進 階 水 準 題 庫 具 備 古 典 實 徵 證 據 的 要 求 接 下 來 本 研 究 將 進 行 項 目 反 應 理 論 的 試 題 刪 除 與 參 數 校 準, 以 達 到 高 級 水 準 題 庫 的 要 求 二 項 目 反 應 理 論 分 析 結 果 ( 一 ) 單 一 向 度 檢 定 本 研 究 採 單 向 度 的 項 目 反 應 理 論 模 式 為 了 檢 測 本 研 究 所 測 量 的 能 力 有 無 嚴 重 違 反 單 一 向 度 的 假 設, 研 究 者 先 進 行 單 一 向 度 檢 定 研 究 者 根 據 Reckase(1979) 所 提 出 第 一 主 成 分 特 徵 值 要 比 第 二 主 成 分 特 徵 值 來 得 大, 或 第 一 主 成 分 特 徵 值 可 以 解 釋 整 份 測 驗 20% 的 總 變 異 量 作 為 本 研 究 單 一 向 度 的 標 準 研 究 者 將 排 除 內 容 不 符 鑑 別 力 過 低 等 試 題 後 的 四 份 試 卷 (151 題 ) 進 行 未 轉 軸 之 主 成 分 分 析 各 試 卷 單 一 向 度 檢 定 顯 示 ( 表 9), 除 了 在 A 卷 略 低 於 第 一 特 徵 值 可 解 釋 20% 的 總 變 異 量 之 條 件 外, 其 他 試 卷 皆 能 符 合 第 一 主 成 分 特 徵 值 要 比 第 二 主 成 分 特 徵 值 來 得 大, 或 第 一 主 成 分 特 徵 值 可 以 解 釋 整 份 測 驗 20% 的 總 變 異 量 單 一 向 度 的 假 定 從 圖 1 各 試 題 的 主 成 分 負 荷 量 散 佈 圖 的 右 半 部 來 看, 幾 乎 大 部 分 的 試 題 都 能 集 中 在 散 佈 圖 上 下 對 角 線 交 集 區 內, 在 交 集 區 內 的 試 題 204

分數概念題庫之建立 跨學習階段的校準與測量 其第一主成分的負荷量必大於第二主成分 這表示大部分的試題與該試卷所 測量的某一種能力特質有相當程度地關聯 整體而言 本研究的試題並不嚴 重違反單一向度的檢定 適合採用單一向度IRT模式進行分析 表9 各試卷單一向度檢定摘要表 卷 別 第一特徵值 第二特徵值 單一向度檢定 第一特徵值/第二特徵值 第一特徵值 可解釋總變異量之比率 A卷 3.772 1.868 2.019 18.862 B卷 15.538 4.007 3.878 21.284 C卷 14.336 3.231 4.437 26.547 D卷 12.319 2.475 4.977 25.140 A B C D 圖1 各試卷試題主成分之負荷量散佈圖 教育研究與發展期刊 第五卷第四期 2009.12 205

( 二 ) 參 數 模 式 的 選 取 本 研 究 題 庫 的 試 題 包 含 選 擇 題 是 非 題 填 充 題 作 圖 題, 在 參 數 估 計 方 面, 研 究 者 採 用 邊 際 最 大 概 似 法 (MML) 分 別 進 行 單 參 數 羅 吉 斯 模 式 雙 參 數 羅 吉 斯 模 式 三 參 數 羅 吉 斯 模 式 同 時 估 計 三 種 模 式 的 試 題 參 數, 再 以 模 式 總 卡 方 值 G 2 比 較 資 料 之 最 符 合 理 論 模 式 根 據 Umar(1999) 對 高 級 水 準 題 庫 的 期 待, 題 庫 中 的 各 試 題 需 能 符 合 項 目 反 應 理 論 模 式, 本 研 究 乃 以 Bilog-MG 之 MML 所 計 算 出 的 各 題 卡 方 值 與 p 值 為 指 標 在 整 體 模 式 適 配 方 面, 單 參 數 模 式 之 對 數 比 卡 方 統 計 量 G 2 =126931.78, 雙 參 數 模 式 之 G 2 =126340.29, 三 參 數 模 式 之 G 2 =126580.04, 三 種 模 式 中 的 對 數 比 卡 方 統 計 量 G 2 以 雙 參 數 模 式 最 小, 表 示 雙 參 數 模 式 與 資 料 的 適 配 情 形 最 為 理 想 在 試 題 適 配 方 面, 由 於 樣 本 人 數 算 多, 題 目 適 配 容 易 達 到 模 式 與 資 料 間 的 顯 著 差 異, 因 此 給 予 較 寬 鬆 的 標 準 來 篩 檢 試 題, 當 p 小 於 等 於.01 時 表 示 該 題 不 符 合 項 目 反 應 理 論 的 理 論 模 式 在 四 份 卷 別 151 題 中, 單 參 數 模 式 共 計 70 題 未 能 符 合 模 式, 雙 參 數 模 式 共 計 17 題 未 能 符 合 模 式, 三 參 數 模 式 共 計 12 題 未 能 符 合 模 式 綜 合 以 下 三 個 狀 況 的 考 量, 研 究 者 決 定 以 雙 參 數 模 式 作 為 本 研 究 題 庫 之 題 目 特 質 估 計 的 模 式 : 1. 雖 然 三 參 數 模 式 在 成 就 測 驗 下 較 能 夠 描 述 受 試 者 對 於 選 擇 題 是 非 題 的 猜 測 狀 況, 但 從 模 式 適 配 的 情 況 來 看, 三 參 數 模 式 的 適 配 情 形 並 無 雙 參 數 模 式 來 得 好, 換 句 話 說, 三 參 數 模 式 考 量 猜 測 行 為 給 予 猜 測 參 數 並 沒 有 比 雙 參 數 模 式 更 能 解 釋 學 生 的 能 力 值 由 於 本 研 究 題 庫 的 試 題 難 度 較 為 簡 單, 甚 至 部 分 內 容 領 域 的 平 均 難 度 值 在 -2 以 下, 題 目 簡 單 使 得 受 試 者 不 需 要 猜 測 便 能 正 確 回 答 問 題 另 外, 根 據 模 式 選 取 的 簡 約 原 則 (principle of parsimony), 最 佳 模 式 乃 是 參 數 量 少 又 能 發 揮 模 式 解 釋 的 最 大 效 能, 在 此 條 件 下, 研 究 者 認 為 選 擇 雙 參 數 模 式 比 三 參 數 模 式 更 佳 2. 其 次, 從 訊 息 曲 線 的 角 度 來 看 ( 圖 2), 雖 然 三 參 數 模 式 的 訊 息 曲 線 在 平 均 能 力 以 上 之 範 圍 比 單 雙 參 數 模 式 還 要 高, 表 示 能 力 估 計 較 準 確, 但 是 此 訊 息 曲 線 的 多 峰 分 配 狀 況 顯 示 能 力 估 計 標 準 誤 在 不 同 能 力 206

區 段 間 忽 高 忽 低, 這 對 於 本 研 究 在 能 力 估 計 誤 差 的 解 釋 會 產 生 困 難 本 研 究 分 數 概 念 題 庫 期 望 的 訊 息 曲 線 以 平 坦 式 的 曲 線 為 優 先 選 取 考 量, 因 此, 三 參 數 模 式 的 確 不 適 合 本 題 庫 3. 比 較 單 參 數 與 雙 參 數 模 式, 雙 參 數 模 式 的 適 配 情 形 比 單 參 數 模 式 得 好 這 是 合 理 的 但 因 從 古 典 試 題 分 析 的 結 果 發 現 題 目 的 二 系 列 相 關 係 數 散 佈 範 圍 較 廣, 而 二 系 列 相 關 係 數 又 與 IRT 中 的 鑑 別 度 參 數 a 有 函 數 關 係 (Lord & Novick, 1968), 研 究 者 不 能 將 鑑 別 度 參 數 a 視 為 常 數 ( 即 等 鑑 別 度 ), 鑑 別 度 參 數 的 估 計 是 必 要 的 雖 然 在 各 種 模 式 中, 只 有 單 參 數 羅 吉 斯 模 式 是 建 立 在 一 個 客 觀 等 距 的 量 尺 上 ( 王 文 中,2004), 研 究 者 綜 合 上 述 考 量, 認 為 以 雙 參 數 羅 吉 斯 模 式 所 估 計 的 參 數 較 適 合 本 研 究 之 題 庫 圖 2 本 研 究 題 庫 三 種 IRT 模 式 之 測 驗 訊 息 曲 線 圖 ( 三 ) 試 題 參 數 分 析 在 項 目 反 應 理 論 分 析 結 果 中, 共 有 134 題 符 合 雙 參 數 羅 吉 斯 模 式, 研 究 者 刪 除 不 恰 當 的 17 題 後, 將 此 134 題 收 納 至 題 庫 內, 各 內 容 領 域 的 難 度 與 鑑 別 度 之 平 均 數 與 標 準 差 如 表 10 所 示 在 試 題 內 容 領 域 方 面, 以 分 數 符 號 概 念 的 試 題 最 簡 單, 以 等 值 分 數 概 念 的 試 題 最 難 在 鑑 別 度 方 面 以 等 207

值 分 數 概 念 的 試 題 最 有 鑑 別 度, 以 等 量 概 念 的 試 題 鑑 別 度 最 低 在 試 題 的 認 知 層 次 方 面, 以 熟 知 知 識 與 程 序 的 試 題 最 簡 單, 以 推 理 的 試 題 最 難 試 題 難 度 分 配 的 結 果 與 TIMSS 2003 認 知 層 次 的 架 構 相 同, 因 此 可 推 估 本 研 究 的 試 題 能 夠 反 應 認 知 層 次 上 的 差 別 在 鑑 別 度 方 面 以 熟 知 知 識 與 程 序 的 試 題 最 有 鑑 別 度, 以 推 理 的 試 題 鑑 別 度 最 低 本 研 究 經 過 內 容 分 析 古 典 試 題 分 析 項 目 反 應 理 論 分 析, 在 刪 除 試 題 後, 共 收 錄 134 題, 平 均 難 度 為 -0.67, 平 均 鑑 別 度 為 1.33, 題 庫 內 的 題 數 分 配 摘 要 表 如 表 11 所 示 表 10 題 庫 內 容 領 域 與 認 知 層 次 難 度 與 鑑 別 度 描 述 性 統 計 摘 要 表 變 項 平 均 數 標 準 差 難 度 鑑 別 度 難 度 鑑 別 度 內 容 領 域 分 數 符 號 概 念 -2.78 1.20 0.95 0.37 等 分 概 念 -1.25 1.11 1.13 0.52 等 量 概 念 -0.56 1.05 1.04 0.38 單 位 量 概 念 -0.36 1.38 1.54 0.57 等 值 分 數 概 念 -0.24 1.49 1.14 0.43 認 知 層 次 熟 知 知 識 與 程 序 -1.26 1.72 1.23 0.33 概 念 使 用 -1.02 1.37 1.55 0.55 解 決 例 行 性 問 題 -0.38 1.29 1.29 0.45 推 理 0.15 0.87 1.58 0.20 整 體 題 庫 -0.67 1.33 1.46 0.50 根 據 Millman & Arter(1984) 以 及 Prosser(1974) 的 說 法, 題 庫 內 每 個 概 念 的 試 題 至 少 要 包 含 10 題, 而 且 每 個 課 程 單 元 下 至 少 要 包 含 50 題 若 是 要 使 用 在 電 腦 適 性 測 驗 上, 題 庫 內 至 少 要 有 100 至 200 題 難 度 均 勻 鑑 別 度 合 理 的 試 題 (Millman & Arter, 1984; Reckase,1981) 本 研 究 雖 然 在 各 個 分 數 208

子 概 念 與 認 知 層 次 的 試 題 數 皆 達 到 Prosser 提 示 10 題 的 建 議, 但 研 究 者 認 為 在 題 數 分 配 摘 要 表 ( 表 11) 中 仍 有 少 數 細 格 的 題 數 為 0 題, 關 於 此 部 分, 研 究 者 建 議 在 未 來 題 庫 擴 充 時 能 再 蒐 集 或 撰 寫 此 類 試 題 表 11 本 研 究 題 庫 之 題 數 分 配 摘 要 表 認 知 層 次 內 容 領 域 熟 知 知 識 與 程 序 概 念 使 用 解 決 例 行 問 題 推 理 題 數 總 和 分 數 符 號 概 念 2 (1.49%) 9 (6.27%) 3 (2.24%) 0 (0.00%) 14 (10.45%) 等 分 概 念 1 (0.75%) 1 (0.75%) 3 (2.24%) 7 (5.22%) 12 (8.96%) 等 量 概 念 0 (0.00%) 1 (0.75%) 18 (13.43%) 0 (0.00%) 19 (14.18%) 單 位 量 概 念 0 (0.00%) 18 (13.43%) 20 (14.93%) 3 (2.24%) 41 (30.60%) 等 值 分 數 概 念 11 (8.21) 18 (13.43%) 18 (13.43%) 1 (0.75%) 48 (35.82%) 題 數 總 和 14 (10.45%) 47 (35.07%) 註 : 括 弧 內 的 數 值 為 該 細 格 佔 題 庫 總 題 數 的 百 分 比 62 (46.27%) 11 (8.21%) 134 (100.00%) ( 四 ) 學 生 能 力 參 數 分 析 在 學 生 的 能 力 參 數 方 面, 本 研 究 採 羅 吉 斯 雙 參 數 模 式 以 最 大 概 似 估 計 法 估 計 2771 位 學 生 的 能 力 參 數, 共 計 39 位 受 試 者 不 符 合 雙 參 數 模 式 這 些 不 符 合 模 式 的 受 試 者 答 對 率 偏 低, 其 答 對 的 試 題 同 時 包 含 極 簡 單 與 極 困 難 的 試 題, 因 此 無 法 符 合 模 式 換 句 話 說, 這 39 位 受 試 者 對 能 力 參 數 估 計 的 幫 助 不 大 經 研 究 者 刪 除 39 位 不 符 合 模 式 的 受 試 者 後, 研 究 者 以 2732 位 受 試 者 的 能 力 值 進 行 變 異 數 分 析, 以 了 解 學 生 的 分 數 概 念 能 力 在 不 同 年 級 不 同 性 別 及 不 同 版 本 的 數 學 教 科 書 之 間 是 否 有 差 異 ( 表 12) 209

表 12 不 同 年 級 性 別 學 生 在 不 同 版 本 教 科 書 下 的 分 數 概 念 能 力 之 變 異 數 分 析 摘 要 表 變 異 來 源 自 由 度 平 方 和 均 方 F p 年 級 3 622.68 207.56 104.03 0.00** 性 別 1 3.26 3.26 1.63 0.20 數 學 版 本 4 138.89 34.72 17.40 0.00** 年 級 性 別 3 7.33 2.44 1.22 0.30 年 級 數 學 版 本 6 120.45 20.08 10.06 0.00** 性 別 數 學 版 本 4 3.02 0.76 0.38 0.82 年 級 性 別 數 學 版 本 6 2.39 0.40 0.20 0.98 誤 差 2704 5394.80 2.00 總 和 2731 6907.33 註 : ** 表 示 p.01 研 究 結 果 顯 示, 學 生 的 分 數 概 念 能 力 在 年 級 間 有 顯 著 差 異 數 學 版 本 間 有 顯 著 差 異 年 級 與 數 學 版 本 間 有 顯 著 地 交 互 作 用 雖 然 描 述 性 統 計 ( 表 13) 顯 示, 不 同 年 級 學 生 間 的 能 力 值 由 高 而 低 分 別 為 : 六 年 級 五 年 級 三 年 級 四 年 級, 但 由 於 年 級 與 版 本 間 有 交 互 作 用 存 在, 透 過 能 力 折 線 圖 ( 圖 3) 亦 可 知 年 級 之 間 的 差 異 狀 況 實 際 上 因 版 本 有 不 同, 尤 其 在 三 年 級 與 四 年 級 之 間, 是 以 無 法 斷 言 四 年 級 全 然 比 三 年 級 低 經 Scheffe 事 後 比 較 顯 示, 三 四 年 級 之 間, 三 年 級 學 生 採 行 康 軒 版 本 與 翰 林 版 本 的 平 均 值 顯 著 高 於 四 年 級 採 行 南 一 版 本 的 學 生, 至 於 其 他 版 本 則 兩 個 年 級 間 沒 有 顯 著 差 異 以 版 本 的 角 度 來 看 學 生 在 各 年 級 間 的 表 現 狀 況, 採 行 翰 林 版 本 的 三 四 六 年 級 學 生 的 平 均 能 力 值 並 無 顯 差 異 ; 採 行 康 軒 版 本 學 生 平 均 能 力 值 則 不 同 年 級 間 有 別 : 六 年 級 > 五 年 級 > 三 四 年 級 ; 採 行 牛 頓 版 本 的 三 五 年 級 學 生 平 均 能 力 值 並 無 顯 差 異 ( 四 年 級 沒 有 牛 頓 版 本 者 ); 採 行 南 一 版 本 學 生 平 均 能 力 值 之 差 異 狀 況 為 : 六 年 級 > 五 年 級 > 三 四 年 級 210

表 13 年 級 數 學 版 本 年 級 數 學 版 本 描 述 性 統 計 摘 要 表 因 子 平 均 數 標 準 誤 因 子 平 均 數 標 準 誤 年 級 年 級 數 學 版 本 3 0.10 0.07 3 年 級 仁 林 0.13 0.21 4-0.17 0.07 3 年 級 牛 頓 -0.06 0.10 5 0.52 0.05 3 年 級 南 一 -0.27 0.12 6 1.51 0.06 3 年 級 康 軒 0.07 0.07 數 學 版 本 3 年 級 翰 林 0.62 0.21 仁 林 0.13 0.21 4 年 級 南 一 -0.86 0.11 牛 頓 0.05 0.08 4 年 級 康 軒 0.04 0.07 南 一 0.23 0.05 4 年 級 翰 林 0.30 0.15 康 軒 0.70 0.03 5 年 級 牛 頓 0.16 0.12 翰 林 0.71 0.10 5 年 級 南 一 0.66 0.04 5 年 級 康 軒 0.75 0.04 6 年 級 南 一 1.38 0.07 6 年 級 康 軒 1.95 0.06 6 年 級 翰 林 1.21 0.14 註 : 本 研 究 資 料 無 四 年 級 牛 頓 與 五 年 級 翰 林 版 本 的 資 料, 仁 林 版 本 只 有 三 年 級 圖 3 不 同 年 級 不 同 數 學 教 科 書 版 本 之 學 生 能 力 折 線 圖 211

四 年 級 的 表 現 出 現 不 同 版 本 教 科 書 造 成 學 生 能 力 有 差 異 關 於 此 點 發 現, 研 究 者 針 對 四 年 級 中 能 力 最 高 的 翰 林 版 本 與 能 力 最 低 的 南 一 版 本 的 數 學 教 科 書 進 行 分 數 概 念 內 容 比 較, 以 檢 驗 是 否 版 本 間 的 內 容 差 異 會 使 得 學 生 的 能 力 有 所 差 別 : 在 三 年 級 下 學 期, 兩 個 版 本 所 採 用 的 皆 為 82 年 的 數 學 課 程, 兩 者 並 無 太 大 差 異, 但 從 四 年 級 上 學 期 進 入 九 年 一 貫 教 育 課 程 後 在 內 容 上 開 始 出 現 了 分 歧 四 上 時, 翰 林 版 的 教 科 書 在 進 行 假 分 數 與 帶 分 數 的 教 學, 南 一 版 的 教 科 書 則 仍 是 真 分 數 的 教 學 到 了 四 年 級 下 學 期, 翰 林 版 的 教 科 書 已 在 進 行 等 值 分 數 的 教 學 時, 南 一 版 的 教 科 書 開 始 進 入 帶 分 數 與 假 分 數 的 教 學 ( 本 研 究 施 測 時 間 為 92 學 年 度 下 學 期 開 學 (1/26) 後 的 二 個 月 ( 3/22-3/26), 此 時 採 用 翰 林 版 的 四 年 級 學 生 已 學 到 分 數 的 等 值 遞 移 或 次 序 遞 移 關 係, 而 南 一 版 學 生 才 剛 學 完 真 分 數 的 合 成 分 解 活 動 ) 由 此 顯 示, 不 同 版 本 的 教 材 因 教 材 順 序 安 排 不 同, 確 實 會 造 成 學 生 在 分 數 概 念 的 表 現 上 有 所 差 異 從 測 驗 構 念 的 角 度 來 看 上 述 差 異, 同 一 個 年 級 的 學 生 在 學 習 不 同 內 容 的 分 數 概 念 教 材 後, 經 過 本 研 究 的 試 題 施 測, 確 實 將 不 同 的 學 習 經 驗 反 映 在 能 力 估 計 上 換 句 話 說, 採 行 不 同 版 本 教 科 書 的 學 生 會 因 版 本 在 教 材 安 排 順 序 的 不 同 而 造 成 其 能 力 上 的 差 異, 而 這 個 能 力 差 異 顯 現 在 本 研 究 分 數 概 念 試 題 的 表 現 上 這 樣 團 體 差 異 的 證 據 可 以 顯 示, 本 研 究 試 題 所 測 量 的 構 念, 的 確 為 分 數 概 念 學 習 後 的 能 力 伍 結 論 本 研 究 共 蒐 集 178 個 試 題, 施 測 於 北 中 南 地 區 共 2771 學 生 研 究 者 依 內 容 篩 選 二 系 列 相 關 係 數 的 鑑 別 力 篩 選 單 一 向 度 檢 定 IRT 的 雙 參 數 羅 吉 斯 模 式 的 篩 選, 共 收 納 134 題 分 數 概 念 試 題 作 為 分 數 概 念 題 庫 的 試 題 在 試 題 的 統 計 特 徵 方 面, 內 容 領 域 的 五 個 分 數 子 概 念 試 題 之 平 均 難 度 由 易 而 難 依 序 為 : 分 數 符 號 概 念 等 分 概 念 等 量 概 念 單 位 量 概 念 等 值 分 數 概 念, 在 認 知 層 次 的 試 題 之 平 均 難 度 由 易 而 難 依 序 為 : 熟 知 知 識 與 212

程 序 概 念 使 用 解 決 例 行 問 題 推 理 題 庫 中 的 每 個 試 題 都 能 達 到 內 容 有 效 有 鑑 別 力 皆 校 準 在 同 一 個 能 力 量 尺 上, 整 個 分 數 概 念 題 庫 的 平 均 難 度 為 -0.67, 平 均 鑑 別 度 為 1.33, 有 著 良 好 的 統 計 特 徵 在 試 題 的 效 度 證 據 上, 本 研 究 所 蒐 集 的 證 據 有 三 : 第 一, 各 分 數 子 概 念 的 試 題 與 瑞 文 氏 標 準 圖 形 推 理 測 驗 各 項 分 測 驗 達 顯 著 正 相 關, 該 相 關 係 數 的 大 小 是 隨 各 個 分 數 子 概 念 的 難 度 與 瑞 文 標 準 圖 形 推 理 測 驗 的 各 分 測 驗 難 度 的 增 加 而 愈 大, 顯 示 本 研 究 的 試 題 所 測 得 的 能 力 與 學 生 對 圖 形 的 觀 察 力 思 考 能 力 與 推 理 能 力 具 有 相 當 程 度 的 關 聯 第 二, 本 研 究 在 探 討 不 同 年 級 學 生 的 能 力 時, 不 同 年 級 團 體 對 分 數 概 念 所 展 現 的 差 異 情 形 可 以 藉 由 本 研 究 的 試 題 展 現 出 來 第 三, 本 研 究 的 試 題 能 夠 呈 現 學 生 的 能 力, 且 對 於 學 習 教 材 相 當 敏 感, 可 以 反 映 教 科 書 內 容 的 順 序 安 排 在 學 生 能 力 方 面, 不 同 年 級 學 生 在 各 個 試 題 組 塊 下 的 平 均 答 對 率 以 六 年 級 學 生 顯 著 高 於 五 年 級 學 生, 高 年 級 學 生 顯 著 高 於 中 年 級 學 生, 但 三 四 年 級 的 差 異 並 不 明 顯 在 項 目 反 應 理 論 分 析 中, 各 年 級 的 平 均 能 力 值 由 高 而 低 分 別 為 六 年 級 (1.51) 五 年 級 (0.52) 三 年 級 (0.10) 四 年 級 ( -0.17) 由 於 本 研 究 的 四 年 級 學 生 遇 到 新 舊 課 程 的 斷 層, 正 好 在 銜 接 時 候 包 含 了 分 數 概 念 教 學 的 不 連 續 狀 況, 使 得 四 年 級 學 生 的 能 力 值 低 於 三 年 級 學 生 的 能 力 值 另 外, 學 生 的 能 力 表 現 在 年 級 與 數 學 版 本 間 有 顯 著 交 互 作 用 存 在, 由 於 各 版 本 教 材 安 排 順 序 不 同, 使 得 學 生 在 分 數 概 念 的 能 力 表 現 也 有 不 同 由 於 題 庫 內 的 試 題 構 念 效 度 良 好, 對 於 不 同 數 學 版 本 或 者 是 教 育 變 革 產 生 新 舊 課 程 銜 接 問 題, 都 能 有 效 反 映 出 來 目 前 義 務 教 育 已 全 面 採 行 九 年 一 貫 課 程, 與 本 研 究 樣 本 的 四 年 級 之 學 習 經 驗 有 所 不 同, 然 此 狀 況 不 致 於 影 響 本 題 庫 之 題 目 參 數 的 變 化, 因 題 目 已 進 行 跨 年 級 項 目 反 應 理 論 之 量 尺 化 校 正 本 研 究 的 核 心 目 標 旨 在 建 立 分 數 概 念 題 庫, 研 究 者 在 整 合 國 小 分 數 概 念 試 題 時, 利 用 項 目 反 應 理 論 的 技 術 將 試 題 統 計 特 徵 建 立 在 同 一 量 尺 上, 使 得 跨 年 級 的 比 較 更 具 意 義 建 議 後 續 研 究 一 方 面 可 以 進 行 電 腦 化 適 性 測 驗 的 編 製, 另 外 可 以 進 行 學 生 能 力 隨 年 級 而 發 展 的 診 斷 測 量 213

參 考 文 獻 丁 志 仁 吳 財 順 盧 雪 梅 林 佳 蓉 李 美 穗 林 陳 涌 高 永 遠 楊 舒 茹 周 愫 嫻 張 政 亮 彭 增 龍 吳 忠 泰 吳 錦 秀 王 壬 (2002) 國 民 小 學 三 四 年 級 及 國 小 六 年 級 國 中 一 年 級 之 新 舊 課 程 銜 接 研 究 報 告 台 北 : 教 育 部 王 文 中 (2004) Rasch 測 量 理 論 與 其 在 教 育 和 心 理 之 應 用 教 育 與 心 理 研 究, 27,637-694 王 立 行 周 東 山 (1996) 應 用 IRT 試 題 連 結 設 計 建 立 能 力 成 長 曲 線 測 驗 年 刊, 43,53-66 吳 毓 瑩 (2004) 效 度 載 於 王 文 中 呂 金 燮 吳 毓 瑩 張 郁 雯 張 淑 慧 主 編, 教 育 測 驗 與 評 量 教 室 學 習 觀 點 ( 頁 49-76) 台 北 : 五 南 吳 裕 益 (1991) IRT 等 化 法 在 題 庫 建 立 之 應 用 台 南 師 範 學 院 學 報,4,319-365 吳 裕 益 陳 英 豪 林 惠 華 陳 香 吟 馬 景 榮 (1992) 國 小 低 年 級 學 術 性 向 測 驗 題 庫 建 立 之 研 究 : 題 庫 建 立 時 題 目 參 數 的 估 計 與 連 結 問 題 之 探 討 台 南 師 範 學 院 學 報,5,1-31 吳 權 威 王 佩 蓮 (1995) 國 民 小 學 環 保 題 庫 系 統 之 研 究 台 北 市 立 師 範 學 院 學 報,26,9-38 呂 玉 琴 (1991) 分 數 概 念 : 文 獻 探 討 國 立 台 北 師 範 學 院 學 報,4,573-606 呂 玉 琴 (2004) 分 數 概 念 能 力 指 標 的 詮 釋 論 文 發 表 於 國 科 會 科 教 處 九 十 二 年 度 九 年 一 貫 數 學 領 域 能 力 指 標 詮 釋 計 畫 成 果 發 表 會 台 北 : 國 立 台 灣 師 範 大 學 數 學 系 李 盛 祖 林 世 華 (1999) 國 小 數 學 乘 法 系 列 診 斷 測 驗 題 庫 的 建 立 與 應 用 師 大 學 報 : 教 育 類,44(1&2),55-74 洪 碧 霞 吳 裕 益 洪 淑 琴 洪 嘉 品 曾 秋 琪 (1992) 國 小 高 年 級 數 學 科 應 用 問 題 題 庫 之 建 立 及 其 題 目 參 數 估 計 和 量 尺 化 相 關 問 題 之 探 討 台 南 師 範 學 院 學 報,5,91-122 洪 碧 霞 邱 上 真 林 素 微 葉 千 綺 (1998) 國 小 中 低 年 級 國 語 文 成 就 測 驗 題 庫 建 立 之 研 究 測 驗 年 刊,45(2),1-18 張 敏 強 (1999) 教 育 考 試 等 值 方 法 的 應 用 研 究 載 於 中 國 測 驗 學 會 主 編, 新 世 紀 測 驗 學 術 發 展 趨 勢 ( 頁 561-572) 台 北 : 心 理 教 育 部 (2003) 九 年 一 貫 數 學 學 習 領 域 綱 要 台 北 : 作 者 214

陳 瑞 發 (2003) 國 小 低 年 級 學 童 分 數 概 念 之 研 究 國 立 台 北 師 範 學 院 數 理 教 育 研 究 所 碩 士 論 文 陳 靜 姿 (1999) 國 小 四 年 級 兒 童 等 值 分 數 瞭 解 之 初 探 中 師 數 理 學 報,2(2), 125-145 彭 聃 齡 張 必 隱 (1999) 認 知 心 理 學 台 北 : 東 華 彭 麗 琦 (1994) 從 瑞 文 氏 測 驗 談 對 測 驗 的 幾 點 看 法 教 與 愛,46,29-31 游 政 雄 (2002) 台 灣 北 部 地 區 國 小 中 年 級 學 童 分 數 概 念 之 研 究 國 立 臺 北 教 育 大 學 學 報 : 數 理 科 技 教 育 類,15,37-67 黃 靖 瑩 (2003) 國 小 中 年 級 學 童 分 數 概 念 之 研 究 國 立 台 北 師 範 學 院 數 理 教 育 研 究 所 碩 士 論 文 詹 婉 華 (2003) 國 小 高 年 級 學 童 分 數 概 念 之 探 究 國 立 台 北 師 範 學 院 數 理 教 育 研 究 所 碩 士 論 文 詹 婉 華 (2004) 國 小 高 年 級 學 童 分 數 概 念 量 表 之 設 計 研 究 科 學 教 育 學 刊,12( 2),241-263 劉 湘 川 黃 孝 雲 (1998) 國 小 國 語 科 在 家 考 試 題 庫 初 探 測 驗 統 計 簡 訊,24, 13-22 歐 慧 敏 (2004) 新 舊 課 程 銜 接 理 念 與 實 務 以 數 學 學 習 領 域 為 例 國 民 中 小 學 九 年 一 貫 課 程 : 理 論 基 礎,2,412-430 鄭 蕙 如 林 世 華 (2002) 九 年 一 貫 課 程 數 學 領 域 第 三 四 學 習 階 段 分 段 能 力 指 標 序 階 之 適 切 性 初 探 研 究 測 驗 年 刊,49(1),51-74 簡 茂 發 (1999) 心 理 與 教 育 測 驗 發 展 之 趨 勢 載 於 中 國 測 驗 學 會 主 編, 新 世 紀 測 驗 學 術 發 展 趨 勢 ( 頁 1-16) 台 北 : 心 理 龐 嘉 芬 陳 淑 琳 (2000) 談 國 小 學 童 等 值 分 數 概 念 的 了 解 屏 師 科 學 教 育,12, 34-41 Anderson, P., & George, M. (2008). Developing tests and questionnaires for a national assessment of educational achievement. Washington, DC: World Bank Publications. Behr, M. J., Wachsmuth, I., & Post, T. R. (1988). Construct a sum: A measure of children s understanding of fration size. Journal for Research in Mathematics Education, 15(5), 323-341. Choppin, B. H. (1976). Recent developments in item banking: a review. In D. N. M. De Gruijter and L. J. van der Kamp (Eds.), Advances in psychological and educational measurement. (pp. 233-245). New York, NY: John Wiley & Sons. Choppin, B. H. (1981). Educational measurement and the item bank model. In C. Lacey 215

& D. Lawton (Eds.), Issues in evaluation and accountability. (pp. 204-221). New York, NY: Methuen. Choppin, B. H. (1985). Principles of item banking. Evaluation in Education, 9(1), 87-90. Hambleton R. K.,& Swaminathan H. (1985). Item response theory: Principle and application. Boston: Kluwer Nijhoff. Keeves, J. P., & Masters, G. N. (1999). Issues in educational measurement. In G. N. Masters & J. P. Keeves (Eds.), Advances in measurement in educational and research and assessment. (pp. 268-281). New York, NY: Pergamon. Lesh, R., Behr, M. & Post, T. (1987). Rational number relations and proportions. In C. Janvier (Ed.), Problems in the teaching and learning of mathematics. London: New Jersey. Lippey, G. (1974). Computer-assisted test construction. Englewood Cliffs, NJ: Educational Technology Publications. Lord, F. M., & Novick, M. R. (1968). Statistical theories of mental test scores. Reading, MA: Addison-Wesley. Martin, M. O., Mullis, I. V. S., & Chrostowski, S. J. (2004). TIMSS 2003 technical report. Chestnut Hill, MA: Boston College. Mckinley, R. L. & Reckase, M. D. (1981). A comparison of procedures for constructing large item pools. Columbia, MO: University of Missouri. Mead, R.J. (1981). Basic ideas in item banking. Paper presented at the annual meeting of the National Council on Measurement in Education, Los Angeles. Medin, D. L., Ross, B.H.,& Markman, A. B. (2002). Cognitive psychology. NK: John Wiley & Sons. Millman, J. & Arter, J. A. (1984). Issues in item banking. Journal of Educational Measurement, 21(4), 315-330. Newbould, C. A., & Massey, A. J. (1997). A Computerized item banking system (CIBS). British Journal of Educational Technology, 8(2), 114-123. Prosser, F. (1974). Item banking. In G. Lippey (Ed.), Computer-assisted test construction. (pp. 29-66). Englewood Cliffs, NJ: Educational Techology Publications. Reckase, M. D. (1979). Unifactor latent trait models applied to multifactor test: Results and implications. Journal of Educational Statistics, 4(3), 207-230. Rudner, L. (1998). Item banking. Practical Assessment Research & Evaluation, 6(4), 1-7. Suen, H. K. (1990). Principles of test theories. Hillsdale, NJ: Lawrence Erlbaum Associates. Umar, J. (1999). Item banking. In G. N. Masters & J. P. Keeves (Eds.), Advances in measurement in educational and research and assessment. (pp. 207-219). New York, NY: Pergamon. 216

Vale C.D. (1986). Linking item parameters onto a common scale. Applied Psychological Measurement, 10(4), 333-344. Wainer, H., Dorans, N. J., Flaugher, R., Green, B. F., Mislevy, R. J., Steinberg, L. & Thissen, D. (1990). Computerized Adaptive Testing: A Primer. Hillsdale, NJ: Lawrence Erlbaum Associates. 謝 誌 : 感 謝 國 立 屏 東 教 育 大 學 數 理 教 育 研 究 所 劉 曼 麗 教 授 以 及 台 北 市 立 教 育 大 學 數 學 資 訊 教 育 學 系 李 源 順 教 授 對 於 研 究 結 果 的 詮 釋 以 及 施 測 過 程 之 諮 詢 ; 亦 感 謝 許 見 行 江 愛 華 研 究 助 理 在 資 料 蒐 集 上 的 協 助 另 外 並 感 謝 國 科 會 專 題 研 究 計 畫 之 支 助 (NSC-92-2522-S-152-004, NSC-93-2511-S-152-012) 217

218