第三章 研究方法

Transcription

1 英 文 時 態 電 腦 診 斷 測 驗 之 發 展 潘 靖 瑛 慈 濟 大 學 教 育 研 究 所 錢 宏 偉 花 蓮 縣 縣 立 宜 昌 國 中 教 師 慈 濟 大 學 教 育 研 究 學 刊, 民 95, 第 2 期 Tzu-Chi University Journal of the Educational Reserarch 2006, No.2, p

2 192 慈 濟 大 學 教 育 研 究 學 刊. 第 二 期 英 文 時 態 電 腦 診 斷 測 驗 之 發 展 * 潘 靖 瑛 ** 錢 宏 偉 摘 要 本 研 究 之 目 的 是 發 展 一 套 適 用 於 大 一 學 生 之 英 文 時 態 電 腦 診 斷 測 驗, 並 檢 測 其 有 效 性 與 實 用 性, 同 時 藉 由 施 測 結 果 瞭 解 大 一 學 生 英 文 時 態 之 困 難 所 在 研 究 者 憑 藉 英 文 文 法 錯 誤 之 文 獻 分 析 結 果 及 多 年 教 授 英 文 之 經 驗, 由 十 二 種 英 文 時 態 中, 挑 選 出 最 常 用 的 七 種, 建 構 雙 向 細 目 表, 發 展 出 190 題, 由 兩 所 大 學 挑 選 約 300 名 大 一 學 生, 經 過 兩 次 預 試, 根 據 預 試 的 項 目 分 析 結 果, 刪 除 不 適 宜 題 目 得 171 題, 以 建 構 題 庫, 設 計 電 腦 診 斷 測 驗 系 統, 並 建 置 於 慈 濟 大 學 網 站 上 本 研 究 由 慈 濟 大 學 大 一 學 生 中 選 取 87 名 學 生, 進 行 英 文 時 態 電 腦 診 斷 測 驗 以 t 考 驗 檢 測 高 低 分 組 學 生 平 均 得 分 之 差 異,(t (67) = 11.49,p =.000) 達 顯 著 水 準, 顯 示 該 診 斷 測 驗 具 有 良 好 的 鑑 別 力 ; 經 比 較 英 文 時 態 電 腦 診 斷 測 驗 與 英 文 文 法 精 熟 測 驗 ( 紙 筆 測 驗 ) 施 測 結 果, 發 現 二 者 的 相 關 係 數 (r=.356,p=.004<.01) 達 顯 著 水 準, 顯 示 英 文 時 態 電 腦 診 斷 測 驗 具 有 不 錯 的 同 時 效 度 藉 由 分 析 學 生 在 英 文 時 態 電 腦 診 斷 測 驗 之 錯 誤 得 知, 相 較 之 下, 學 生 在 過 去 式 及 現 在 式 上 遭 遇 的 困 難, 比 未 來 式 多 綜 合 檢 視 21 個 時 態 分 項 發 現, 學 生 在 簡 單 現 在 式 現 在 完 成 式 簡 單 過 去 式 過 去 完 成 式 的 錯 誤 率 偏 高, 這 與 其 他 相 關 研 究 的 結 果 一 致, 此 外, 本 研 究 也 發 現 學 生 在 現 在 進 行 式 及 過 去 進 行 式 的 錯 誤 率 也 頗 高 由 英 文 時 態 電 腦 診 斷 測 驗 問 卷 調 查 得 知,83~91% 的 學 生 對 該 測 驗 的 螢 幕 呈 現 方 式 感 到 滿 意,77% 學 生 認 為 題 目 難 易 適 中,85% 學 生 肯 定 該 測 * 慈 濟 大 學 教 育 研 究 所 副 教 授 ** 花 蓮 縣 縣 立 宜 昌 國 中 教 師

3 英 文 時 態 電 腦 診 斷 測 驗 之 發 展 193 驗 能 診 斷 出 自 己 的 英 文 時 態 問 題,90% 學 生 認 為 測 驗 系 統 回 饋 的 診 斷 資 訊 對 其 英 文 時 態 學 習 有 助 益, 但 是 也 有 部 分 學 生 反 應 本 系 統 施 測 的 題 數 偏 多, 希 望 可 以 減 少 測 驗 的 題 數 綜 上 所 述, 本 研 究 所 發 展 的 英 文 時 態 電 腦 診 斷 測 驗 具 有 良 好 的 效 度, 且 獲 得 使 用 者 對 其 功 能 的 肯 定, 堪 稱 是 一 個 有 效 且 實 用 的 診 斷 測 驗 系 統 關 鍵 字 : 英 文 時 態 電 腦 診 斷 測 驗

4 194 慈 濟 大 學 教 育 研 究 學 刊. 第 二 期 Development of the Computerized Diagnostic Test for English Tenses Ching-Ying Pan * Hung-Wei Chien ** Abstract The purpose of this study is to develop a computerized diagnostic test system for English Tenses (CDTSET) and to test both its validity and practicability, as well as to figure out freshmen s learning difficulties of English tenses. Based on error analysis of English grammar and the researcher s English teaching experience, 7 tenses were selected from among 12, to construct the table of specification and develop 190 items for 2 pretests. According to the results of item response analyses, only 171 items were consequently selected to construct the item bank, design the computerized diagnostic test system, and then set up it on the website of Tzu Chi University. After the CDTSET had been constructed, 87 freshmen took the CDTSET test. According to data analysis results, we found the t-test for the difference between high level and low level students average scores was significant, (t (67) = 11.49,p =.000), which means this diagnostic test has good discrimination. Comparing the results between the diagnostic test and Grammar Proficiency Test (written test), the correlation coefficient is significant, (r=.356,p=.004<.01), indicating the test has good concurrent validity. Based on analysis of the students mistakes, we find students have more difficulty with past tenses and present tenses, but less difficulty with future tenses. On inspecting the 21 tense sub-levels, we found students have higher error rates in the simple present tense, * Associate Professor of Graduate Institute of Education, Tzu Chi University ** Teacher of Yi-Chang Junior High School

5 英 文 時 態 電 腦 診 斷 測 驗 之 發 展 195 present perfect tense, simple past tense and past perfect tense. The result is the same as other researchers findings. However, we also found students had higher error rates in the present progressive tense and past progressive tense. The analysis questionnaire on the English tenses diagnostic test showed 83-91% of the students were satisfied with the presentation of this system, 77% of the students recognized the item difficulties as suitable, 85% verified the test system does diagnose their tenses problem and offer useful diagnostic information, and 90% believe the system really helps their English tense learning. Nevertheless, some students suggest decreasing the number of items they have to take during the test. In conclusion, the English tenses computerized test system is a practical test system with good reliability and validity. Key words: English tenses, computerized diagnostic test

6 196 慈 濟 大 學 教 育 研 究 學 刊. 第 二 期 壹 序 言 對 台 灣 大 多 數 學 生 而 言, 英 文 是 經 由 學 習 而 得 的 第 二 外 語, 學 生 通 常 必 須 使 用 文 法 架 構 將 習 得 的 文 字 片 語 組 成 句 子 來 表 達 己 意, 閱 讀 時 亦 需 透 過 分 析 句 子 的 文 法 結 構, 才 能 精 確 的 掌 握 文 意, 理 解 內 容 因 此 文 法 除 了 是 英 文 說 寫 的 基 礎, 也 是 英 文 閱 讀 理 解 的 重 要 依 憑 事 實 上, 英 文 與 中 文 表 達 方 式 的 最 大 差 異 在 英 文 句 型 的 時 態 (tenses), 而 時 態 又 是 組 成 英 文 句 型 最 基 本 的 架 構, 如 果 學 生 對 英 文 時 態 的 使 用 缺 乏 正 確 了 解, 將 嚴 重 影 響 其 英 文 語 意 的 理 解 與 表 達, 因 此 時 態 一 直 都 是 台 灣 學 生 學 習 英 文 的 主 要 困 擾 之 一 ( 劉 振 蘋,1993) 英 文 是 大 學 生 進 階 學 習 的 重 要 工 具 研 究 者 教 授 大 學 英 文 多 年, 深 覺 剛 進 入 大 學 的 新 鮮 人, 如 果 能 及 時 瞭 解 自 己 的 英 文 時 態 程 度, 並 作 必 要 的 補 強, 對 其 未 來 的 整 體 學 習 將 有 相 當 大 的 助 益 事 實 上, 大 一 學 生 經 過 中 學 六 年 的 英 文 訓 練, 已 完 整 的 學 過 英 文 文 法, 雖 有 部 分 學 生 的 英 文 文 法 未 臻 理 想, 但 也 非 全 部 不 懂, 因 此 研 發 一 份 適 用 於 大 一 學 生 的 英 文 時 態 診 斷 測 驗, 協 助 學 生 檢 視 自 己 的 英 文 時 態 程 度, 省 卻 摸 索 的 時 間, 提 升 英 文 學 習 的 效 率, 也 提 供 判 別 是 否 需 要 加 修 英 文 文 法 與 句 型 或 英 文 文 法 修 辭 與 寫 作 等 課 程, 是 本 研 究 最 主 要 的 動 機 近 年 來 電 腦 網 路 的 進 步 與 普 及 化 雖 然 一 日 千 里, 但 是 除 了 少 部 分 的 大 型 標 準 化 測 驗 ( 例 如 TOEFL 及 GRE 等 ), 已 經 應 用 電 腦 網 路 施 測 外, 大 多 數 的 測 驗 仍 以 紙 筆 方 式 進 行 然 而 以 紙 筆 方 式 進 行 診 斷 測 驗 卻 有 其 侷 限, 主 要 是 紙 筆 測 驗 無 法 事 先 依 學 生 程 度 篩 選 試 題, 故 需 施 測 相 當 大 量 的 題 目, 才 能 準 確 的 診 斷 出 學 生 的 能 力 及 問 題, 同 時 完 成 紙 筆 測 驗 後, 教 師 必 須 花 費 相 當 多 的 時 間 閱 卷 及 分 析 學 生 的 反 應 類 型, 不 僅 費 時 費 事, 且 延 遲 回 饋 學 生 的 時 機 相 較 之 下, 電 腦 測 驗 可 以 透 過 嚴 謹 編 製 的 電 腦 題 庫, 挑 選 較 適 合 學 生 程 度 的 題 目 施 測, 以 減 少 必 要 的 施 測 題 數, 而 且 電 腦 測 驗 可 以 自 動 分 析 學 生 的 測 驗 結 果, 除 了 省 時 省 事 外, 也 可 以 在 考 生 答 完 每 一 題 後, 立 即 回 饋 正 確 答 案 及 簡

7 英 文 時 態 電 腦 診 斷 測 驗 之 發 展 197 要 的 解 釋, 協 助 學 生 即 時 改 正 錯 誤, 考 完 後, 學 生 也 可 以 立 即 得 知 測 驗 的 結 果 與 建 議, 達 到 及 時 回 饋 的 目 的 (Alessi & Trollip, 1991) 因 此 研 究 者 在 思 考 發 展 英 文 時 態 診 斷 測 驗 之 始, 即 考 量 以 電 腦 網 路 施 測 取 代 傳 統 紙 筆 測 驗, 將 之 架 設 於 本 校 的 網 站 上, 以 提 供 學 生 不 限 時 地 次 數, 隨 時 可 以 上 網 檢 測 自 己 的 英 文 時 態 程 度, 甚 至 檢 測 自 己 英 文 時 態 的 學 習 成 果 依 據 上 述 的 描 述 歸 納 出 本 研 究 之 目 的 如 下 : 一 發 展 一 套 適 用 於 大 一 學 生 的 英 文 時 態 電 腦 診 斷 測 驗 二 檢 視 該 英 文 時 態 電 腦 診 斷 測 驗 的 有 效 性 與 實 用 性 三 應 用 該 電 腦 診 斷 測 驗 發 現 慈 濟 大 學 大 一 學 生 應 用 英 文 時 態 之 困 難 所 在 貳 英 文 時 態 語 言 最 常 用 於 陳 述 事 實 或 描 述 事 件 的 發 生, 為 了 說 明 事 實 或 描 述 事 件 發 生 的 先 後 次 序, 時 態 在 英 文 表 達 上 扮 演 極 為 關 鍵 的 角 色 (Meziani, 1988) 相 較 於 中 文 時 態, 僅 簡 單 依 賴 時 間 副 詞 說 明 發 生 時 刻 的 表 達 方 式, 英 文 時 態 除 了 時 間 副 詞 外, 動 詞 必 須 隨 著 時 間 指 涉 的 不 同 及 主 詞 人 稱 的 改 變, 而 衍 生 出 多 種 不 同 的 形 式 變 化, 其 表 達 方 式 與 中 文 差 異 甚 大 綜 觀 探 究 台 灣 學 生 英 文 文 法 錯 誤 類 型 分 析 的 文 獻 得 知, 台 灣 學 生 最 常 犯 的 英 文 文 法 錯 誤 為 動 詞 時 態, 而 來 自 母 語 的 干 擾, 被 證 實 是 犯 時 態 錯 誤 的 主 要 原 因 ( 黃 旭 生,1994) 台 灣 學 生 在 書 寫 英 文 句 子 時, 往 往 忽 略 動 詞 時 態 轉 化 的 過 程, 在 未 考 慮 周 詳 的 情 況 下, 就 直 接 仿 效 中 文 習 慣 造 句, 造 成 文 意 表 達 上 的 出 入, 也 成 為 學 生 學 習 英 文 文 法 過 程 之 中 最 常 犯 的 錯 誤 ( 翁 淑 蕙,1999) 黃 旭 生 (1994) 歸 納 出 學 生 最 常 犯 錯 的 四 種 時 態 為 : 簡 單 現 在 式 簡 單 過 去 式 現 在 完 成 式 過 去 完 成 式 莊 永 山 (2000) 亦 指 出 高 中 學 生 常 犯 的 時 態 錯 誤 有 : 簡 單 現 在 式 簡 單 過 去 式 現 在 完 成 式 及 過 去 完 成 式 等, 佐 證 黃 旭 生 的 發 現

8 198 慈 濟 大 學 教 育 研 究 學 刊. 第 二 期 英 文 時 態 共 有 十 二 種, 研 究 者 根 據 多 年 教 學 經 驗, 以 英 文 表 達 上 最 常 使 用 的 七 種 時 態 : 簡 單 現 在 式 簡 單 過 去 式 簡 單 未 來 式 現 在 進 行 式 過 去 進 行 式 現 在 完 成 式 過 去 完 成 式, 作 為 發 展 本 研 究 英 文 時 態 診 斷 測 驗 之 內 容 主 體 架 構, 以 期 該 測 驗 涵 蓋 足 夠 且 重 要 的 範 圍, 而 七 種 時 態 所 含 括 的 次 向 度, 則 依 據 研 究 者 的 教 學 經 驗 及 綜 合 學 生 常 犯 時 態 錯 誤 分 析 結 果 來 選 取, 以 確 保 測 驗 之 內 容 效 度, 其 架 構 如 表 1 所 示 參 診 斷 測 驗 診 斷 測 驗 是 一 種 綜 合 且 精 細 的 評 量 型 態, 目 的 在 分 析 個 別 學 生 於 某 一 學 習 領 域 的 優 缺 點, 並 深 究 其 學 習 的 盲 點 與 困 難 及 其 形 成 的 可 能 原 因, 再 根 據 學 習 者 的 條 件 與 需 要 建 議 補 救 教 學 方 案 ( 陳 玟 秀, 1999) 在 教 學 的 過 程 中, 教 師 常 採 用 形 成 性 評 量 及 總 結 性 評 量, 以 得 知 學 生 是 否 習 得 課 堂 所 教 授 的 知 識, 但 是 這 兩 種 評 量 對 學 生 學 習 上 所 遭 遇 的 困 難, 未 必 能 提 供 足 夠 的 訊 息 因 此 當 學 生 持 續 發 生 學 習 困 難, 又 無 法 以 一 般 性 評 量 找 出 困 難 所 在 時, 教 師 必 須 適 時 採 用 診 斷 評 量, 以 協 助 學 生 發 現 問 題 並 施 予 適 當 的 補 救 教 學, 提 升 其 學 習 能 力 (Worner, 1977) 表 一 英 文 時 態 診 斷 測 驗 所 含 之 七 種 英 文 時 態 及 其 次 向 度 與 題 數 時 態 類 型 重 要 內 涵 與 常 犯 錯 誤 類 型 題 庫 所 含 之 題 數 現 在 式 簡 單 現 在 式 A1. 主 詞 與 動 詞 的 一 致 性 : (1) 主 詞 為 第 三 人 稱 單 數 時, 時 動 詞 需 加 s 或 es (2) 複 數 主 詞 的 動 詞 後 面 不 加 s 或 es (Fan, 1992) A2. 表 現 在 習 慣 的 頻 率 副 詞 用 簡 單 現 在 式 ( 李 杰 譯, 1993) A3. 由 when, before, after, until, as soon as, if 等 連 接 詞, 所 引 導 表 時 間 或 條 件 的 副 詞 子 句 中, 須 使 用 現 在 式 代 替 未 來 式 ( 李 杰 譯,1993) 14

9 英 文 時 態 電 腦 診 斷 測 驗 之 發 展 199 B1. 句 中 如 有 now, at this moment, at present... 等, 表 現 在 正 在 進 行 的 時 間 副 詞 時, 應 使 用 現 在 進 行 式 8 現 在 進 行 式 B2. 表 出 發 到 達 往 來... 等 動 詞, 可 用 現 在 進 行 式 代 替 未 來 式 B3. 感 官 動 詞 心 理 狀 態 動 詞 感 情 狀 態 動 詞 僅 使 用 簡 單 現 在 式, 而 不 可 用 現 在 進 行 式 ( 陳 錫 麟 沈 安 德,1999) C1. yet 用 在 疑 問 句 或 否 定 句 ;already 用 於 肯 定 句 中 6 現 在 完 成 式 C2. since 與 for 的 用 法 (1)since + 過 去 時 間 或 過 去 式 句 子 (2)for + 一 段 時 間 C3. have gone, have been 的 誤 用 C4. just 與 just now 用 法 的 混 淆 ( 陳 錫 麟 沈 安 德, 1999) 8 過 去 式 未 來 式 簡 單 過 去 式 D1. 動 作 發 生 在 過 去 某 一 時 間 點, 不 強 調 連 續 性, 通 常 用 過 去 式 表 達 D2. ago, yesterday, last night 等 表 過 去 的 時 間 副 詞, 必 需 使 用 過 去 式 D3. 不 規 則 動 詞 的 過 去 式 及 過 去 分 詞 ( 沈 安 德 蘇 正 隆,1993) E1. 過 去 進 行 式 通 常 與 表 過 去 某 時 間 點 的 副 詞 副 詞 片 語 或 副 詞 子 句 合 用, 如 then,at that time 等 8 過 去 進 行 式 E2. 兩 件 過 去 的 事 情, 一 件 發 生 時, 另 一 件 同 時 正 在 進 行 中, 前 者 用 過 去 式, 後 者 用 過 去 進 行 8 while/when 句 型 之 分 辨 與 用 法 F1. 簡 單 過 去 式 與 過 去 完 成 式 的 時 間 順 序 上 的 混 淆 13 過 去 F2. 歷 史 事 實 雖 先 發 生, 但 不 可 用 過 去 完 成 式 而 要 用 6 完 成 式 簡 單 過 去 式 F3. 表 示 過 去 沒 有 實 現 的 希 望 打 算 計 畫 等 動 詞 應 4 使 用 過 去 完 成 式 ( 李 杰 譯,1993) G1. 未 來 預 定 或 未 來 會 發 生 之 事, 必 須 使 用 未 來 式 8 簡 單 未 來 式 G2. 混 淆 了 be to + 原 形 動 詞 與 be going to + 原 形 動 詞 的 用 法 G3. will/shall 表 未 來 之 句 型 用 法 ( 馮 奮 馮 世 萃, 1992) 研 究 者 由 相 關 文 獻 的 探 討 中 發 現, 診 斷 測 驗 的 理 論 大 致 發 展 完 備 ( 潘 靖 瑛,2003), 主 要 應 用 於 數 理 科 及 特 殊 教 育 的 語 文 科 學 習 (Nicols, 1994), 其 中 以 數 理 的 應 用 為 大 宗 (Cobertt, Anderson, & O Brien,1995;

10 200 慈 濟 大 學 教 育 研 究 學 刊. 第 二 期 Gitom, Stenberg, & Mislevy, 1995; 李 盛 祖,1997; 林 月 仙,1998; 陳 俊 廷,2002; 陳 玟 秀,1999), 與 語 言 學 習 相 關 的 診 斷 測 驗 (Cisero, Royer, Marchant, & Jacson, 1997; Hatcher, Snowling, & Griffiths, 2002)), 則 為 數 甚 少, 國 內 僅 有 三 篇, 其 中 兩 篇 以 國 小 之 國 語 文 為 測 驗 標 的 ( 胡 依 斐,1988; 鄭 美 芝,2002) 另 一 篇 與 本 研 究 較 相 關, 為 英 語 閱 讀 能 力 診 斷 測 驗 ( 陳 姿 君,2002), 該 診 斷 測 驗 分 別 以 認 字 語 音 分 析 詞 彙 理 解 及 句 子 理 解 來 檢 視 國 中 一 年 級 學 生 英 語 閱 讀 的 識 字 與 句 子 理 解 能 力 目 前 國 內 的 英 文 錯 誤 診 斷 測 驗 皆 以 紙 筆 測 驗 方 式 進 行, 通 常 以 小 型 的 英 文 作 文 或 選 擇 題 的 方 式 施 測 ( 李 杰 譯,1993; 沈 安 德 蘇 正 隆, 1993; 陳 錫 麟,1999; 馮 奮 馮 世 萃,1992), 分 析 的 重 點 在 找 尋 全 體 受 試 者 的 錯 誤 類 型, 而 未 針 對 個 人 學 習 上 的 錯 誤 加 以 分 析, 亦 未 對 個 別 學 生 進 行 回 饋, 因 此 只 具 備 診 斷 測 驗 的 部 分 功 能 本 研 究 嘗 試 發 展 出 架 設 於 網 站 上 的 電 腦 化 英 文 時 態 診 斷 測 驗, 供 學 生 隨 時 上 網 檢 視 自 己 的 英 文 時 態 能 力, 並 及 時 回 饋 考 生 診 斷 資 訊, 找 出 待 加 強 之 處, 同 時 亦 提 供 全 班 的 測 試 結 果, 供 教 師 設 計 教 學 之 參 考, 以 達 成 診 斷 測 驗 兼 顧 個 人 及 團 體 回 饋 之 目 標 肆 題 庫 與 選 題 策 略 高 成 效 的 電 腦 診 斷 測 驗 端 賴 優 質 題 庫 及 適 當 的 選 題 策 略 以 下 就 本 研 究 題 庫 的 建 立 及 選 題 施 測 的 策 略 說 明 之 一 題 庫 的 建 立 題 庫 是 一 群 經 過 校 準 分 析 歸 類 與 評 鑑 後, 儲 存 起 來 的 測 驗 試 題 組 合 體 ( 余 民 寧,2004) 應 用 電 腦 資 料 庫 來 建 立 題 庫, 可 以 使 得 題 目 的 儲 存 搜 尋 或 編 輯 更 便 利 快 捷, 同 時 可 以 提 升 編 製 測 驗 的 效 益 ( 鄭 裕 篤,2000) 綜 合 Wainer (1990) 許 擇 基 劉 長 萱 (1992) 及 余 民 寧 (2004) 的 建 議, 本 研 究 採 取 以 下 六 個 步 驟 發 展 題 庫 :

11 英 文 時 態 電 腦 診 斷 測 驗 之 發 展 201 ( 一 ) 擬 訂 命 題 計 畫 : 建 立 題 庫 就 是 收 集 試 題, 而 試 題 的 發 展 必 需 依 據 課 程 目 標 教 材 雙 向 細 目 表 編 寫 而 成 本 研 究 根 據 表 1 的 內 容 及 研 究 者 教 學 多 年 對 大 學 生 英 文 程 度 的 認 知, 再 依 據 試 題 編 寫 原 則 編 擬 試 題, 以 確 保 題 庫 的 內 容 效 度 ( 二 ) 編 擬 預 試 問 卷 : 初 擬 的 題 目 數 量 應 比 正 式 題 庫 所 需 的 的 題 目 約 多 出 三 分 之 一 到 一 倍, 以 供 篩 選 刪 除 不 適 當 之 題 目 試 題 編 寫 完 成 後, 需 經 英 文 測 驗 專 家 檢 核 修 正 後, 才 編 成 預 試 問 卷 ( 三 ) 預 試 :Wainer(1990) 建 議 理 想 的 預 試 樣 本 應 由 該 測 驗 預 計 施 測 的 標 的 母 群 體 中 選 出 本 研 究 據 此 原 則, 挑 選 兩 所 大 學 約 300 名 大 一 學 生 作 為 預 試 對 象 進 行 預 試 ( 四 ) 項 目 分 析 : 依 據 Wainer (1990:45) 建 議, 本 研 究 核 算 每 一 個 題 目 的 古 典 測 驗 理 論 (CTT) 及 項 目 反 應 理 論 (IRT) 之 試 題 難 度 及 鑑 別 度 參 數, 作 為 篩 選 試 題 的 依 據 ( 五 ) 修 正 試 題 : 經 項 目 分 析 後, 保 留 符 合 標 準 的 試 題, 剔 除 不 適 合 的 題 目, 同 時 對 部 分 不 合 宜 的 試 題 加 以 修 正 後, 再 預 試 再 分 析 ( 六 ) 選 題 以 建 構 題 庫 : 試 題 經 過 預 試 修 正 及 項 目 分 析 後, 選 入 題 庫 題 庫 為 一 資 料 庫, 內 建 試 題 本 身 正 確 答 案 CTT 及 IRT 的 各 式 參 數 內 容 向 度 編 號 診 斷 訊 息, 及 選 題 施 測 時 所 需 之 資 料 題 庫 如 以 古 典 測 驗 理 論 (CTT) 來 建 構 試 題 參 數, 會 因 樣 本 依 賴 而 使 試 題 的 難 度 鑑 別 度 及 選 項 的 誘 答 能 力 均 非 不 變 值 (invariant), 因 此 影 響 測 驗 的 選 題 效 能 ( 潘 靖 瑛,2005) 再 者 當 加 入 新 試 題 時, 不 容 易 將 新 舊 試 題 參 數 重 新 量 尺 化 ( 何 榮 桂,1992) 雖 然 如 此, 古 典 測 驗 理 論 因 其 簡 單 易 懂, 至 今 仍 廣 為 使 用 如 採 用 項 目 反 應 理 論 (IRT) 來 建 構 題 庫 試 題 的 參 數, 則 其 難 度 鑑 別 度 猜 測 度 不 因 樣 本 不 同 而 異, 對 考 生 能 力 之 估 計, 也 不 因 測 驗 難 易 而 不 同 更 重 要 的 是, 試 題 難 度 與 個 人 能 力 估 計 值 為 同 一 量 尺, 方 便 測 驗 結 果 的 解 釋 與 預 測, 因 此 IRT 比 CTT 更 為 精 確 ( 潘 靖 瑛,

12 202 慈 濟 大 學 教 育 研 究 學 刊. 第 二 期 2005) 但 是 IRT 參 數 的 計 算 與 解 釋 複 雜 難 懂, 非 測 驗 專 家 常 無 法 使 用 潘 靖 瑛 (2002) 比 較 發 現, 題 庫 採 用 CTT 或 IRT 的 試 題 參 數 進 行 選 題 組 成 試 卷, 二 者 之 效 能 差 異 不 大 為 能 兼 備 二 者 之 優 點, 本 研 究 之 題 庫 同 時 以 二 者 作 為 項 目 分 析 刪 題 之 依 據, 亦 同 時 收 納 試 題 之 CTT 及 IRT 參 數, 作 為 選 題 施 測 之 依 據 二 選 題 策 略 選 題 策 略 會 隨 選 用 試 題 之 CTT 或 IRT 參 數 而 異 項 目 反 應 理 論 (IRT) 之 選 題 策 略 以 如 何 選 出 能 滿 足 目 標 訊 息 函 數 的 試 題 為 主 要 考 量 每 一 題 目 對 不 同 能 力 值 θ 均 提 供 不 同 之 訊 息 量 I ( θ ), 當 訊 息 量 愈 大, 表 示 此 題 目 對 受 試 者 能 力 估 計 愈 具 有 參 考 的 價 值, 而 一 測 驗 之 訊 息 量, 是 由 測 驗 中 每 一 題 目 之 訊 息 量 累 加 而 得, 因 此 針 對 不 同 施 測 需 求, 可 以 由 題 庫 中 選 取 不 同 題 目, 藉 以 達 成 測 驗 設 計 者 的 目 標 ( 潘 靖 瑛,2005) Hambleton 和 Swaminathan (1985: ) 提 出 以 CTT 的 難 度 與 鑑 別 度 來 選 題, 稱 為 標 準 法 (Standard): 首 先 依 測 驗 目 的, 界 定 難 度 值 的 範 圍, 挑 出 在 此 難 度 值 範 圍 內 的 所 有 試 題, 再 由 其 中 挑 出 鑑 別 度 最 高 的 試 題 組 成 測 驗 Hambleton 和 Swaminathan 比 較 標 準 法 與 三 種 使 用 IRT 參 數 的 選 題 方 法 發 現, 四 種 方 法 選 出 相 同 試 題 的 百 分 比 高 達 40% 到 60%, 亦 即 不 論 用 CTT 或 IRT 的 方 式 選 題, 只 要 是 好 的 題 目 大 都 能 雀 屏 中 選 ( 潘 靖 瑛,2005) 隨 著 測 驗 電 腦 化 而 衍 生 出 的 電 腦 選 題 策 略, 包 括 串 列 (list) 隨 機 (random) 演 算 法 (algorithm) 閃 爍 卡 佇 列 法 (flashcard queuing) 漸 進 式 狀 態 (progressive state drill) 和 變 數 式 題 距 表 現 佇 列 (variable interval performance queuing) 等 ( 何 榮 桂,2000), 每 種 選 題 策 略 各 有 不 同 的 適 用 時 機 本 研 究 採 用 Hambleton 和 Swaminathan 的 標 準 法, 結 合 電 腦 化 測 驗 中 使 用 最 頻 繁 的 隨 機 選 題 ( 何 榮 桂,2000), 作 為 本 研 究 的 選 題 策 略 原 因 是 本 研 究 之 題 庫 僅 含 171 題, 如 僅 採 用 Hambleton 和 Swaminathan 的 標 準 法, 因 恐 難 度 適 中 且 具 高 鑑 別 度 之 題 目 有 限, 導

13 英 文 時 態 電 腦 診 斷 測 驗 之 發 展 203 致 每 次 選 出 供 考 生 作 答 之 題 目 都 非 常 雷 同, 假 以 時 日, 使 用 該 題 庫 組 成 的 試 卷 將 失 去 保 密 (test security) 功 能 事 實 上, 選 題 策 略 中 最 重 要 的 考 量 是 試 題 的 難 度 (Wainer, 1990) 本 研 究 在 測 驗 開 始 時, 先 依 測 驗 的 的 內 容 向 度, 選 出 中 等 難 度 之 試 題, 再 以 隨 機 方 式 由 其 中 抽 選 出 特 定 數 量 的 題 目, 呈 現 供 受 試 者 作 答, 考 生 如 答 錯, 電 腦 將 再 由 同 一 內 容 向 度 中 選 出 較 簡 單 的 題 目, 再 以 隨 機 方 式 由 其 中 挑 選 題 目 供 考 生 作 答 伍 研 究 方 法 本 節 依 序 說 明 本 研 究 的 實 施 程 序 研 究 對 象 研 究 工 具 電 腦 診 斷 測 驗 之 系 統 流 程 設 計 及 線 上 電 腦 診 斷 測 驗 的 呈 現 一 實 施 程 序 本 研 究 的 實 施 流 程 如 下 : ( 一 ) 研 究 者 依 據 教 學 經 驗 及 常 犯 英 文 時 態 錯 誤 分 析, 決 定 英 文 時 態 診 斷 測 驗 之 內 容 架 構 ( 詳 表 1), 據 以 收 集 編 寫 試 題 ( 二 ) 編 擬 預 試 試 題 : 於 92 年 4 月 至 92 年 10 月 編 擬 試 題 並 進 行 試 題 專 家 效 度 及 內 容 效 度 檢 核 ( 三 ) 預 試 及 項 目 分 析 : 完 成 試 題 編 擬 後, 因 題 目 數 量 龐 大, 因 此 分 兩 次 預 試 首 先 於 92 年 9 月 進 行 前 半 部 90 題 之 預 試, 預 試 後 作 項 目 分 析, 刪 除 不 當 試 題 3 題 於 92 年 10 月 進 行 後 半 部 100 題 之 預 試, 預 試 後 作 項 目 分 析, 刪 除 不 適 宜 題 目 16 題 兩 次 預 試 合 計 獲 得 有 效 試 題 共 171 題 試 題 篩 選 標 準 是 依 據 余 民 寧 (1993,2004) 的 建 議 設 為 : 有 效 試 題 之 CTT 鑑 別 度 需 大 於 0.20, 難 度 值 需 介 於 0.20~0.85 之 間 ;IRT 之 鑑 別 度 需 大 於 0.20, 難 度 值 需 介 於 -2.50~2.50 之 間 ( 四 ) 建 立 題 庫 : 於 92 年 11 月 使 用 Micro CAT 系 統 中 的 ITEMAN 與 XCALBRE( 雙 參 數 ) 進 行 171 題 的 總 體 試 題 參 數 分 析, 以 獲 得 試 題 的 CTT 及 IRT 之 難 度 值 鑑 別 度 及 試 題 統 計 數, 如 :

14 204 慈 濟 大 學 教 育 研 究 學 刊. 第 二 期 平 均 數 標 準 差 然 後 使 用 Microsoft SQL 建 成 資 料 庫, 鍵 入 試 題 答 案 各 式 參 數 及 診 斷 訊 息 等, 完 成 題 庫 之 建 立 ( 五 ) 發 展 電 腦 診 斷 測 驗 : 以 SQL server 及 FrontPage 建 置 網 站 及 英 文 時 態 電 腦 診 斷 測 驗 系 統, 於 93 年 3 月 完 成 網 路 電 腦 程 式 設 計 及 測 試 ( 六 ) 正 式 施 測 並 評 鑑 電 腦 診 斷 測 驗 : 1 於 93 年 4 到 5 月 邀 請 慈 濟 大 學 大 一 學 生 上 機 進 行 英 文 時 態 電 腦 診 斷 測 驗 之 正 式 施 測 及 問 卷 調 查, 以 便 進 行 效 度 的 考 驗, 並 歸 納 出 學 生 在 每 一 種 時 態 的 犯 錯 頻 率, 以 瞭 解 學 生 英 文 時 態 學 習 的 困 難 所 在 2 於 電 腦 診 斷 測 驗 後, 立 即 請 學 生 填 寫 線 上 問 卷, 以 瞭 解 學 生 對 電 腦 診 斷 測 驗 實 用 性 的 看 法 3 於 93 年 6 月 進 行 英 文 文 法 精 熟 測 驗 (Grammar Proficiency Test, GPT), 比 較 其 測 驗 結 果 與 電 腦 診 斷 測 驗 結 果, 以 瞭 解 電 腦 診 斷 測 驗 的 同 時 效 度 ( 七 ) 資 料 處 理 與 分 析 : 於 93 年 4 月 至 8 月 陸 續 完 成 資 料 處 理 與 分 析, 並 根 據 分 析 結 果 做 成 結 論 與 建 議 二 研 究 對 象 本 研 究 的 樣 本 有 二 : ( 一 ) 預 試 樣 本 : 為 篩 選 試 題, 以 九 十 一 學 年 度 慈 濟 大 學 新 生 ( 約 250 名 ) 及 桃 園 縣 某 大 學 新 生 ( 約 50 名 ) 作 為 預 試 樣 本, 合 計 約 300 名 ( 二 ) 正 式 施 測 樣 本 : 建 構 完 成 電 腦 診 斷 測 驗 後, 以 慈 濟 大 學 大 一 學 生 為 對 象 選 取 100 名, 上 網 進 行 電 腦 化 診 斷 測 驗 並 參 加 英 文 文 法 精 熟 測 驗 (GPT) 然 僅 87 名 同 時 完 成 兩 種 測 驗 三 研 究 工 具 本 研 究 使 用 的 工 具 計 有 英 文 時 態 電 腦 診 斷 測 驗 題 庫 (171 題 ), 英 文 文 法 精 熟 測 驗 (GPT) 和 分 析 英 文 時 態 電 腦 診 斷 測 驗 的 有 效 性 與

15 英 文 時 態 電 腦 診 斷 測 驗 之 發 展 205 實 用 性 之 自 編 問 卷 以 下 說 明 這 三 項 研 究 工 具 : ( 一 ) 英 文 時 態 電 腦 診 斷 測 驗 題 庫 本 測 驗 題 庫 含 最 常 用 的 七 種 英 文 時 態, 每 一 時 態 下 含 2~4 個 次 向 度, 每 一 次 向 度 含 4~14 題, 合 計 171 題 ( 詳 表 1) 預 試 題 目 原 為 200 題, 邀 請 三 位 教 授 英 文 的 教 授, 審 議 預 試 題 目 的 內 容 難 度 及 選 項 的 適 切 性 後, 依 據 修 正 意 見 刪 題 後, 得 到 190 題, 以 約 300 名 大 一 學 生 分 兩 次 進 行 預 試, 根 據 預 試 項 目 分 析 分 析 結 果, 再 刪 除 不 適 宜 的 題 目, 獲 得 有 效 試 題 171 題 兩 次 預 試 測 驗 的 信 度 α 值 分 別 為.72 與.70, 顯 示 兩 份 預 試 測 驗 皆 有 良 好 的 內 部 一 致 性 93 年 6 月 以 慈 濟 大 學 178 名 大 一 學 生 的 TOEFL 模 擬 試 題 的 文 法 結 構 與 寫 作 得 分 作 為 效 標, 檢 視 其 與 兩 次 預 試 測 驗 結 果 的 相 關 係 數,r 值 分 別 為.68 與.69, 顯 示 兩 份 預 試 測 驗 有 良 好 的 效 標 關 聯 效 度 綜 上 所 述, 可 以 確 認 本 研 究 之 題 庫 試 題 具 有 良 好 的 信 效 度 在 將 171 題 有 效 試 題 置 入 題 庫 時, 研 究 者 依 據 每 一 試 題 的 錯 誤 選 項, 編 擬 該 題 的 診 斷 訊 息, 供 學 生 答 錯 時 呈 現, 作 為 即 時 回 饋 說 明 ( 二 ) 英 文 文 法 精 熟 測 驗 (Grammar Proficiency Test, GPT) 英 文 文 法 精 熟 測 驗 為 一 紙 筆 測 驗, 是 靜 宜 大 學 英 文 系 何 德 華 教 授 (Rau, Der-Hwa V., 1999) 編 製 的 紙 筆 成 就 測 驗, 含 50 題 選 擇 題, 主 要 目 的 在 瞭 解 大 學 生 的 英 文 文 法 學 習 成 就 本 研 究 僅 挑 選 其 中 與 時 態 相 關 的 43 題, 對 65 名 大 一 學 生 施 測, 以 檢 視 改 編 後 測 驗 的 信 效 度, 結 果 獲 得 內 部 一 致 性 信 度 α 值.79; 以 TOEFL 模 擬 試 題 的 文 法 結 構 與 寫 作 的 得 分 作 為 效 標, 算 出 效 標 關 聯 效 度 之 相 關 係 數 r=.78, 足 見 該 測 驗 具 有 十 分 良 好 的 信 效 度 ( 三 ) 英 文 時 態 電 腦 診 斷 測 驗 調 查 問 卷 此 問 卷 為 電 腦 線 上 調 查 問 卷, 內 容 包 含 考 生 基 本 資 料 及 考 生 對 英 文 時 態 電 腦 診 斷 測 驗 的 看 法, 問 題 包 含 評 判 診 斷 測 驗 的 呈 現 方 式 題 目 內 容 診 斷 回 饋 對 英 文 時 態 學 習 的 助 益, 以 及 對 該 診 斷

16 206 慈 濟 大 學 教 育 研 究 學 刊. 第 二 期 測 驗 的 建 議 四 電 腦 診 斷 測 驗 之 系 統 流 程 設 計 本 節 說 明 英 文 時 態 電 腦 診 斷 測 驗 系 統 的 施 測 診 斷 以 及 結 果 回 饋 的 設 計 流 程 ( 一 ) 電 腦 診 斷 測 驗 系 統 之 題 庫 設 計 電 腦 系 統 先 將 題 庫 所 含 的 七 個 時 態 分 為 二 部 分 : 1 簡 單 時 態 : 含 簡 單 現 在 式 簡 單 過 去 式 簡 單 未 來 式 ; 2 進 階 時 態 : 含 現 在 進 行 式 現 在 完 成 式 過 去 進 行 式 過 去 完 成 式 學 生 可 以 依 個 人 需 要, 選 擇 只 考 簡 單 時 態 或 進 階 時 態, 或 兩 者 皆 考 題 庫 的 七 個 時 態 中, 每 一 時 態 之 下 又 分 別 含 二 至 四 個 分 項, 因 此 簡 單 時 態 總 計 有 9 個 分 項 ; 進 階 時 態 總 計 有 12 個 分 項, 合 計 21 個 分 項 每 一 分 項 下 各 含 4 題 到 14 題, 因 此 題 庫 總 計 共 含 171 題 ( 詳 表 一 ) ( 二 ) 電 腦 診 斷 測 驗 系 統 之 選 題 設 計 學 生 如 選 擇 只 考 簡 單 時 態, 系 統 會 就 簡 單 時 態 所 含 的 9 個 分 項, 每 個 分 項 隨 機 抽 出 2 題 施 測, 總 計 18 題 學 生 如 選 擇 只 考 進 階 時 態, 系 統 會 就 進 階 時 態 所 含 的 12 個 分 項, 每 個 分 項 隨 機 抽 出 2 題 施 測, 總 計 24 題 學 生 如 選 擇 同 時 施 測 簡 單 時 態 及 進 階 時 態, 則 系 統 會 就 二 者 所 含 的 21 個 分 項, 每 個 分 項 隨 機 抽 出 2 題 施 測, 總 計 42 題 電 腦 系 統 的 選 題 策 略 為 優 先 由 屬 於 某 一 分 項 的 中 等 難 度 (p = 0.20~0.60 之 間 ) 題 目 中 隨 機 選 2 題 施 測 如 學 生 連 續 答 對 2 題, 即 通 過 此 分 項, 如 2 題 都 答 錯, 則 沒 有 通 過 該 分 項, 如 答 對 1 題 錯 1 題 時, 系 統 會 自 動 就 這 個 分 項 難 度 較 易 (p = 0.60 以 上 ) 之 題 目 再 挑 出 1 題 再 施 測, 如 仍 然 答 錯, 即 未 通 過 該 分 項, 如 答 對 則 通 過 該 分 項 如 此 依 序 答 完 所 選 之 全 部 分 項 試 題, 即 結 束 測 驗

17 英 文 時 態 電 腦 診 斷 測 驗 之 發 展 207 ( 三 ) 是 否 通 過 某 一 時 態 學 生 必 須 要 通 過 該 時 態 的 每 一 分 項, 才 算 通 過 該 時 態 例 如, 簡 單 現 在 式 有 三 個 分 項, 學 生 就 必 須 要 同 時 通 過 這 三 分 項 才 算 通 過 簡 單 現 在 式 的 檢 驗 ( 四 ) 考 生 測 驗 結 果 之 報 告 電 腦 診 斷 測 驗 在 考 生 回 答 每 一 題 之 後, 立 即 告 知 考 生 答 對 或 答 錯, 如 答 錯, 系 統 便 自 動 在 螢 幕 上 呈 現 該 題 之 正 確 答 案 及 錯 誤 分 析 的 診 斷 訊 息 全 部 測 驗 結 束 之 後, 立 即 呈 現 考 生 的 總 分 答 題 總 數 答 錯 題 數 通 過 及 未 通 過 之 時 態 總 分 之 計 算 公 式 如 下 : 假 設 學 生 作 答 40 題, 答 對 20 題, 總 分 =(100 分 40 題 ) 20 題 =50 分 ( 五 ) 問 卷 在 完 成 診 斷 測 驗 後, 請 學 生 直 接 填 寫 線 上 問 卷, 調 查 內 容 包 含 對 本 測 驗 的 呈 現 方 式 所 提 供 的 診 斷 訊 息 及 對 本 測 驗 的 建 議 與 批 評 等 五 線 上 電 腦 診 斷 測 驗 的 呈 現 ( 一 ) 測 驗 開 始 由 進 入 網 站, 如 圖 1 所 示, 學 生 必 須 填 寫 基 本 資 料, 如 : 系 級 姓 名 學 號 性 別 之 後, 即 可 登 入

18 208 慈 濟 大 學 教 育 研 究 學 刊. 第 二 期 圖 1 使 用 者 登 入 介 面 ( 二 ) 選 擇 測 驗 項 目 學 生 可 以 選 擇 考 簡 單 時 態 或 進 階 時 態, 或 二 者 全 選 如 圖 2 所 示 圖 2 選 擇 測 驗 項 目 之 介 面 ( 三 ) 正 式 測 驗 每 次 只 呈 現 一 題, 答 對 者, 給 予 Great, 你 答 對 了! 的 回 應 ; 答 錯 者, 則 給 予 正 確 答 案 及 診 斷 訊 息 說 明, 如 圖 所 示

19 英 文 時 態 電 腦 診 斷 測 驗 之 發 展 209 圖 3 試 題 呈 現 之 介 面 圖 4 正 確 答 題 之 回 應 畫 面 圖 5 答 題 錯 誤 之 回 應 與 診 斷 說 明 畫 面

20 210 慈 濟 大 學 教 育 研 究 學 刊. 第 二 期 ( 四 ) 測 驗 結 束 告 知 學 生 測 驗 結 果 測 驗 結 束 後 立 即 呈 現 該 考 生 的 總 分 通 過 時 態 項 目, 未 通 過 時 態 的 項 目, 如 圖 6 上 半 部 所 示 圖 6 測 驗 結 束 後 告 知 測 驗 結 果 現 之 畫 面 ( 五 ) 結 束 測 驗 後 當 學 生 得 知 其 測 驗 結 果 之 後, 邀 請 填 寫 電 腦 診 斷 測 驗 問 卷, 完 成 問 卷 後, 按 送 出, 即 結 束 全 部 的 測 驗, 如 圖 7 所 示 圖 7 問 卷 及 測 驗 結 束 介 面

21 英 文 時 態 電 腦 診 斷 測 驗 之 發 展 211 陸 研 究 結 果 本 節 以 研 究 結 果 檢 視 英 文 時 態 電 腦 診 斷 測 驗 之 有 效 性 實 用 性 及 大 一 學 生 應 用 英 文 時 態 的 困 難 所 在 一 英 文 時 態 電 腦 診 斷 測 驗 之 有 效 性 測 驗 之 有 效 性 可 由 其 鑑 別 力 及 效 度 來 檢 視 1 英 文 時 態 電 腦 診 斷 測 驗 之 鑑 別 力 為 檢 驗 英 文 時 態 電 腦 診 斷 測 驗 的 鑑 別 力, 選 取 高 分 組 學 生 43 人, 低 分 組 學 生 26 人 進 行 英 文 時 態 電 腦 診 斷 測 驗 高 低 分 組 學 生 在 英 文 時 態 電 腦 診 斷 測 驗 的 平 均 得 分 為 與 47.62, 由 t 考 驗 結 果 (t (67) = 11.49,p =.000) 發 現, 兩 組 學 生 在 電 腦 診 斷 測 驗 之 平 均 得 分 上 有 顯 著 差 異, 顯 示 該 電 腦 診 斷 測 驗 具 有 鑑 別 學 生 英 文 時 態 程 度 高 低 之 能 力 2 英 文 時 態 電 腦 診 斷 測 驗 之 同 時 效 度 為 檢 測 英 文 時 態 電 腦 診 斷 測 驗 的 同 時 效 度, 取 87 位 學 生 同 時 進 行 英 文 時 態 電 腦 診 斷 測 驗 及 英 文 文 法 精 熟 測 驗 (GPT), 以 考 驗 二 者 的 相 關 程 度 學 生 於 電 腦 診 斷 測 驗 與 GPT 紙 筆 測 驗 的 平 均 分 數 分 別 為 與 52.49, 二 者 的 相 關 值 達 顯 著 水 準,(r=.356,p=.004), 意 指 二 者 有 顯 著 相 關, 具 有 同 時 效 度, 亦 即 英 文 時 態 電 腦 診 斷 測 驗 所 評 量 的 實 為 英 文 文 法 精 熟 的 一 部 份 綜 上 所 述, 英 文 時 態 電 腦 診 斷 測 驗 具 有 良 好 的 鑑 別 力 及 同 時 效 度, 並 由 其 嚴 謹 的 發 展 過 程, 可 以 肯 定 其 內 容 效 度, 綜 合 此 三 項, 可 以 確 定 英 文 時 態 電 腦 診 斷 測 驗 的 有 效 性 二 英 文 時 態 電 腦 診 斷 測 驗 之 實 用 性 研 究 者 藉 由 分 析 英 文 時 態 電 腦 診 斷 測 驗 使 用 後 的 87 份 問 卷 調 查, 以 瞭 解 學 生 對 該 診 斷 測 驗 的 看 法 83~91% 的 學 生 對 電 腦 診 斷 測 驗 的 螢 幕 呈 現 方 式 字 體 大 小 顏 色 配 置 錯 誤 診 斷 資 訊 的 呈 現 方 式 及 整 體 呈 現 感 到 滿 意 77% 以 上 的 學 生 認 為 電 腦 診 斷 測 驗 所 呈 現 之 題

22 212 慈 濟 大 學 教 育 研 究 學 刊. 第 二 期 目 難 易 適 中, 符 合 其 程 度 85% 的 學 生 肯 定 電 腦 診 斷 測 驗 的 確 可 以 檢 測 出 自 己 在 時 態 方 面 的 問 題, 錯 誤 診 斷 資 訊 亦 能 切 中 題 目 的 要 旨,90 % 學 生 認 為 本 測 驗 可 以 協 助 其 釐 清 時 態 的 概 念, 對 其 英 文 時 態 學 習 有 助 益 綜 合 上 述 分 析 結 果 得 知, 學 生 對 英 文 時 態 電 腦 診 斷 測 驗 的 螢 幕 呈 現 方 式 試 題 難 易 提 供 的 診 斷 功 能 及 對 其 英 文 時 態 學 習 的 助 益 予 以 肯 定, 因 此 可 以 確 定 本 電 腦 診 斷 測 驗 是 具 有 實 用 性 三 大 一 學 生 應 用 英 文 時 態 之 困 難 所 在 本 研 究 根 據 87 位 受 試 學 生 在 英 文 時 態 電 腦 診 斷 測 驗 上 的 表 現, 分 析 其 英 文 時 態 的 困 難 所 在 判 別 學 生 遭 遇 英 文 時 態 學 習 困 難 之 準 則 為 : 學 生 在 某 一 分 項 的 答 錯 比 例 高 於 30% 表 2 列 出 學 生 在 七 種 時 態 的 21 個 分 項 上 的 答 錯 比 例, 檢 視 發 現 過 去 式 的 8 個 分 項 的 錯 誤 比 例 全 都 高 於 30%, 顯 見 學 生 在 過 去 式 的 各 個 面 向 皆 遭 遇 困 境 ; 現 在 式 的 10 個 分 項 中 有 7 個 分 項 的 錯 誤 比 例 高 於 30%, 顯 見 學 生 在 現 在 式 的 學 習 上, 亦 遭 遇 相 當 大 的 困 難 ; 未 來 式 的 三 個 分 項 的 錯 誤 比 例 皆 低 於 30%, 足 見 學 生 在 未 來 式 的 使 用 上 較 無 困 難 由 表 2 發 現 學 生 在 英 文 時 態 使 用 的 最 大 困 難 發 生 在 (F3) 表 示 過 去 沒 有 實 現 的 希 望 打 算 計 畫 等 動 詞 應 使 用 過 去 完 成 式, 有 45% 的 學 生 未 通 過 該 分 項 檢 測, 及 (B3) 感 官 動 詞 心 理 狀 態 動 詞 感 情 狀 態 動 詞 僅 使 用 簡 單 現 在 式, 而 不 可 用 現 在 進 行 式, 有 44% 的 學 生 未 通 過 該 分 項 檢 測 相 較 於 其 他 英 文 時 態 錯 誤 分 析 的 研 究 結 果 發 現, 學 生 在 簡 單 現 在 式 現 在 完 成 式 簡 單 過 去 式 過 去 完 成 式 上, 最 常 犯 錯 ( 黃 旭 生, 1994; 莊 永 山,2000), 這 與 本 研 究 之 發 現 相 符, 此 外 本 研 究 的 新 發 現 是, 學 生 同 時 在 現 在 進 行 式 及 過 去 進 行 式 的 錯 誤 率 也 相 當 高 本 題 庫 依 研 究 者 的 教 學 經 驗 及 英 文 時 態 錯 誤 分 析, 編 寫 試 題 雙 向 細 目 表 發 展 題 目, 目 的 在 診 斷 學 生 英 文 時 態 的 可 能 錯 誤, 發 現 其 學 習 困 境 綜 合 上 述 測 試 結 果 發 現 除 了 未 來 式 外, 學 生 在 現 在 式 及 過 去 式 的 18 個 分 項 中 有 15 個 分 項 有 學 習 困 難 ( 達 84%), 此 結 果 除 了 間 接

23 英 文 時 態 電 腦 診 斷 測 驗 之 發 展 213 佐 證 本 題 庫 所 選 之 向 度 確 為 學 生 英 文 時 態 學 習 的 弱 項 外, 學 生 在 各 分 項 的 錯 誤 百 分 比, 亦 值 得 本 校 英 文 教 師 授 課 教 學 之 參 考 表 二 七 種 英 文 時 態 之 錯 誤 類 型 分 析 時 態 類 型 現 在 式 簡 單 現 在 式 現 在 進 行 式 現 在 完 成 式 重 要 內 涵 與 常 犯 錯 誤 類 型 A1. 主 詞 與 動 詞 的 一 致 性 : (1) 主 詞 為 第 三 人 稱 單 數 時, 時 動 詞 需 加 s" 或 es" (2) 複 數 主 詞 的 動 詞 後 面 不 加 s" 或 es" (Fan, 1992) A2. 表 現 在 習 慣 的 頻 率 副 詞 用 簡 單 現 在 式 ( 李 杰 譯,1993) A3. when, before, after, until, as soon as, if 等 連 接 詞 所 引 導 表 時 間 或 條 件 的 副 詞 子 句 中, 須 使 用 現 在 式 代 替 未 來 式 ( 李 杰 譯,1993) B1. 句 中 如 有 now, at this moment, at present... 等, 表 現 在 正 在 進 行 的 時 間 副 詞 時, 應 使 用 現 在 進 行 式 B2. 表 出 發 到 達 往 來 等 動 詞, 可 用 現 在 進 行 式 代 替 未 來 式 B3. 感 官 動 詞 心 理 狀 態 動 詞 感 情 狀 態 動 詞 僅 使 用 簡 單 現 在 式, 而 不 可 用 現 在 進 行 式 ( 陳 錫 麟 沈 安 德,1999) C1. yet 用 在 疑 問 句 或 否 定 句 ;already 用 於 肯 定 句 中 C2. since" 與 "for" 的 用 法 (1)since + 過 去 時 間 或 過 去 式 句 子 (2)for + 一 段 時 間 題 數 出 現 答 錯 次 數 次 數 答 錯 比 例 % % % % % % % % C3. "have gone", have been" 的 誤 用 % C4. "just" 與 "just now" 用 法 的 混 淆 ( 陳 錫 麟 沈 安 德,1999) % 過 去 式 簡 單 過 去 式 D1. 動 作 發 生 在 過 去 某 一 時 間 點, 不 強 調 連 續 性, 通 常 用 過 去 式 表 達 D2. ago, yesterday, last night 等 表 過 去 的 時 間 副 詞, 必 需 使 用 過 去 式 D3. 不 規 則 動 詞 的 過 去 式 及 過 去 分 詞 ( 沈 安 德 蘇 正 隆,1993) % % %

24 214 慈 濟 大 學 教 育 研 究 學 刊. 第 二 期 未 來 式 過 去 進 行 E1. 過 去 進 行 式 通 常 與 表 過 去 某 時 間 點 的 副 詞 副 詞 片 語 或 副 詞 子 句 合 用, 如 then,at that time 等 式 E2. 兩 件 過 去 的 事 情, 一 件 發 生 時, 另 一 件 同 時 正 在 進 行 中, 前 者 用 過 去 式, 後 者 用 過 去 進 行 while/when 句 型 之 分 辨 與 用 法 過 去 完 成 式 簡 單 未 來 式 F1. 簡 單 過 去 式 與 過 去 完 成 式 的 時 間 順 序 上 的 混 淆 F2. 歷 史 事 實 雖 先 發 生, 但 不 可 用 過 去 完 成 式 而 要 用 簡 單 過 去 式 F3. 表 示 過 去 沒 有 實 現 的 希 望 打 算 計 畫 等 動 詞 應 使 用 過 去 完 成 式 ( 李 杰 譯,1993) G1. 未 來 預 定 或 未 來 會 發 生 之 事, 必 須 使 用 未 來 式 G2. 混 淆 了 be + 不 定 詞 與 be going to + 原 形 動 詞 的 用 法 % % % % % % % G3. 表 未 來 之 句 型 用 法 ( 馮 奮 馮 世 萃,1992) % 捌 結 論 本 研 究 旨 在 發 展 一 套 適 用 於 大 一 學 生 的 英 文 時 態 電 腦 診 斷 測 驗, 以 了 解 學 生 學 習 英 文 時 態 的 困 難 與 補 救 教 學 的 方 向, 同 時 也 檢 證 該 診 斷 測 驗 的 有 效 性 及 實 用 性 為 建 立 診 斷 測 驗 系 統 的 題 庫, 設 計 200 題 試 題, 經 專 家 檢 核 後 刪 成 190 題, 分 兩 次 預 試, 經 項 目 分 析 篩 選 後, 共 選 入 有 效 試 題 171 題 組 成 題 庫 兩 次 預 試 的 內 部 一 致 性 α 值 分 別 為.72 與.70, 顯 示 本 測 驗 題 庫 之 試 題 有 不 錯 的 信 度 為 檢 證 英 文 時 態 電 腦 診 斷 測 驗 之 有 效 性, 以 獨 立 樣 本 t 考 驗 檢 核 高 低 分 組 學 生 在 英 文 時 態 電 腦 診 斷 測 驗 上 的 平 均 得 分, 其 差 異 達 顯 著, 顯 示 本 電 腦 診 斷 測 驗 具 有 鑑 別 力 同 時 比 較 電 腦 診 斷 測 驗 結 果 與 紙 筆 的 英 文 文 法 精 熟 測 驗 (GPT) 結 果, 其 相 關 亦 達 顯 著, 驗 證 本 電 腦 診 斷 測 驗 的 同 時 效 度 經 由 對 87 位 英 文 時 態 電 腦 測 驗 考 生 的 問 卷 調 查 得 知, 考 生 對 於 測 驗 的 呈 現 方 式 考 題 的 難 易 程 度 均 感 到 相 當 的 滿 意, 且 認 為 該 測 驗 確 實 可 以 檢 測 出 學 生 時 態 的 問 題, 而 其 回 饋 之 錯 誤 診 斷 資 訊 都 能 切 中 題 旨, 有 助 於 釐 清 時 態 的 概 念 整 體 而 言, 學 生 認 為 本 測 驗 對 其 英 文 時 態 的 學 習 有 助 益 但 是 部 分 學 生 認 為 本 系 統 施

25 英 文 時 態 電 腦 診 斷 測 驗 之 發 展 215 測 的 題 數 仍 偏 多, 建 議 設 法 減 少 施 測 的 題 數 綜 合 上 述 鑑 別 力 同 時 效 度 的 檢 證 結 果, 及 問 卷 調 查 分 析 結 果, 可 以 肯 定 本 研 究 所 發 展 的 英 文 時 態 電 腦 診 斷 測 驗 具 有 良 好 的 效 度, 且 獲 得 使 用 者 對 其 功 能 的 肯 定, 稱 得 上 是 一 個 具 實 用 性 的 診 斷 測 驗 系 統 對 教 師 而 言, 英 文 時 態 電 腦 診 斷 測 驗 可 以 提 供 教 學 前 後 的 英 文 時 態 評 量, 以 瞭 解 學 生 的 學 習 起 點 行 為 及 學 習 的 困 難 所 在 學 生 可 以 隨 時 上 網 使 用 本 電 腦 診 斷 測 驗 進 行 檢 測, 如 答 錯, 可 立 即 顯 示 學 生 的 錯 誤 並 提 供 正 確 的 概 念, 具 有 教 學 功 能, 同 時 也 可 以 迅 速 提 供 教 學 者 學 生 的 評 量 結 果, 作 為 補 救 教 學 之 規 劃 與 實 施 的 參 考, 堪 稱 多 功 能 且 實 用 的 測 驗 英 文 時 態 電 腦 診 斷 測 驗 在 題 庫 及 系 統 介 面 及 英 文 時 態 錯 誤 分 析 上 仍 有 其 侷 限 性 首 先, 英 文 時 態 共 有 十 二 種, 但 是 本 研 究 僅 採 用 其 中 最 常 用 的 七 種, 期 待 後 續 擴 充 測 驗 題 庫 時, 能 將 十 二 種 時 態 都 涵 蓋 進 來 題 庫 的 信 效 度 雖 經 謹 慎 的 檢 證, 但 總 題 目 數 只 有 171 題, 仍 嫌 不 足, 應 再 擴 增 本 研 究 所 使 用 的 系 統 介 面, 雖 獲 得 不 錯 的 評 價, 但 僅 具 有 電 腦 適 性 測 驗 的 樣 子, 尚 未 具 備 適 性 測 驗 全 部 的 功 能, 期 待 後 續 能 找 到 適 合 的 資 訊 團 隊, 協 助 將 適 性 測 驗 的 功 能 融 入 程 式 中, 同 時 在 新 題 目 的 發 展 上, 宜 傾 向 生 活 情 境 化, 讓 評 量 過 程 具 趣 味 性 且 貼 近 考 生 的 生 活 經 驗, 使 本 英 文 時 態 電 腦 診 斷 測 驗 系 統 能 更 臻 完 善 致 謝 本 研 究 承 蒙 教 育 部 經 費 補 助 支 持 ( 乙 -91-FD27-3), 及 慈 濟 大 學 教 育 研 究 所 黃 玉 雯 小 姐 在 電 腦 程 式 設 計 及 系 統 維 護 上 的 協 助, 特 此 表 示 最 誠 摯 的 謝 忱

26 216 慈 濟 大 學 教 育 研 究 學 刊. 第 二 期 參 考 文 獻 何 榮 桂 (1992) 題 庫 的 概 念 及 其 應 用 資 訊 與 教 育 雜 誌,31,10-13 何 榮 桂 (2000) 網 路 環 境 題 庫 與 測 驗 之 整 合 系 統, 科 學 發 展,28(7), 余 民 寧 (1993) 試 題 反 應 理 論 的 介 紹 (11)-- 題 庫 的 建 立 研 習 資 訊,10(4),9-13 余 民 寧 (2004) 教 育 測 驗 與 評 量 - 成 就 測 驗 與 教 學 評 量 ( 第 二 版 ) 台 北 : 心 理 李 杰 ( 譯 )(1993) R. Hart 著 英 文 常 見 錯 誤 121 台 北 市 : 秋 海 棠 李 盛 祖 (1997) 國 小 數 學 乘 法 系 列 診 斷 測 驗 題 庫 的 建 立 與 應 用 國 立 台 灣 師 範 大 學 教 育 心 理 與 輔 導 研 究 所 碩 士 論 文, 未 出 版, 台 北 市 沈 安 德 蘇 正 隆 (1993) 英 語 的 對 與 錯 台 北 市 : 書 林 林 月 仙 (1998) 國 民 小 學 中 低 年 級 數 學 診 斷 測 驗 之 發 展 及 其 相 關 研 究 國 立 高 雄 師 範 大 學 特 殊 教 育 研 究 所 碩 士 論 文, 未 出 版, 高 雄 市 胡 依 斐 (1988) 編 訂 兒 童 各 階 段 國 語 發 展 診 斷 測 驗 擬 議 輔 仁 大 學 語 言 學 研 究 所 碩 士 論 文, 未 出 版, 台 北 縣 翁 淑 蕙 (1999) 台 灣 嘉 義 地 區 國 高 中 學 生 使 用 英 語 時 制 時 貌 表 現 之 研 究 國 立 清 華 大 學 語 言 學 研 究 所 碩 士 論 文, 未 出 版, 新 竹 市 許 擇 基 劉 長 萱 (1992) 試 題 作 答 理 論 簡 介 台 北 : 中 國 行 為 科 學 社 陳 玟 秀 (1999) 國 民 中 學 資 源 班 學 生 數 學 科 診 斷 測 驗 編 製 國 立 高 雄 師 範 大 學 特 殊 教 育 研 究 所 碩 士 論 文, 未 出 版, 高 雄 市 陳 俊 廷 (2002) 高 中 學 生 空 間 向 量 學 習 困 難 的 診 斷 測 驗 工 具 發 展 研 究 國 立 高 雄 師 範 大 學 數 學 系 碩 士 論 文, 未 出 版, 高 雄 市 陳 姿 君 (2002) 國 中 英 語 閱 讀 能 力 診 斷 測 驗 編 製 之 研 究 國 立 彰 化 師 範 大 學 特 殊 教 育 學 系 在 職 進 修 專 班 碩 士 論 文, 未 出 版, 彰 化 市 陳 錫 麟 沈 安 德 (1999) 高 中 英 語 錯 誤 辨 析 手 冊 台 北 市 : 寂 天 文 化 莊 永 山 (2000) 臺 灣 中 學 生 英 文 教 材 與 寫 作 字 彙 研 究 台 北 市 : 文 鶴 馮 奮 馮 世 萃 (1992) 英 文 正 誤 用 法 手 冊 台 北 市 : 旺 文 黃 旭 生 (1994) 時 態 錯 誤 分 析 -- 台 灣 南 部 學 生 在 英 語 動 詞 時 態 所 犯 的 錯 誤 之 分 析 研 究 國 立 高 雄 師 範 大 學 英 語 教 育 研 究 所 碩 士 論 文, 未 出 版, 高 雄 市 潘 靖 瑛 (2003) 簡 介 認 知 診 斷 評 量, 新 世 紀 師 資 培 育 課 題 與 省 思 花 蓮 : 慈 濟 大 學 潘 靖 瑛 (2005) IRT 理 論 在 測 驗 編 製 的 應 用,IRT 測 驗 與 教 學,1,26-51 潘 靖 瑛 (2002) A study of automated parallel test construction methods based on IRT and classical test theory. 慈 濟 大 學 人 文 社 會 科 學 月 刊,1, 劉 振 蘋 (1993) 我 國 大 學 生 英 文 寫 作 上 的 錯 誤 與 補 救 : 用 字 措 辭 之 初 探 中 華 民 國 英 語 文 教 學 研 討 會 論 文 集 : 第 十 屆,10, 鄭 美 芝 (2002) 國 民 小 學 低 年 級 注 音 符 號 能 力 診 斷 測 驗 與 補 救 教 學 效 益 之 探 討 國

27 英 文 時 態 電 腦 診 斷 測 驗 之 發 展 217 立 台 南 師 範 學 院 國 民 教 育 研 究 所 碩 士 論 文, 未 出 版, 台 南 市 鄭 裕 篤 (2000) 電 腦 題 庫 的 設 計 與 發 展 測 驗 統 計 簡 訊,37,15-22 Alessi, S.M., & Trollip, S. R. (1991). Computer-based instruction: Methods and development, Englewood Cliffs, NJ: Prentice-Hill. Cisero, C. A., Royer, J. M., Marchant, H. G.., & Jackson, S. J. ( 1997). Can the computer-based academic assessment system(caas) be used to diagnose reading disability in college students? Journal of Educational Psychology, 89(4), Corbett, A. T., Anderson, J. R., & O'Brien, A. T. (1995). Student modeling in the ACT programming tutor. In Paul D. Nichols, Susan F. Chipman, & Robert L. Brennan (Eds.), Cognitively Diagnostic Assessment (pp ). Hillsdale, NJ: Erlbaum. Fan, Hon-I. (1992). A study of errors in English tense and aspect committed by senior high school first year students & some techniques in teaching tense and aspect. Selected papers from the ninth conference on English teaching and learning in the Republic of China, 9, Gitomer, D. H., Steinberg, L. S., & Mislevy, R. J. (1995). Diagnostic assessment of troubleshooting skill in an intelligent tutoring system. In Paul D. Nichols, Susan F. Chipman, & Robert L. Brennan(Eds.), Cognitively Diagnostic Assessment, Hillsdale, NJ: Erlbaum. Hambleton, R. K., & Swaminathan H. (1985). Item Response Theory: Principles and Applications. Boston: Kluwer Academic Publishers. Hatcher, J., Snowling, M. J., & Griffiths, Y. M. (2000). Cognitive assessment of dyslexic students in higher education. British Journal of Educational Psychology, 72, Meziani, A. (1988). The English tense system: A pedagogic analysis. IRAL, 26(4), Nicols, P. (1994). A framework for developing cognitively diagnostic assessments. Review of Educational Research, 64, Rau, Der-Hwa V. (1999). Validity and reliability of grammar proficiency test and evaluation of the effectiveness of freshman English composition class. Providence Journal of Humanities,11, Wainer, H. (1990). Computerized Adaptive Testing: A Primer. Hillsdale, NJ: Lawrence Erlbaum Associates. Worner, R. B. (1977). Student Diagnosis, Placement, and Prescription: A Criterion-Referenced Approach. Bloomington: Indiana Uni. Press.

28 218 慈 濟 大 學 教 育 研 究 學 刊. 第 二 期