學 生 學 習 成 果 評 量 銘 傳 大 學 王 金 龍 2011/6/28 1
報 告 內 容 簡 介 學 習 成 果 評 量 方 法 評 量 標 準 評 量 分 析 評 量 系 統 結 語 2
簡 介 全 球 高 等 教 育 學 府 數 量 急 遽 擴 張 社 會 對 於 大 學 生 的 素 質 感 到 疑 慮 學 生 及 家 長 除 重 視 文 憑 外, 更 重 視 學 生 所 學 如 何 提 高 個 人 素 質 生 活 品 質 及 是 否 合 於 職 場 所 趨 確 保 學 生 學 習 成 果, 繼 之 有 效 達 成 社 會 大 眾 對 學 校 教 育 的 期 望 證 明 學 習 成 果 符 合 社 會 所 需, 已 成 為 學 校 關 注 的 目 標 3
校 務 評 鑑 核 心 要 素 導 入 品 質 保 證 之 PDCA 架 構, 引 導 大 學 校 院 找 出 自 我 定 位, 進 而 擬 訂 校 務 發 展 計 畫, 以 確 保 教 學 與 研 究 績 效 引 導 大 學 校 院 擬 訂 學 生 學 習 之 核 心 能 力, 並 據 此 研 擬 學 生 學 習 成 效 評 估 機 制, 以 確 保 學 生 學 習 成 效 並 強 化 學 生 競 爭 力, 並 做 為 學 校 資 源 投 入 與 功 能 運 作 之 依 歸 4
系 所 評 鑑 的 轉 變 輸 入 面 : 提 供 學 生 一 個 優 質 學 習 環 境 過 程 面 : 研 擬 一 套 學 生 學 習 成 效 評 估 機 制 結 果 面 : 評 鑑 系 所 依 據 學 校 所 建 立 之 學 生 學 習 成 效 評 估 機 制, 落 實 教 育 目 標 與 核 心 能 力, 確 保 學 生 學 習 成 效 之 作 為 5
評 鑑 中 心 董 事 長 劉 維 琪 未 來 第 二 周 期 將 轉 以 學 生 為 主 的 學 習 導 向, 著 重 檢 視 學 生 學 什 麼 如 何 學 學 不 好 如 何 改 善 聚 焦 在 核 心 能 力 的 學 習 成 效, 也 就 是 以 學 生 為 本 位 的 思 考 方 式, 與 過 去 以 老 師 為 主 的 教 學 導 向 相 反 http://mag.udn.com/mag/campus/storypage.jsp?f_art_id=292179 6
評 鑑 中 心 董 事 長 劉 維 琪 第 二 周 期 評 鑑 強 調 過 程 面 及 結 果 面 由 各 系 所 獨 立 製 定 專 業 核 心 能 力, 訂 定 學 習 成 效 後, 透 過 標 準 公 平 的 評 量 方 法, 評 估 學 生 學 習 效 果 好 壞, 再 回 頭 調 整 核 心 目 標 http://mag.udn.com/mag/campus/storypage.jsp?f_art_id=292179 7
現 況 教 學 大 綱 服 務 交 成 績 上 課 教 學 輔 導 期 末 考 少 了 什 麼 小 考 研 究 教 學 期 末 評 量 期 中 考 教 學 期 中 評 量 作 業 8
何 謂 學 習 成 果 評 量 學 習 成 果 評 量 是 一 個 資 料 收 集 的 過 程, 會 告 訴 一 個 組 織 他 們 所 提 供 的 教 學 活 動 或 經 驗 傳 承, 對 那 些 參 與 的 人 是 否 有 預 期 的 影 響 換 句 話 說, 組 織 對 於 他 們 所 教 育 的 學 生 是 否 有 創 造 出 差 異 性 9
學 習 成 果 導 向 評 量 制 定 之 流 程 第 二 周 期 系 所 評 鑑 第 一 周 期 系 所 評 鑑 10
學 習 成 果 導 向 評 量 之 PDCA 宗 旨 目 標 策 略 基 本 素 養 核 心 能 力 學 習 成 果 評 量 方 法 與 標 準 Plan Do 課 程 學 程 教 學 資 源 教 育 活 動 Act Check 修 正 行 動 設 計 教 學 方 法 調 整 核 心 能 力 精 進 學 習 成 果 進 行 評 量 分 析 成 果 發 佈 成 果 11
學 習 成 果 評 量 架 構 教 職 員 生 校 友 調 查 雇 主 問 卷 總 結 性 形 成 性 12
Capstone Outcome/Summative Process/Formative 13
基 本 素 養 核 心 能 力 與 評 量 基 本 素 養 核 心 能 力 學 程 能 力 重 點 課 程 方 法 方 法 方 法 方 法 標 準 標 準 標 準 標 準 學 習 成 果 評 量 是 需 要 養 成 循 序 漸 近 - 由 主 要 到 次 要 由 簡 單 到 繁 複 教 學 單 位 - 學 系 學 院 再 到 學 校 由 直 接 與 課 程 相 關 者 陸 續 發 展 至 間 接 與 課 程 相 關 者 14
核 心 能 力 - 學 習 成 果 檢 核 回 饋 改 進 能 力 確 立 核 心 能 力 關 聯 能 力 課 程 精 進 學 習 成 果 訂 定 學 習 成 果 發 佈 評 量 結 果 檢 核 學 習 成 果 撰 寫 自 評 結 果 分 析 學 習 成 果 15
課 程 與 核 心 能 力 之 關 聯 ( 財 金 系 ) 1a- 文 字 組 織 撰 寫 報 告 製 作 簡 報 與 表 達 能 力 ( 表 達 能 力 ) 1b- 團 體 分 工 合 作 溝 通 協 調 之 能 力 ( 協 調 能 力 ) 1c- 清 晰 之 邏 輯 思 考 能 力 ( 邏 輯 思 考 能 力 ) 1d- 運 用 數 學 統 計 等 工 具 之 能 力 ( 基 礎 數 學 能 力 ) 16
課 程 大 綱 課 程 大 綱 中 說 明 該 課 程 達 成 之 學 系 目 標 核 心 能 力 及 其 比 重 17
學 習 成 果 依 循 SMART 原 則 學 習 成 果 是 學 習 者 所 達 成 的 重 要 成 就, 而 且 必 須 課 程 結 束 後, 可 以 明 確 地 驗 證 出 來 多 元 評 量 方 法 來 衡 量 Specific( 明 確 ) Measurable( 可 評 量 ) Attainable-Oriented( 可 達 成 導 向 ) Results-Oriented( 結 果 導 向 ) Time Bound( 具 有 期 限 ) 18
學 習 者 (Audience) 學 習 成 果 撰 寫 要 素 以 學 習 者 角 度 為 出 發 點 特 定 行 為 或 能 力 (Behavior or capability) 學 習 者 將 會 學 到 的 行 為 或 技 能 特 定 情 境 (Conditons) 學 習 者 執 行 上 述 行 為 或 能 力 的 情 境, 亦 即 在 什 麼 條 件 進 行 知 識 技 能 或 態 度 的 學 習 ( 最 好 是 可 觀 察 的 情 境 ) 評 量 標 準 (Degree) 指 學 習 者 學 習 完 畢 時, 對 上 述 之 能 的 精 熟 程 度, 亦 即 評 量 學 習 成 功 的 標 準 例 句 : 學 習 者 透 過 數 位 學 習 能 瞭 解 退 化 性 關 節 炎 的 分 期 至 少 三 期 之 特 色 學 習 情 境 行 為 動 詞 學 習 內 容 評 量 標 準 19
學 習 成 果 撰 寫 範 例 不 清 楚 且 無 法 衡 量 的 學 生 在 職 場 可 以 欣 賞 文 化 多 樣 性 清 楚 且 可 衡 量 的 學 生 可 以 用 寫 作 的 方 式, 去 表 達 及 整 合 他 們 在 職 場 上 所 體 驗 到 的 文 化 多 樣 性 使 用 統 計 軟 體 正 確 地 使 用 適 切 的 統 計 假 設 檢 定 去 分 析 資 料 學 生 會 撰 寫 研 究 報 告 學 生 會 適 當 地 使 用 研 究 方 法 去 設 計 和 完 成 研 究 報 告 20
評 量 評 量 是 以 有 系 統 的 方 式, 收 集 審 查 和 利 用 有 關 教 育 內 容 的 資 訊, 以 改 善 學 生 的 學 習 和 發 展 成 就 評 量 方 法 直 接 評 量 間 接 評 量 評 量 標 準 測 試 藍 圖 評 量 尺 規 評 量 進 行 評 量 分 析 評 量 發 佈
評 量 方 法 直 接 評 量 直 接 去 評 量 學 生, 測 出 學 生 學 識 程 度 及 心 理 狀 況 間 接 評 量 間 接 推 估 學 生 學 習 成 果, 改 善 教 學 或 學 習 考 試 / 測 驗 / 會 考 專 業 或 臨 床 表 現 第 三 者 專 業 證 照 考 試 學 生 e-portfolio 專 題 報 告 審 查 口 試 或 面 試 實 習 單 位 主 管 之 評 量 畢 業 校 友 的 追 蹤 與 調 查 雇 主 對 畢 業 校 友 的 工 作 滿 意 度 校 友 畢 業 後 的 成 長 自 評 學 生 學 習 經 驗 問 卷 調 查
直 接 評 量 針 對 學 生 知 識 技 能 態 度 或 實 際 行 為 表 現, 設 計 測 驗 心 理 量 表 或 問 卷 等 工 具, 然 後 運 用 這 些 工 具 直 接 去 評 量 學 生, 測 出 學 生 學 識 程 度 及 心 理 狀 況 猶 如 用 體 溫 計 去 測 出 體 溫 或 用 尺 去 量 身 高 一 樣
常 用 直 接 評 量 考 試 / 測 驗 / 會 考 ( 測 試 藍 圖 ) 專 業 或 臨 床 表 現 ( 評 量 尺 規 ) 第 三 者 專 業 證 照 考 試 學 生 e-portfolio( 評 量 尺 規 ) 專 題 報 告 審 查 ( 評 量 尺 規 ) 口 試 或 面 試 ( 評 量 尺 規 ) 實 習 單 位 主 管 之 評 量 ( 評 量 尺 規 ) 24
間 接 評 量 欠 缺 有 效 工 具 去 評 量 學 習 成 果, 可 從 學 生 行 為 ( 積 極 投 入 學 習 活 動 ), 或 在 校 學 習 態 度 與 行 為 表 現 ( 準 時 繳 交 作 業 上 課 不 遲 到 ), 來 間 接 推 估 學 生 學 習 成 果, 改 善 教 學 或 學 習 大 學 生 學 習 經 驗 問 卷 調 查 (http://www.cseq.iub.edu) 全 國 性 學 生 學 習 投 入 程 度 調 查 (http://www.nsse.iub.edu)
常 用 間 接 評 量 畢 業 校 友 的 追 蹤 與 調 查 雇 主 對 畢 業 校 友 的 工 作 滿 意 度 校 友 畢 業 後 的 成 長 自 評 學 生 學 習 經 驗 問 卷 調 查 26
間 接 評 量 範 例 : 寫 作 能 力 的 評 量 評 量 學 生 的 文 法 與 修 辭 選 出 正 確 的 文 法 較 佳 的 修 辭 方 式 或 者 是 挑 出 錯 誤 間 接 評 量 測 量 到 片 段 的 知 識, 無 法 測 量 到 統 整 綜 合 的 能 力 直 接 評 量 要 求 學 生 寫 出 作 品 來, 較 能 測 量 到 統 整 綜 合 的 能 力 27
多 元 評 量 方 法 課 程 層 級 直 接 評 量 課 程 與 作 業 考 試 與 平 時 小 考 標 準 化 測 驗 期 末 論 文 & 報 告 口 說 報 告 寫 作 練 習 課 堂 討 論 研 究 專 案 個 案 分 析 藝 術 表 演 間 接 評 量 課 程 評 估 ( 教 師 自 評 學 生 自 評 ) 服 務 學 習 的 時 間 學 生 成 績 比 例 分 析 學 生 用 於 作 業 上 的 時 間 學 生 用 於 課 外 文 化 活 動 的 時 數 學 系 層 級 知 識 精 通 程 度 之 前 測 與 後 測 實 作 專 案 證 書 或 證 照 的 及 格 率 學 生 發 表 論 文 實 習 導 師 評 分 綜 合 性 會 考 學 程 完 成 率 畢 業 專 題 焦 點 團 體 訪 談 選 課 資 料 就 業 安 排 系 所 或 學 程 審 查 校 友 調 查 ( 滿 意 度 調 查 ) 學 生 意 見 調 查 學 生 畢 業 率
評 量 標 準 測 試 藍 圖 Test Blue Print 描 述 測 驗 中 所 應 該 包 含 的 內 容 以 及 所 評 量 到 的 能 力 ( 會 考 ) 評 量 尺 規 Rubrics 一 套 建 立 評 分 的 準 則, 用 作 評 估 學 生 特 定 作 業 的 標 準 ( 論 文 專 題 )
Rubrics 評 量 尺 規 Rubrics 是 一 套 建 立 評 分 的 準 則, 用 作 評 估 學 生 特 定 作 業 的 標 準 每 個 標 準 都 明 列 達 成 的 程 度, 以 學 習 成 效 為 基 準 的 評 估 方 式 (performance-base), 希 望 能 正 確 反 映 學 生 的 學 習 效 果 Rubrics 為 雙 向 表 格 縱 向 : 評 鑑 依 據 的 審 查 項 目 (Criteria) 橫 向 :3 個 到 5 個 評 分 標 準 不 同 表 現 水 準 標 準 的 層 次 (Level) 與 其 對 應 的 分 數 30
Rubrics 評 分 範 例 31
測 驗 藍 圖 將 重 要 之 教 學 目 標 列 出, 並 描 述 測 驗 中 所 應 該 包 含 的 內 容 以 及 所 評 量 到 的 能 力 釐 清 教 學 目 標 和 學 習 內 容 的 關 係 : 能 夠 真 正 評 量 到 預 期 之 學 習 結 果 確 保 試 卷 的 品 質, 避 免 命 題 者 隨 意 性 和 盲 目 性 的 命 題 設 計 雙 向 細 目 表 為 命 題 依 據 32
雙 向 細 目 表 範 例 教 材 內 容 試 題 形 式 認 知 歷 程 向 度 知 識 理 解 應 用 分 析 綜 合 評 鑑 合 計 ( 題 數 ) 百 分 比 單 元 一 選 擇 題 非 選 擇 題 小 計 單 元 二 選 擇 題 非 選 擇 題 小 計 選 擇 題 合 計 非 選 擇 題 小 計 百 分 比 33
模 式 1: 某 項 能 力 之 相 關 課 程 是 呈 現 樹 狀 關 係 高 階 課 程 直 接 在 高 階 課 程 之 期 末 考 試 上 設 計 整 體 能 力 檢 核 ( 測 試 藍 圖 ) 中 階 課 程 1 中 階 課 程 2 基 礎 課 程 1 基 礎 課 程 2 基 礎 課 程 3 基 礎 課 程 4 34
模 式 2: 某 項 能 力 之 相 關 課 程 是 呈 現 森 林 狀 關 係 直 接 在 高 階 課 程 之 期 末 考 試 上 設 計 整 體 能 力 檢 核 ( 測 試 藍 圖 ) 高 階 課 程 1 高 階 課 程 2 高 階 課 程 3 中 階 課 程 1 中 階 課 程 2 中 階 課 程 1 中 階 課 程 2 中 階 課 程 1 中 階 課 程 2 基 礎 課 程 1 基 礎 課 程 2 基 礎 課 程 3 基 礎 課 程 4 基 礎 課 程 1 基 礎 課 程 2 基 礎 課 程 3 基 礎 課 程 4 基 礎 課 程 1 基 礎 課 程 2 基 礎 課 程 3 基 礎 課 程 4 35
模 式 3: 某 項 能 力 之 相 關 課 程 是 呈 現 森 林 狀 關 係 會 考 直 接 在 會 考 上 設 計 整 體 能 力 檢 核 ( 測 試 藍 圖 ) 高 階 課 程 1 高 階 課 程 2 高 階 課 程 3 中 階 課 程 1 中 階 課 程 2 中 階 課 程 1 中 階 課 程 2 中 階 課 程 1 中 階 課 程 2 基 礎 課 程 1 基 礎 課 程 2 基 礎 課 程 3 基 礎 課 程 4 基 礎 課 程 1 基 礎 課 程 2 基 礎 課 程 3 基 礎 課 程 4 基 礎 課 程 1 基 礎 課 程 2 基 礎 課 程 3 基 礎 課 程 4 36
分 析 評 量 結 果 37
分 析 評 量 解 譯 評 量 資 料 解 譯 評 量 資 料, 以 了 解 學 習 成 果 之 達 成 狀 況 勾 繪 成 果 樣 貌 使 用 定 性 和 定 量 方 法, 勾 繪 出 學 習 成 果 的 整 體 樣 貌 指 出 優 點 缺 點 撰 寫 一 份 敘 述 性 報 告, 指 出 學 習 成 果 的 優 點 和 缺 點 提 出 具 體 建 議 基 於 資 料 分 析 的 結 果 以 及 學 習 成 果 的 框 架, 提 出 具 體 的 建 議 製 作 各 種 報 告 依 不 同 讀 者 角 色, 製 作 不 同 重 點 的 報 告 38
確 立 核 心 能 力 訂 定 學 習 成 果 評 量 學 習 成 果 分 析 學 習 成 果 撰 寫 自 評 結 果 回 饋 改 進 能 力 統 計 取 樣 例 1: 最 高 取 5 份 中 間 取 5 份 最 低 取 5 份 例 2: 中 間 取 5 份 例 3: 每 10 份 取 1 份 測 試 藍 圖 評 量 尺 規 會 考 證 照 太 複 雜 負 擔 太 重 39
教 學 評 量 之 系 統 化 40
學 習 成 果 導 向 評 量 機 制 ( 本 機 制 已 獲 MSCHE 美 國 大 學 認 證 ) 學 習 成 果 評 量 系 統 41
取 得 的 畫 面 剪 輯 : 2010/11/7 上 午 09:28 學 習 成 果 評 量 相 關 系 統 學 期 成 績 數 位 教 學 平 台 學 習 成 果 評 量 教 學 反 應 評 量 課 程 大 綱 教 師 成 長 歷 程 42
學 習 成 果 整 合 系 統 運 作 核 心 能 力 建 置 核 心 能 力 檢 核 方 式 評 量 尺 規 測 驗 藍 圖 結 果 填 入 評 量 尺 規 結 果 填 入 測 驗 藍 圖 系 統 自 動 初 步 分 析 系 所 細 部 評 量 分 析 評 量 發 佈 43
核 心 能 力 建 置
核 心 能 力 檢 核 方 式 (1/2)
核 心 能 力 檢 核 方 式 (2/2)
測 驗 藍 圖 點 選 數 值 編 輯 試 題 內 容 或 試 題 形 式, 或 直 接 點 選 引 用, 複 製 其 他 測 驗 藍 圖 之 規 劃
測 驗 藍 圖 試 題 內 容
測 驗 藍 圖 試 題 形 式
測 驗 藍 圖 雙 向 細 目 填 入 各 試 題 內 容 之 各 認 知 層 級 的 試 題 佔 分 與 題 數
測 驗 藍 圖 考 卷 規 劃 實 際 施 測 之 試 卷 依 此 規 劃 排 列, 可 便 於 下 一 步 細 項 成 績 之 輸 入 對 應, 並 由 系 統 產 生 統 計 分 析 之 報 表
測 驗 藍 圖 細 項 成 績 填 入 方 法 : 1. 下 載 CSV 成 績 格 式, 編 輯 後 上 傳 2. 自 行 於 系 統 網 頁 上 輸 入 細 項 成 績 填 入 樣 本 : 1. 全 班 所 有 之 細 項 成 績 2. 挑 選 上 中 下 各 五 位 同 學 之 成 績
各 教 材 內 容 與 認 知 層 級 之 平 均 答 對 率 53
評 量 尺 規
評 量 尺 規 - 評 分 標 準 & 審 查 項 目 建 立 評 分 標 準 建 立 審 查 項 目
評 量 尺 規 - 評 分 說 明
各 審 查 項 目 之 人 數 直 條 圖
總 結 性 學 習 成 果 評 量 虛 功 機 制 PDCA 模 式 結 語 規 劃 執 行 佐 證 檢 討 反 思 改 進 不 斷 進 步 自 我 研 究 : 各 校 自 訂 合 適 學 習 成 果 評 量 機 制 Remember why we are doing this! Keep it simple and useful!
簡 報 完 畢, 敬 請 指 教! 高 等 教 育 評 鑑 中 心 - 評 鑑 雙 月 刊 銘 傳 大 學 學 習 成 果 評 量 推 動 之 經 驗 分 享 (http://epaper.heeact.edu.tw/images/epaper_heeact_edu_tw/2010_1101_no28 /PDF_28/28_5-5_23-29.pdf) 59