幸 福 医 药 黎 用 冠 慈 善 基 金 资 助 香 港 幸 福 医 药 黎 用 冠 慈 善 基 金 培 训 课 程 系 列 2013 年 度 西 部 高 校 青 年 教 师 教 育 行 政 与 政 策 研 究 暑 期 研 讨 班 (2013.8.4-2013.8.12) 主 办 单 位 西 安 交 通 大 学 高 等 教 育 研 究 所
Institute of Higher Education Xi'an Jiaotong University International Perspective in Monitoring Education Quality 从 国 际 視 域 監 控 教 育 素 貭 何 瑞 珠 Professor Esther Ho Director, HKPISA Centre, Chinese University of Hong Kong 10-15/08/2013 @estherho 2013 2
UNESCO Student Learning Assessment (Ho, 2013) 在 中 国, 學 生 學 習 評 估 甚 么? 那 些 核 心 能 力 值 得 评 价? 如 何 評 估? 評 估 結 果 有 甚 么 用 途? @estherho 2010 3
Network for Monitoring Education Quality 教 育 素 質 评 价 網 絡 http://www.unescobkk.org/education/quality-of-education/neqmap/activities-andevents/neqmap-inaugural-meeting/ 4
NEQMAP UNESCO Bangkok has established a regional platform for networking and information exchange among countries in the Asia-Pacific region on the issue of monitoring educational quality in the region in 2013. This platform, known as the Network for Education Quality Monitoring in Asia and the Pacific (NEQMAP), will provide a forum for exchanging of expertise, experiences and lessons to improve the quality of learning in education systems of countries in Asia-Pacific, with the eventual aim of influencing policy reforms. Activities of the Network: Focus on research, knowledge sharing and capacity building among all stakeholders of the network and beyond. 5
NEQMAP An initial meeting: 27-28 March 2013 in Bangkok 1 st Steering committee meeting: 20 Sept 2013 Bangkok. The Steering Group will consist of approximately five (5) members representing the various sub-regions of the Asia-Pacific (including Central Asia, East Asia and the Pacific & South and West Asia). The Steering Group should be made up of recognized experts in the area of educational quality with experience in leading international/regional/national assessment programmes. @estherho 2013 6
多 層 次 監 控 教 育 素 貭 1. International Assessments 国 际 评 估 2. National Assessment 国 家 评 价 3. Public Examination 公 开 考 试 4. School Based Assessments 校 本 评 价 @estherho 2013 7
1. International Assessments 国 际 评 估 : IEA/TIMSS & OECD/PISA @estherho 2013 8
核 心 能 力 评 价 体 系 What competencies do students need as Life Long Learners? (OECD, 2003) Cognitive Use tools interactively ) 工 具 应 用 能 力 (language, math, science, technology, problem solving) Act Autonomously & take responsibility 自 主 行 动 能 力 Non-Cognitive Interact in heterogeneous groups 与 不 同 人 群 交 往 的 能 力 Non-Cognitive estherho 9
領 域 PISA 概 念 架 構 數 學 能 力 閱 讀 能 力 科 學 能 力 解 難 能 力 (PISA 2003, 2012) 2015 Collaborative PB 定 義 區 別 及 理 解 數 學 在 世 界 上 所 起 的 作 用 作 出 有 理 據 的 判 斷 並 投 入 數 學 活 動, 從 而 迎 合 個 人 生 活 的 需 要, 成 為 一 個 關 心 社 群 和 有 反 思 能 力 的 公 民 理 解 運 用 及 反 思 文 章 內 容, 從 而 達 至 個 人 目 標, 增 進 知 識 及 發 展 潛 能, 並 參 與 社 會 運 用 科 學 知 識 區 別 問 題 及 提 出 有 證 據 的 結 論 以 便 理 解 自 然 界 及 幫 助 人 類 抉 擇 使 自 然 界 轉 變 的 行 為 運 用 認 知 方 法 面 對 及 解 決 現 實 中 跨 學 科 的 情 境, 而 當 中 的 解 決 方 法 並 不 直 接, 而 且 測 試 範 疇 及 學 科 並 不 屬 於 數 學 科 學 或 閱 讀 之 單 一 領 域
PISA2009 前 十 名 閱 讀 數 碼 閱 讀 1 數 學 科 學 國 家 / 地 區 平 均 分 國 家 / 地 區 平 均 分 國 家 / 地 區 平 均 分 國 家 / 地 區 平 均 分 中 國 上 海 556 韓 國 568 中 國 上 海 600 中 國 上 海 575 韓 國 539 紐 西 蘭 537 新 加 坡 562 芬 蘭 554 芬 蘭 536 澳 洲 537 中 國 香 港 555 中 國 香 港 549 中 國 香 港 533 日 本 519 韓 國 546 新 加 坡 542 新 加 坡 526 中 國 香 港 515 中 華 台 北 543 日 本 539 加 拿 大 524 冰 島 512 芬 蘭 541 韓 國 538 紐 西 蘭 521 瑞 典 510 列 支 敦 士 登 536 紐 西 蘭 532 日 本 520 愛 爾 蘭 509 瑞 士 534 加 拿 大 529 澳 洲 515 比 利 時 507 日 本 529 愛 沙 尼 亞 528 荷 蘭 508 挪 威 500 加 拿 大 527 澳 洲 527 11
PISA 2009 東 亞 及 其 他 國 家 閱 讀 成 績 排 名 國 家 / 地 區 PISA 2009 名 次 ( 平 均 分 ) PISA 2006 名 次 ( 平 均 分 ) PISA 2003 名 次 ( 平 均 分 ) PISA 2000+ 名 次 ( 平 均 分 ) 中 國 上 海 1 (556) - - - 韓 國 2 (539) 1 (556) 2 (534) 7 (525) 芬 蘭 3 (536) 2 (547) 1 (543) 1 (546) 中 國 香 港 4 (533) 3 (536) 10 (510) 6 (525) 新 加 坡 5 (526) - - - 加 拿 大 6 (524) 4 (527) 3 (528) 2 (534) 紐 西 蘭 7 (521) 5 (521) 6 (522) 3 (529) 日 本 8 (520) 15 (498) 15 (498) 9 (522) 中 華 台 北 23 (495) 16 (496) - - 中 國 澳 門 28 (487) 21 (492) 16 (498) -
Student performance in PISA High performance 均 等 指 标 : 社 经 背 景 与 学 生 表 现 社 经 背 景 对 学 生 的 影 响 十 分 重 要 但 不 是 决 定 性 Low PISA Index of social background High 13
基 礎 教 育 的 均 等 程 度 韓 國 上 海 芬 蘭 14 14
Lessons learned from International assessment First, International assessment, it helps countries to redefines student learning outcomes beyond the traditional academic achievement (Non-cognitive outcomes). Second, IA concerns of both quality and equality. For instance, the concept of social gradient put emphasis on how student achievement distribute among students with different socio-economic background, which helps to construct common language to discuss about the quality and equality in defining ideal schooling system across and within nations/regions. @estherho 2010 15
Lessons learned from International assessment Second, international assessment helps to benchmark school performance against the international standards Third, international assessments also facilitate the transfer of technology of assessment Finally, international assessment helps to identify multi-level factors related to student and school performance as to inform Policy makers and Educators. @estherho 2013 16
Multi-level model to monitor students learning outcomes @estherho 2010 17
教 育 改 革 政 策 对 质 量 与 均 等 的 影 响 成 绩 教 育 改 革 平 均 改 善 教 育 质 素 成 绩 教 育 改 革 改 善 高 阶 层 学 生 的 教 育 质 素 成 绩 (a) SES 社 经 地 位 教 育 改 革 减 低 不 同 阶 层 学 生 质 素 的 差 距 (b) SES 社 经 地 位 (a) SES 社 经 地 位 18
2. National Assessments 国 家 评 价 A national assessment is a survey of schools and students that is designed to provide evidence about the levels of student achievement in identified curriculum areas (for example, in the areas of reading and mathematics) for a whole education system or for a clearly defined part of an education system (such as Grade 4 students or 11-year-olds). 国 家 ( 或 地 区 ) 评 价 全 国 ( 区 域 ) 范 围 内 进 行 的 大 规 模 评 价, 用 于 描 述 特 定 地 区 的 学 生 学 业 成 就, 并 对 整 个 教 育 系 统 内 某 个 年 龄 段 或 年 级 的 整 体 学 业 水 平 进 行 评 价 @estherho 2013 19
National Assessments Country Name or description of assessment study Organization Grade Curricular subjects assessed Year Grade 3 Khmer, math 2006 Cambodia Learning Assessment System MOE; World Bank Grade 6 Khmer, math Planned for 2007 Grade 9 Khmer, math Planned for 2008 Japan National Assessment of Learning Outcomes NIER Grade 5,9,12 [Variable] Japanese, English, math, sci, soc sci, geography, history, civics 2002, 2003, 2004 National Assessment of Student Performance MoE; NIER Grade 6,9 Japanese, math 2007 @estherho 2013 20
National Assessments Singapore Core Research Program Centre for Research in Pedagogy and Practice Pre-school to secondary Lan, math, sci, ICT 2003 Hong Kong- China Territory Wide Assessment Examinations and Assessment Authority Grade 3,6,9 Chinese, English, Mathematics Annually since 2000 Shanghai- China NA for several provinces, including Shanghai MoE & Educational Monitoring Center in Beijing Normal University Grade 4, 8 Chinese for G4 Chinese and Science for Grade 8 2003 @estherho 2013 21
Hong Kong TSA in P3, P6, S3 TSA @estherho 2010 22
3. National/Public Examinations 公 开 考 试 Vis-à-vis national assessment, national examination mainly public examinations are high-stake serves for certification and selection, playing a crucial role in directing students learning and future career. National examination is also an important part of monitoring school performance in many countries. Hill (2010) suggested that National examination in Asia-Pacific Region serve three main purposes: selection, certification, and accountability (Hill, 2010: 4-5). 公 开 考 试 : 为 鉴 定 或 选 拔 学 生 而 进 行 的 特 定 考 试, 一 般 包 括 学 校 课 程 的 主 要 科 目 通 常, 这 种 考 试 是 特 定 年 龄 段 或 年 级 所 有 学 生 都 必 须 参 加 的 ( 一 般 在 高 中 结 束 时 进 行 ) @estherho 2013 23
National Examinations Country Examination Candidature & Purpose Examining Body Cambodia National Examination for Lower-Secondary Education Certificate National Examination for Upper-Secondary Education Certificate End of Year 9 (completion of lower secondary and entry to upper secondary) End of Year 12 (completion of upper secondary and entry to higher education) Examination Office of the General Secondary Education Department, Ministry of Education, Youth and Sport China National Higher Education Entrance Examination End of Year 12 (entry to higher education) National Education Examinations Authority, Ministry of Education @estherho 2013 24
School Mean Attainmen t in Six Schools Notes: Rank order can be Misleading!!! Gross productivity Net productivity Valueadded @estherho 2010 25
Control Variables in Multilevel Model STUDENT LEVEL FACTORS Gender Academic ability Number of different schools attended (for S1-S5 cohort only) Change of schools at S3-S4 (for S1-S5 cohort only) SCHOOL LEVEL FACTORS Average academic ability All Girls All Boys @estherho 2013 26
Currently available information for value-added measurement (By EMB) End of P6 End of S5 End of S7 AAI/PS1 HKCEE HKALE S1-S5 S6-S7 @estherho 2013 27
Study the value-added reports @estherho 2013 28
Trend of school performance over 10 years Value addedness of Best 6 subjects 0 2009 2008 2007 2006 2005 2004 2003 2002 2001 2000-1 -2-2.42-2.17-2.57-3 -2.99-4 -3.64-3.47-5 -5.3-4.93-4.66-6 -5.85-7 @estherho 2013 29
4. School Based Assessment 校 本 评 价 In order to reduce examination pressure and enhance the authenticity of public examinations, school-based assessment (SBA) is increasingly being adopted in many countries in the region, including Australia, Hong Kong of China, New Zealand and Singapore. Making SBA an integral part of public examination enables the assessment of students abilities that could not be otherwise easily assessed through written tests (for example, some key competencies such as ability to organize, communicate and work with others 校 本 评 价 : 学 校 自 行 实 施 的 并 由 教 师 主 导 的 评 价 在 某 些 国 家, 这 种 校 本 评 价 的 分 数 可 加 总 到 学 生 外 部 评 价 或 公 开 考 试, 计 入 总 成 绩 @estherho 2013 30
SBA of Hong Kong In 2009, the HKCEE and HKALE have been replaced by the Hong Kong Diploma of Secondary Education (HKDSE) in 2012. School-Based Assessments (SBA) has been widely applied to more subjects in the new public examination in 2012. SBA in Hong Kong refers to in-school assessments graded by teachers, then moderated by public examination scores that contribute around 15-25%, a relatively small part, of the total examination score of a given subject. 31
Chinese Language English Language 35 30% Compulsory Part: Coursework and Other Language Activities combined. Marks to be submitted reduced from 10 to 4 30 20% Elective Part: Reduced to one mode only (oral assessment) and number of tasks reduced from 3 to 1 Maths 15% Number of assessment tasks reduced from 3 to 2 Liberal Studies Economics Geography 15% Chinese History ERS History 30 20% Course performance deleted 20 15% Internal test/exam deleted 30 20% Internal test/exam deleted 30 20% Continuous assessment deleted 30 20% Course performance and internal test/exam deleted THS 30% Test/exam deleted, weighting on elective part adjusted to 20%, course performance replaced by two course assignments Biology 20% Min. number of practical related tasks (Area A) reduced from 4 to 3 Chemistry 20% Min. number of non-practical related tasks reduced from 4 to 1 @estherho 2013 32
Physics 20% Min. number of non-practical related tasks reduced from 2 to 1 Science 20% Min. number of practical related tasks (Area A) reduced from 3 to 2. Min. number of non-practical related tasks reduced from 4 to 3. BAFS 20% Course test/exam deleted. Enterprising Experience now optional. Group assessment cancelled. ICT DAT 40% HMSC 30% 25 20% Core skills assessment incorporated into project work T&L 30% Number of lab report/practical tasks reduced from 3 to 1 Chinese Lit. 35% Compulsory part: Number of creative writing pieces reduced from 6 to 4, reading reports reduced from 3 to 2 Lit. in Eng 20% PE 30% Visual Arts 50% Music 20% @estherho 2013 33
Draft @estherho 2010 34
School Monitoring System (KLM) 35
重 要 发 现 和 启 示 1 1. Regional Trend of monitoring system in education: Multilevel approach 监 测 教 育 系 统 的 地 区 趋 势 : 多 层 次 评 价 The focus of monitoring systems has shifted from the input to learning outcomes of students, such as adequate knowledge, skills, behavior and attitudes needed to succeed in adult life for the 21 st century. 教 育 系 统 的 监 测 重 点 已 经 从 系 统 投 入 ( 如 基 础 设 施 学 习 材 料 师 资 队 伍 和 资 历 等 ) 转 移 到 系 统 输 出 ( 成 功 必 备 的 知 识 技 能 行 为 态 度 等 具 体 学 习 结 果 ) @estherho 2013 36
重 要 发 现 和 启 示 2 The outcome-based and competence-based approach to education expanded the scope of existing assessments beyond hard skill-cognitive domain to soft skill-noncognitive domain. For example, 3 key competencies in DeSeCo and 10 skills in ATC21S 这 种 结 果 导 向 或 能 力 导 向 的 评 价 方 法 将 教 育 评 价 从 简 单 的 知 道 是 什 么 知 道 怎 么 做 这 样 的 硬 技 能 (Hard skill) 转 向 了 诸 如 良 好 沟 通 批 判 思 考 解 决 实 际 问 题 与 各 种 背 景 的 人 合 作 创 新 信 息 和 技 术 素 养 之 类 的 软 技 能 (Soft skill) (ATC21S, 2009; DeSeCo, 2003; Froumin, 2007) @estherho 2013 37
重 要 发 现 和 启 示 3 Yet, caution needs to be taken to prevent the international assessment from becoming a dominating force dictating the various forms of local assessments. Van Der Gaag and Adam (2010: 5) warned that, the measurement instrument that were developed for industrialized countries often exhibit floor effects when used in developing countries possibly due to either the extremely difficulty of the test or the lack of local relevance of the exam content. 这 些 年, 大 型 国 际 评 价 项 目 已 在 全 球 教 育 系 统 中 产 生 了 重 大 影 响 然 而, 值 得 注 意 的 是, 这 些 本 为 国 际 评 估 量 身 定 制 的 技 术 不 能 全 盘 地 照 搬 到 当 地 评 价 实 践 中, 特 别 是 发 展 中 国 家 更 应 该 注 意 这 种 喧 宾 夺 主 的 可 能 性 Van der Gaag 和 Adams(2010) 曾 指 出 : 这 些 在 工 业 国 家 中 发 展 起 来 的 评 价 工 具 通 常 在 发 展 中 国 家 具 有 地 板 效 应 (Floor effect) 要 么 是 因 为 题 目 太 难, 要 么 是 因 为 考 试 内 容 跟 当 地 的 教 育 实 践 相 关 度 很 低 ( 第 5 页 ) @estherho 2013 38 38
重 要 发 现 和 启 示 4 Uses of Assessment: to move toward improving the quality of education, further investigations are needed to study how strong performing countries utilise assessments results to inform stakeholders, to support decision making in instruction and to monitor teachers, principals and schools. 如 果 监 控 系 统 的 终 极 目 标 是 问 责 和 改 进 学 校, 那 么, 我 们 就 应 该 进 一 步 探 究 评 价 结 果 在 学 校 层 面 的 应 用 OECD(2011) 最 近 的 一 份 题 为 教 育 系 统 中 的 典 范 与 成 功 改 革 (Strong Performers and Successful Reformers in Education) 的 报 告 指 出, 学 校 一 般 将 评 价 结 果 用 于 如 下 几 个 方 面 :1. 制 定 标 准 (Benchmarking) 并 向 利 益 相 关 者 汇 报 ;2. 改 进 学 校 的 措 施 依 据 ;3. 考 核 教 师 校 长 和 学 校 的 表 现 39
PISA 2009 学 校 数 据 反 馈 笔 者 以 2009 年 的 PISA 的 数 据 做 进 一 步 分 析, 发 现 几 乎 所 有 学 校 都 将 数 据 反 馈 给 家 长 和 学 生,OECD 国 家 中 平 均 98% 的 学 校 都 是 这 样 做 的, 在 表 1 所 列 的 教 育 强 国 中 也 有 近 似 的 比 例 77% 的 OECD 国 家 也 同 时 利 用 数 据 结 果 来 识 别 教 学 与 课 程 中 的 薄 弱 环 节, 而 在 教 育 强 国 中, 这 一 比 例 达 到 83%-98% 这 个 发 现 说 明 了, 相 对 于 OECD 的 平 均 水 平 而 言, 教 育 强 国 更 倾 向 于 将 评 价 信 息 用 作 学 校 改 进 的 依 据 @estherho 2013 40
Use of assessment results across selected countries participated in PISA2009 (Percentage reported by principals). Table 1. 2009 年 PISA 参 与 国 对 评 价 结 果 的 利 用 情 况 ( 由 校 长 提 供 的 百 分 比 ) OECD 均 值 香 港 上 海 韩 国 日 本 新 加 坡 标 准 参 照 和 信 息 反 馈 1. 向 家 长 报 告 学 生 学 习 进 展 状 况 98 99 92 95 100 100 99 2. 参 照 国 家 / 地 区 标 准 评 估 学 校 水 平 59 36 69 78 24 95 94 3. 参 照 学 区 标 准 评 估 学 校 水 平 53 34 60 75 22 93 92 4. 学 校 间 比 较 46 22 64 62 20 82 83 新 西 兰 5. 参 照 国 家 或 地 区 标 准 评 估 学 生 水 52 14 47 79 84 88 78 平 6. 张 榜 公 布 37 48 1 4 33 89 78 41
2009 年 PISA 参 与 国 对 评 价 结 果 的 利 用 情 况 ( 由 校 长 提 供 的 百 分 比 ) OECD 均 值 香 港 上 海 韩 国 日 本 新 加 坡 新 西 兰 影 响 教 学 的 教 育 决 策 7. 识 别 需 改 进 的 教 育 教 学 和 课 程 要 素 77 97 97 88 83 97 98 8. 学 生 升 学 或 留 级 的 依 据 76 99 46 37 91 88 77 9. 对 学 生 分 组 教 学 51 80 43 78 42 95 91 10. 据 此 决 定 学 校 资 源 分 配 方 案 32 49 34 4 39 72 68 评 价 教 师 校 长 和 学 校 11. 逐 年 跟 踪 学 校 办 学 进 展 76 95 86 83 61 99 97 12. 评 价 教 师 教 学 效 能 46 76 83 66 78 85 61 13. 考 核 教 师 业 务 表 现 43 55 80 24 45 41 48 14. 评 估 校 长 治 校 水 平 33 17 45 9 28 63 50 42
以 香 港 为 例 香 港 一 直 致 力 于 在 对 学 习 进 行 评 价 (Assessment of Learning, AOL) 和 为 学 习 进 行 评 价 (Assessment for Learning, AFL) 两 者 之 间 寻 找 平 衡, 前 者 用 于 报 告 筛 选 和 问 责, 后 者 用 于 监 测 教 育 系 统 的 改 进 情 况 (James, 2010) 就 国 际 评 估 而 言, 香 港 参 加 过 许 多 国 际 评 价 研 究, 包 括 PIRLS( 测 试 对 象 为 小 学 4 年 级 学 生 ) TIMSS( 测 试 对 象 为 小 学 4 年 级 和 中 学 2 年 级 学 生 ) ICCS( 测 试 对 象 为 中 学 3 年 级 学 生 ) 和 PISA( 测 试 对 象 为 15 岁 的 学 生 ) 就 当 地 评 价 而 言, 香 港 所 有 小 学 3 年 级 6 年 级 和 中 学 3 年 级 学 生 都 要 参 加 全 港 性 系 统 评 估 (Territory-wide System Assessment, TSA), 同 时 还 有 新 出 台 本 地 公 开 考 试, 香 港 中 学 文 凭 考 试 (Hong Kong Diploma of Secondary Education, HKDSE) 将 于 2012 年 开 始 进 行, 对 象 是 中 学 6 年 级 学 生 ( 即 新 高 中 的 毕 业 生 ) 2012 年 部 分 的 考 试 科 目 都 会 计 入 校 本 评 价 的 结 果 @estherho 2013 43
Selected References: HO Sui Chu. Editor (2004) for the special Issue on Analyzing the Quality of Education in Hong Kong from an International Perspective Education Journal 31(2) & 32(1). 175 pages. Ho, S.C. (2006). High-stakes testing and its impact on student and schools in Hong Kong: What we have learned form the PISA studies. KEDI Journal of Educational Policy, 3: 1: 69-87 Korean Educational Development Institute Ho, S. C. (2010) Assessing the Quality and Equality of Hong Kong Basic Education Results from PISA 2000+ to PISA 2006. Frontier in Education. Higher Education Press and Springer-Verlag, China: 5 (2): 238-257. Ho, S.C. & Lo, N.K (2010). Analyzing quality and equality of education of East Asian Societies from an International Perspective. (In Chinese), Educational Research 360 (1): 1-8. @estherho 2013 44
HKPISA Centre Thank You! Further information estherho@cuhk.edu.hk Visit the websites: OECD-PISA :www.pisa.oecd.org HK-PISA: www.fed.cuhk.edu.hk/~hkpisa @estherho 2013 45