101 102 4

101 11 / 02 09:00 ~ 17:00 1 1024

101 102 4

... 7... 8... 87 敍... 152

序 e 86 453 102 1 23 85 4 19 102 1 23

102 4

壹 開 幕 致 詞 一 主 持 人 : 李 繼 玄 考 選 部 政 務 次 長 88 90 101 60 19 101 5 7

貳 第 一 場 次 專 題 研 討 101 11 2 9 30 1 1 一 主 持 人 致 詞 2,000 2,000 8

二 謝 助 理 研 究 員 名 娟 報 告 ( 詳 如 書 面 資 料 及 投 影 片 資 料 ) TASATASA TASA TASA TASA BMI 24 BMI BMI 27 24 22 90 80 BMI 8 8 8 7 8 90% 9

5 3 60 43 60 60 60 36 100 1/3 1/3 60 3 3 6 3 10

100 33% TASATASA standard reference 12 TASA 8 5 3 10 11

10 20 80 Yes-No AngoffAngoff TASA TASA Angoff TASA Yes-No Angoff 12

26 3 15 Yes-No Angoff 10 16 10 7 0.7 0.7 3 5 0.5 6 0.65 26 26 IRT Angoff PLD PLD PLD 2010 20% 1,600 30% 2,400 12 13

1 2 3 1 1 2 3 4 5 6 2 1 2 3 4 5 1 2 3 3 600 800 3 3 50 60 3 1 20 3 National Council of State Boards of Nursing 180 11 NCSBN 14

AngoffBeuk Compromise 1 234 CPA 75 Angoff MBEMulti-state bar exam Angoff OSCE OSCE 15

35 5 5 2 3 30 三 主 持 人 蔡 考 試 委 員 式 淵 四 余 教 授 民 寧 與 談 ( 詳 如 書 面 資 料 ) 60 3 16

TASA Yes-No Angoff mapmark 3 PLD 60 60 IRT 50 40 10 10 17

五 主 持 人 蔡 考 試 委 員 式 淵 六 陳 副 教 授 柏 熹 與 談 ( 詳 如 書 面 資 料 ) Angoff 18

Angoff OSCE 10 19

IRT Angoff 1/3 1/10 Bookmark Bookmark Bookmark 60 60 七 主 持 人 蔡 考 試 委 員 式 淵 20

八 郭 前 政 部 次 長 生 玉 與 談 ( 詳 如 書 面 資 料 ) 1 2,000 60 50 33% 16% 60 PMP 5 200 4 21

1 1 1 1 九 主 持 人 蔡 考 試 委 員 式 淵 Purdue School of Electrical and Computer Engineering 22

IEEE Transaction on Geoscience and Remote Sensing 十 郭 教 授 伯 臣 與 談 ( 詳 如 書 面 資 料 及 投 影 片 資 料 ) 147 100 60 BMI 60 60 70 PLD TASA TASA 23

25 十 一 主 持 人 蔡 考 試 委 員 式 淵 十 二 綜 合 討 論 33% 33% 60 60 60 810 16% 10% 10% 8% 8% 33% 33% 8% 33% 33% 33%0.33 0.33 0.108910.89% 8% 10.89% 24

79 60 16% 16% 1991 1992 3 16% 10 3 16% 16% 50 16% 16% 50 3%6%5% 16% 2002 8%2011 33% 8% 16% 50 30 12 8% 1/3 10 20 5 25

1/3 26

60 10% 1. 2. 3. OSCE 28 18 60 10% 27

10% 10% 40% 1. 9 26 2. 30 3. 4. 5. 1 2 28

60% 1/3 1/3 AIMRChartered Financial Analyst, CFA 3 LEVEL 29

6 6 LEVEL 1% 70% 1% 90 63 1% 80 56 1% 3 40% 3 10% 60 9 2 6 OSCEOSCE OSCE 12 12 15 12 60 30

3 1 2 3 10 1 cut 10% 13%16%33% 80 八 主 持 人 結 語 10 31

標 準 設 定 實 行 程 序 影 響 因 子 及 效 度 評 估 之 研 究 1 2 壹 緒 論 85 60 60 43 39.52% 36 6 60 3 3 60 60 60 ABCD A D B C 7080 1 2 32

3040 1986 2007 norm-referenced standard-based assessment Berk1996 50 60 70 Kane1994 Pitoniak 2003 33

貳 文 獻 探 討 一 Angoff 標 準 設 定 法 Angoff Angoff William Angoff1971Angoff Angoff minimally competent examinee Angoff Angoff Angoff Impara Plake1997 YesNo Angoff YesNo YesNo Angoff YesNo Angoff 1. 2. 1 34

2 3 4 borderline student 1. YesNo Angoff 2. 3. V 4. 二 標 準 設 定 之 效 度 評 估 Kane1994internal evidence for validity procedural evidence for validityexternal evidence for validity 20102009 2011Hambleton2001 internal evidence for validity Kane, 1994 35

procedural evidence for validity documentation external evidence for validity Kane, 1994 參 研 究 設 計 TASA 一 標 準 設 定 材 料 2010 TASA YesNo Angoff 2010 TASA 1. TASA2010 2012 8,260 2. 36

2010 130 21 109 二 標 準 設 定 流 程 PLD PLD 1 1 PLD 2 3 YesNo Angoff 2010 TASA 37

2 1. 1. 2. 1. 2. 1 1 YesNo Angoff 1. 2. 2 38

2 3. 1 2 2 3 1 2 2 3 39

4. 1 YesNo Angoff 2 3 肆 結 果 與 討 論 一 效 度 的 過 程 證 據 TASA 1 2 3 2TASA 1. 5 2. 2 3. 1. 2. 2 2 24 10 8 8 9 6 4 7 15.8 5 40

30 1. 22 84.6% 1 2 7.7% 5 19.2% 120 73.1% 3 3 0 0% 3 11.5% 22 84.6% 1 3.8% 0 0% 3 1 2 7.7% 5 19.2% 19 73.1% 0 0% 0 0% 3 1 3.8% 5 19.2% 19 73.1% 1 3.8% 0 0% 3 1 3.8% 5 19.2% 19 73.1% 1 3.8% 0 0% 3 2. 4 PLD YesNo Angoff 1 41

4 7 5 PLD Yes No Angoff 1 1 4 0 0% 0 0% 0 0% 0 0% 0 0% 0 0% 0 0% 0 0% 0 0% 0 0% 0 0% 0 0% 3 11.5% 0 0% 1 3.8% 1 3.8% 1 3.8% 5 19.2% 8 30.8% 6 23.1% 9 34.6% 7 26.9% 9 34.6% 7 26.9% 15 57.7% 4.46 20 76.9% 4.77 16 61.5% 4.58 18 69.2% 4.65 16 61.5% 4.58 14 53.8% 4.35 3. 69.2% 7.7% 4.62 4.69 4.35 42

1 1 4 5 TASA 0 0% 0 0% 2 7.7% 6 23.1% 18 69.2% 4.62 0 0% 0 0% 2 7.7% 8 30.8% 15 57.7% 4.69 0 0% 0 0% 2 7.7% 13 50% 11 42.3% 4.35 1 0 0% 0 0% 1 3.8% 10 38.5% 15 57.7% 4.54 1 0 0% 0 0% 3 11.5% 11 42.3% 12 46.2% 4.35 0 0% 0 0% 0 0% 6 (23.1% 20 (76.9% 4.77 4. 6 PLD 3.31 PLD 43

6 PLD 0 0% 0 0% 4 15.4% 14 53.8% 8 30.8% 4.15 PLD 0 0% 4 15.4% 14 53.8% 4 15.4% 4 15.4% 3.31 YesNo Angoff PLD 7 PLD 3.96 1 PLD 7 4.62 44

PLD 0 (0%) 1 (3.8%) 6 (23.1%) 12 (46.2%) 7 (26.9%) 3.96 PLD 0 (0%) 1 (3.8%) 6 (23.1%) 12 (46.2%) 7 (26.9%) 3.96 PLD 0 (0%) 1 (3.8%) 6 (23.1%) 12 (46.2%) 7 (26.9%) 3.96 0 (0%) 0 (0%) 0 (0%) 10 (38.5%) 16 (61.5%) 4.62 二 效 度 的 內 部 證 據 TASA 8 4 8.72 TASA 8TASA N=26 4.16 2.33 2.46 7.02 8.72 4.47 4.04 2.09 3.73 45

4.16 2.33 2.46 Round1-Round2Round2-Round3 2 4 3 24 Round1-Round2 60 Round2-Round3 0 9 13 100 3 46

4 5 47

9 20.86 1 17.09 9 22.23 8 21.18 18 5.80 40.88 8 34.52 18 2.95 18.56 8 21.85 18 3.71 9.86 8 12.70 18 4.12 47.34 8 42.91 18 20.86 10.06 8 10.83 18 4.98 12.13 8 13.09 18 0.08 20.42 8 22.30 18 17.09 19.47 8 19.35 18 2.97 48

10 25.99 9.49 16.13 16.73 10 23.37 9 14.65 6 17.43 4 26.84 7 44.46 9 29.14 6 29.11 4 32.75 7 27.00 9 16.38 6 17.20 4 20.09 7 7.19 9 13.15 6 16.88 4 10.62 7 58.69 9 44.51 6 34.44 4 37.31 7 10.28 9 11.10 6 18.15 4 5.77 7 10.4 25.99 5.25 12.54 3.01 6.82 49

7.62 9 17.35 6 18.26 4 9.50 7 25.84 9 12.11 6 28.13 4 24.11 7 22.66 9 16.32 6 18.07 4 16.77 7 9.49 16.13 16.73 11 11 20.53 24 39.63 2 0.65 36.57 24 33.45 2 8.64 20.59 24 4.46 2 21.26 50

12.19 24 9.70 2 1.40 40.97 24 103.86 2 1.31 10.42 24 17.66 2 4.16 12.94 24 9.52 2 1.05 21.60 24 28.43 2 27.96 18.03 24 10.71 2 28.25 三 效 度 的 外 部 證 據 12 1.99% 60.73% 34.13% 3.16% 15 26 8.54%41.27%41.77% 8.42% Angoff 0.9 88 28 0.8 56 21 2.6 64 23 51

12 1.99% 8.54% 60.73% 41.27% 34.13% 41.77% 3.16% 8.42% 伍 結 論 與 建 議 2010 TASA Kane1994 一 結 論 TASA YesNo Angoff PLD 52

26 NAEP 53

Angoff Yin & Sconing2008 Mapmark 二 建 議 PLD PLD OSCE OSCE OSCE 54

GRE 35 5 2 3 參 考 文 獻 2010 測 驗 學 刊,5711-27 1986 標 準 參 照 測 驗 通 過 分 數 設 定 方 法 之 研 究 2009 教 育 心 理 學 報,41169-90 2007 測 驗 學 刊,5411-30 2011 教 育 科 學 研 究 期 刊,56 11-32 55

2012 臺 灣 學 生 學 習 成 就 評 量 資 料 庫 建 置 計 畫 2012 8 22 http://tasa.naer.edu.tw. American College Testing[ACT] (1994). Setting achievement levels on the 1994 National Assessment of Educational Progress in geography and in U.S. history and the 1996 National Assessment of Educational Progress in science (Final version) (Design document). Washington, DC: National Assessment Governing Board. Angoff, W. H. (1971). Scales, norms, and equivalent scores. In R. L. Thorndike (Ed.), Educational Measurement (pp.508-600). Washington, DC: American Council on Education. Berk, R. A. (1996). Standard setting: The next generation (where few psychometricians have gone before!). Applied Measurement in Education, 9(3), 215-235. Hambleton, R. K. (2001). Setting performance standards on educational assessments and criteria for evaluating the process. In G. J. Cizek (Ed.). Standard setting: Concepts, methods, and perspectives (pp. 89-116). Mahwah, NJ: Erlbaum. Impara, J. C., & Plake, B. S. (1997). Standard setting: An alternative approach. Journal of Educational Measurement, 34(4), 353-366. Kane, M. (1994). Validating the performance standards associated with passing scores. Review of Educational Research, 64(3), 425-461. Yin, P., & Sconing, J. (2008). Estimating standard errors of cut scores for item rating and mapmark procedures a generalizability theory approach. Educational and Psychological Measurement, 68(1), 25-41. 56

57

58

59

60

61

62

63

64

65

66

67

68

69

70

71

1. 2. NAPLEX NAPLEX Competency Statement Area1 56% 1.1.0 1.1.1 1.1.2 1.1.3 Area2 33% 2.1.0 2.1.1 2.1.2 2.1.3 Area3 11% 3.1.0 3.1.1 3.1.2 3.1.3 72

6 0 AICPA Uniform CPA IRT 75 Angoff 1. 2. 3. 6 0 NCARB ARE 1. 33% 0 N C B E X 16% 0 50 6 0 0 MBE MPRE N C E E S FE FS U S M L E OSCE M P R E 85 80 equating 75 OSB, 2008 arbitrary number content-based standard setting 1. 2. 3. 4. 73

6 0 0 60 J C N D E N B D H E NBDE NCSBN NCLEX- RN Rasch 75 IRT -0.16 logits Objective Standard Setting method Angoff 1. Angoff 2. 3. 1 9 9 4 4. 5. ACT 60 NABP NAPLEX MPJE 75 Angoff 6 0 0 N B C C NCE 16-18 Angoff 74

75

標 準 設 定 實 行 程 序 影 響 因 子 及 效 度 評 估 之 研 究 1 85160 43236 36 classical test theory, CTT sample dependence ability distributiondifficulty distributioninvariance acrosstime 1. performance level description, PLD PLDjob analysis YesNo Angoff bookmarkmapmark 2. 1 76

tryout test pre-test 35 35 3. YesNo Angoff bookmarkmapmark 77

4. 78

標 準 設 定 實 行 程 序 影 響 因 子 及 效 度 評 估 之 研 究 2 norm-reference criterion-reference TASA Kane1994 TASA 1. proficiency level description; PLD 2 79

PLD PLD PLD 2 PLD PLD 2. PLD Angoff 1 PLD 3. cut-off score expected score 4. 1. Angoff item response theory; IRT 2. Angoff 80

Angoff Bookmark 3. 4. 5. 81

標 準 設 定 實 行 程 序 影 響 因 子 及 效 度 評 估 之 研 究 3 criterion-referenced test Angoff 50 60 3 82

PLD normal curve equivalents NCE 21.06Z 50 83

標 準 設 定 實 行 程 序 影 響 因 子 及 效 度 評 估 之 研 究 4 2010 TASA 1 2 4 84

YesNo Angoff YesNo Angoff PLD YesNo Angoff TASA TASA 7?? 85

YesNo Angoff Extended YesNo Angoff 86

參 第 二 場 次 專 題 研 討 101 11 2 2 1 1 一 主 持 人 致 詞 86 87

二 呂 教 授 育 誠 報 告 ( 詳 如 書 面 資 料 及 投 影 片 資 料 ) title 77.3% 88

100% 9 3 4 6 89

一 兼 具 技 能 與 彈 性 的 專 業 公 務 人 力 : 二 結 果 導 向 的 甄 選 機 制 : 2 1. 2. 90

91

92

1 100 23 XX 1. 2. 93

19 1. 2. 結 語 三 主 持 人 趙 考 試 委 員 麗 雲 94

四 李 校 長 大 偉 與 談 ( 詳 如 書 面 資 料 ) 100% decentralization 95

1011 13 14 五 廖 董 事 長 慶 隆 與 談 ( 詳 如 書 面 資 料 及 投 影 片 資 料 ) 60 80 96

2.8 50 六 陳 副 主 任 委 員 純 敬 與 談 ( 詳 如 書 面 資 料 ) 97

七 主 持 人 趙 考 試 委 員 麗 雲 22 98

八 呂 司 長 秋 慧 與 談 19 19 35 10 15 27 99

100

九 主 持 人 趙 考 試 委 員 麗 雲 十 李 專 門 委 員 宜 興 與 談 101

十 一 主 持 人 趙 考 試 委 員 麗 雲 decentralization 十 二 綜 合 討 論 80 9 4 5 102

50%60% 40%50% 103

1. 2. 3. 1,500 104

19 9 18 10 19 19 34 19 19 19 105

3% 3 10 19 106

10 9 107

7 4 agreement 29 108

十 三 主 持 人 結 語 19 109

110

公 職 專 技 人 員 考 試 制 度 變 革 之 研 究 1 摘 要 壹 前 言 1 111

貳 公 職 專 技 人 員 考 用 問 題 分 析 3 112

1 6 113

1 11 188 101.05.17 96 100 2 5 77.3% 100% 296 100 96 449 223 302 129 39 48 58 43 19.21 33.33 97 305 243 207 148 20 32 28 29 13.53 19.59 98 211 218 145 142 14 36 21 37 14.48 26.06 99 8 10 6 5 1 17 2 3 33.33 60.00 277 241 187 139 10 19 15 18 8.02 12.95 114

100 10 5 6 1 6 11 6 1 100.00 100.00 273 241 192 132 17 9 26 9 13.54 6.82 18 15 12 6 7 28 8 4 66.67 80.00 1,515 1166 1,033 690 100 144 148 136 14.33 19.71 296 100 96 231 62 169 37 18 4 28 4 16.57 10.81 97 308 104 244 75 47 10 70 10 28.69 13.33 98 543 141 443 88 36 5 52 5 11.74 5.68 2 1 1 1 100.00 99 551 421 433 275 17 22 26 22 6.00 8.00 2 1 2 1 100.00 100 693 627 510 427 48 74 60 70 11.76 16.39 2 2 4 2 100.00 2,326 1,799 166 236 1,355 902 115 111 13.12 12.31 6 4 7 4 100.00 11 188 101.05.17 99 100 115

100 4 5 1 399 100 32 15 2 2 60.57 13.33 20 9 1 1 52.80 11.11 12 6 1 1 59.77 16.67 38 21 2 2 56.60 9.52 191 126 9 9 61.40 7.14 65 39 2 2 62.70 5.13 9 7 1 1 60.10 14.29 23 14 2 2 61.83 14.29 99 24 17 2 2 62.77 11.76 51 37 3 3 63.37 8.11 28 16 1 1 61.53 6.25 36 19 3 3 51.97 15.79 44 26 3 3 63.73 11.54 10 8 1 0 50.00 0.00 9 8 1 1 61.97 12.50 20 12 3 3 54.43 25.00 38 25 2 2 62.10 8.00 5 4 1 1 52.63 25.00 7 5 1 1 60.30 20.00 241 139 19 18 12.95 421 275 22 22 8.00 77 33 1 1 61.17 3.03 17 10 2 2 53.77 20.00 50 31 8 8 51.90 51.90 66 39 1 1 69.53 2.56 227 172 33 30 50.00 17.44 12 8 1 1 51.03 12.50 100 70 38 6 6 52.63 15.79 49 25 2 2 60.93 8.00 50 24 4 3 50.00 12.50 176 124 16 16 51.60 12.90 18 13 1 1 74.00 7.69 16 12 3 3 50.17 25.00 22 15 2 2 57.80 13.33 9 8 1 1 54.57 12.50 9 7 2 2 55.87 28.57 241 132 9 9 6.82 627 427 74 70 16.39 96-100 1,166 690 144 136 19.71 1,355 902 115 111 12.31 11 188 101.05.17 116

3 4 2 1 1 53.80 50.00 1 0 2 0 50.00 0.00 99 2 1 5 0 50.00 0.00 2 1 8 1 50.00 100.00 1 1 1 1 50.07 100.00 10 5 17 3 60.00 2 0 2 0 50.00 0.00 100 0 4 0.00 3 1 5 1 50.00 100.00 5 1 11 1 100.00 96-100 1,166 15 6 28 4 117

93,815 46.225 4 4 20,790 46,225 20,790 46,225 23,980 49,415 6 25,435 22,600 48,035 26,560 41,820 93,815 11 188 101.05.17 118

參 公 務 人 力 專 業 化 與 甄 選 機 制 簡 化 的 趨 勢 merit principle 21 Woodward, 2005: 112 Due Process 119

21 Beecher, 2003: 459-460 organizational performance simplicity and flexibility leadership strategic human resource management innovationfarazmand, 2004: 5 capability human capital recruitment Lavigns & Hays, 2004: 242-249 120

1. 2. 3. 4. 5. 6. decentralization 1. 2. 3. 4. 1. 2. 3. 4. 5. 6. 121

Starks & Brooks, 2009: 62-67 肆 公 職 與 專 技 的 再 整 合 Berg Berg 122

procedural bureaucracy corporate bureaucracy market bureaucracy network bureaucracy Berg, 2006: 560-562 4 Berg, 2006: 562 123

100 23 2012: 164-165 19 3 101.03.30. 124

4 1. 2009.11.11. 23 16 敍 2. validity 19 1. 125

20 1 2. 1 2 3 4 126

伍 結 語 19 參 考 資 料 2012 8 2 149-173 Beecher, D. D. 2003,The Next Wave of Civil Service Reform, Public Personnel Management, 324: 457-473. Berg, A.M. 2006, Transforming public Services- Transforming the public servant?, International Journal of Public Sector Management, 196: 556-568. Farazmand, A. 2004, Innovation in Strategic Human Resource Management: Building Capacity in the Age of Globalization, Public Organization Review, 41: 3-24. Lavigna, R. J. & Hays, S. W. 2004, Recruitment and Selection of Public Workers: An International Compendium of Modern Trends and Practices, Public Personnel Management, 333: 237-253. Starks, G. L. & Brooks, F. E. 2009, Strategic Human Capital Planning: Recruiting and Retaining New Federal Employees, The Public Manager, 381: 60-67. Woodard, C. A. 2005, Merit by Any Other NameReframing the Civil Service First Principle, Public Administration Review, 651: 109-115. 127

128

129

130

131

132

133

134

135

公 職 專 技 人 員 考 試 制 度 變 革 之 研 究 1 100% 1 2 decentralization 1 136

137

138

139

140

141

142

143

公 職 專 技 人 員 考 試 制 度 變 革 之 研 究 1 一 贊 同 之 研 究 觀 點 部 分 1. 2. 3. 4. 5. 二 建 議 就 本 研 究 觀 點 進 一 步 討 論 或 納 入 後 續 研 究 部 分 1. 1 144

2. 3. 4. 5. 三 有 關 設 置 公 職 技 師 的 看 法 33 1 13 4 145

1. 1. 1. 2. 2. 2. 1. 1. 1. 2. 2. 2. 1. 1. 1. 2. 2. 2. 四 綜 合 意 見 34 16 8 36 146

參 考 資 料 2010 9 1 101 5 17 11 188 147

公 職 專 技 人 員 考 試 制 度 變 革 之 研 究 2 敍 敍 19 3 98 63 99 55 100 35 101 10 15 27 2 敍 148

6 敍 敍 敍 敍 4 敍 5 敍 149

公 職 專 技 人 員 考 試 制 度 變 革 之 研 究 3 3 150

4 3 151

肆 照 片 選 輯 152

153

154

155

CIP. --. -- 102.04 --. 101 2 ISBN 978-986-03-6614-3 1. 2. 573.44065 102007132 11602 1 1 022236-9188 http://www.moex.gov.tw 102 04 9 12 0223567763 250 GPN1010200772 ISBN978-986-03-6614-3

101 9 7 8 9 8 6 0 3 6 6 1 4 3 MOEX-102-006(M-2) GPN:1010200772