上 海 大 学 学 报 ( 高 教 科 学 管 理 版 ) 2008 年 增 刊 大 学 英 语 计 算 机 口 语 考 试 评 分 者 偏 差 分 析 [ 摘 要 ] 一 引 言 [ 关 键 词 ] Rasch 模 型 (MFRM) 二 评 分 者 偏 差 (Rater Bias) 与 多 侧 面 戴 朝 晖 : 上 海 大 学 外 国 语 学 院 讲 师 123
三 研 究 目 的 四 研 究 方 法 1 实 验 对 象 五 结 果 1 评 分 者 宽 严 程 度 的 估 计 2 实 验 过 程 图 表 1 各 侧 面 估 计 值 分 布 表 Vertical = (2N,3A,2*,1A,1A,S) Yardstick (columns lines low high extreme)= 0,6,-5,3,End ----------------------------- Measr -examinees -items -examinees +judges +judges SCO ----------------------------- + 3 + + + + 114 421 429. -- + 2 + 392 500 + +. + 101 400 409 410 452 551 * 3 69 267 285 405 445 * 81 95 104 135 379 383 398 425 446 471 473 495 550 603 665 **. 56 74 121 149 179 403 408 417 433 504 598 661 663 **. 8 51 83 99 105 107 124 150 156 194 278 279 307 321 352 356 368 440 451 474 509 572 573 577 579 600 624 635 646 664 ****. + 1 + 35 36 52 55 71 72 73 100 106 115 116 148 180 210 282 306 334 407 415 472 518 519 524 528 529 540 553 571 599 602 638 656 657 658 + + *****. + 16 18 23 32 53 63 70 94 97 98 102 103 138 151 189 190 212 219 223 228 235 236 265 296 323 326 343 349 353 361 371 419 424 431 442 477 485 493 576 578 592 595 605 607 666 *******. 5 14 28 30 34 50 67 75 118 126 165 170 171 176 181 187 276 284 291 301 308 309 310 325 327 336 347 365 373 503 527 545 549 556 561 582 583 596 612 622 628 644 647 *******. R3anwenwei R3anwenwei -- 2 4 11 31 39 112 127 129 153 155 159 160 174 177 178 220 281 287 288 298 312 314 322 331 362 363 366 380 387 390 391 393 397 399 456 470 482 502 506 526 536 539 541 546 547 552 560 593 606 626 ********. : : 627 641 653 : : : : : 137 140 141 154 157 162 168 186 188 195 200 206 208 213 221 226 227 230 231 237 242 244 246 247 259 261 264 266 274 283 286 305 311 315 320 330 332 338 345 358 516 517 525 548 554 555 581 588 597 604 question2 *********. R6anglan R6anglan : : 631 634 642 643 660 : : : : : 1 20 25 29 44 47 48 65 66 89 109 111 117 128 133 142 143 161 163 164 167 173 175 184 192 199 203 204 211 214 218 224 233 240 245 249 378 388 394 404 426 441 457 459 465 480 483 489 496 499 question1 *********. R4ngzhaoming R4ngzhaoming 7 : : 501 507 531 532 533 559 586 614 : : : : : * 0 * 9 37 41 42 45 46 49 61 78 85 122 123 139 144 145 146 147 169 185 196 201 202 207 216 217 222 225 234 238 239 243 257 262 273 280 290 292 295 297 303 304 316 317 319 329 333 337 341 348 351 * * ********** * R1enxiwen R2angjunhua R5angjian * R1enxiwen R2angjunhua R5angjian * : : 359 360 364 367 370 372 374 637 645 662 : : : : : 252 254 260 271 272 289 293 294 300 302 318 339 346 354 357 376 395 420 427 428 443 448 458 475 494 505 508 514 530 534 537 557 558 563 566 567 575 585 590 610 618 620 625 *******. 8 12 22 33 38 54 68 130 166 172 182 183 191 197 205 209 215 229 232 520 543 544 569 584 594 601 608 613 ****. -- 377 382 402 422 423 430 444 468 490 639 640 649 reading ** 269 277 313 328 335 340 344 350 355 369 375 *. 6 6 26 40 58 82 87 92 110 113 119 120 132 134 136 152 198 248 510 511 538 568 570 574 580 587 591 609 616 617 619 623 633 636 648 650 654 655 ******. -- + -1 + 253 258 263 270 324 342 + + * + 7 15 24 27 60 62 84 91 125 131 193 241 250 381 385 386 411 413 416 418 434 439 447 453 454 455 460 479 481 486 488 492 498 512 513 515 523 562 589 611 621 ******. 4 629 630 659. 3 2 10 13 19 21 77 79 80 88 90 96 108 158 255 256 **. -- 396 414 432 435 437 438 450 461 462 463 464 467 469 484 497 535 565 615 *** 1 + -2 + 632 651 + +. + -- 59 86 93 251 268 275 * 521 522 542 564. 384 389 401 406 412 436 449 466 478 487 491 667 ** + -3 + 652 + +. + 299. 17 57 64. + -4 + + + + 476. 43 76. + -5 + + + + ----------------------------- 124
2 评 分 者 整 体 自 身 一 致 性 分 析 Table judges Measurement Report (arranged by mn). Obsvd Obsvd Obsvd Fair-M Model Infit Outfit Estim. Exact Agree. Score Count Average Avrage Measure S.E. MnSq ZStd MnSq ZStd Discrm Obs % Exp % N judges 2728 375 7.3 7.53.69.05 1.14 1.2.99.0.94.0.0 4 R3 in subset: 3 862 125 6.9 7.26.37.07.93 -.3.94 -.3.89.0.0 1 R6 in subset: 6 2503 375 6.7 7.08.18.04.49-6.1.45-7.6 1.45.0.0 5 R4 in subset: 2 2379 375 6.3 6.96.05.04 1.10 1.0 1.03.4.91.0.0 2 R1 in subset: 5 2392 375 6.4 6.93.03.04.59-4.9.43-7.9 1.50.0.0 3 R2 in subset: 4 2370 375 6.3 6.91.01.04.56-5.6.72-3.5 1.06.0.0 6 R5 in subset: 1 2205.7 333.3 6.6 7.11.22.04.80-2.5.76-3.2 Mean (Count: 6) 613.5 93.2.3.22.24.01.26 3.2.25 3.5 S.D. (Populn) 672.1 102.1.4.24.26.01.29 3.5.27 3.8 S.D. (Sample) Model, Populn: RMSE.05 Adj (True) S.D..24 Separation 5.12 Reliability (not inter-rater).96 Model, Fixed (all same) chi-square: 178.5 d.f.: 5 significance (probability):.00 评 分 者 评 分 全 距 90% 考 生 分 值 分 布 R5 21 21 23 18 17 19 22 20 24 14 12 13 16 26 26 频 数 18 14 12 11 10 9 8 8 6 4 4 4 4 4 百 分 比 14.4 11.2 9.6 8.8 8 7.2 6.4 6.4 4.8 3.2 3.2 3.2 3.2 3.2 累 计 百 分 比 14.4 14.4 25.6 35.2 44 52 59.2 65.6 72 76.8 80 83.2 86.4 89.6 R4 20 21 20 22 18 19 23 17 14 24 频 数 26 16 15 13 11 11 9 6 6 百 分 比 20.8 12.8 12 10.4 8.8 8.8 7.2 4.8 4.8 累 计 百 分 比 33.6 45.6 56 64.8 73.6 80.8 85.6 90.4 R2 18 19 20 21 22 18 15 17 23 24 频 数 24 23 19 12 10 8 7 6 4 百 分 比 19.2 18.4 15.2 9.6 8 6.4 5.6 4.8 3.2 累 计 百 分 比 37.6 52.8 62.4 70.4 76.8 82.4 87.2 90.4 125
3 评 分 者 与 考 生 的 偏 差 分 析 Obsvd Score Obsvd Average Fair-M Avrage Measure Model S.E. Infit MnSq ZStd Outfit MnSq ZStd Num examinees Rater 26 8.7 8.68-2.43 0.9 4.69 2.4 5.47 2.6 521 06123685 R5 14 4.7 5.83 0.94 0.28 2.82 2.1 2.48 1.5 529 06123703 R5 16 5.3 6.18 0.77 0.31 0.02-2.4 0.03-1.9 607 06124681 R5 14 4.7 5.83 0.94 0.28 0.06-2.5 0.09-1.6 519 06123683 R5 13 4.3 5.63 1.01 0.28 0.09-2.5 0.13-1.4 524 06123690 R5 14 4.7 5.83 0.94 0.28 0.07-2.5 0.09-1.6 528 06123700 R5 13 4.3 5.06 1.18 0.28 0.01-3.5 0.03-2.1 321 06122474 R4 24 8 8.09-1.22 0.7 3.72 2.2 3.41 2.1 241 06122092 R2 15 5 5.98 0.87 0.29 2.97 2 2.72 1.6 219 06121961 R2 10 3.3 4.71 1.26 0.29 0.03-2.4 0.03-2 149 06121258 R2 16 5.3 6.16 0.78 0.31 0.02-2.4 0.03-1.9 151 06121295 R2 16 5.3 6.16 0.78 0.31 0.02-2.4 0.03-1.9 189 06121779 R2 21 7 6.49 0.57 0.56 6.28 2.6 5.78 2.6 456 06123123 R3 22 7.3 6.88 0.24 0.61 5.07 2.6 4.77 2.5 499 06123622 R3 18 6 4.95 1.21 0.38 4.96 2.2 5.22 2.4 451 06123081 R3 14 4.7 2.82 1.6 0.28 0.06-2.5 0.09-1.6 445 06123055 R3 25 8.3 8.37-1.71 0.77 4.63 2.6 4.15 2.4 21 06120164 R1 15 5 5.93 0.9 0.29 3.45 2.3 2.68 1.6 32 06120291 R1 16 5.3 6.11 0.81 0.31 0.02-2.3 0.03-1.9 16 06120139 R1 14 4.7 5.73 0.98 0.28 0.06-2.5 0.09-1.6 36 06120313 R1 17 5.7 5.61 1.02 0.34 5.12 2.5 5.35 2.6 657 06125084 R6 13 4.3 4.18 1.37 0.28 0.09-2.4 0.13-1.4 663 06125124 R6 126
4 评 分 者 与 考 试 项 目 的 偏 差 分 析 Bias/Interaction: 1. judges, 3. items (higher score = higher bias measure) Obsvd Exp. Obsvd Obs-Exp Bias Model Infit Outfit judges items Score Score Count Average Size S.E. t MnSq MnSq Sq N judges measr N items measr 348 319.0 42.69.93.20 4.68.9 1.0 1 1 R6 -.31 1 reading -.49 969 923.5 125.36.39.10 4.01.4.4 5 5 R4 -.13 1 reading -.49 902 881.5 125.16.10.07 1.43 1.2.9 10 4 R3 -.60 2 question1.17 792 767.1 125.20.09.06 1.45.8.6 9 3 R2.01 2 question1.17 778 755.6 125.18.07.06 1.26.7.8 12 6 R5.03 2 question1.17 728 705.5 125.18.07.06 1.22.9.9 14 2 R1 -.01 3 question2.33 260 257.8 41.05.02.10.22.4.4 13 1 R6 -.31 3 question2.33 703 702.1 125.01.00.05.05.4.5 18 6 R5.03 3 question2.33 757 756.5 125.00.00.06.03 1.2 1.1 8 2 R1 -.01 2 question1.17 900 900.8 125 -.01 -.01.08 -.07.3.2 3 3 R2.01 1 reading -.49 846 848.0 125 -.02 -.01.07 -.13.8.7 16 4 R3 -.60 3 question2.33 758 762.8 125 -.04 -.02.06 -.27.3.3 17 5 R4 -.13 3 question2.33 980 982.6 125 -.02 -.02.09 -.25 1.3 1.0 4 4 R3 -.60 1 reading -.49 700 716.1 125 -.13 -.04.05 -.85.4.4 15 3 R2.01 3 question2.33 894 907.9 125 -.11 -.08.08-1.10.7.7 2 2 R1 -.01 1 reading -.49 889 903.8 125 -.12 -.09.08-1.21.5.6 6 6 R5.03 1 reading -.49 776 806.3 125 -.24 -.11.06-1.91.4.4 11 5 R4 -.13 2 question1.17 254 281.1 42 -.64 -.27.10-2.89.5.5 7 1 R6 -.31 2 question1.17 Obsvd Exp. Obsvd Obs-Exp Bias Model Infit Outfit judges items Score Score Count Average Size S.E. t MnSq MnSq Sq N judges measr N items measr 735.2 732.1 111.1.03.06.08.31.7.6 Mean (Count: 18) 217.1 215.2 31.1.26.25.03 1.81.3.3 S.D. (Populn) 223.4 221.5 32.0.27.25.03 1.86.3.3 S.D. (Sample) Fixed (all = 0) chi-square: 60.8 d.f.: 18 significance (probability):.00 六 讨 论 127
七 结 束 语 参 考 文 献 参 考 文 献 128