Microsoft Word - 进展2010年8期_new_.doc

Transcription

1 心 理 科 学 进 展 010, Vol. 18, No. 8, Advances n Psychologcal Scence * 计 算 机 自 适 应 测 验 中 测 验 安 全 控 制 方 法 评 述 李 铭 勇 1 张 敏 强 1 简 小 珠 ( 1 华 南 师 范 大 学 应 用 心 理 研 究 中 心, 广 州 ) ( 井 冈 山 大 学, 吉 安 ) 1, 摘 要 计 算 机 自 适 应 测 验 在 实 际 应 用 中 曾 经 受 到 了 测 验 安 全 问 题 质 疑 国 内 外 学 者 主 要 从 两 种 研 究 思 路 提 出 了 测 验 安 全 控 制 的 方 法 : 一 是 控 制 项 目 的 最 大 曝 光 率, 沿 着 这 个 思 路 发 展 出 来 的 方 法 有 SH 法 项 目 合 格 方 法 多 重 最 大 曝 光 率 法 等 ; 二 是 改 进 选 题 策 略, 沿 着 这 个 思 路 发 展 的 方 法 主 要 是 a 分 层 法 及 其 变 式 此 外, 近 年 来 出 现 了 测 验 安 全 控 制 方 法 之 间 相 结 合 的 研 究 思 路 本 文 从 均 方 误 差 项 目 曝 光 率 题 库 利 用 率 等 指 标 论 述 了 测 验 安 全 控 制 方 法 的 优 缺 点, 并 概 述 了 这 些 测 验 安 全 控 制 方 法 的 研 究 发 展 历 程 与 发 展 思 路, 展 望 了 今 后 的 研 究 趋 势 关 键 词 测 验 安 全 ; SH 法 ; 项 目 合 格 方 法 ; 多 重 最 大 曝 光 率 法 ; a 分 层 法 分 类 号 B841 1 CAT 中 测 验 安 全 控 制 的 研 究 背 景 1.1 CAT 在 教 育 与 心 理 测 验 实 践 中 的 应 用 计 算 机 自 适 应 测 验 (Computerzed Adaptve Test, CAT) 是 现 代 测 量 理 论 与 计 算 机 技 术 相 结 合 的 产 物 与 传 统 的 纸 笔 测 验 相 比, CAT 具 有 诸 多 优 点, 例 如 : 它 能 够 根 据 被 试 能 力 水 平 选 择 相 适 应 难 度 的 试 题, 进 行 施 测 ; 不 同 的 测 验 成 绩 具 有 可 比 性 ; 不 需 要 安 排 在 固 定 的 时 间 固 定 的 地 点 ; 能 够 实 时 评 分 等 等, 使 得 国 内 外 学 者 对 CAT 的 理 论 研 究 和 应 用 研 究 越 来 越 多 美 国 的 许 多 大 型 考 试, 如 GRE( 研 究 生 入 学 考 试 ) TOFEL CGFNS( 护 士 资 格 考 试 ) SAT( 学 术 能 力 测 验 ) GMAT( 美 国 商 学 院 入 学 考 试 ) ASVAB( 美 国 军 队 职 业 能 力 倾 向 测 验 ) 等 都 使 用 了 CAT 的 形 式 ; 国 内 的 一 些 考 试 也 采 用 CAT 形 式, 比 如 全 国 大 学 英 语 四 六 级 考 试 ( 试 用 阶 段 ) 台 湾 初 中 升 高 中 的 基 础 知 识 测 试 ( 简 称 基 测 ) 等 等 1. CAT 的 选 题 策 略 及 由 此 产 生 的 项 目 曝 光 率 问 题 由 于 CAT 根 据 被 试 能 力 水 平 选 择 能 提 供 最 大 信 息 量 的 试 题, 因 此 一 些 测 量 性 能 优 良 的 试 题 往 往 会 被 优 先 选 择 对 于 三 参 数 Logstc 模 型 来 收 稿 日 期 : * 广 东 省 自 然 科 学 基 金 ( ) 教 育 部 人 文 社 科 基 地 项 目 基 金 (009JJDXLX006) 资 助 通 讯 作 者 : 张 敏 强, E-mal: zhangmq1117@yahoo.com.cn 说, 项 目 的 信 息 函 数 是 : (1.7) a (1 c) I ( θ ) = a θ b a θ b [ c + e ][1 + e ] 1.7 ( ) 1.7 ( ) (1) 其 中 a b c 分 别 是 区 分 度 参 数 难 度 参 数 伪 机 遇 参 数 由 公 式 1 可 知, 项 目 的 a 参 数 越 大 c 参 数 越 小 ( θ b ) 越 小, 则 越 能 够 提 供 更 大 的 信 息 量 IRT 中 定 义 测 量 误 差 为 测 验 信 息 量 的 平 方 根 的 倒 数 ( 漆 书 青, 戴 海 琦, 丁 树 良, 00), 即 : SE( θ ) = 1 I ( θ ) () 由 公 式 可 知, 测 验 信 息 量 越 大, 对 特 质 点 ˆ θ 的 估 计 标 准 误 就 越 小, 此 时 CAT 能 得 到 最 大 的 精 确 性 因 此, CAT 的 选 题 策 略 往 往 是 最 大 项 目 信 息 量 法 或 其 变 式 基 于 最 大 项 目 信 息 量 的 选 题, 必 然 使 高 a 参 数 低 c 参 数 的 项 目 选 中 的 几 率 非 常 大 ; 反 之, 则 选 中 几 率 就 低, 甚 至 为 零, 这 就 导 致 了 题 库 曝 光 的 程 度 极 不 均 衡 试 题 曝 光 率 问 题 在 最 早 的 CAT 测 验 ASVAB-CAT 就 进 行 了 探 讨, 并 使 用 了 试 题 曝 光 率 控 制 方 法 (Sands, Waters, & McBrde, 1997) 1.3 CAT 在 实 践 应 用 中 的 试 题 泄 露 问 题 由 于 CAT 不 像 纸 笔 测 验 那 样, 安 排 在 固 定 的 时 间 地 点 考 试, 而 是 一 年 中 反 复 举 行 多 次, 所 以 已 经 参 加 过 考 试 的 考 生 就 有 可 能 将 试 题 泄 露 1339

2 心 理 科 学 进 展 010 年 给 将 要 参 加 考 试 的 朋 友, 这 种 考 生 之 间 的 题 目 分 享 行 为 会 导 致 得 到 试 题 的 考 生 分 数 偏 高 而 更 为 严 重 的 是 有 组 织 的 盗 题 行 为 (organzed tem theft), 这 会 对 题 库 造 成 巨 大 的 伤 害 在 CAT 的 历 史 上 曾 经 出 现 两 次 较 大 的 盗 题 事 件, 一 次 是 1994 年 Kaplan 教 育 中 心 的 盗 题 事 件 ( 张 华 华, 程 莹, 005a), 另 外 一 次 是 亚 洲 非 法 网 站 公 布 GRE 真 题 事 件, 这 两 次 事 件 都 使 得 ETS 公 司 被 迫 暂 时 放 弃 机 考, 即 计 算 机 自 适 应 考 试 形 式, 改 为 传 统 的 纸 笔 测 验 形 式 而 自 00 年 8 月 7 日, ETS 终 止 了 在 中 国 内 地 香 港 台 湾 地 区 和 韩 国 的 CAT-GRE 之 后, 至 今 尚 未 恢 复 机 考 形 式, 给 这 些 地 区 的 考 生 造 成 了 极 大 的 不 便 与 困 扰 CAT 是 一 种 新 型 的 测 验 形 式, 是 考 试 方 式 的 一 次 伟 大 变 革 如 果 仅 仅 因 为 测 验 安 全 问 题 而 被 迫 暂 时 放 弃 CAT 考 试 形 式 是 非 常 可 惜 的, 但 是 题 库 的 容 量 是 有 限 的, 而 题 库 又 必 须 高 频 地 运 行, 测 验 安 全 控 制 问 题 就 变 得 极 为 迫 切 许 多 研 究 者 都 已 经 从 多 个 角 度 与 思 路 来 探 讨 和 研 究 测 验 安 全 问 题 测 验 安 全 控 制 方 法 及 其 发 展 评 述.1 各 种 控 制 测 验 安 全 方 法 的 评 述 在 CAT 测 验 发 展 过 程 中, 研 究 者 已 提 出 了 多 种 测 验 安 全 控 制 方 法, 本 文 将 这 些 方 法 归 纳 概 括, 详 细 介 绍 其 中 具 有 代 表 性 的 四 种 方 法 :(1)SH 条 件 概 率 法 及 其 变 式 ; () 项 目 合 格 方 法 ; (3) 多 重 最 大 曝 光 率 法 ; (4) a 分 层 法 及 其 变 式 下 面 分 别 从 它 们 的 基 本 思 想 方 法 与 步 骤 优 缺 点 及 其 发 展 趋 势 进 行 论 述.1.1 SH 条 件 概 率 法 及 其 变 式 1985 年, Sympson 和 Hetter 最 早 提 出 了 控 制 曝 光 率 的 条 件 概 率 法 ( 简 称 SH 法 ), 它 是 一 种 利 用 条 件 概 率 对 项 目 曝 光 率 进 行 控 制 的 方 法, 其 根 本 思 想 就 是 在 项 目 的 选 择 和 最 终 抽 取 之 间, 加 设 一 个 过 滤 器 假 定 某 一 项 目 已 经 被 选 择, 那 么 要 不 要 安 排 这 个 项 目 给 被 试 则 取 决 于 该 项 目 的 曝 光 参 数 PA ( S ), 对 于 比 较 容 易 安 排 给 被 试 的 项 目, 其 曝 光 控 制 参 数 可 以 设 为 一 个 合 适 的 值, 使 这 些 项 目 的 最 大 曝 光 率 不 能 超 过 某 一 个 预 设 值 r, 而 对 于 那 些 很 少 被 选 择 的 项 目, 他 们 的 项 目 曝 光 参 数 可 以 最 高 设 为 1, 以 增 加 这 个 项 目 的 曝 光 率 具 体 说, 在 SH 方 法 中 要 首 先 定 义 两 个 事 件 : S : 项 目 被 选 择 A : 项 目 被 安 排 给 被 试 项 目 只 有 先 被 选 择 才 有 可 能 安 排 给 被 试, 因 此 对 于 所 有 的 项 目 来 说, S 这 个 集 合 包 含 A 这 个 集 合, 即 A S 对 于 给 定 的 能 力 值 为 θ 的 被 试, 项 目 安 排 给 被 试 的 概 率 是 : PA ( ) = PA ( S) PS ( ) (3) 公 式 3 中, PS ( ) 的 值 与 选 题 策 略 题 库 中 的 项 目 被 试 总 体 特 质 水 平 分 布 有 关, 一 旦 这 些 因 素 确 定, PS ( ) 值 就 是 确 定 的, 那 么 要 使 PA ( ) r, 则 只 需 要 确 定 PA ( S ) 值 即 可 在 SH 法 中, 条 件 概 率 值 PA ( S ) 需 要 经 过 多 次 模 拟 仿 真 实 验 得 到 如 果 t = 1,,... 表 示 模 拟 的 次 数, 那 么 在 SH 方 法 中, 随 着 测 验 的 进 行, 其 条 件 概 率 的 调 试 遵 照 下 面 的 公 式 : t ( t 1) 1 f P ( S ) r P ( A S) + = t t t r P ( A S) P ( A) f P ( S) > r (4) SH 法 是 最 早 提 出 的 使 用 条 件 概 率 控 制 曝 光 率 的 方 法, 此 种 方 法 的 提 出 具 有 开 创 性 的 意 义, 为 后 人 研 究 曝 光 率 控 制 方 法 提 供 了 思 路 但 是 正 如 van der Lnden (003), Barrada, Olea 和 Ponsoda (007) 指 出 的 一 样, SH 法 作 为 一 个 先 导 性 方 法 具 有 其 一 些 缺 点 : 首 先, 它 只 关 注 曝 光 率 过 高 项 目, 未 关 注 低 曝 光 率 或 零 曝 光 率 的 项 目, 所 以 虽 然 能 够 降 低 原 本 曝 光 率 过 高 的 项 目 的 抽 取 概 率, 却 不 能 提 高 那 些 曝 光 率 过 低 或 从 未 被 抽 取 的 项 目 的 抽 取 概 率, 所 以 题 库 的 利 用 率 并 未 得 到 显 著 提 高 ; 其 次, SH 法 与 最 大 信 息 量 法 同 时 使 用 时, 测 量 的 精 度 不 能 保 证 ; 第 三, 确 定 曝 光 参 数 值 时, 要 通 过 多 次 模 拟 仿 真 试 验, 测 验 条 件 稍 有 改 变, 就 须 重 新 进 行 模 拟 试 验, 这 个 模 拟 过 程 非 常 耗 时 ; 第 四, 曝 光 参 数 的 模 拟 依 赖 于 被 试 能 力 分 布, 模 拟 曝 光 参 数 的 被 试 分 布 要 与 实 际 参 加 测 试 的 被 试 分 布 相 符, 否 则 其 得 到 的 曝 光 参 数 不 能 保 证 所 有 项 目 的 曝 光 率 低 于 r, 而 这 个 条 件 往 往 难 以 满

3 第 18 卷 第 8 期 计 算 机 自 适 应 测 验 中 测 验 安 全 控 制 方 法 评 述 足 ; 另 外, 曝 光 参 数 在 模 拟 过 程 中 的 收 敛 问 题 也 困 扰 着 研 究 者 之 后 的 十 几 年 间, 围 绕 这 种 方 法 展 开 了 大 量 的 研 究, 很 多 专 家 学 者 提 出 了 SH 方 法 的 一 些 变 式, 如 Davey 和 Parshall (1995) 提 出 的 DP 法, Stocng 和 Lews (1995, 1998) 提 出 的 非 条 件 化 多 项 式 法 (uncondtonal multnomal, 简 称 SL 法 ), 以 及 Stocng 和 Lews (1998) 提 出 条 件 化 的 多 项 式 法 (condtonal multnomal, 简 称 SLC 法 ) 这 些 研 究 中 模 拟 曝 光 控 制 参 数 时, 设 定 一 定 的 条 件, 使 得 曝 光 控 制 参 数 PA ( S ) 的 计 算 更 快 也 更 有 效, 在 一 定 程 度 上 改 善 了 SH 方 法 另 外, Revuelta 和 Ponsoda (1998) 提 出 了 限 制 方 法 (restrcted method, 简 称 RT 法 ), 此 法 遵 循 了 SH 法 的 思 想, 但 另 辟 蹊 径, 提 出 在 题 库 运 行 中 (on the fly) 自 动 调 试 曝 光 参 数 为 0 或 1, 即 若 项 目 在 前 j 个 被 试 上 的 曝 光 率 大 于 等 于 r 时, 则 将 + 值 设 为 0, 反 之 则 为 1, 具 体 公 式 为 : (1... j) ( ) 1 f P ( A ) r + = < (5) (1... j) 0 f P ( A ) r 这 种 方 法 有 它 独 特 的 贡 献, 为 以 后 研 究 项 目 曝 光 率 方 法 提 供 了 新 的 思 路.1. 项 目 合 格 方 法 van der Lnden 和 Veldamp (004, 007) 提 出 了 项 目 合 格 方 法 (tem elgblty method, 简 称 1 f P( A ) P( E ) r PE ( + ) IE 法 ), 这 种 方 法 认 为 项 目 曝 光 的 控 制 不 是 在 项 目 选 择 之 后, 而 是 在 被 试 参 加 测 试 之 前 也 就 是 说, 不 是 要 决 定 选 择 的 项 目 是 否 安 排 给 被 试, 而 是 在 项 目 选 择 之 前 就 决 定 题 库 中 的 哪 些 题 目 对 于 被 试 来 说 是 合 格 的, 如 果 项 目 是 合 格 的, 那 它 就 留 在 子 题 库 中 ( 或 者 叫 做 影 子 题 库 ), 否 则 就 从 子 题 库 中 移 除 这 个 方 法 实 施 的 关 键 是 将 能 力 分 为 不 同 的 水 平 (ablty level) θ, = 1,..., K, 在 被 试 参 加 测 试 之 前 就 确 定 了 项 目 对 能 力 水 平 θ 的 合 格 ( 不 合 格 ) 概 率, 每 个 能 力 水 平 θ 对 应 一 个 子 题 库, 在 测 试 过 程 中, IE 法 只 需 根 据 被 试 当 前 能 力 估 计 值 进 入 不 同 的 子 题 库 中 选 题 对 照 SH 法 来 看, 要 实 施 IE 法 首 先 要 定 义 两 个 事 件 : E : 项 目 是 合 格 的 A : 项 目 被 安 排 给 被 试 如 果 项 目 是 合 格 的, 它 就 保 存 在 对 于 被 试 j 合 格 的 试 题 的 子 题 库 中, 否 则 就 移 出 这 个 题 库 类 似 地 : PA ( ) = PA ( E) PE ( ) (6) 但 是 与 SH 方 法 不 同 的 是, IE 法 不 需 要 用 多 次 模 拟 仿 真 实 验 计 算 控 制 参 数, 而 是 吸 收 了 RT 法 的 思 想, 在 题 库 运 行 中 (on the fly) 自 动 控 制 对 项 目 合 格 的 被 试 的 概 率, 这 个 概 率 是 PE ( j ) PE ( j ) 值 在 题 库 运 行 中 根 据 以 下 公 式 调 试 : 1.. j j =.... j j r P( E ) P( A ) f P( A ) P( E ) > r 其 中 PE ( + ) 是 项 目 对 j + 1 个 被 试 合 格 的 1.. 概 率, PA ( j ) 是 项 目 安 排 给 前 j 个 被 试 的 比 例 IE 法 的 优 点 有 :(1) 不 需 要 迭 代 模 拟 过 程 去 确 定 曝 光 控 制 参 数 ; () 曝 光 控 制 参 数 根 据 每 个 被 试 调 试 但 是 此 法 也 有 其 局 限 性 : 对 测 验 精 度 题 库 安 全 题 库 利 用 率 等 的 控 制 效 果 不 明 显 ; 只 能 降 低 过 度 曝 光 项 目 的 曝 光 率, 并 不 能 提 高 低 曝 光 率 项 目 的 曝 光 率.1.3 多 重 最 大 曝 光 率 法 Barrada, Veldamp 和 Olea (009) 提 出 了 多 重 最 大 曝 光 率 法 (multple mum exposure rate method, 即 为 multple- r, 简 称 MRM 法 ), 此 法 在 测 验 中 的 每 一 个 项 目 位 置 (tem poston, 若 一 位 被 试 在 某 次 考 试 中 作 答 Q 个 项 目, 那 么 就 有 (7) Q 个 项 目 位 置 ) 上 都 设 置 一 个 最 大 曝 光 率, 其 方 法 与 原 理 如 下 : 它 的 主 要 目 标 与 其 他 所 有 控 制 项 目 曝 光 率 的 方 法 一 样, 就 是 使 所 有 项 目 的 曝 光 率 低 于 一 个 预 设 值, 即 为 : PA ( ) r (8),1... q 1... q 其 中 r 1...q 为 q 位 置 上 项 目 的 最 大 曝 光 率, PA (,1... q) 是 前 q 位 置 中 项 目 的 曝 光 率 r 1...q 要 满 足 以 下 三 个 限 制 : r > 1... q+ 1 r1... (9) q r1...q q n (10) r (11) 1... Q 1 由 式 可 以 看 出, 随 着 项 目 位 置 q 增 大, 此 位 置 所 允 许 的 最 大 曝 光 率 也 逐 渐 增 大, 也

4 -134- 心 理 科 学 进 展 010 年 就 是 说 测 验 中 第 一 个 位 置 上 的 最 大 曝 光 率 是 最 小 的, 第 Q 位 置 上 的 最 大 曝 光 率 是 最 大 的, 这 样 就 可 能 避 免 当 特 质 水 平 的 估 计 还 不 稳 定 的 时 候, 选 择 高 a 参 数 低 c 参 数 的 项 目, 而 且 还 预 示 着 随 着 测 验 的 进 行, 将 有 更 多 的 项 目 是 合 格 的 在 MRM 法 中, 每 一 个 项 目 位 置 上 都 设 有 一 个 最 大 曝 光 率, 项 目 在 q 位 置 上 实 际 的 最 大 曝 光 率 到 底 是 多 少 呢? 对 于 一 个 项 目 位 置, 首 先 需 要 区 分 两 种 最 大 曝 光 率 : 一 是 前 q 个 位 置 上 项 目 所 能 允 许 的 最 大 曝 光 率, 如 上 所 述, 是 r 1...q ; 二 是 项 目 在 第 q 位 置 上 允 许 的 最 大 曝 光 率 t + q, 假 设 出 现 下 列 的 情 况 : r 等 于 0.4, 1... q 1 r 1...q 等 于 0.5, 那 么 在 第 q 位 上 允 许 的 最 大 曝 光 率 即 t + 是 多 少 呢? 不 是 0.5, 这 个 值 应 该 是 0.01 q, 如 果 项 目 1 在 第 q 1 位 上 的 曝 光 率 达 到 0.4, 在 下 一 个 位 置 上 是 0.5 的 话, 那 么 这 个 项 目 的 总 曝 光 率 为 0.49, 就 超 过 了 限 度 同 样 地, r 等 于 1... q 1 0.4, r 1...q 等 于 0.5, 此 时, 项 目 1 在 第 q 1 位 置 上 的 曝 光 率 为 0.01, 那 么 如 果 项 目 1 在 第 q 位 置 上 允 许 的 最 大 曝 光 率 还 是 0.01 的 话, 那 么 项 目 1 的 曝 光 率 就 被 控 制 在 一 个 很 小 的 值 了, 这 样 是 对 项 目 1 的 浪 费, 因 此, 此 时 项 目 1 的 q 位 置 上 允 许 的 最 大 曝 光 率 是 0.4 所 以 q 位 置 上 允 许 的 最 大 曝 光 率 t + 为 : q, j t + ˆ ˆ q, = r1.. q pa ( +,1.. q 1) = r1.. q mn[ r1.. q 1, pa (,1.. q 1)] (1) 1... 其 中 pa ˆ( +,1... q ) 是 对 于 第 j + 1 个 被 试 来 说, 项 目 允 许 的 曝 光 率 MRM 方 法 与 IE 法 一 样, 都 是 在 题 库 运 行 中 (on the fly) 调 试 控 制 参 数 的, 项 目 对 第 j + 1 被 试 在 第 q 位 置 上 的 控 制 参 数 是 根 据 以 下 公 式 调 节 的 : j + 1 PE ( q, ) = PE ( ) t PA ( ) f PA ( ) PE ( ) t 1.. j j j f P( A ) P( E,, ) q q tq, 1.. j j j j j j+ 1 q, q,,1.. q q, q, > q, (13) 由 公 式 13 可 以 看 出, MRM 法 与 IE 法 ( 公 式 7) 类 似, 只 是 将 IE 法 中 的 r 换 成 了 t + q, MRM 法 实 际 上 是 吸 收 了 IE 法 的 思 想, 在 题 库 运 行 过 程 中 调 试 项 目 的 合 格 概 率 ; 不 同 的 是, 它 考 虑 到 了 项 目 位 置, 调 试 项 目 对 每 一 个 项 目 位 置 的 合 格 性, 这 个 过 程 更 精 细 模 拟 实 验 表 明, MRM 法 使 得 曝 光 率 的 分 布 更 加 同 质 ; 提 高 了 题 库 的 利 用 率 ; 测 验 的 重 叠 率 降 低 ; 另 外 对 于 均 方 误 差 的 影 响 很 小, 几 乎 可 以 忽 略 不 计 ; 能 够 提 供 更 大 的 测 验 信 息 量 但 是 MRM 也 存 在 一 些 问 题 : (1) 每 个 位 置 都 有 一 个 最 大 曝 光 率, 若 在 某 一 个 考 试 中, 一 位 被 试 作 答 Q 个 项 目, 共 有 n 个 被 试 参 加 考 试, 那 么 将 设 置 n Q 个 最 大 曝 光 率, 这 个 过 程 显 然 过 于 复 杂 ; ()MRM 法 同 时 考 虑 了 项 目 位 置 和 项 目 合 格 概 率 两 个 方 面, 并 进 行 了 调 试 控 制, 这 种 严 格 的 控 制 已 经 降 低 了 测 验 精 度, 如 果 在 实 际 题 库 应 用 中 再 加 上 内 容 约 束 (content constrants) 的 话, 如 此 严 格 的 限 制 可 能 进 一 步 降 低 测 验 精 度, 甚 至 导 致 无 可 选 项 目.1.4 a 分 层 选 题 策 略 法 及 其 变 式 Chang 和 Yng (1996, 1999) 对 传 统 的 最 大 信 息 量 法 (mum nformaton method) 提 出 了 质 疑, 他 们 认 为, 无 限 大 的 题 库 是 不 存 在 的, 而 根 据 项 目 最 大 信 息 量 法 选 出 来 的 试 题 都 是 高 区 分 度 且 难 度 参 数 接 近 被 试 能 力 的 项 目, 这 样 对 高 区 分 度 的 追 求 造 成 了 题 库 创 作 人 员 的 困 境, 同 时, 进 入 题 库 的 题 目 都 是 精 挑 细 选 的, 虽 然 区 分 度 相 对 较 低, 但 是 也 具 有 优 良 的 测 验 性 能, 这 样 弃 之 不 用 是 资 源 的 浪 费 另 外 一 个 方 面 来 讲, 在 测 验 开 始 之 初, 使 用 高 信 息 量 标 准 是 无 效 的, 因 为 此 时 的 被 试 能 力 水 平 的 估 计 值 与 被 试 的 能 力 真 值 之 间 有 一 定 的 差 距, 所 以 此 时 并 不 需 要 使 用 高 区 分 度 的 项 目, 这 样 高 区 分 度 的 项 目 就 可 以 留 到 能 力 估 计 较 稳 定 的 阶 段 使 用 基 于 此, 张 华 华 等 人 从 改 进 选 题 策 略 的 角 度 出 发, 提 出 了 a 分 层 最 大 信 息 量 选 题 法 ( a -stratfed mum nformaton tem selecton method, 简 称 a 分 层 法 ), 遵 循 着 这 种 思 路 发 展 了 一 些 方 法 a 分 层 法 的 目 的 是 使 得 题 库 中 项 目 利 用 更 加 均 衡, 其 实 质 就 是 把 项 目 的 区 分 度 ( a 参 数 ) 分 层, 在 测 验 的 早 期 阶 段 实 施 低 区 分 度 的 项 目, 测 验 的 后 期 分 别 实 施 中 等 区 分 度 和 高 区 分 度 的 项 目 基 本 的 步 骤 如 下 : 步 骤 1: 根 据 项 目 的 区 分 度 参 数 把 题 库 分 为

5 第 18 卷 第 8 期 计 算 机 自 适 应 测 验 中 测 验 安 全 控 制 方 法 评 述 层, 第 一 层 和 最 后 一 层 分 别 包 括 区 分 度 最 小 和 最 大 的 项 目 步 骤 : 与 个 项 目 层 相 匹 配, 整 个 测 验 过 程 也 被 分 为 层 步 骤 3: 在 第 阶 段, 从 第 n 层 中 选 择 项 目, 通 过 被 试 对 试 题 的 反 应 对 被 试 的 能 力 进 行 估 计, 然 后 选 择 并 安 排 那 些 与 被 试 的 能 力 估 计 值 接 近 的 难 度 参 数 的 项 目 步 骤 4: 从 =1 到 = 重 复 步 骤 3 a 分 层 法 最 大 的 优 点 便 是 能 够 使 得 一 些 低 区 分 度 项 目 的 曝 光 率 增 加, 使 得 项 目 之 间 的 应 用 更 加 平 衡 所 以 a 分 层 法 在 降 低 测 验 成 本 提 高 测 验 效 率 平 衡 测 验 曝 光 率 提 高 题 库 利 用 率 方 面 比 传 统 的 选 题 策 略 有 着 一 定 的 优 势, 并 且 分 层 选 题 策 略 使 得 项 目 的 补 充 容 易 实 现, 并 使 得 在 线 题 库 的 操 作 与 管 理 更 加 容 易 实 现 ( 张 华 华, 程 莹, 005b) 但 是, Chang 和 Yng (1999) 提 出 的 a 分 层 法 只 不 过 是 一 个 雏 形, 最 初 的 模 拟 实 验 考 虑 的 情 况 也 比 较 简 单, 所 以 存 在 一 些 问 题 :(1) 它 并 不 能 确 保 所 有 的 项 目 的 曝 光 率 都 低 于 某 个 预 设 值 之 下, 特 别 是 当 题 库 容 量 与 测 验 长 度 的 比 值 ( n) 较 小 时, 这 种 情 况 更 加 严 重 ; () a 参 数 与 b 参 数 有 一 定 的 正 相 关 (Lord & Wngersy, 1984; van der Lnden, Scrms, & Schnpe, 1999; Chang & van der Lnden, 003), 所 以, 在 低 a 参 数 层 中, 某 些 能 力 水 平 的 被 试 可 能 选 不 到 与 自 己 能 力 匹 配 的 项 目 ; (3) 并 未 提 出 任 何 加 入 内 容 约 束 的 技 术 针 对 这 些 问 题, 研 究 者 们 提 出 了 a 分 层 法 的 一 些 变 式, 包 括 :b 模 块 化 a 分 层 法 (Chang, Qan & Yng, 001) 层 间 不 平 衡 曝 光 率 (unequal tem exposure across strata) a 分 层 法 (Deng & Chang, 001) 内 容 模 块 化 a 分 层 法 (Y, Zhang, & Chang, 001) 0-1 分 层 策 略 (Chang & van der Lnden, 003), 这 些 方 法 从 不 同 的 角 度 改 进 了 a 分 层 法, 并 通 过 模 拟 题 库 和 实 际 题 库 的 实 验 证 明 了 这 些 变 式 相 对 于 a 分 层 法 的 优 势 Chang, Qan 和 Yng (001) 曾 提 出 了 a 分 层 法 亟 待 解 决 的 多 个 问 题, 有 些 问 题 已 经 在 以 后 的 研 究 中 得 到 解 决, 有 些 问 题 尚 未 解 决, 需 要 进 一 步 研 究, 如 怎 样 来 确 定 按 照 区 分 度 大 小 分 层 的 数 量, 分 层 的 数 量 是 否 对 能 力 估 计 的 平 均 偏 差 和 均 方 误 差 有 一 定 的 影 响 ; 怎 样 来 确 定 区 分 度 值 的 范 围 的 大 小 ; 怎 样 根 据 项 目 难 度 的 大 小 确 定 分 区 的 数 量, 以 及 分 区 的 数 量 是 否 会 对 能 力 估 计 的 平 均 偏 差 和 均 方 误 差 有 一 定 的 影 响 等 等. 评 价 测 验 安 全 方 法 的 指 标 以 上 论 述 了 测 验 安 全 控 制 的 多 种 方 法, 在 对 这 些 方 法 进 行 评 价 或 进 行 对 比 研 究 时, 往 往 会 使 用 多 种 评 价 指 标, 包 括 均 方 误 差 与 偏 差 测 验 重 叠 率 题 库 利 用 率 测 验 信 息 量 卡 方 统 计 量 最 大 曝 光 率 观 测 值 过 度 曝 光 项 目 量 等 七 种 指 标 (1) 均 方 误 差 (mean square error, MSE) 与 偏 差 (bas): 均 方 误 差 与 偏 差 是 评 价 测 验 安 全 控 制 方 法 的 首 选 指 标, 也 是 CAT 模 拟 以 及 各 种 蒙 特 卡 洛 模 拟 时 评 价 的 常 用 指 标 : m 1 ˆ MSE = ( θg θg) m (14) m g = 1 g = 1 Bas = ( ˆ θg θg) m) (15) 其 中 m 为 被 试 量, ˆg θ 是 第 g 个 被 试 的 能 力 估 计 值, θ g 是 第 g 个 被 试 的 能 力 真 值 MSE 和 Bas 越 小, 表 示 测 验 安 全 控 制 方 法 越 好 () 测 验 重 叠 率 (test overlap rate): 测 验 重 叠 率 是 测 验 安 全 性 的 一 个 重 要 指 标, Chen, Anenmann & Spray (003) 推 导 了 测 验 重 叠 率 (test overlap rate) 与 项 目 曝 光 率 (tem exposure rate) 之 间 的 关 系 : ˆ n T = Sr + n (16) ˆ 其 中, T 是 测 验 间 重 叠 率 ( 测 验 重 叠 率 是 指 被 试 间 作 答 相 同 项 目 的 比 例 (Way, 1998)), n 为 题 库 容 量, 是 定 长 CAT 长 度, S r 是 题 库 中 项 目 曝 光 率 的 方 差 由 公 式 可 知, 题 库 中 项 目 曝 光 分 布 均 衡, 则 测 验 重 叠 率 就 低, 从 而 测 验 的 安 全 性 也 能 得 到 保 证 测 验 重 叠 率 又 分 为 平 均 测 验 重 叠 率 再 测 重 叠 率 同 伴 间 测 验 重 叠 率 等 等 (3) 题 库 利 用 率 (the utlzaton rate of tem ban): 在 不 降 低 测 验 效 率 的 前 提 下, 题 库 中 的 中 低 区 分 度 项 目 的 利 用 情 况 是 题 库 利 用 率 的 衡 量 标 准 (Chang, Qan, & Yng, 001) 题 库 的 利 用 率 越 高, 一 方 面 能 够 避 免 高 区 分 度 项 目 的 过 度 曝 光 而 导 致 的 测 验 安 全 问 题, 另 一 方 面 也 能 够 改 善 测 验 项 目 的 补 充 与 维 护 带 来 的 成 本 升 高 问 题 (4) 测 验 信 息 量 (test nformaton): 测 验 信 息 量

6 心 理 科 学 进 展 010 年 反 映 测 验 的 准 确 性, 测 验 信 息 量 越 大, 对 该 被 试 的 能 力 估 计 就 越 精 确 (5) 卡 方 统 计 量 ( χ statstc):chang 和 Yng (1999) 认 为 题 库 中 项 目 的 曝 光 率 的 一 致 分 布 也 是 比 较 测 验 安 全 控 制 方 法 的 一 个 指 标, 提 出 χ 统 计 量 来 反 映 曝 光 率 分 布 的 观 测 值 与 理 想 值 之 间 的 差 距 若 题 库 容 量 为 N, 测 验 长 度 为 j, 则 题 库 中 项 目 曝 光 率 的 最 一 致 的 分 布 则 为 LN, 所 以 χ 统 计 量 的 公 式 为 : N ( er ) j L N χ = (17) LN j = 1 其 中 er 为 项 目 j 的 曝 光 率 χ 统 计 量 越 小, j 说 明 题 库 的 利 用 越 均 衡 (6) 最 大 曝 光 率 观 测 值 (observed mum exposure rates): 观 测 是 否 所 有 项 目 的 曝 光 率 都 控 制 在 某 一 预 设 值 ( r ) 之 下, 这 也 是 评 价 测 验 安 全 性 的 一 个 标 准 (Chang & Ansley, 003) (7) 过 度 曝 光 项 目 量 (number of overexposed tems): 过 度 曝 光 项 目 的 数 量 也 是 衡 量 CAT 安 全 性 的 一 个 指 标 有 些 研 究 者 设 定, 当 某 一 项 目 的 曝 光 率 超 过 0. 则 认 为 该 项 目 过 度 曝 光 (Chang & Yng, 1999; Hau & Chang, 001) 以 上 七 种 指 标 中, 其 中 MSE Bas 测 验 信 息 量 是 从 测 量 的 准 确 性 来 评 价, 测 验 重 叠 率 题 库 利 用 率 卡 方 统 计 量 最 大 曝 光 率 观 测 值 过 度 曝 光 项 目 量 等 是 从 题 库 曝 光 程 度 和 利 用 程 度 来 分 析 往 往 是 测 量 的 准 确 性 提 高 了, 而 题 库 曝 光 程 度 越 严 重, 题 库 利 用 率 下 降 测 量 准 确 性 与 题 库 曝 光 程 度 此 消 彼 长, 目 前 尚 未 有 一 种 曝 光 控 制 方 法 能 完 全 兼 顾 (Barrada, Veldamp, & Olea, 009), 因 而 多 种 测 验 安 全 指 标 同 时 使 用 成 为 目 前 研 究 和 应 用 的 一 种 趋 势 3 国 外 有 关 测 验 安 全 控 制 方 法 的 综 合 评 述 前 面 所 叙 述 的 四 种 测 验 安 全 控 制 方 法, 可 以 进 一 步 概 括 为 两 个 研 究 思 路 : 一 是 控 制 项 目 曝 光 率 的 思 路, 即 将 题 库 中 的 题 目 的 曝 光 率 控 制 在 某 一 个 预 设 值 之 下, SH 法 及 其 变 式 IE 法 MRM 法 都 可 归 为 此 思 路 二 是 改 变 选 题 策 略 的 思 路, 张 华 华 等 人 提 出 了 a 分 层 最 大 信 息 量 选 题 法, 沿 着 这 种 思 路 发 展 了 a 分 层 法 及 其 变 式 此 外, 近 年 来, 有 研 究 者 开 始 尝 试 将 不 同 测 验 安 全 控 制 方 法 结 合, 形 成 曝 光 率 控 制 方 法 与 改 变 选 题 策 略 方 法 相 结 合 的 研 究 思 路 3.1 控 制 项 目 最 大 曝 光 率 的 研 究 思 路 自 从 研 究 者 认 识 到 计 算 机 自 适 应 测 验 相 对 于 传 统 的 纸 笔 测 验 的 优 势 后, 对 于 测 验 安 全 控 制 的 关 注 就 越 来 越 多, McBrde 和 Martn (1983) 提 出 了 随 机 化 法 ( 简 称 MM 法 ), 但 是 Stocng 和 Lews (1995) 认 为 随 机 化 技 术 的 成 功 与 否 很 难 预 测, 且 不 能 保 证 所 有 项 目 都 不 被 过 度 使 用, 只 能 通 过 试 误 法 决 定 最 佳 选 择, 不 能 保 证 成 功, 其 结 果 也 不 能 简 单 地 推 广 到 其 他 的 题 库 和 测 验 结 构 中 去 因 此 随 机 化 技 术 逐 渐 被 人 们 放 弃, 相 对 而 言 利 用 条 件 概 率 控 制 项 目 曝 光 率 的 方 法 则 不 断 地 发 展 出 不 同 的 变 式 Sympson 和 Hetter (1985) 最 早 提 出 的 SH 条 件 概 率 法, 此 法 是 控 制 曝 光 率 的 经 典 方 法, 为 曝 光 率 控 制 提 供 了 一 个 新 的 角 度, 后 人 发 展 了 这 种 方 法, 提 出 了 一 些 变 式, 如 Davey 和 Parshall (1995), Stocng 和 Lews (1995, 1998), Stocng 和 Lews (1998) Chang 和 Ansley (003) 从 最 大 曝 光 率 的 观 测 值 再 测 重 叠 率 同 伴 间 测 验 重 叠 率 和 测 量 的 条 件 标 准 误 四 个 方 面 比 较 了 MM 法 SH 法 DP 法 SL 法 SLC 法 五 种 方 法, 结 果 发 现 这 几 种 方 法 各 有 优 势 也 各 有 不 足 : 例 如 SLC 方 法 在 各 个 指 标 上 表 现 良 好, 但 是 条 件 曝 光 控 制 参 数 的 确 定 过 程 非 常 复 杂 且 很 耗 时 ; MM 法 作 为 一 种 随 机 化 法, 虽 不 需 要 进 行 曝 光 参 数 的 模 拟, 但 是 对 曝 光 率 的 控 制 效 果 不 佳, 这 与 Stocng 和 Lews (1995) 观 点 一 致 Revuelta 和 Ponsoda (1998) 提 出 的 RT 法, 省 去 了 复 杂 的 模 拟 曝 光 控 制 参 数 的 问 题, 并 能 将 所 有 项 目 的 曝 光 率 控 制 在 r 之 下, 但 是 RT 法 却 在 一 定 程 度 上 降 低 了 测 验 精 度 另 外, Chen, Le 和 Lao (008) 论 述 了 RT 法 的 另 外 一 个 缺 点, 即 项 目 安 排 顺 序 的 可 预 测 性, 并 通 过 模 拟 实 验 说 明, 相 邻 四 个 被 试 间 的 测 验 重 叠 率 高 于 所 有 被 试 间 的 平 均 测 验 重 叠 率 van der Lnden 和 Veldamp (004, 007) 提 出 了 IE 法, 此 法 不 需 要 模 拟 曝 光 控 制 参 数, 且 曝 光 控 制 参 数 不 像 RT 法 那 样 只 有 0 1 两 个 值, 而 是 在 题 库 运 行 中, 根 据 项 目 安 排 概 率 在 ( r,1] 之 间 选 取 合 适 的 数 值 Barrada, Abad 和 Veldamp (009) 比 较 了 SH 法 RT 法 和 IE 法, 结 果 发 现 : 虽 然 考 虑 最 大 曝 光 率 过 度 曝 光 项 目 测 验 重 叠

7 第 18 卷 第 8 期 计 算 机 自 适 应 测 验 中 测 验 安 全 控 制 方 法 评 述 率 都 是 RT 法 最 好, 而 且 精 确 性 也 只 是 降 低 了 左 右, 但 是 考 虑 到 Chen 和 Doong (008) 的 研 究 提 出 的 序 列 测 验 重 叠 率 (sequental test overlap) 问 题 时, 发 现 RT 法 与 未 进 行 曝 光 控 制 时 的 测 验 重 叠 率 一 致, 具 体 来 说, 即 为 第 ( + 4 h) 个 考 生 的 测 验 重 叠 率 达 到 了 0.7 多, 这 也 验 证 了 Chen 等 人 (008) 的 研 究, 因 此 综 合 考 虑, IE 法 最 优, RT 次 之, SH 法 最 劣 Barrada, Veldamp 和 Olea (009) 提 出 了 MRM 法, 这 种 方 法 也 是 在 题 库 运 行 中 自 动 调 试 曝 光 控 制 参 数, 是 控 制 曝 光 率 方 法 的 最 新 进 展, 与 IE 法 相 比, MRM 法 使 项 目 曝 光 率 的 分 布 更 加 同 质 提 高 了 题 库 利 用 率 降 低 了 测 验 重 叠 率, 并 且 对 测 量 精 度 的 影 响 也 是 微 乎 其 微 的 3. 改 进 选 题 策 略 研 究 思 路 与 此 同 时, 张 华 华 等 人 则 寻 求 在 测 验 最 合 适 的 阶 段 使 用 最 合 适 的 项 目 (Georgadou, Trantafllou, & Economdes, 007), 他 们 认 为 在 测 验 开 始 之 初, 能 力 估 计 值 与 能 力 真 值 相 差 较 远 的 时 候 使 用 最 大 信 息 量 选 题 方 法 选 题 是 不 合 适 的, 并 且 论 证 了 无 论 是 在 理 想 的 题 库 中 还 是 在 实 际 题 库 中, a 分 层 法 都 能 使 曝 光 率 有 一 个 更 加 均 匀 的 分 布, 也 降 低 了 测 验 重 叠 率, 但 是 却 不 能 保 证 将 所 有 项 目 的 曝 光 率 控 制 在 某 个 预 设 值 之 下, 题 库 中 题 目 的 a 参 数 与 b 参 数 相 关 性 较 高 时, a 分 层 法 的 实 施 将 遇 到 困 难, 而 且 降 低 了 测 验 效 率 针 对 a 分 层 法 存 在 的 问 题, 研 究 者 从 不 同 的 角 度 进 行 了 一 些 深 入 的 研 究 Chang, Qan 和 Yng (001) 针 对 a 参 数 与 b 参 数 相 关 性 较 高 而 导 致 某 些 被 试 在 低 a 参 数 层 中 无 题 可 选 的 问 题, 提 出 了 b 模 块 化 a 分 层 法 (a-stratfcaton wth b-blocng), 同 时 模 拟 实 验 证 明, 与 a 分 层 法 相 比, 能 够 更 好 地 控 制 项 目 曝 光 率, 且 降 低 了 测 量 误 差 Deng 和 Chang (001) 针 对 测 验 效 率 的 降 低 问 题 提 出 了 一 种 修 正 的 分 层 方 法, 即 为 层 间 不 平 衡 曝 光 率 (unequal tem exposure across strata) a 分 层 法, 此 法 给 予 高 a 参 数 层 中 更 多 的 项 目, 而 给 予 低 a 参 数 层 中 选 择 较 少 的 项 目, 模 拟 实 验 证 明, 与 a 分 层 法 相 比, 此 法 能 够 提 高 测 验 效 率, 却 在 可 接 受 的 范 围 内 降 低 了 题 库 利 用 率 Y 和 Chang (001) 提 出 了 a 分 层 法 的 又 一 种 变 式, 即 内 容 模 块 化 a 分 层 法, 此 法 同 时 将 题 目 的 内 容 信 息 和 a b 参 数 相 关 性 考 虑 到 题 库 分 层 中 去, 并 通 过 实 验 比 较 了 内 容 模 块 化 a 分 层 法, a 分 层 法 b 模 块 化 a 分 层 法 以 及 SH 法, 发 现 内 容 模 块 化 a 分 层 法 降 低 了 高 a 参 数 项 目 的 曝 光 率, 提 高 了 低 a 参 数 项 目 的 曝 光 率, 而 且 几 乎 没 有 降 低 测 量 精 度 Chang 和 van der Lnden (003) 针 对 a 参 数 与 b 参 数 相 关 性 较 高 的 问 题, 基 于 题 库 的 理 想 分 层 思 想 提 出 了 0-1 分 层 策 略, 与 a 分 层 法 相 比, 此 法 使 得 每 一 层 中 b 参 数 分 布 更 广 泛 另 外, Y, Zhang 和 Chang (008) 还 从 有 组 织 的 盗 题 行 为 角 度 分 析 了 CAT 中 受 到 有 组 织 盗 题 行 为 危 害 的 可 能 情 况, 并 通 过 模 拟 实 验 比 较 了 最 大 项 目 信 息 量 选 题 法 a 分 层 法 在 遇 到 有 组 织 盗 题 行 为 时 题 库 损 坏 严 重 性 ( 评 价 指 标 为 题 库 中 题 目 被 盗 量 以 及 被 试 提 前 接 触 题 目 对 能 力 估 计 的 影 响 ), 结 果 显 示, 两 种 方 法 都 能 够 使 题 库 遭 受 严 重 损 害, 但 是 最 大 项 目 信 息 量 选 题 法 比 a 分 层 法 更 易 使 题 库 受 到 有 组 织 盗 题 行 为 的 损 害 3.3 不 同 方 法 相 结 合 的 研 究 思 路 目 前 已 有 一 些 研 究 者 将 不 同 测 验 安 全 控 制 方 法 结 合, 形 成 新 的 方 法, 以 期 综 合 不 同 测 验 方 法 的 优 势 Leung, Chang 和 Hau (00) 将 a 分 层 法 与 SH 方 法 结 合, 形 成 STR-SH 法, 并 将 STR-SH 法 与 传 统 SH 法 进 行 比 较, 结 果 表 明 STR-SH 法 能 够 控 制 所 有 项 目 的 曝 光 率, 且 项 目 曝 光 率 的 分 布 更 加 同 质, 另 外 测 验 重 叠 率 方 面 也 有 一 定 的 改 善 Y (00) 将 内 容 模 块 化 a 分 层 法 与 SH 法 结 合, 形 成 STR-C-SH, 利 用 了 SH 法 能 够 将 所 有 项 目 的 曝 光 率 控 制 在 某 一 个 预 设 值 之 下 的 优 点, 弥 补 了 内 容 模 块 化 a 分 层 法 不 足 此 法 在 操 作 上 除 了 在 每 一 层 中 加 上 曝 光 控 制 参 数 以 外, 其 它 步 骤 均 与 内 容 模 块 化 a 分 层 法 一 样, 模 拟 实 验 比 较 了 STR-C-SH 内 容 模 块 化 a 分 层 法 以 及 基 于 最 大 信 息 量 选 题 的 SH 法, 结 果 显 示, 相 比 较 而 言, STR-C-SH 在 项 目 曝 光 率 控 制 方 面 是 最 优 的 一 种 方 法 van der Lnden 和 Chang (005) 提 出 用 影 子 测 验 技 术 在 a 分 层 自 适 应 测 验 中 进 行 内 容 约 束 的 方 法, 此 法 具 有 两 个 主 要 优 势 : 一 为 运 用 影 子 测 验 技 术 可 以 在 a 分 层 自 适 应 测 验 的 项 目 选 择 中 加 入 任 何 约 束 条 件 ; 二 为 结 果 得 出 了 一 些 应 用 在 影

8 心 理 科 学 进 展 010 年 子 测 验 中 的 约 束 条 件, 进 而 可 降 低 题 库 中 过 度 曝 光 项 目 的 使 用 率, 提 高 低 曝 光 项 目 的 使 用 率 4 国 内 有 关 测 验 安 全 控 制 方 法 的 研 究 情 况 国 内 有 关 计 算 机 自 适 应 测 验 安 全 控 制 方 法 的 研 究 也 在 起 步 之 中, 并 与 国 外 研 究 水 平 靠 拢 一 些 研 究 者 分 别 对 Samejma 等 级 反 应 模 型 多 级 评 分 题 等 级 反 应 模 型 (GRM) 拓 广 分 步 评 分 模 型 (GPCM) 下 计 算 机 自 适 应 测 验 选 题 策 略 进 行 比 较 分 析 ( 陈 德 枝, 004; 戴 海 琦, 陈 德 枝, 丁 树 良, 邓 太 萍, 006; 陈 平, 丁 树 良, 林 海 菁, 周 婕, 006; 刘 珍, 丁 树 良, 林 海 菁, 008), 研 究 者 使 用 CAT 模 拟 的 方 法 比 较 了 几 种 不 同 的 选 题 策 略 的 性 能, 并 综 合 不 同 的 评 价 指 标 指 出 哪 种 选 题 策 略 的 评 价 最 高, 这 些 研 究 基 于 多 级 计 分 的 不 同 模 型 (GRM GPCM) 比 较 不 同 选 题 策 略, 将 有 关 测 验 安 全 控 制 问 题 延 伸 到 多 级 计 分 模 型 中 在 国 际 上, 有 关 等 级 反 应 模 型 的 计 算 机 自 适 应 测 验 安 全 问 题 的 研 究 相 对 较 少, 这 与 欧 美 国 家 的 考 试 多 使 用 两 级 评 分 试 题 有 关, Davs (00) 的 博 士 论 文 曾 对 计 算 机 自 适 应 测 验 中 多 级 计 分 项 目 曝 光 率 控 制 方 法 作 出 详 尽 的 研 究 与 分 析, 另 外 其 研 究 团 队 还 发 表 了 几 篇 学 术 论 文, 如 Pastor, Dodd 和 Chang (00), Davs (004), 除 此 之 外, 罕 有 国 外 研 究 者 对 此 问 题 作 出 研 究 因 此 国 内 江 西 师 大 研 究 团 队 对 于 有 关 计 算 机 自 适 应 测 验 中 多 级 计 分 试 题 的 选 题 策 略 的 研 究 是 目 前 较 为 前 沿 的 研 究 汪 文 义 和 丁 树 良 (009) 采 用 CAT 模 拟 研 究 比 较 了 两 参 数 模 型 的 CAT 选 题 策 略, 并 提 出 了 新 的 选 题 策 略 法 平 均 测 验 难 度 匹 配 法 谢 锋 (009) 做 了 有 关 CAT 曝 光 率 控 制 的 模 拟 研 究, 该 论 文 从 均 方 误 差 和 项 目 曝 光 率 角 度 分 析 三 种 不 同 的 选 题 策 略, 并 进 行 比 较 研 究, 但 是 总 体 来 说, 该 文 的 研 究 方 法 与 思 路 与 国 外 已 有 的 研 究 相 比, 还 较 为 粗 略 简 单 台 湾 学 者 朱 怡 君 (005) 吴 玫 玲 (006) 陈 升 座 (007) 等 还 从 另 外 一 个 角 度, 即 采 用 在 线 实 时 控 管 曝 光 率 的 方 式 来 研 究 试 题 曝 光 率, 并 与 传 统 的 非 在 线 实 时 控 管 曝 光 率 方 式 进 行 比 较, 认 为 不 论 题 库 大 小 与 曝 光 率 控 制 宽 松, 在 线 控 管 法 在 能 力 值 估 测 上, 无 法 超 越 非 在 线 控 管 法, 然 而 在 整 体 的 曝 光 率 控 管 上 是 有 明 显 的 改 善 ; 在 线 控 管 法 在 避 免 迭 代 过 程 及 不 受 施 测 情 境 影 响 的 优 势 上, 是 非 在 线 控 管 法 所 能 比 拟 的 ( 引 自 刘 育 隆, 庄 铭 豪, 郭 伯 臣, 蔡 笃 松, 008) 这 些 都 表 明 国 内 的 研 究 开 始 从 实 证 的 角 度 运 用 CAT 模 拟 技 术 论 证 计 算 机 自 适 应 测 验 安 全 问 题, 这 对 推 动 国 内 CAT 测 验 的 研 究 和 促 进 CAT 测 验 的 实 践 应 用 具 有 积 极 作 用 与 意 义 5 小 结 与 展 望 在 许 多 研 究 者 的 共 同 努 力 下, 计 算 机 自 适 应 测 验 的 测 验 安 全 控 制 方 法 在 不 断 发 展 和 完 善 中 许 多 研 究 者 通 过 CAT 模 拟 研 究 或 实 际 题 库 研 究, 一 是 从 控 制 曝 光 率 的 思 路 进 行 分 析, 二 是 从 改 进 选 题 策 略 的 思 路 进 行 探 讨 ; 而 且, 近 年 来 一 些 研 究 者 尝 试 不 同 方 法 的 结 合 来 探 讨 测 验 安 全 控 制 问 题 这 些 研 究 使 得 对 测 验 安 全 的 控 制 得 到 加 强, 这 对 促 进 CAT 的 应 用 与 推 广 具 有 重 要 的 意 义 然 而, 这 些 控 制 测 验 安 全 的 方 法 往 往 是 各 有 其 优 势 也 有 其 不 足, 并 没 有 哪 一 种 方 法 在 各 个 评 价 指 标 上 都 尽 如 人 意 既 能 降 低 项 目 曝 光 率 和 测 验 重 叠 率, 又 能 适 当 的 提 高 题 库 利 用 率 和 提 高 测 量 精 度, 这 是 今 后 研 究 者 在 测 验 安 全 控 制 方 法 方 面 的 研 究 方 向 和 目 标 综 合 过 去 的 研 究, 对 国 内 有 关 测 验 安 全 控 制 方 法 的 研 究 还 可 以 从 以 下 几 个 方 面 进 一 步 探 讨 ( 研 究 趋 势 ): 第 一, 目 前 已 有 一 些 研 究 者 综 合 不 同 测 验 安 全 控 制 方 法 的 优 势, 形 成 结 合 法 对 测 验 安 全 控 制 问 题 进 行 了 初 步 的 探 讨 因 此 综 合 不 同 方 法 的 优 势, 找 到 一 种 既 能 降 低 项 目 曝 光 率 和 测 验 重 叠 率, 又 能 提 高 题 库 利 用 率 和 提 高 测 量 精 度 的 结 合 方 法, 这 是 今 后 研 究 趋 势 之 一 第 二, 将 加 入 内 容 约 束 的 测 验 安 全 控 制 方 法 应 用 到 实 际 题 库 中 的 研 究 几 乎 没 有, 这 是 今 后 有 待 探 讨 的 问 题 因 为 在 模 拟 题 库 中 表 现 良 好 的 方 法, 可 能 在 实 际 题 库 中 加 入 内 容 约 束 时 可 能 会 遇 到 新 的 问 题 第 三, 目 前 对 于 两 级 计 分 的 项 目 反 应 模 型 的 研 究 比 较 成 熟, 并 且 已 有 些 方 法 已 经 应 用 到 了 实 际 题 库 中 然 而, 有 关 多 级 计 分 的 项 目 反 应 模 型 的 研 究 还 不 多, 而 且 大 多 局 限 在 CAT 模 拟 研 究 阶 段, 将 有 关 多 级 计 分 模 型 的 测 验 安 全 控 制 方 法 应 用 到 实 际 题 库 中, 也 是 今 后 研 究 趋 势 之 一 参 考 文 献 陈 德 枝. (004). Samejma 等 级 反 应 模 型 下 CAT 选 题 策 略 比 较 研 究. 硕 士 学 位 论 文. 江 西 师 范 大 学.

9 第 18 卷 第 8 期 计 算 机 自 适 应 测 验 中 测 验 安 全 控 制 方 法 评 述 陈 平, 丁 树 良, 林 海 菁, 周 婕. (006). 等 级 反 应 模 型 下 计 算 机 化 自 适 应 测 验 选 题 策 略. 心 理 学 报, 38(3), 陈 升 座. (007). 以 能 力 分 布 为 基 础 之 SHC 曝 光 率 控 管 法. 国 立 台 中 教 育 大 学 教 育 测 验 统 计 研 究 所 硕 士 论 文. 台 湾 台 中 市. 戴 海 琦, 陈 德 枝, 丁 树 良, 邓 太 萍. (006). 多 级 评 分 题 计 算 机 自 适 应 测 验 选 题 策 略 比 较. 心 理 学 报, 38(5), 刘 珍, 丁 树 良, 林 海 菁. (008). 基 于 GPCM 的 计 算 机 自 适 应 测 验 选 题 策 略 比 较. 心 理 学 报, 40 (5), 刘 育 隆, 庄 铭 豪, 郭 伯 臣, 蔡 笃 松. (008). 具 试 题 曝 光 率 控 管 之 IRT 适 性 测 验 算 法. 全 国 教 育 与 心 理 统 计 测 量 学 术 年 会 暨 第 八 届 海 峡 两 岸 心 理 与 教 育 测 验 学 术 研 讨 会. 云 南 昆 明. 汪 文 义, 丁 树 良. (009). PLM 下 CAT 选 题 策 略 比 较. 考 试 研 究, 5 (3), 漆 书 青, 戴 海 琦, 丁 树 良. ( 编 著 ) (00). 现 代 教 育 与 心 理 测 量 学 原 理. 北 京 : 高 等 教 育 出 版 社. 吴 玫 玲. (006). 计 算 机 适 性 测 验 在 线 曝 光 率 控 管 之 研 究. 国 立 中 正 大 学 心 理 研 究 所 硕 士 论 文. 台 湾 嘉 义 县. 谢 锋. (009). 计 算 机 自 适 应 考 试 曝 光 率 控 制. 硕 士 学 位 论 文. 东 北 师 范 大 学. 张 华 华, 程 莹. (005a). 计 算 机 自 适 应 测 验 (CAT) 的 发 展 和 前 景 展 望. 考 试 研 究, 1 (1), 1-4. 张 华 华, 程 莹. (005b). 计 算 机 自 适 应 测 验 (CAT) 的 发 展 和 前 景 展 望 ( 续 ). 考 试 研 究, 1(), -41. 朱 怡 君. (005). a- 分 层 计 算 机 适 性 测 验 之 曝 光 率 控 管. 国 立 中 正 大 学 心 理 研 究 所 硕 士 论 文. 台 湾 嘉 义 县. Barrada, J. R., Olea, J., & Ponsoda, V. (007). Methods for restrctng mum exposure rate n computerzed adaptve testng. Methodology, 3, Barrada, J. R., Abad, F. J., & Veldamp, B. P. (009). Comparson of methods for controllng mum exposure rates n computerzed adaptve testng. Methodology, 1, Barrada, J. R., Veldamp, B. P., & Olea J. (009). Multple mum exposure rates n computerzed adaptve testng. Appled Psychologcal Measurement, 33, Chang, H. H., & Yng, Z. (1996). A global nformaton approach to computerzed adaptve testng. Appled Psychologcal Measurement, 0, Chang, H. H., & Yng, Z. (1999). a-stratfcaton multstage computerzed adaptve testng. Appled Psychologcal Measurement, 3, 11-. Chang, H. H., Qan, J. H., & Yng, Z. L. (001). a-stratfed multstage computerzed adaptve testng wth b blocng. Appled Psychologcal Measurement, 5, Chang, H. H., & van der Lnden, W. J. (003). Optmal stratfcaton of tem pools n a-stratfcaton computerzed adaptve testng. Appled Psychologcal Measurement, 7, 6-7. Chang, S. W., & Ansley, T. N. (003). A comparatve study of tem exposure control methods n computerzed adaptve testng. Journal of Educatonal Measurement, 40, Chen, S. Y., Anenmann, R. D., & Spray, J. A. (003). The relatonshp between tem exposure and test overlap n computerzed adaptve testng. Journal of Educatonal Measurement, 40, Chen, S. Y., & Doong, S. H. (008). Predctng tem exposure parameters n computerzed adaptve testng. Brtsh Journal of Mathematcal and Statstcal Psychology, 61, Chen, S. Y., Le, P. W., & Lao, W. H. (008). Controllng tem exposure and test overlap on the fly n computerzed adaptve testng. Brtsh Journal of Mathematcal and Statstcal Psychology, 61, Davey, T., & Parshall, C. G. (1995). New algorthms for tem selecton and exposure control wth computerzed adaptve testng. Paper presented at the Annual Meetng of the Amercan Educatonal Research Assocaton, San Francsco, USA. Davs, L. (004). Strateges for controllng tem exposure n computerzed adaptve testng wth the generalzed partal credt model. Appled Psychologcal Measurement, 8, Davs, L. (00). Strateges for controllng tem exposure n computerzed adaptve testng wth polytomously scored tems. Unpublshed doctoral dssertaton. The unversty of Texas, Austn. Deng, H. & Chang, H. H.(001). a-stratfed computerzed adaptve testng wth unequal tem exposure across strata. Paper presented at the Annual Meetng of the Amercan Educatonal Research Assocaton, Seattle WA. Georgadou, E., Trantafllou, E., & Economdes, A. A. (007). A revew of tem exposure control strateges for computerzed adaptve testng developed from 1983 to 005. The Journal of Technology, Learnng, and Assessment, 5, Hau, K. T., & Chang, H. H. (001). Item selecton n computerzed adaptve testng: Should more dscrmnatng tems be used frst? Journal of Educatonal Measurement, 38, Leung, C. K., Chang, H. H., & Hau, K. T. (00). Item selecton n computerzed adaptve testng :Improvng the a-stratfed desgn wth the Sympson-Hetter algorthm. Appled Psychologcal Measurement, 6, Lord, F. M. & Wngersy, M. S. (1984). An nvestgaton of methods for reducng samplng error n certan IRT procedures. Appled Psychologcal Measurement, 8, Pastor, D. A., Dodd, B. G., & Chang, H. H. (00). A

10 心 理 科 学 进 展 010 年 Comparson of Item Selecton Technques and Exposure Control Mechansms n CATs Usng the Generalzed Partal Credt Model. Appled Psychologcal Measurement, 6, Revuelta. J., & Ponsoda. V. (1998). A comparson of tem exposure control methods n computerzed adaptve testng. Appled Psychologcal Measurement, 35, Sands, W. A., Waters, B. K., & McBrde, J. R. (Eds.) (1997). Computerzed adaptve testng: From nqury to operaton. Washngton, DC: Amercan Psychologcal Assocaton. Stocng, M. L., & Lews, C. (1995). A new method of controllng tem exposure n computerzed adaptve testng. (Research Rep. 95-5). Prnceton, NJ: Educatonal Testng Servce. Stocng, M. L., & Lews, C. (1998). Controllng tem exposure condtonal on ablty n computerzed adaptve testng. Journal of Educatonal and Behavoral Statstcs, 3, van der Lnden, W. J. (003). Some alternatves to Sympson-Hetter tem-exposure rates n computerzed adaptve testng. Journal of Educatonal and Behavoral Statstcs, 8, van der Lnden, W. J., & Chang H. H. (005). Implementng content constrants n alpha-stratfed adaptve testng usng a shadow test approach. Law School Admsson Councl, computerzed Testng Report van der Lnden, W. J., Scrms, D. J., & Schnpe, D. L. (1999). Usng response-tme constrants to control for speededness n computerzed adaptve testng. Appled Psychologcal Measurement, 3, van der Lnden, W. J., & Veldamp, B. P. (004). Constranng tem exposure n computerzed adaptve testng wth shadow tests. Journal of Educatonal and Behavoral Statstcs. 9, van der Lnden, W. J., & Veldamp, B. P. (007). Condtonal tem-exposure control n adaptve testng usng tem-nelgblty probabltes. Journal of Educatonal and Behavoral Statstcs, 3, Y, Q. (00). Incorporatng the Sympson-Hetter exposure control method nto the a-stratfed method wth content blocng. Paper presented at the Annual Meetng of the Amercan Educatonal Research Assocaton (AERA), New Orleans, LA Y, Q., Zhang, J. M., & Chang, H. H. (001). a-stratfed computerzed adaptve testng wth content blocng. Paper presented at the Annual Meetng of the Psychometrc socety, Kng of Prussa, PA. Y, Q., Zhang, J. M., & Chang, H. H. (008). Severty of organzed tem theft n computerzed adaptve testng: A smulaton study. Appled Psychologcal Measurement, 3, Way, W. D. (1998). Protectng the ntegrty of computerzed testng tem pools. Educatonal Measurement: Issues and Practces, 17, Test Securty Methods n Computerzed Adaptve Testng LI Mng-Yong 1 ; ZHANG Mn-Qang 1 ; JIAN Xao-Zhu 1, ( 1 Appled Psychology Research Center, South Chna Normal Unversty, Guangzhou , Chna) ( Jnggangshan Unversty, J an , Chna) Abstract: Computerzed adaptve testng has been subject to securty problem n practce. To solve the problem, the researchers at home and abroad have done a lot manly n two ways. One s to mpose a mum exposure rate of tems n the ban that no tem could exceed, whch ncludes SH method, tem elgblty method, multple mum exposure rate method and so on. The other s to mprove tem selecton strategy, whch nvolves a -stratfcaton method and ts alternatons. Furthermore, the two solutons have been ntegrated n recent years. In ths artcle, the author wll dscuss the advantages and dsadvantages of these methods focusng on MSE and bas, test overlap rate, utlzaton rate of tem ban and so on. Fnally, development hstory and research ways of the test securty method are summarzed, and future research trends are forecast as well. Key words: test securty, SH method, tem elgblty method, multple mum exposure rate method, a -stratfcaton method.