附 件 1: 计 算 机 辅 助 英 语 口 语 测 试 相 关 教 育 测 量 研 究 计 划 书 一 本 课 题 研 究 现 状 及 趋 势, 研 究 本 课 题 的 实 际 意 义 和 理 论 意 义 随 着 全 球 化 和 经 济 一 体 化 的 发 展, 英 语 作 为 国 际 通 用 语 言, 越 来 越 显 示 出 其 重 要 的 作 用 各 行 业 对 人 才 的 英 语 综 合 能 力 需 求 日 益 迫 切 然 而, 中 国 目 前 的 大 学 英 语 教 学 不 能 够 很 好 地 满 足 新 形 势 发 展 的 需 要, 特 别 是 大 学 生 的 英 语 听 说 能 力 有 待 于 进 一 步 提 高 在 中 国 由 于 缺 少 合 适 的 口 语 测 试 方 式 作 为 高 校 常 规 性 口 语 考 试, 因 此, 高 校 和 部 分 中 学 对 口 语 教 学 只 能 教 不 能 测, 致 使 中 国 的 英 语 口 语 教 学 成 为 英 语 教 学 中 最 薄 弱 的 环 节, 中 国 大 学 生 出 现 口 语 水 平 普 遍 比 较 差, 无 法 进 行 日 常 交 际 和 哑 巴 英 语 的 现 象 为 了 改 变 这 一 现 状,2004 年 1 月 中 国 教 育 部 正 式 颁 发 了 大 学 英 语 课 程 教 学 要 求 ( 试 行 ), 提 出 了 培 养 学 生 的 英 语 综 合 应 用 能 力, 特 别 是 听 说 能 力 这 一 新 的 大 学 英 语 教 学 目 标 这 一 新 要 求 是 针 对 目 前 中 国 大 学 生 英 语 听 说 能 力 普 遍 比 较 薄 弱 而 提 出 的 中 国 各 个 高 校 也 纷 纷 加 重 了 口 语 教 学 的 投 资 和 力 度, 试 图 通 过 口 语 教 学 改 革 和 计 算 机 辅 助 教 学 来 提 高 学 生 的 口 语 能 力 然 而 这 些 措 施 不 能 在 根 本 上 解 决 中 国 英 语 口 语 教 学 的 问 题, 在 英 语 口 语 教 学 中 仍 没 有 一 种 有 效 的 测 试 方 式 作 为 高 校 常 规 性 口 语 考 试 的 形 式, 因 此 很 多 高 校 还 是 不 能 实 施 大 规 模 的 常 规 性 口 语 考 试 常 规 的 口 语 测 试, 不 仅 能 督 促 大 学 生 认 真 学 习 和 训 练 口 语, 定 期 评 测 他 们 的 口 语 水 平, 也 能 检 测 教 师 的 口 语 教 学 水 平 和 质 量, 以 便 有 针 对 性 的 进 行 教 学 改 革 和 提 高 口 语 教 学 质 量 为 此, 探 索 和 研 究 基 于 计 算 机 媒 介 的 英 语 口 语 测 试 ( 以 下 简 称 口 语 机 考 ), 在 保 证 英 语 口 语 测 试 信 度 和 效 度 的 前 提 下, 使 高 校 可 以 实 现 常 规 的 大 规 模 的 口 语 测 试, 是 目 前 中 国 高 校 英 语 教 学 所 普 遍 关 注 的 重 要 研 究 问 题 之 一 国 家 四 六 级 考 试 委 员 会 早 在 1999 年 就 开 始 实 行 了 四 六 级 口 语 考 试 但 由 于 是 直 接 性 面 试 型 口 试, 缺 乏 足 够 的 考 官, 且 受 考 试 场 地 设 备, 尤 其 是 成 本 开 支 等 因 素 的 限 制, 考 试 的 规 模 一 直 控 制 较 小 的 范 围 里, 即 参 加 口 语 考 试 的 考 生 必 须 四 级 成 绩 为 550 分 以 上 或 六 级 成 绩 为 520 分 以 上 者 才 有 资 格 报 名 因 此 尽 管 每 年 有 接 近 一 千 万 的 四 六 级 考 生, 但 是 参 加 口 语 的 人 数 每 年 平 均 还 不 到 4 万 全 国 大 学 生 整 体 英 语 口 语 水 平 不 高, 这 是 不 争 的 事 实, 而 原 因 是 多 方 面 的 全 国 仅 仅 只 有 4/1000 的 学 生 们 能 够 参 加 英 语 口 语 考 试, 许 多 人 认 为 学 口 语 干 吗? 学 得 再 好 也 得 不 到 承 认 如 果 没 有 证 书 没 有 考 试, 学 生 学 习 英 语 口 语 的 积 极 性 自 然 受 到 影 响, 因 此 大 学 英 语 口 语 教 学 在 大 多 数 课 堂 里 不 可 避 免 地 会 流 于 形 式 所 以, 我 们 大 学 英 语 教 学 中 急 需 一 整 套 针 对 大 学 英 语 教 学 的 大 规 模 的 低 风 险 的 信 度 高 的 口 语 考 试 系 统 和 试 题 库, 这 对 大 学 英 语 口 语 教 学 的 反 拨 作 用 是 显 而 易 见 的 但 无 论 怎 样, 国 家 四 六 级 考 试 功 不 可 没, 没 有 四 六 级 考 试, 就 没 有 这 么 大 的 社 会 认 可 度, 就 没 有 大 学 英 语 教 学 欣 欣 向 荣 的 今 天 1
我 校 的 大 学 英 语 教 学 改 革 始 于 2004 年 3 月, 我 校 也 正 式 列 入 教 育 部 第 一 批 教 学 改 革 试 点 单 位 在 此 大 环 境 下, 学 校 领 导 很 重 视, 副 校 长 亲 自 抓, 并 建 立 了 计 算 机 自 学 中 心 气 派 的 网 络 教 室 等 学 校 还 专 门 拨 款 8 万 元 研 制 英 语 口 语 考 试 系 统,2 万 元 支 持 大 学 英 语 教 学 改 革, 并 在 我 校 进 行 了 分 级 教 学 多 媒 体 教 学 口 语 教 学 等 等 通 过 三 年 的 试 验 教 学, 我 校 大 学 英 语 教 学 搞 得 有 声 有 色, 很 有 成 效 我 们 还 和 上 海 教 育 出 版 社 合 作 研 制 出 基 于 校 园 网 环 境 下 的 大 学 英 语 计 算 机 口 语 测 试 系 统, 不 仅 使 我 校 的 常 规 性 的 大 规 模 英 语 口 语 考 试 成 为 现 实, 而 且 也 为 全 国 大 学 英 语 下 一 步 的 教 学 改 革 和 英 语 口 语 教 学 与 测 试 提 供 了 宝 贵 的 经 验 目 前, 大 学 英 语 口 语 考 试 系 统 已 经 为 全 国 近 百 所 高 校 使 用, 它 的 突 出 优 势 就 是 实 现 了 计 算 机 辅 助 全 校 性 大 学 英 语 课 程 口 语 测 试 的 组 织 和 管 理, 采 用 人 机 对 话 的 方 式 高 效 地 实 现 了 传 统 口 语 测 试 的 功 能 很 好 地 解 决 了 当 前 口 语 教 学 的 迫 切 需 要 与 高 校 扩 招 和 英 语 教 师 短 缺 的 突 出 矛 盾, 使 高 等 院 校 常 规 性 的 大 规 模 地 进 行 大 学 英 语 口 语 测 试 成 为 可 能 目 前, 国 内 采 用 最 多 的 口 语 测 试 形 式 是 师 生 面 对 面 的 形 式 ( 以 下 简 称 口 语 面 试 ) 该 考 试 形 式 最 大 的 优 点 是 能 够 在 考 生 之 间 考 生 与 考 官 之 间 开 展 互 动 交 流, 因 而 是 最 具 交 际 性 的 口 语 测 试 方 式, 具 有 较 高 的 表 面 效 度 另 外, 考 官 直 接 参 与 考 试 能 观 察 到 考 生 的 表 情 和 体 态 语 言, 并 且 在 发 现 考 生 声 音 太 小 说 得 太 少 或 没 有 听 懂 考 官 问 题 等 情 况 下 可 以 对 考 生 进 行 直 接 干 预 确 保 考 生 在 真 实 交 际 的 语 境 中 发 挥 自 己 的 口 语 水 平, 考 官 可 以 针 对 考 生 的 口 语 水 平 做 出 及 时 的 反 馈, 利 于 互 动 交 流, 能 够 较 为 真 实 的 测 试 考 生 的 交 际 能 力 但 是 该 形 式 存 在 实 施 成 本 高 难 以 大 规 模 实 施 评 分 信 度 通 常 较 低 题 型 表 现 形 式 有 限 评 分 公 正 性 难 以 保 证 等 缺 点, 同 时 也 不 适 用 于 高 校 常 规 性 大 规 模 口 语 考 试 相 比 较 于 面 试 型 口 语 考 试, 基 于 计 算 机 的 口 语 考 试 能 够 进 行 大 规 模 测 试, 而 且 能 通 过 计 算 机 模 拟 交 谈 和 其 他 口 语 任 务 的 实 际 情 形, 为 考 生 提 供 听 觉 和 视 觉 上 的 双 重 刺 激 这 种 口 语 形 式 比 录 音 口 试 的 交 互 性 好 (Kenyon et al,2001), 又 能 避 免 面 对 面 口 语 考 试 中 主 考 官 表 现 不 一 致 对 考 试 信 度 的 影 响 和 需 要 大 量 人 力 等 实 用 性 方 面 的 局 限 性, 而 且 顺 应 基 于 计 算 机 的 外 语 教 学 的 普 遍 发 展, 所 以 有 望 成 为 理 想 的 口 语 测 试 形 式 同 时, 由 于 计 算 机 技 术 与 语 音 识 别 的 技 术 的 发 展, 类 似 于 朗 读 等 相 关 口 语 试 题 可 以 进 行 计 算 机 自 动 评 测, 在 保 证 评 测 信 度 和 效 度 的 前 提 下, 减 轻 考 官 评 阅 工 作 量 但 是 基 于 计 算 机 的 口 语 考 试 也 存 在 不 足 之 处, 例 如, 交 互 性 没 有 面 对 面 口 语 考 试 的 好, 题 型 的 表 现 形 式 还 不 够 丰 富 等 问 题 因 此, 本 课 题 尝 试 使 用 教 育 测 量 与 统 计 相 关 技 术, 在 现 有 计 算 机 辅 助 口 语 测 试 系 统 的 基 础 上, 从 口 语 测 试 系 统 的 题 型 信 度 效 度 人 机 交 互 模 型 阅 卷 评 分 员 信 度 分 组 讨 论 模 式 限 定 文 本 朗 读 的 自 动 化 口 语 评 测 共 五 个 方 面 进 行 研 究, 其 研 究 意 义 至 少 有 以 下 几 点 : 1 通 过 对 计 算 机 辅 助 口 语 测 试 中 的 不 同 题 型 的 效 度 进 行 研 究, 为 计 算 机 辅 助 口 语 测 试 中 采 用 何 种 题 型 提 供 指 导 2 通 过 调 研 和 总 结 现 有 人 机 交 互 研 究, 设 计 实 验 对 相 关 考 生 的 数 据 进 行 收 集, 分 析 开 发 口 语 测 试 系 统 等 手 段, 最 终 建 立 更 优 的 人 机 交 互 界 面 表 示 模 型, 并 提 出 界 面 设 计 原 则 2
3 通 过 测 量 和 分 析 评 分 员 的 评 分 一 致 性, 评 分 员 与 考 生 ( 口 语 录 音 ) 评 分 员 与 评 分 准 则 评 分 员 与 阅 卷 方 式 之 间 的 交 互 作 用, 从 中 发 现 存 在 的 问 题 和 不 足 之 处, 并 完 善 现 有 的 阅 卷 评 分 模 块 4 通 过 实 验 研 究, 设 计 分 组 讨 论 题 型 在 计 算 机 辅 助 口 语 测 试 系 统 的 交 互 机 制, 并 完 成 相 应 软 件 模 块 的 设 计 与 实 现 5 通 过 使 用 语 音 识 别 口 语 评 测 等 计 算 机 技 术, 由 易 到 难 逐 步 开 展 文 本 朗 读 类 简 短 问 答 类 以 及 给 定 主 题 自 由 说 话 类 相 关 题 型 的 计 算 机 自 动 阅 卷 技 术, 从 发 音 水 平 交 流 能 力 及 英 语 表 达 能 力 等 方 面 对 考 生 的 整 体 口 语 水 平 给 与 一 个 公 平 客 观 全 面 的 评 价, 以 期 研 制 成 功 能 够 真 实 的 反 映 出 考 生 的 口 语 水 平 的 自 动 阅 卷 系 统 二 本 课 题 的 基 本 内 容, 预 计 突 破 哪 些 难 题 口 语 机 考 实 际 上 涉 及 到 语 言 学 教 育 测 量 语 音 识 别 和 计 算 机 技 术 等 许 多 领 域 和 问 题, 本 课 题 将 根 据 口 语 机 考 最 主 要 和 突 出 的 问 题 着 手 研 究, 其 研 究 总 体 思 路 和 主 要 步 聚 如 下 : 根 据 总 体 研 究 思 路 和 主 要 研 究 步 聚, 本 课 题 首 先 从 以 下 八 个 方 面 ( 子 课 题 ) 开 展 研 究 : 子 课 题 一 : 口 语 机 考 题 型 的 效 度 研 究 目 前 口 语 机 考 有 朗 读 复 述 听 力 问 答 看 图 ( 视 频 ) 说 话 和 评 论 等 题 型, 3
随 着 IT 技 术 的 发 展, 尤 其 是 计 算 机 自 动 化 评 阅, 可 设 计 一 些 新 的 题 型 然 而, 哪 些 题 型 能 够 更 好 的 适 应 人 机 交 互 有 更 高 的 测 试 效 度 和 适 合 计 算 机 自 动 化 评 阅 将 是 该 子 课 题 研 究 的 重 点 主 要 研 究 内 容 : 1 总 结 并 开 发 计 算 机 辅 助 口 语 测 试 中 使 用 题 型 总 结 现 有 题 型, 确 定 新 的 更 适 合 基 于 计 算 机 的 辅 助 口 语 测 试 的 题 型, 例 如 考 试 流 程 更 为 固 定 在 无 需 根 据 学 生 表 现 进 行 干 预 的 简 答 题 等 2 对 计 算 机 辅 助 口 语 测 试 中 不 同 题 型 的 效 度 进 行 分 析 拟 研 究 的 题 型 有 : 朗 读 问 答 看 图 说 话 ( 看 视 频 说 话 ) 分 组 讨 论 以 及 适 合 计 算 机 辅 助 口 语 评 测 的 其 他 题 型 主 要 难 题 :1) 通 过 科 学 有 效 的 教 育 实 验 设 计 和 实 施, 对 所 研 究 题 型 的 效 度 进 行 测 量 和 验 证 ;2) 设 计 满 足 上 述 要 求 的 新 题 型 子 课 题 二 : 口 语 机 考 的 人 机 交 互 研 究 口 语 机 考 的 人 机 交 互 方 式 与 传 统 师 生 面 对 面 的 口 语 测 试 方 式 ( 以 下 简 称 口 语 面 试 ) 完 全 不 同, 本 子 课 题 的 研 究 重 点 是 研 究 口 语 面 试 师 生 交 互 与 人 机 交 互 行 为 和 模 式, 设 计 良 好 的 口 语 机 考 的 人 机 交 互 模 式 主 要 研 究 内 容 : 1 人 机 交 互 界 面 表 示 模 型 总 结 国 内 外 关 于 人 机 交 互 界 面 表 示 模 型 的 研 究, 结 合 目 前 已 开 发 的 口 语 测 试 系 统 的 行 为 模 型 和 从 用 户 收 集 的 调 查 数 据, 建 立 更 适 合 计 算 机 辅 助 口 语 测 试 系 统 的 行 为 模 型, 并 转 换 为 可 实 施 的 结 构 模 型 2 人 机 交 互 界 面 设 计 主 要 包 括 设 计 原 则 和 设 计 流 程 的 研 究, 前 者 结 合 人 机 界 面 设 计 的 一 般 原 则, 总 结 出 针 对 口 语 机 考 系 统 的 特 定 原 则 ; 后 者 研 究 和 探 索 口 语 机 考 的 人 机 界 面 设 计 流 程 3 可 用 性 分 析 与 评 估 对 新 设 计 的 口 语 机 考 系 统 的 人 机 界 面 进 行 可 用 性 评 估, 并 与 原 界 面 进 行 对 比 主 要 难 题 :1) 研 究 和 归 纳 考 生 口 语 测 试 中 的 行 为 模 型 和 交 互 模 式 ;2) 对 所 设 计 交 互 界 面 和 模 式 进 行 可 用 性 评 估 子 课 题 三 : 口 语 机 考 的 评 分 员 信 度 测 量 及 阅 卷 统 计 模 块 改 善 设 计 在 口 语 机 考 中, 考 官 的 评 阅 方 式 发 生 了 变 化 在 评 阅 工 具 评 阅 地 点 评 阅 对 象 评 阅 工 作 量 等 方 面 的 改 变, 是 否 仍 能 保 证 具 有 较 高 的 评 分 员 信 度, 以 及 通 过 何 种 方 式 控 制 和 提 高 口 语 机 考 的 评 分 员 信 度, 是 本 子 课 题 的 研 究 重 点 主 要 研 究 内 容 : 1 通 过 对 照 实 验 研 究 方 法, 研 究 传 统 直 接 面 试 和 口 语 机 考 中 的 评 分 者 信 度 和 严 厉 度 差 异 研 究 和 分 析, 重 点 分 析 口 语 机 考 评 分 中 存 在 的 问 题 及 其 原 因, 并 提 出 解 决 方 案 调 研 三 种 口 语 考 试 的 评 分 过 程 和 影 响 评 分 结 果 的 各 种 因 素, 重 点 研 究 面 对 面 口 语 考 试 和 计 算 机 口 语 考 试 同 时 对 国 内 外 关 于 评 分 者 信 度 评 分 者 的 个 人 因 素 对 成 绩 的 影 响 评 分 量 表 等 方 面 进 行 充 分 调 研 在 此 基 础 上, 设 计 直 接 面 试 和 口 语 机 考 阅 卷 下 的 评 分 者 信 度 对 比 实 验, 设 计 针 对 于 阅 卷 员 的 深 度 访 谈 活 动, 通 过 实 验 数 据 分 析 和 访 谈 结 果, 发 现 现 行 口 语 机 考 评 分 中 存 在 的 问 题 和 原 因 4
2 利 用 实 验 研 究 发 现 的 结 果, 提 出 完 善 阅 卷 系 统 模 块 的 设 计 方 案 调 研 现 有 的 计 算 机 阅 卷 评 分 系 统, 结 合 实 验 的 研 究 结 果, 主 要 从 增 加 评 分 者 一 致 性 控 制 引 擎 对 阅 卷 行 为 的 实 时 监 控 随 时 查 看 阅 卷 评 分 情 况 试 卷 回 阅 与 分 数 修 改 时 间 控 制 等 新 功 能 3 参 照 提 出 的 阅 卷 系 统 设 计 方 案 进 行 实 际 开 发, 并 进 一 步 检 测 效 果 根 据 提 出 的 新 的 设 计 方 案, 实 际 开 发 评 分 者 一 致 性 控 制 引 擎 等 其 他 功 能, 通 过 小 规 模 的 使 用, 进 一 步 检 测 效 果 4 增 加 新 的 成 绩 统 计 分 析 模 块 功 能 调 研 现 有 的 成 绩 统 计 分 析 系 统 的 基 础 上, 选 择 合 理 使 用 的 统 计 方 式, 同 时 增 加 关 于 试 题 试 卷 的 详 细 统 计 方 案, 进 一 步 完 善 统 计 分 析 模 块, 从 而 也 为 教 师 研 究 者 提 供 方 便 的 统 计 报 告 主 要 难 题 :1) 测 量 和 分 析 口 语 机 考 中 的 评 分 员 信 度 ;2) 评 分 员 评 分 一 致 性 控 制 方 案 的 提 出 及 其 验 证 子 课 题 四 : 口 语 机 考 分 组 讨 论 题 型 的 设 计 与 实 现 主 要 研 究 内 容 1 设 计 分 组 讨 论 题 型 在 计 算 机 辅 助 口 语 测 试 系 统 中 的 交 互 机 制 根 据 口 语 测 试 理 论 对 现 行 口 语 测 试 中 讨 论 任 务 及 回 答 情 况 进 行 分 析, 制 定 出 分 组 讨 论 在 计 算 机 上 的 交 互 机 制, 包 括 话 筒 切 换 机 制 抢 答 / 排 队 策 略 每 轮 发 言 时 间 限 制 分 组 人 数 等 问 题 2 完 成 计 算 机 辅 助 口 语 测 试 系 统 中 分 组 讨 论 模 块 的 软 件 设 计 及 实 现 设 计 并 实 现 与 分 组 讨 论 相 关 的 现 场 考 试 答 卷 评 阅 软 件 模 块 子 课 题 五 : 计 算 机 辅 助 口 语 测 试 系 统 中 口 语 水 平 自 动 化 评 测 研 究 解 决 口 语 机 考 计 算 机 自 动 化 评 测 技 术 难 题, 将 能 更 大 程 度 地 提 高 口 语 机 考 的 效 率 本 子 课 题 主 要 与 科 大 讯 飞 公 司 合 作, 通 过 口 语 机 考 教 育 测 量 研 究 方 法 的 协 助 和 大 量 语 音 数 据 的 收 集, 在 科 大 讯 飞 普 通 话 计 算 机 自 动 化 评 测 成 果 的 基 础, 研 究 英 语 口 语 的 自 动 化 评 测 结 合 计 算 机 辅 助 口 语 测 试 系 统 考 试 题 型 的 设 计, 本 子 课 题 计 划 开 展 以 下 研 究 内 容 : 1 基 于 给 定 文 本 朗 读 的 自 动 化 口 语 发 音 水 平 评 测 技 术 基 于 学 生 朗 读 给 定 文 本 材 料 的 录 音 数 据, 自 动 获 取 与 考 生 口 语 发 音 水 平 相 关 的 信 息, 实 现 文 本 朗 读 题 型 的 计 算 机 自 动 阅 卷 主 要 计 划 从 录 音 中 自 动 提 取 以 下 几 个 与 发 音 水 平 相 关 的 特 征 属 性 : 发 音 是 否 正 确 ( 有 无 错 漏 音 素 错 漏 单 词 等 ) 发 音 是 否 带 有 口 音 考 生 词 汇 量 估 计 朗 读 的 流 利 性 及 停 连 合 理 性 以 及 相 关 的 轻 重 读 是 否 处 理 得 当 具 体 将 开 展 相 关 数 据 集 建 立, 基 于 HMM 的 标 准 声 学 模 型 的 建 立, 语 音 切 分 模 型, 流 利 度 停 连 位 置 的 自 动 提 取 以 及 朗 读 重 音 位 置 的 自 动 监 测, 以 及 这 些 从 录 音 上 提 取 的 各 方 面 特 征 属 性 到 专 家 评 分 的 映 射 等 方 面 的 研 究 工 作, 最 终 完 成 限 定 文 本 朗 读 类 题 型 的 自 动 化 口 语 评 测 技 术 研 究 2 基 于 简 短 问 答 的 自 动 化 口 语 交 流 能 力 评 测 技 术 基 于 考 生 对 计 算 机 给 出 的 问 题 做 出 简 短 回 答 ( 如 简 答 题 填 空 题 选 择 题 等 题 型 ) 的 录 音 数 据, 自 动 获 取 与 考 生 口 语 交 流 能 力 有 关 的 信 息, 实 现 简 短 问 答 类 题 型 的 计 算 机 自 动 阅 卷 主 要 计 划 研 制 高 性 能 语 音 识 别 系 统, 从 考 生 的 语 音 回 答 中 自 动 判 断 考 生 是 否 听 懂 计 算 机 所 出 题 目 以 及 考 生 的 回 答 是 否 合 理 或 正 确, 并 同 5
时 提 取 相 关 考 生 答 题 反 应 速 度 答 题 语 音 中 体 现 出 的 自 信 心 等 方 面 的 属 性, 综 合 给 出 考 生 在 简 短 回 答 的 评 分, 最 终 研 制 完 成 简 短 回 答 类 题 型 的 计 算 机 自 动 阅 卷 技 术 3 基 于 给 定 主 题 自 由 说 话 的 自 动 化 口 语 水 平 评 测 技 术 基 于 考 生 对 给 定 主 题 的 自 由 说 话 ( 如 看 图 说 话 分 组 讨 论 等 题 型 ), 自 动 获 取 与 考 生 英 语 口 语 水 平 相 关 的 属 性, 实 现 该 类 题 型 的 自 动 阅 卷 主 要 计 划 深 入 研 究 语 音 识 别 和 自 适 应 给 定 题 目 的 语 言 模 型 构 建 和 自 适 应 说 话 流 利 度 判 决 自 由 说 话 切 题 性 判 决 说 话 自 信 度 判 断 说 话 内 容 密 度 评 估 等 技 术, 基 于 较 大 规 模 的 人 工 阅 卷 样 本, 实 现 自 由 说 话 类 题 型 的 计 算 机 自 动 阅 卷 技 术 主 要 难 题 是 :1) 大 学 生 分 级 英 语 口 语 水 平 标 准 的 制 定 ;2) 中 国 大 学 生 英 文 口 语 语 料 库 的 采 集 和 建 立 ;3) 相 关 的 计 算 机 语 音 识 别 和 评 测 技 术 攻 关 子 课 题 六 : 大 学 英 语 口 语 机 考 分 级 试 题 库 研 究 主 要 研 究 内 容 : 1. 大 学 英 语 口 语 机 考 试 题 库 的 科 学 分 级 研 究 口 语 机 考 试 题 库 主 要 用 于 学 业 考 试, 所 以 要 对 大 学 英 语 口 语 考 试 进 行 科 学 定 义, 分 一 至 四 级, 并 逐 步 确 定 每 一 级 的 分 级 难 度 和 考 试 内 容 2. 大 学 英 语 口 语 教 学 与 大 学 英 语 口 语 机 考 试 题 库 的 关 系 是 互 补 和 互 促 的 关 系, 并 且 要 做 到 教 学 和 考 试 同 步 我 们 要 根 据 教 材 内 容 分 别 确 定 大 学 英 语 口 语 机 考 试 题 库 一 至 四 级 考 试 内 容, 编 写 出 大 学 英 语 一 至 四 级 口 语 试 题 库, 并 利 用 考 试 的 反 拨 作 用 促 进 大 学 英 语 口 语 教 学 3. 大 学 英 语 四 级 口 语 试 题 库 的 题 型 研 究 我 们 现 阶 段 已 经 开 发 出 有 效 题 型 共 计 7 种, 即 朗 读 回 答 问 题 听 力 问 答 评 论 看 图 说 话 电 影 评 论 和 讨 论 题 型 希 望 利 用 这 些 题 型 能 够 真 实 有 效 地 测 量 出 学 生 英 语 口 语 的 水 平 目 前 随 着 计 算 机 和 多 媒 体 等 IT 技 术 的 发 展, 尤 其 是 计 算 机 自 动 化 评 阅, 可 以 设 计 一 些 新 的 题 型 难 点 和 重 点 : 1. 对 口 语 机 考 分 级 的 研 究 的 难 点 是 要 根 据 大 学 英 语 分 级 教 学, 科 学 地 定 义 口 语 机 考 的 级 别 2. 归 纳 总 结 国 内 外 口 语 机 考 现 有 题 型, 设 计 适 合 满 足 上 述 要 求 的 新 题 型 然 而, 哪 些 题 型 能 够 更 好 的 适 应 人 机 交 互 有 更 高 的 测 试 效 度 和 适 合 计 算 机 自 动 化 评 阅 将 是 该 子 课 题 研 究 的 重 点 3. 对 口 语 机 考 主 要 题 型 的 效 度 进 行 实 验 研 究 和 分 析 该 子 课 题 预 计 突 破 的 难 题 主 要 是 :1) 通 过 科 学 有 效 的 教 育 实 验 设 计 和 实 施, 对 所 研 究 题 型 的 效 度 进 行 测 量 和 验 证 ;2) 设 计 满 足 上 述 要 求 的 新 题 型 子 课 题 七 : 大 学 英 语 口 语 试 题 库 的 信 度 和 效 度 研 究 主 要 研 究 内 容 : 1. 大 学 英 语 一 至 四 级 口 语 试 题 库 信 度 和 效 度 的 研 究 根 据 教 材 难 度 分 别 确 定 大 学 英 语 口 语 试 题 库 一 级 至 四 级 考 试 难 度, 确 定 其 口 语 考 试 的 评 介 性 评 估 标 准 和 终 结 性 评 估 标 准 6
2. 将 大 学 英 语 四 级 口 语 试 题 与 国 家 四 六 级 口 语 考 试 国 外 的 著 名 口 语 考 试 进 行 对 比 研 究, 尤 其 是 对 计 算 机 辅 助 口 语 试 题 库 的 信 度 和 效 度 的 对 比 3. 口 语 考 试 试 题 与 面 对 面 口 语 试 题 的 表 面 效 度 研 究, 并 将 此 口 语 试 题 库 运 用 于 评 介 性 评 估 考 试 和 终 结 性 评 估 考 试 难 点 和 重 点 : 1. 口 语 机 考 试 题 库 的 信 度 研 究 要 基 于 大 量 的 数 据 和 分 析, 对 这 些 数 据 的 收 集 整 理 分 析 将 是 很 复 杂 的 工 作 另 外, 对 口 语 机 考 的 理 论 研 究 也 是 很 重 要 的 2. 要 对 口 语 机 考 试 题 库 的 效 度 研 究, 就 要 将 其 与 中 外 影 响 力 较 大 的 口 语 考 试 试 题 进 行 对 比 分 析, 还 要 对 学 生 和 老 师 进 行 多 方 面 的 问 卷 调 查 3. 虽 然 我 们 建 立 的 大 学 英 语 口 语 试 题 库 有 别 于 国 家 四 六 级 口 语 考 试, 但 我 们 的 最 终 目 的 是 争 取 在 特 殊 环 境 下 替 代 上 述 口 语 考 试, 或 者 作 为 上 述 考 试 的 补 充 子 课 题 八 : 计 算 机 辅 助 大 学 英 语 口 语 考 试 评 卷 与 考 官 培 训 的 研 究 主 要 研 究 内 容 : 1. 完 善 计 算 机 辅 助 口 语 考 试 的 评 卷 标 准 和 管 理 系 统 根 据 我 们 收 集 到 的 口 语 考 试 录 音 数 据 将 建 立 一 至 四 级 的 口 语 录 音 样 本 数 据 库, 从 理 论 和 实 践 上 逐 步 完 善 每 一 级 的 评 分 标 准 和 阅 卷 管 理 2. 建 立 考 官 评 卷 计 算 机 辅 助 系 统, 利 用 计 算 机 来 协 助 考 官 进 行 评 卷, 尽 可 能 地 减 轻 考 官 阅 卷 强 度 和 区 分 度 第 一 阶 段 的 任 务 是 利 用 计 算 机 语 音 识 别 技 术 来 辅 助 考 官 对 学 生 的 英 语 朗 读 进 行 评 卷 3. 利 用 所 建 立 的 不 同 等 级 的 考 生 口 语 录 音 样 板 来 进 行 考 官 培 训 难 点 和 重 点 : 1. 我 们 认 为, 计 算 机 辅 助 口 语 阅 卷 的 准 确 性 和 效 率 性 都 要 高 于 面 试 型 口 试 阅 卷, 但 关 键 是 通 过 培 训, 让 这 一 阅 卷 标 准 为 考 官 所 接 受, 并 运 用 于 阅 卷 中 2. 对 于 学 生 口 语 机 考 录 音 分 析 是 多 方 面 的, 通 过 对 录 音 的 比 较, 建 立 不 同 级 别 的 录 音 样 本 库 并 不 是 一 件 容 易 的 事 情 3. 要 充 分 利 用 计 算 机 辅 助 阅 卷 的 功 能, 侧 重 培 养 考 官 的 计 算 机 规 范 操 作 2 口 语 机 考 试 题 库 研 究 工 作 方 案 和 进 度 计 划 时 间 主 要 安 排 2006.1-2006.6 各 子 课 题 的 口 语 试 题 库 分 级 调 研 和 理 论 研 究 2006.9-2006.12 完 成 口 语 分 级 试 题 库 的 设 计, 撰 写 试 题 的 模 版 2006.9-2006.12 设 计 出 口 语 分 级 试 题 库 的 新 题 型 2007.1-2007.11 完 成 口 语 分 级 试 题 库 的 信 度 和 效 度 研 究 2007.1-2007.12 实 施 各 实 验 设 计, 并 进 行 学 生 录 音 数 据 采 集 工 作 2007.12-2008.3 对 学 生 的 录 音 数 据 进 行 分 析 与 归 类, 同 时 提 出 对 口 语 教 学 改 革 的 建 议 2008.1-2008.5 完 成 口 语 机 考 考 官 培 训 的 方 案 和 建 立 学 生 口 语 录 7
音 样 本 三 课 题 的 研 究 思 路 和 方 法, 研 究 工 作 方 案 和 进 度 计 划 中 期 成 果 1 课 题 的 研 究 思 路 和 方 法 1) 题 型 的 效 度 研 究 调 研 TOFEL IELTS VERSANT PETS CET-SET 等 口 语 考 试 所 采 用 的 题 型, 以 及 与 口 语 考 试 题 型 相 关 的 理 论 基 于 以 上 调 研 结 果, 结 合 计 算 机 自 动 评 阅 技 术 的 可 行 性, 确 定 适 合 计 算 机 评 阅 的 题 型 对 现 有 题 型 和 新 题 型 进 行 效 度 分 析 根 据 以 上 研 究 结 果, 重 新 设 计 现 有 口 语 考 试 系 统 中 的 题 型 2) 人 机 交 互 研 究 文 献 调 研 1. 总 结 国 内 外 人 机 交 互 界 面 表 示 模 型 的 研 究 人 机 界 面 设 计 规 则 流 程 的 研 究 和 可 用 性 评 估 研 究 2. 对 已 开 发 的 计 算 机 口 语 测 试 系 统 的 行 为 模 型 进 行 研 究 3. 调 研 类 似 系 统 的 行 为 模 型, 以 及 面 对 面 口 语 考 试 4. 设 计 计 算 机 辅 助 口 语 测 试 系 统 人 机 交 互 调 查 问 卷, 主 要 包 括 两 个 方 面 : 一 是 交 互 行 为 ; 二 是 交 互 界 面 数 据 收 集 1. 根 据 前 期 阶 段 设 计 的 调 查 问 卷 对 考 生 实 施 问 卷 调 查 2. 对 部 分 考 生 访 谈 3. 观 察 计 算 机 口 语 考 试 录 像 和 面 对 面 口 语 考 试 录 像 分 析 数 据 1. 对 数 据 进 行 分 析 统 计 2. 依 据 统 计 结 果 建 立 人 机 交 互 行 为 模 型, 并 转 换 为 结 构 模 型 3. 依 据 统 计 结 果 形 成 人 机 界 面 设 计 原 则 界 面 设 计 依 据 前 期 建 立 的 行 为 模 型 界 面 设 计 原 则 和 人 机 界 面 设 计 的 一 般 原 则 设 计 人 机 界 面 可 用 性 评 估 1. 选 择 评 估 方 法 2. 分 别 对 原 界 面 和 新 界 面 实 施 评 估 3. 对 比 评 估 结 果 3) 评 分 员 信 度 测 量 及 阅 卷 统 计 模 块 改 善 设 计 文 献 调 研 及 相 关 概 念 界 定 命 题 假 设 首 先 提 出 该 命 题 下 研 究 问 题 和 主 要 假 设, 然 后 再 进 行 文 献 调 研, 调 研 的 范 围 主 要 包 括 命 题 所 涉 及 到 的 相 关 教 育 测 量 理 论 国 内 外 研 究 情 况 网 上 评 分 系 统 的 设 计 和 各 种 关 于 考 试 的 各 种 统 计 方 法 8
教 育 测 量 实 验 设 计 和 统 计 分 析 数 据 设 计 关 于 此 命 题 的 实 验 和 深 度 访 谈 内 容, 使 用 统 计 分 析 工 具 进 行 数 据 分 析, 主 要 的 统 计 分 析 工 具 是 Minifac Facets Student-Evaluation Ministep Winsteps Student-Evaluation SPSS 阅 卷 评 分 与 统 计 模 块 的 新 设 计 方 案 提 出 阅 卷 评 分 与 统 计 模 块 的 详 细 设 计 方 案, 包 括 用 例 设 计 流 程 图 设 计 交 互 图 设 计 等 阅 卷 评 分 及 统 计 模 块 的 升 级 按 照 新 的 设 计 方 案 进 行 实 际 开 发 4) 分 组 讨 论 题 型 的 设 计 与 实 现 根 据 口 语 测 试 理 论 对 现 行 口 语 测 试 中 讨 论 任 务 及 回 答 情 况 进 行 分 析, 制 定 出 分 组 讨 论 在 计 算 机 上 的 交 互 机 制, 可 设 计 多 种 形 式 并 进 行 比 较 完 成 分 组 讨 论 题 型 相 关 软 件 模 块 的 设 计 与 实 现 对 多 种 形 式 的 分 组 讨 论 机 制 进 行 对 比 分 析, 确 定 最 终 测 试 系 统 中 的 实 现 机 制 5) 英 文 口 语 水 平 自 动 化 评 测 研 究 基 于 给 定 文 本 朗 读 的 自 动 化 口 语 发 音 水 平 评 测 技 术 1) 相 关 数 据 库 的 录 制 和 标 注 : 建 立 中 国 大 学 生 英 文 发 音 的 标 准 发 音 模 型 数 据 库 ; 针 对 口 语 考 试 设 计 的 结 果 中 给 定 文 本 朗 读 类 的 题 型 的 具 体 设 计, 建 立 评 测 试 题 库, 并 收 集 建 立 相 应 的 考 生 真 实 文 本 朗 读 数 据 库 ; 对 考 生 测 试 数 据 进 行 专 家 评 分 ; 2) 研 制 相 关 的 技 术 : 建 立 中 国 大 学 生 的 英 文 发 音 标 准 声 学 模 型 ; 从 考 生 录 音 数 据 中 提 取 与 朗 读 发 音 水 平 相 关 的 特 征 属 性 : 包 括 准 确 识 别 考 生 实 际 发 音 文 本 以 提 取 发 音 是 否 正 确 ( 有 无 错 漏 音 素 错 漏 单 词 等 ) 基 于 标 准 发 音 模 型 提 取 表 征 发 音 是 否 带 有 口 音 的 后 验 概 率 表 征 朗 读 的 流 利 性 的 语 速, 自 动 提 取 考 生 停 连 位 置 信 息 并 提 取 表 征 考 生 是 否 理 解 所 读 句 子 语 法 结 构 的 停 连 合 理 性 特 征 以 及 提 取 并 监 测 相 关 的 轻 重 读 是 否 处 理 得 当 的 特 征 等 ; 考 察 并 分 析 各 方 面 特 征 与 专 家 人 工 评 分 之 间 的 相 关 性, 并 建 立 各 方 面 特 征 属 性 到 最 终 人 工 评 分 的 线 性 或 非 线 性 映 射, 最 终 建 立 给 定 文 本 朗 读 类 题 型 的 计 算 机 自 动 阅 卷 系 统 ; 3) 实 际 应 用 测 试 及 完 善 : 将 相 关 核 心 技 术 集 成 到 计 算 机 辅 助 评 测 系 统 中, 并 在 实 际 使 用 中 对 自 动 阅 卷 技 术 进 行 测 试, 并 继 续 相 应 的 改 进 和 完 善 基 于 简 短 问 答 的 自 动 化 口 语 交 流 能 力 评 测 技 术 4) 相 关 数 据 库 的 录 制 和 标 注 : 针 对 简 短 问 题 类 的 口 语 考 试 设 计 结 论, 建 立 评 测 试 题 库 ( 包 括 每 个 题 目 的 正 确 答 案 候 选 ), 并 收 集 建 立 相 应 的 考 生 简 短 问 答 型 题 型 的 数 据 库 ; 9
对 考 生 测 试 数 据 进 行 专 家 评 分, 按 研 发 需 要 可 能 包 括 考 生 所 说 回 答 对 应 的 文 本 回 答 正 确 与 否, 合 理 与 否 以 及 自 信 心 等 方 面 的 细 致 信 息 ; 5) 研 制 相 关 技 术, 主 要 包 括 : 研 制 高 性 能 语 音 识 别 说 话 人 自 适 应 以 相 应 的 识 别 网 络 构 建 技 术, 准 确 地 识 别 考 生 的 语 音 回 答, 并 自 动 判 断 考 生 是 否 听 懂 计 算 机 所 出 题 目 以 及 考 生 的 回 答 是 否 合 理 或 正 确 ; 提 取 相 关 考 生 答 题 反 应 速 度 答 题 语 音 中 体 现 出 的 自 信 心 等 方 面 的 属 性 ; 基 于 规 则 或 者 机 器 学 习 方 法, 实 现 上 述 属 性 与 专 家 评 分 之 间 的 映 射, 最 终 研 制 完 成 简 短 回 答 类 题 型 的 计 算 机 自 动 阅 卷 技 术 6) 将 相 关 技 术 集 成 于 计 算 机 辅 助 口 语 评 测 系 统, 通 过 实 际 应 用 测 试 及 完 善 该 项 技 术 基 于 给 定 主 题 自 由 说 话 的 自 动 化 口 语 水 平 评 测 技 术 7) 相 关 数 据 库 的 录 制 和 标 注 : 根 据 其 他 子 课 题 关 于 给 定 主 题 自 由 说 话 类 型 的 题 型 设 计 结 论 及 建 立 的 题 库, 安 排 实 际 考 生 录 制 相 关 数 据 库 ; 组 织 专 家 对 考 生 数 据 进 行 评 分 和 标 注, 按 研 发 需 要, 标 注 可 能 包 括 : 考 生 自 由 说 话 对 应 的 文 本, 自 由 说 话 的 切 题 性 及 最 终 的 评 分 等 等 8) 研 制 相 关 的 技 术 : 研 究 无 文 本 凭 借 条 件 下 的 语 音 识 别 及 自 适 应 技 术, 以 及 给 定 主 题 下 语 言 模 型 定 制 和 自 适 应 技 术, 达 到 在 评 测 任 务 中 可 以 接 受 的 识 别 率 ; 基 于 识 别 文 本 提 取 表 征 考 生 英 语 口 语 表 达 能 力 的 相 关 特 征 : 如 说 话 流 利 度 判 决, 说 话 重 复 比 例, 所 用 词 汇 量, 说 话 语 速, 说 话 自 信 度 估 计 以 及 说 话 内 容 与 给 定 主 题 的 切 题 性 判 断 等 ; 建 立 上 述 特 征 与 专 家 人 工 评 分 间 的 映 射 关 系, 实 现 最 终 给 定 主 题 自 由 说 话 类 题 型 的 计 算 机 自 动 阅 卷 技 术 ; 9) 将 相 关 技 术 集 成 于 计 算 机 辅 助 口 语 评 测 系 统, 通 过 实 际 应 用 测 试 及 完 善 该 项 技 术 2 研 究 工 作 方 案 和 进 度 计 划 2007.7-2007.9 各 子 课 题 的 调 研 综 述 和 理 论 研 究 2007.9-2007.10 完 成 各 子 课 题 的 详 细 实 验 设 计, 通 过 可 行 性 分 析 后, 提 出 实 验 方 案 2007.9-2007.11 完 成 标 准 发 音 模 型 训 练 数 据 库 所 需 录 音 数 据 2007.10-2007.11 完 成 合 肥 地 区 评 测 数 据 录 制, 在 四 六 级 考 试 期 间, 针 对 简 短 问 答 类 型 自 由 说 话 类 型, 争 取 录 制 300 人 份 以 上 的 测 试 数 据 同 时 自 行 安 排 组 织 录 制 合 肥 地 区 考 生 给 定 文 本 朗 读 类 数 据 300 人 份 以 上 2007.10-2007.12 实 施 各 实 验 设 计, 并 进 行 相 关 数 据 采 集 工 作 2007.12-2008.1 对 实 验 的 数 据 处 理 和 分 析, 同 时 对 相 关 课 题 进 行 第 二 轮 验 证 性 实 验 10
2008.1-2008.3 完 成 给 定 文 本 朗 读 的 自 动 化 发 音 水 平 评 测 技 术 原 型 系 统 ( 整 个 项 目 的 周 期 需 要 确 定 后 才 方 便 制 定 工 作 方 案 和 进 度 计 划, 上 述 自 动 阅 卷 系 统 的 三 个 步 骤, 所 需 要 的 时 间 会 较 长, 大 致 2~3 年, 如 果 项 目 周 期 短, 需 要 缩 减 内 容 或 者 将 自 动 阅 卷 系 统 改 为 为 下 一 期 项 目 做 一 定 的 探 索, 而 本 期 的 重 点 认 识 确 定 下 来 计 算 机 辅 助 英 语 口 语 测 试 系 统 的 规 范 和 题 型 等 ) 英 文 口 语 水 平 自 动 化 评 测 研 究 研 究 计 划 : 1. 2007.9-2007.11: 完 成 标 准 发 音 模 型 训 练 数 据 库 所 需 录 音 数 据 ; 2. 2007.10~2007.12: 与 子 课 题 一 项 目 配 合, 确 定 朗 读 类 的 具 体 题 型, 并 与 子 课 题 六 配 合, 建 立 朗 读 类 题 型 的 一 定 规 模 的 题 库 在 此 基 础 上, 组 织 录 制 合 肥 地 区 考 生 给 定 文 本 朗 读 类 数 据 300 人 份 以 上, 并 进 行 专 家 评 分 标 注 ; 3. 2008.1~2008.5: 完 成 基 于 给 定 文 本 朗 读 的 自 动 化 口 语 发 音 水 平 评 测 技 术 研 发, 并 集 成 在 口 语 机 测 系 统 中, 实 现 朗 读 题 型 的 自 动 阅 卷 ; 4. 2008.1~2008.5: 与 子 课 题 一 项 目 配 合, 确 定 简 短 问 答 类 的 具 体 题 型, 并 与 子 课 题 六 配 合, 建 立 简 短 问 答 类 题 型 的 一 定 规 模 的 题 库 在 此 基 础 上, 组 织 录 制 合 肥 地 区 考 生 相 关 简 短 问 答 类 型 题 目 的 答 题 录 音 数 据, 数 据 达 到 300 人 份 以 上 ; 5. 2008.6~2008.9: 完 成 朗 读 题 型 自 动 阅 卷 系 统 的 测 试 和 试 用 ; 6. 2008.6~2008.10: 完 成 基 于 简 短 问 答 的 自 动 化 口 语 交 流 能 力 评 测 技 术 研 发, 并 集 成 在 口 语 机 测 系 统 中, 实 现 简 短 问 答 类 题 型 的 自 动 阅 卷 ; 7. 2008.10~2008.12: 完 成 简 短 问 答 题 型 的 自 动 阅 卷 系 统 的 测 试 和 试 用 ; 8. 2007.1~2008.5: 与 子 课 题 一 项 目 配 合, 确 定 给 定 主 体 自 由 说 话 的 具 体 题 型, 并 与 子 课 题 六 配 合, 建 立 自 由 说 话 题 型 的 一 定 规 模 的 题 库 在 此 基 础 上, 组 织 录 制 合 肥 地 区 考 生 相 关 给 定 主 题 自 由 说 话 题 目 的 答 题 录 音 数 据, 数 据 达 到 300 人 份 以 上, 并 进 行 专 家 评 分 标 注 ; 9. 2008.11~2009.12: 开 展 基 于 给 定 主 题 自 由 说 话 的 自 动 化 口 语 水 平 评 测 技 术 探 索 工 作, 力 争 相 关 性 能 指 标 达 到 实 用 要 求, 实 现 给 定 主 题 自 由 说 话 题 型 的 自 动 阅 卷 系 统 四 研 究 工 作 前 期 研 究 基 础 及 资 料 准 备 情 况 本 课 题 在 研 究 中 所 使 用 的 计 算 机 辅 助 口 语 测 试 系 统, 由 上 海 外 语 教 育 出 版 社 和 中 国 科 学 技 术 大 学 联 合 开 发 系 统 针 对 高 等 院 校 全 校 性 大 学 英 语 课 程 口 语 测 试, 参 考 传 统 的 考 试 组 织 与 管 理 方 式 以 及 传 统 的 师 生 面 对 面 的 口 语 考 试 模 式 ( 直 接 面 试 ), 实 现 了 计 算 机 辅 助 全 校 性 大 学 英 语 口 语 测 试 的 组 织 和 管 理, 采 用 人 机 对 话 的 方 式 高 效 地 模 拟 了 传 统 口 语 测 试 的 功 能 在 本 系 统 使 用 的 三 年 过 程 中, 采 用 了 问 卷 调 查 法 实 验 设 计 法 访 谈 法 等 研 究 方 法, 对 系 统 的 可 用 性 用 户 满 意 度 系 统 的 信 度 和 效 度 多 个 方 面 进 行 了 初 步 研 究 实 验 1:2004 年, 在 中 国 科 技 大 学 的 所 有 2004 级 英 语 教 学 班 中, 采 用 整 群 随 即 抽 样 法, 随 机 选 取 一 个 教 学 班, 发 放 调 查 问 题, 收 集 已 经 参 加 过 考 试 的 学 生 对 计 算 机 口 语 考 试 的 反 馈 : 学 生 是 否 能 适 应 人 机 对 话 形 式 的 口 语 考 试, 是 否 11
能 发 挥 自 己 的 真 实 口 语 水 平 等 问 卷 共 10 个 问 题, 此 次 一 共 发 放 52 份, 回 收 52 份, 回 收 率 100% 问 卷 的 主 要 分 析 结 果 是 学 生 能 够 适 应 人 机 对 话 口 语 考 试, 面 对 计 算 机 考 试 时 能 消 除 紧 张 感, 且 基 本 不 影 响 自 己 的 水 平 的 发 挥, 但 是 存 在 不 能 与 考 官 进 行 交 流, 试 题 内 容 不 够 接 近 生 活, 发 挥 自 由 度 不 够 大 等 问 题 实 验 2:2006 年 10 月, 英 国 巴 斯 大 学 博 士 生, 进 行 了 面 试 型 口 语 考 试 与 基 于 计 算 机 的 辅 助 口 语 考 试 对 比 研 究 研 究 方 法 主 要 为 问 卷 调 查 法 和 访 谈 法 实 验 3:2007 年 1 月, 分 别 对 现 场 考 试 子 系 统 与 阅 卷 子 系 统 做 了 问 卷 调 查 研 究 其 中, 关 于 现 场 考 试 子 系 统 的 调 查 研 究 采 用 系 统 抽 样 方 法, 考 生 被 试 均 来 自 于 中 国 科 学 技 术 大 学, 分 别 抽 取 100 位 一 年 级 考 生 和 102 位 二 年 级 考 生 对 20 位 阅 卷 教 师 进 行 关 于 阅 卷 子 系 统 的 问 卷 调 查 此 次 调 查 一 共 得 到 92 份 一 年 级 被 试 有 效 样 本 86 份 二 年 级 被 试 有 效 样 本 和 20 份 阅 卷 教 师 被 试 样 本 现 场 考 试 子 系 统 调 查 结 果 表 明 : 现 场 考 试 子 系 统 对 考 生 计 算 机 操 作 水 平 的 要 求 很 低, 操 作 简 单 ; 考 生 能 够 接 受 计 算 机 辅 助 考 试 的 方 式, 也 对 使 用 计 算 机 进 行 口 语 考 试 的 方 式 持 赞 同 态 度 ; 考 生 对 现 场 考 试 子 系 统 的 界 面 风 格 操 作 易 用 性 录 音 效 果 和 试 题 朗 读 效 果 都 非 常 满 意, 但 对 于 计 时 器 答 题 环 境 不 是 很 满 意 ; 现 场 考 试 不 能 够 提 供 真 实 情 境 模 拟, 考 生 在 主 观 心 理 感 受 上, 不 能 把 计 算 机 作 为 交 流 对 象 ; 考 生 希 望 能 够 提 供 热 身 试 题 多 话 题 选 择 等 功 能 阅 卷 子 系 统 调 查 结 果 表 明 : 大 部 分 教 师 不 存 在 系 统 使 用 操 作 方 面 的 困 难 ;90% 的 教 师 对 计 算 机 阅 卷 方 式 持 支 持 态 度, 认 为 这 能 使 他 们 在 舒 适 的 环 境 下 进 行 评 分, 而 且 可 以 自 由 的 安 排 阅 卷 评 分 时 间, 可 以 减 轻 很 多 工 作 量 ; 有 半 数 教 师 希 望 能 够 在 阅 卷 时 候, 看 到 考 生 视 频 ; 希 望 充 实 试 题 库, 增 加 题 目 的 数 量 类 型 实 验 4:2007 年 1 月, 通 过 对 05 06 级 在 校 本 科 生 问 卷 调 查, 进 行 表 面 效 度 调 查 研 究, 调 查 内 容 为 考 察 学 生 对 计 算 机 口 语 考 试 的 支 持 态 度 和 对 计 算 机 口 语 考 试 成 绩 的 认 可 程 度, 并 发 现 学 生 考 试 中 实 际 出 现 的 问 题 实 际 被 试 抽 样 结 果 为 05 级 90 名 被 试,06 级 89 名 被 试 在 此 基 础 上 设 计 了 考 试 信 度 效 度 方 面 的 实 验, 从 经 典 信 度 概 化 信 度 经 典 效 标 效 度 三 方 面 进 行 分 析 研 究 发 现 : 考 生 和 教 师 对 计 算 机 口 语 考 试 方 式 表 示 支 持 和 可 接 受 ; 无 论 是 跨 项 目 分 析 还 是 跨 评 分 者 分 析, 信 度 系 数 都 能 达 到 事 先 设 定 的 最 低 指 标 0.70, 表 明 计 算 机 口 语 考 试 系 统 的 考 试 结 果 具 有 一 定 的 稳 定 性 ; 提 高 测 试 精 度 的 最 佳 可 行 方 案 是 一 个 评 分 者 匹 配 五 个 测 试 项 目 ; 计 算 机 口 语 考 试 成 绩 与 笔 试 的 相 关 度 能 达 到 0.50, 表 明 该 种 考 试 方 式 能 够 有 效 测 试 学 生 的 口 语 能 力 实 验 5:2007 年 5 月, 英 国 巴 斯 大 学 博 士 生, 第 二 次 进 行 了 对 考 生 被 试 与 阅 卷 老 师 的 深 度 访 谈 活 动 学 术 交 流 1:2006 年 10 月, 中 国 科 学 技 术 大 学 英 国 巴 斯 大 学 上 海 外 语 出 版 社 共 三 方 人 员, 同 时 邀 请 了 杨 惠 中 教 授, 对 此 课 题 合 作 事 宜 和 后 期 研 究 活 动 召 开 了 会 议 学 术 交 流 2:2007 年 5 月, 英 国 巴 斯 大 学 Dr.John Lowe 做 了 关 于 计 算 机 辅 助 口 语 考 试 系 统 的 研 究 方 向 和 角 度 的 学 术 报 告 学 术 交 流 3:2007 年 6 月, 英 国 巴 斯 大 学 博 士 生 做 了 关 于 计 算 机 辅 助 口 语 考 试 系 统 研 究 方 法 的 学 术 报 告 学 术 交 流 4:2007 年 5 月, 中 国 科 学 技 术 大 学 英 国 巴 斯 大 学 上 海 外 语 出 版 社 科 大 讯 飞 共 四 方 人 员 和 国 家 四 六 级 考 试 委 员 会 主 任 上 海 交 通 大 学 金 艳 教 授, 对 此 课 题 研 究 方 向 方 案 及 可 行 性, 做 了 进 一 步 讨 论 在 此 基 础 上, 系 统 正 尝 试 实 现 朗 读 试 题 的 计 算 机 自 动 化 评 测 功 能 目 前 科 大 12
讯 飞 已 经 基 本 完 成 了 关 于 朗 读 口 语 试 题 评 测 的 第 一 期 数 据 采 集 工 作, 现 在 正 处 于 朗 读 题 型 评 测 建 模 阶 段 具 体 研 究 成 果 如 下 : 1. 发 表 英 语 网 络 口 语 考 试 系 统 的 分 析 与 设 计 2. 英 语 口 语 考 试 系 统 的 设 计 与 实 现 毕 业 论 文 3. 计 算 机 辅 助 大 学 英 语 口 语 测 试 的 信 度 效 度 研 究 毕 业 论 文 4. 英 国 巴 斯 大 学 基 于 本 系 统 发 表 Computer Assisted Testing of Spoken English: A Study to Evaluate the SFLEP College English Oral Test System in China 5. 完 成 计 算 机 辅 助 英 语 口 语 考 试 系 统 的 设 计 与 应 用 五 调 研 计 划, 包 括 调 研 内 容 调 研 周 期 调 研 报 告 的 完 成 时 间 1. 调 研 其 他 口 语 考 试 中 所 采 用 的 题 型, 以 及 口 语 考 试 题 型 的 相 关 理 论 ; 调 研 周 期 为 2007.7-2007.9; 调 研 报 告 完 成 时 间 为 2007 年 9 月 底 2. 调 研 国 内 外 人 机 交 互 界 面 表 示 模 型 人 机 界 面 设 计 规 则 流 程 的 研 究 和 可 用 性 评 估 研 究 ; 调 研 类 似 系 统 的 行 为 模 型 以 及 面 对 面 口 语 考 试 ; 调 研 周 期 为 2007.07-2007.10; 调 研 报 告 完 成 时 间 为 2007 年 10 月 底 3. 调 研 国 内 外 关 于 评 分 者 信 度 研 究 方 法 和 研 究 结 果, 现 有 网 上 评 分 系 统 的 设 计 方 案 以 及 各 种 考 试 结 果 统 计 方 法 ; 调 研 周 期 为 2007.7-2007.9; 调 研 报 告 完 成 时 间 为 2007 年 9 月 底 4. 调 研 口 语 测 试 理 论 及 人 机 交 互 等 与 口 语 考 试 中 分 组 讨 论 任 务 相 关 的 研 究 ; 调 研 周 期 为 2007.7-2007.9; 调 研 报 告 完 成 时 间 为 2007 年 9 月 底 六 研 究 成 果 的 预 计 去 向 及 使 用 范 围 1. 各 子 课 题 的 可 行 性 研 究 报 告, 含 调 研 和 文 献 综 述 报 告 2. 计 算 机 辅 助 口 语 测 试 系 统 中 不 同 题 型 的 效 度 研 究 报 告 3. 计 算 机 辅 助 口 语 测 试 系 统 的 人 机 交 互 研 究 报 告 4. 计 算 机 辅 助 口 语 测 试 系 统 的 界 面 设 计 原 则 和 新 界 面 的 可 用 性 评 估 报 告 5. 计 算 机 辅 助 口 语 测 试 系 统 阅 卷 评 分 员 评 分 信 度 相 关 研 究 报 告 6. 阅 卷 评 分 新 设 计 方 案 报 告 7. 分 组 讨 论 题 型 交 互 机 制 研 究 报 告 8. 建 立 标 准 发 音 模 型 训 练 数 据 库 9. 限 定 文 本 朗 读 的 自 动 化 口 语 评 测 模 块 10. 适 合 于 计 算 机 自 动 评 阅 口 语 题 型 研 究 报 告 11. 各 类 教 育 实 验 设 计 实 验 实 施 数 据 收 集 处 理 和 分 析 报 告 12. 本 课 题 总 结 报 告 计 算 机 辅 助 大 学 英 语 口 语 评 测 课 题 组 二 〇 〇 五 年 十 二 月 二 十 日 13