汉语口语考试

Similar documents
Microsoft Word doc

中国民航飞行人员语言能力测试

在 直 接 口 试 中, 由 于 评 分 者 要 身 兼 数 职, 既 要 控 制 考 试 程 序, 又 要 扮 演 交 际 角 色, 还 要 担 当 评 分 者, 在 测 试 的 同 时 还 要 根 据 评 分 标 准 对 被 试 的 口 语 表 现 做 出 即 时 评 估, 因 而, 直 接 口

5 1 linear 5 circular ~ ~

Microsoft Word - Final Exam Review Packet.docx

<4D F736F F D20D6D0B9FAC3F1BABDB7C9D0D0C8CBD4B1D3EFD1D4C4DCC1A6B2E2CAD4B4F3B8D E646F63>

(Microsoft Word - 11\244T\246\342\277\337\260l\302\334.doc)

Microsoft Word - A doc

< B2C4A454BEC7B4C1A6D2B8D5AEC9B6A1AAED2E786C7378>

(Microsoft Word - 001\253\312\255\261.doc)

English Language

CHINA SCIENCE AND TECHNOLOGY DEVELOPMENT REPORT ()

ap15_chinese_interpersoanal_writing_ _response

高中英文科教師甄試心得

2015 Chinese FL Written examination

PEEC_CEF_CourseList_Web_v xlsx

1 哪 项 是 需 要 进 行 管 理 的 项 目 绩 效 的 六 个 方 面 之 一? a) 准 确 性 b) 可 靠 性 c) 范 围 d) 便 于 使 用 2 哪 一 主 题 确 保 项 目 是 值 得 的 可 行 的 且 可 实 现 的? a) 组 织 b) 进 展 c) 商 业 论 证 d

國立臺南大學數位論文典藏.pdf

<8CBE8CEA82C695B689BB81404E6F33332E696E6462>

中三級 英國語文科


大纲正文.doc

% % CHINA SCIENCE AND TECHNOLOGY DEVELOPMENT REPORT % % % % 28.6%

<4D F736F F D20C4A3B0E520D3A2D3EFBFDAD3EFBBFABFBCD6D0D3A2D3EFC8FBD2F4D3EFD2F4CAB6B1F0B5C4B8C4BDF8D0CDB7BDB7A8D1D0BEBF2E646F63>

Ps22Pdf

Microsoft Word - chnInfoPaper6

05-06計畫2[修訂版].doc

一、簡報:

<4D F736F F D B4E4A9FAA4A4BEC7A4A4A4E5A9DBA5CDC2B2B3B9B0AAA4A4B3A15B315D2E646F63>

从语用的角度看口语水平测试

中 國 語 文 卷 一 : 閱 讀 能 力 考 核 考 試 範 圍 : 新 高 中 中 國 語 文 新 編 第 三 冊 單 元 九 十 十 一 ; 第 四 冊 單 元 十 二 小 說 與 文 化 ( 選 修 單 元 ): 英 雄 與 俠 義 考 試 模 式 : ( 全 答 )( 佔 全 科 30%)

Lennon SECOPETS SECOPETS Ellis Housen & Kuiken 2009 LOCNEC Higgs Brand & Gotz Brand &

P5 MT Sharing

: ( ),,

一、簡報:

NATIONAL TSING HUA UNIVERSITY PRESS CATALOG National Tsing Hua University PRESS No.101, Sec. 2, Guangfu Rd., East Dist., Hsinchu City 30013,

Microsoft Word - H61003.doc

新汉语水平考试

新汉语水平考试

新汉语水平考试

新汉语水平考试

Microsoft Word - fff _ doc

Microsoft Word - H51006.doc

Microsoft Word - H61003.doc

C 1. A. B. C. D. 2. A. B. C. D. 3. A. B. C. D. 4. A. 12 B. 26 C. 50 D A. B. C. D. 6. A. B. C. D. 7. A. B. C. D. 8. A. B.

新汉语水平考试

新汉语水平考试

新汉语水平考试

费 用 : 广 东 金 融 学 院 外 国 留 学 生 会 计 学 专 业 本 科 项 目 授 予 学 位 : 管 理 学 学 士 培 养 具 备 良 好 汉 语 理 解 能 力 和 表 达 能 力, 系 统 掌 握 现 代 会 计 学 及 财 务 管 理 的 基 本 理 论 专 业 知 识 和 操

新汉语水平考试

新汉语水平考试

2013国际营销科学与信息技术大会(MSIT2013)


LI Genping.ppt

Theory of Groups is another course for undergraduates; and Module Theory will be a basic course of graduates). The main contents include the basic str

中医教育 版

STEAM STEAM STEAM ( ) STEAM STEAM ( ) 1977 [13] [10] STEM STEM 2. [11] [14] ( )STEAM [15] [16] STEAM [12] ( ) STEAM STEAM [17] STEAM STEAM STEA

4 : 85 :, (2) :, gλ (, ), ( gλψ, gλζ ) :,,, 112,?,, :, :,,, (conceptual domain), (conceptual components) (hierarchical structure),, : (,[ ], ) 1,,,, (


This component will be assessed through students audio recordings. Students have to submit their audio recordings to their subject teachers by 8 April

HSK在命题方面的经验交流

182 第 41 卷 方面发挥了重要作用 因此研究留日物理学生是中 国近现代物理学史研究的一项重要内容 出身 并任翰林院编修 不久 云贵总督李经羲上 奏 要求调其回云南兴办新学 他欣然回滇办学宣 1 统二年( 1910) 他接任云南优级师范学堂监督 兼 专任理化教员 负责筹办云南工矿学堂 并担任第一

XXX专业本科人才培养方案

SCCS 课程介绍

Microsoft Word - 04_曾梁張謝.doc

7. 小 星 星 一 閃 一 閃 亮 晶 晶, 滿 天 都 是 小 星 星 ; 掛 在 天 空 放 光 明, 好 像 許 多 小 眼 睛 ; 一 閃 一 閃 亮 晶 晶, 滿 天 都 是 小 星 星


人物篇 走在一條前景無限的長路 專訪姚道中 教授 何沐容 在中國 有一億五千萬人學習英文 相對 全美學習中文的人數 雖然逐年攀高 目前仍 僅達三十幾萬人 這對未來將躍上世界舞台之 頂 有著人口 土地 商機等各種豐厚潛力的 中國而言 要讓口中說的話 成為繼英語之後 第二個全球共通語言 讓更多外國朋友們

Microsoft Word - 大陸化粧品進口程序與法規1220(16K)

國家圖書館典藏電子全文

2009 Japanese First Language Written examination

目录 CONTENTS

PowerPoint プレゼンテーション

表 2 全 国 各 类 高 等 学 校 教 学 与 科 研 人 员 中 科 学 家 和 工 程 师 技 术 职 务 ( 职 称 学 校 数 合 计 教 师 其 他 技 ( 所 ) 小 计 教 授 副 教 授 讲 师 助 教 其 他 小 计 合 计

2010 Japanese First Language Written examination


HSK(基础)样题

2009 Korean First Language Written examination

在 美 國 學 習 中 文 有 二 種 情 況, 一 種 是 把 中 文 當 作 一 門 外 國 語 言 來 學 (Chinese as a Foreign Language, CFL); 一 種 是 把 中 文 當 作 第 二 語 言 來 學 (Chinese as Second Language

ap14_chinese_language_interpersonal_speaking

附件

A VALIDATION STUDY OF THE ACHIEVEMENT TEST OF TEACHING CHINESE AS THE SECOND LANGUAGE by Chen Wei A Thesis Submitted to the Graduate School and Colleg

Construction of Chinese pediatric standard database A Dissertation Submitted for the Master s Degree Candidate:linan Adviser:Prof. Han Xinmin Nanjing

<4D F736F F F696E74202D A4A4A4BBA4E5BECCB8D5A5FEA7F0B2A4205BACDBAE65BCD2A6A15D>


Microsoft Word - 06会计学( ).doc

<4D F736F F D20B1B3BAF3B5C4B9CACAC25FD0FBB4ABD2B35FD5FDC3E62E646F63>

Untitiled

目 錄 1) 目 錄 1 2) 給 家 長 的 信 ) 辦 學 宗 旨 抱 負 及 校 訓 4 4) 學 校 目 標 核 心 價 值 5 5) 學 校 願 景 6 6) 法 團 校 董 會 7 7) 學 校 行 事 曆 ) 學 校 基 本 資 料 ) 上 課 時

Microsoft Word rb06-individual-visit-scheme c.docx

P050-P pdf

附件三、

pg19_BackCover

designated school Urdu HindiEnglish 倂 /09 122

Microsoft PowerPoint - Aqua-Sim.pptx

be invested on the desilting of water sources and to paved canals with cement mortar while drinking water project can focus on the improvement of wate

言语理解中的知觉表征与命题表征*

Chinese Journal of Applied Probability and Statistics Vol.25 No.4 Aug (,, ;,, ) (,, ) 应用概率统计 版权所有, Zhang (2002). λ q(t)

高職教師教學成敗歸因之研究

% % 34

Transcription:

自 动 化 汉 语 口 语 考 试 研 发 与 思 考 Research and Thoughts of Automated Test of Spoken Chinese 北 京 大 学 李 晓 琪 Peking University Li Xiaoqi 2012 年 4 月 April 2012

项 目 概 述 Project Overview 简 介 (Brief Introduction): 自 动 化 汉 语 口 语 能 力 测 试 项 目 由 北 京 大 学 和 培 生 (PEARSON) 公 司 合 作 开 发 该 项 目 旨 在 开 发 一 个 面 向 汉 语 学 习 者 ( 以 中 文 作 为 第 二 语 言 ) 的 汉 语 口 语 考 试, 通 过 建 立 起 一 个 成 熟 的 语 音 识 别 系 统, 实 现 计 算 机 自 动 评 分, 在 考 生 完 成 考 试 2 分 钟 后 即 可 给 出 成 绩 该 项 目 从 2010 年 7 月 正 式 启 动 研 发, 计 划 在 2012 年 8 月 推 出 考 试 产 品 阶 段 安 排 (Two Phases): 项 目 研 发 分 为 A B 两 个 阶 段 A 阶 段 从 2010 年 7 月 到 2011 年 4 月, 进 行 小 规 模 预 测, 初 步 建 立 起 自 动 评 分 模 型 B 阶 段 从 2011 年 5 月 到 2012 年 8 月, 该 阶 段 展 开 大 规 模 预 测, 进 一 步 完 善 自 动 评 分 系 统

研 发 日 程 表 Development Schedule

项 目 概 述 Project Overview 项 目 特 点 (The Characteristic): 项 目 的 显 著 特 点 是 考 试 由 Versant 的 系 统 自 动 实 施 所 谓 自 动 实 施 包 括 : 自 动 派 发 和 自 动 评 分 因 此 该 考 试 可 以 在 任 何 时 间 任 何 地 点 通 过 电 话 或 计 算 机 进 行, 自 动 评 分 系 统 通 过 语 音 处 理 技 术 即 时 生 成 客 观 可 靠 的 分 数 自 动 化 汉 语 口 语 能 力 测 试 是 一 个 全 自 动 化 的 口 语 考 试

口 语 考 试 的 方 法 Methods of Spoken Language Test 直 接 考 试 Interview - 面 试 - 成 对 或 分 组 测 试 半 直 接 考 试 Semi-direct test - 以 计 算 机 为 媒 介 - 在 磁 带 上 录 制 考 试 过 程 自 动 化 考 试 Automation test - 以 计 算 机 为 媒 介 - 语 音 处 理

Versant 考 试 Versant Test 全 自 动 口 语 考 试 自 动 派 发 自 动 评 分 通 过 电 话 或 电 脑 进 行 考 试 通 过 语 音 处 理 技 术 和 计 算 机 评 分 系 统 来 为 考 试 评 分

Versant 方 法 Versant s Operating Method 这 里 正 在 下 雨. 考 试 派 发 服 务 器 Versant 数 据 库 管 理 员 的 数 据 管 理

Versant 试 卷 和 分 数 报 告 Test Paper and Score Report of Versant Test 试 卷 朗 读 句 子 Read Sentences 重 复 句 子 Repeat Sentences 回 答 问 题 Short answer questions 重 组 句 子 Sentence builds 短 文 重 述 Passage retellings 整 体 分 数 Overall 句 子 的 掌 握 Sentence 词 汇 Vocabulary 流 利 度 Fluency 发 音 Pronunciation

汉 语 口 语 考 试 Spoken Chinese Test 试 卷 Test paper 声 调 词 语 Tone phrases 朗 读 Read aloud 重 复 Repeat 反 义 词 Opposites 问 答 Questions 声 调 识 别 词 语 Recognize tone word 声 调 识 别 - 句 子 Recognize tone-sentence 组 句 Sentence builds 短 文 重 述 Passage retellings 整 体 分 数 Overall 句 子 的 掌 握 Sentence 词 汇 Vocabulary 流 利 度 Fluency 发 音 Pronunciation 声 调 Tone

一 前 期 准 备 Preparation 项 目 职 责 分 配 Allocation of responsibilities 北 大 PKU 命 题 词 表 研 制 组 织 实 施 预 测 转 写 人 工 评 分 培 生 集 团 PKT 辅 助 北 大 的 命 题 转 写 和 评 分 工 作 建 立 考 试 系 统 建 立 语 音 识 别 模 型 双 方 交 流 Comunication 每 天 邮 件 往 来 每 周 一 次 视 频 会 议 每 月 互 发 月 度 报 告

PKU 人 员 组 织 结 构 Organization Structure of PKU Team 李 晓 琪 李 海 燕 张 文 贤 祖 人 植 路 云 朱 晓 亚 刘 立 新 张 彩 云 王 鹏 莉 吴 晓 睿 李 海 旭 项 目 总 负 责 人 命 题 总 负 责 人 参 与 命 题 转 写 总 负 责 人 参 与 命 题 命 题 评 分 总 负 责 人 参 与 命 题 负 责 词 表 的 研 制 参 与 命 题 负 责 数 据 采 集 参 与 命 题 负 责 数 据 采 集 参 与 命 题 参 与 命 题 转 写 和 数 据 收 集 办 公 室 事 务 性 工 作, 辅 助 评 分 工 作 负 责 与 美 方 联 络, 参 与 转 写 和 数 据 收 集 负 责 管 理 数 据 库

PKU 人 员 组 织 结 构 Organization Structure of PKU Team 研 发 项 目 组 专 家 组 命 题 李 海 燕 校 领 导 转 录 张 文 贤 评 分 祖 人 植 李 晓 琪 数 据 收 集 朱 刘 晓 立 亚 新 词 表 路 云 社 科 部 办 公 室 吴 张 王 李 晓 彩 鹏 海 睿 云 莉 旭 审 题 专 家 专 家 委 员 会 50 位 命 题 员 67 位 转 录 员 45 位 评 分 员

PEARSON 组 织 结 构 Organization Structure of Pearson

PKT 人 员 组 织 结 构 Organization Structure of PKT Team Test Development IT Jared Bernstein 刘 本 安 鈴 木 正 紀 Consultants 林 郁 熏 吴 静 侯 雅 玲 苏 裔 凡 顾 琳 Alistair Van Moere 许 晓 秋 程 坚 R&D Sales & Marketing

二 项 目 研 发 Research and Development of The Project 词 表 研 制 Vocabulary development 试 题 研 发 Item Development 数 据 收 集 Data collection 数 据 转 录 Transcription 人 工 评 分 Human Rating 计 算 机 评 分 系 统 建 立 The establishment of computer score system 效 度 研 究 Validation

研 发 流 程 Research & Development Process 词 表 研 制 试 题 研 发 数 据 收 集 数 据 转 录 人 工 评 分 制 定 命 题 细 则 组 织 被 试 制 定 转 录 守 则 培 训 命 题 员 准 备 发 放 考 试 材 料 培 训 转 录 员 命 题 录 音 及 审 核 转 录 监 控 制 定 评 分 标 准 培 训 评 分 员 评 分 监 控 合 格 考 试 监 控 完 成 完 成 合 格 审 核 淘 汰 题 目 和 录 音 监 控 淘 汰 应 答 录 音 监 控 淘 汰 转 写 员 监 控 控 淘 汰 评 分 员 效 度 研 究 组 织 考 生 效 度 验 证 建 立 计 算 机 评 分 系 统

词 表 研 制 Vocabulary Development 研 制 人 (Teams):PKU&PKT 语 料 来 源 (The source of materials ): 1) 北 语 汉 语 口 语 语 料 库 (PKU) 2)16 套 重 要 国 内 口 语 教 材 (PKU) 3)6 套 重 要 国 外 口 语 教 材 (PKU 4 套,PKT 2 套 ) 4) 汉 语 频 率 词 典 (PKT) 5) 电 话 录 音 Callhome(PKT) 研 制 方 式 (Development method): 软 件 分 析 处 理 + 专 家 人 工 干 预 词 表 规 模 (Vocabulary size):5186 个

试 题 研 发 Item Development 题 型 A 阶 段 数 量 B 阶 段 数 量 AB 两 阶 段 数 量 A 声 调 词 语 104 325 429 B 朗 读 句 子 81 237 318 C 重 复 句 子 455 1665 2120 D 反 义 词 74 118 192 E 简 短 问 答 256 482 738 F 声 调 识 别 - 词 语 75 117 192 声 调 识 别 - 句 子 75 111 186 G 组 句 124 577 701 H 短 文 复 述 51 242 193 总 计 1295 3874 5169

数 据 收 集 Data Collection 目 的 (Aim): 采 集 足 够 多 的 母 语 考 生 和 非 母 语 考 生 的 汉 语 语 音 样 本 和 应 答, 以 培 训 和 优 化 自 动 语 音 处 理 系 统, 并 开 发 汉 语 口 语 自 动 评 分 模 型, 从 而 实 现 自 动 评 分 实 际 完 成 考 试 次 数 (Completed tests): A 阶 段 2043 次 ; B 阶 段 3446 次 ; AB 两 阶 段 共 5489 次 收 集 方 式 (Collection Method): 考 生 通 过 打 电 话 或 上 机 进 行 考 试, 每 次 考 试 约 30 分 钟 为 了 验 证 本 考 试 的 效 度, 每 位 考 生 参 加 两 次 考 试, 以 便 查 看 两 次 考 试 分 数 的 差 值 是 否 在 正 常 范 围 内 考 生 来 源 (Sources of test-takers): 母 语 考 生 : 来 自 近 20 个 各 方 言 代 表 城 市 与 地 区 ; 非 母 语 考 生 :1/3 来 自 北 大,2/3 来 自 十 余 所 各 地 大 学 或 其 他 院 校

母 语 考 生 取 样 表 Native test-takers sample distribution 数 据 收 集 Data Collection

数 据 收 集 Data Collection Immersion 0 的 非 母 语 考 生 取 样 表 Sample distribution of non-native test-takers : Immersion 0

数 据 收 集 Data Collection Immersion=0 的 非 母 语 考 生 取 样 表 Sample distribution of non-native test-takers : Immersion=0

数 据 转 录 Transcription 目 的 (Aim): 将 考 生 的 口 头 应 答 以 书 面 的 文 字 形 式 呈 现 出 来 转 写 稿 要 准 确 地 记 录 说 话 人 所 说 的, 甚 至 试 图 所 说 的 内 容, 同 时 用 特 殊 的 符 号 记 录 下 考 试 时 外 界 环 境 发 出 的 声 音, 以 及 考 生 说 话 中 任 何 不 流 利 的 地 方 总 工 作 量 (The amount of work ):A 阶 段 转 写 249,053 条,B 阶 段 转 写 635,743 条, 共 884,796 条 ;B 阶 段 效 度 验 证 64,287 条 转 写 全 部 条 数 为 949,083 条 人 员 培 训 (Transcriber training): 招 募 了 4 批 共 67 名 转 写 员, 组 织 了 7 次 培 训, 主 要 讲 解 转 写 细 则, 并 针 对 转 写 中 常 见 的 错 误 进 行 重 点 练 习 质 量 监 控 (Quality control): 同 一 应 答 至 少 由 两 名 转 写 员 转 录, 如 同 一 应 答 的 两 个 转 录 结 果 不 一 样, 应 答 将 会 交 给 第 三 个 转 写 员 裁 定 此 外, 还 实 行 两 级 监 控 一 级 是 抽 调 出 4 名 优 秀 转 写 员 专 门 进 行 质 量 监 控, 每 周 发 一 次 针 对 每 个 转 写 员 的 转 写 反 馈 二 级 是 项 目 组 设 立 两 位 专 职 监 控 人 员, 对 一 级 监 控 结 果 进 行 再 次 监 控

转 录 符 号 与 方 法 Transcription Symbols and Methods 转 录 符 号 说 明 例 句 漏 字 : 一 个 词 未 说 出 的 部 分 要 放 在 括 号 中, 并 在 括 号 的 前 面 或 后 面 紧 加 短 划 线 来 注 明 漏 掉 的 字 是 词 的 前 面, 或 是 后 面 1.-( 学 ) 校 2. 上 ( 课 )- = 声 音 文 件 中 的 最 后 一 个 词 因 录 音 结 束 被 从 中 切 断, 其 后 加 = 3. 来 中 国 以 后 = * 声 韵 错 误 或 声 韵 及 声 调 错 误, 加 在 有 错 误 的 词 前 面 4.* 习 惯 % 纯 声 调 错 误, 加 在 声 调 出 错 的 字 前 面 5. 骑 车 读 成 qìchè :% 骑 车 @ 不 可 识 别 的 或 非 汉 语 普 通 话 的 语 言, 如 方 言 外 语 6. 这 是 @ 的 电 脑 -() or ()- 考 生 发 出 的 口 头 犹 豫, 如 啊 哦 等, 都 记 做 uh 7. 这 个 周 末 uh 我 们 uh 去 看 电 影 # 考 生 发 出 的 口 齿 杂 音, 如 舌 头 敲 打 声 笑 声 等 8.# 要 下 雨 了 # : 音 ( 元 音 或 是 辅 音 ) 拖 长 时, 将 : 加 在 被 拖 长 音 的 字 后 面 9. 一 个 苹 : 果 + 用 来 记 录 多 音 节 的 词 内 部 的 停 顿 现 象 10. 每 个 周 + 末 他 都 和 朋 友 一 起 uh [N] 记 录 背 景 杂 音 11. 我 喜 欢 [N] 饺 子 12.[N>] 苹 果 [<N] [S] 记 录 背 景 语 言 13. 他 不 要 [S] 一 起 去 [R] 记 录 通 讯 录 音 杂 音 14. 我 不 喜 欢 [R] 我 的 新 车 [!] 记 录 罕 见 的 或 是 有 问 题 的 录 音 [A] 外 国 口 音, 在 转 录 页 面 的 对 话 窗 下 的 相 应 选 项 上 打 勾 [D] 方 言 口 音, 在 转 录 页 面 的 对 话 窗 下 的 相 应 选 项 上 打 勾 [U] 作 弊 等 不 正 常 应 答, 在 转 录 页 面 的 对 话 窗 下 的 相 应 选 项 上 打 勾

转 录 实 例 Examples of The Transcription 例 1 4.2 参 考 答 案 : 他 决 定 下 星 期 找 个 时 间 去 一 趟 大 使 馆 转 录 稿 : 他 决 + 定 % 下 星 期 * 找 个 时 间 去 一 % 趟 % 大 % 使 馆 [N] (R)(A) 例 2 3.8 参 考 答 案 : 他 每 天 从 早 忙 到 晚 因 为 要 学 的 东 西 太 多 了 转 录 稿 :[R] [S] 他 每 天 [N] % 从 早 # % 忙 到 晚 [N>] % 因 为 [<N] 要 * 学 的 东 西 [N>] [S] [<N] 太 多 了 [N] [S] [N] (A)

人 工 评 分 Human Rating 目 的 (Aim): 产 生 足 够 数 量 的 人 工 评 分, 并 用 来 开 发 和 验 证 自 动 评 分 模 型 任 务 (Task): 利 用 培 生 的 评 分 界 面, 根 据 一 系 列 的 评 分 标 准, 聆 听 每 个 应 答, 并 给 予 评 分 所 有 进 入 考 试 题 库 的 试 题 都 经 过 人 工 评 分 评 分 员 (Raters): 共 培 训 评 分 员 40 名, 分 为 对 比 组 声 韵 组 声 调 组 流 利 度 组 展 开 工 作

评 分 Rating 内 容 Content 方 式 Form 句 子 掌 握 Sentence 词 汇 Vocabulary 流 利 度 Fluency 发 音 Pronunciation 声 调 Tone

计 算 机 评 分 系 统 建 立 The Establishment of Computer Score System 试 用 版 考 试 评 分 逻 辑 Preliminary SCT score logic 语 法 词 汇 流 利 度 发 音 声 调 Grammar Vocabulary Fluency Pronunciation Tone 声 调 词 语 Tone Phrases 朗 读 Read Aloud 重 复 Repeat 反 义 词 Opposites 问 答 Questions 声 调 识 别 - 词 语 Recognize Tone-Word 声 调 识 别 - 句 子 Recognize Tone-Sentence 组 句 Sentence Builds 短 文 重 述 Passage Retellings 25 分 钟 25 minutes

评 分 权 重 研 究 Rating Scale Research 制 定 评 分 标 准 (Establish grading standard ) 级 别 最 高 级 10 高 级 中 级 初 级 分 值 总 体 水 平 描 述 语 法 词 汇 流 利 度 发 音 声 调 9 8 7 主 要 题 型 回 答 了 所 有 试 题 ; 内 容 正 确 ; 语 音 自 然, 表 达 流 畅, 符 合 母 语 语 感 ; 相 当 于 母 语 者 水 平 回 答 了 大 部 分 试 题, 只 有 个 别 遗 漏 ; 内 容 基 本 正 确, 有 个 别 不 完 整, 不 准 确 之 处 ; 语 音 比 较 自 然, 表 达 比 较 流 畅, 很 少 有 影 响 交 际 的 发 音 错 误 ; 接 近 母 语 者 水 平 6 大 约 只 回 答 了 一 半 试 题 ; 内 容 正 确 与 错 误 参 半, 很 多 时 候 不 完 整 不 5 准 确 ; 有 些 洋 腔 洋 调, 表 达 不 很 流 畅, 有 些 不 恰 当 停 顿, 不 常 接 触 外 国 人 的 普 通 中 国 人 听 4 起 来 有 些 吃 力 ; 重 复 句 子 组 句 结 构 语 序 虚 词 正 确 结 构 语 序 虚 词 基 本 正 确, 有 个 别 遗 漏 和 错 误, 但 不 妨 碍 意 义 理 解 结 构 语 序 虚 词 有 一 些 明 显 的 错 误 和 遗 漏, 有 时 候 影 响 意 义 的 理 解 反 义 词 问 答 短 文 复 述 词 汇 丰 富, 表 达 清 楚, 完 整, 准 确 词 汇 比 较 丰 富, 词 语 使 用 基 本 正 确, 偶 尔 不 够 准 确, 完 整 3 只 回 答 了 少 部 分 试 题 ; 结 构 语 序 虚 词 汇 量 有 限, 词 内 容 大 部 分 不 完 整 不 准 确 ; 词 有 比 较 多 的 明 语 使 用 常 常 有 明 2 显 的 错 误 和 遗 漏, 洋 腔 洋 调 比 较 严 重, 表 达 不 流 利, 不 恰 当 显 错 误, 难 以 听 常 常 影 响 意 义 的 停 顿 很 多, 听 起 来 比 较 吃 力, 常 常 听 不 懂 懂 1 理 解 0 基 本 上 没 有 回 答 试 题 朗 读 重 复 句 子 组 句 非 常 流 畅, 自 然 多 数 语 句 说 得 有 一 定 的 词 汇 量, 比 较 流 利, 但 词 语 使 用 大 部 分 表 达 复 杂 内 容 正 确, 但 有 时 有 时, 流 利 度 不 明 显 错 误, 影 响 足, 有 一 些 不 意 义 理 解 恰 当 的 停 顿 或 明 显 的 迟 疑 声 调 词 语 朗 读 重 复 句 子 反 义 词 问 答 组 句 自 然, 清 楚 没 有 外 国 口 音 比 较 清 楚, 有 个 能 流 利 表 达, 别 的 音 有 错 误, 不 恰 当 的 停 顿 但 基 本 不 妨 碍 理 重 复 很 少 解 有 一 些 外 国 口 音 不 流 利, 不 恰 当 的 语 音 停 顿 比 较 多, 而 且 停 顿 时 间 比 较 长 有 些 明 显 的 发 音 错 误, 有 时 候 影 响 意 义 理 解 有 较 明 显 的 外 国 口 音 发 音 错 误 多 且 明 显, 有 时 候 难 以 听 懂 外 国 口 音 比 较 严 重 声 调 词 语 声 调 识 别 自 然, 调 型 调 值 准 确 调 型 调 值 基 本 正 确, 偶 尔 表 现 出 外 国 人 特 征, 但 不 妨 碍 理 解 大 部 分 声 调 正 确, 但 不 自 然 不 准 确 的 情 况 较 明 显 带 有 一 些 规 律 性 的 外 国 人 特 征 缺 乏 正 确 的 声 调 变 化, 有 时 候 难 以 听 懂 听 起 来 很 生 硬 吃 力

评 分 权 重 研 究 Rating Scale Research 评 分 员 信 度 验 证 (Inter-rater reliability verification) 评 分 员 (Raters):9 人, 三 组 评 分 差 (Score variance): 各 小 组 之 间 分 差 基 本 在 0.5-1 分 之 间 ( 见 曲 线 图 ) 相 关 系 数 (Correlation): 三 个 评 分 组 间 的 相 关 系 数 均 达 0.94 以 上 ( 见 表 格 ) 结 论 (Conclusion): 各 小 组 的 评 分 信 度 很 高, 一 致 性 很 好, 评 分 可 靠 第 1 组 第 2 组 第 3 组 第 1 组 1 第 2 组 0.96 1 第 3 组 0.94 0.98 1

评 分 权 重 研 究 Rating Scale Research 评 分 员 评 分 与 PKT 计 算 机 系 统 评 分 相 比 较 Human rating score vs. PKT computer rating score 样 本 数 量 (Sample size):115 个 (+210 个 ) 权 重 分 布 示 例 (One example of various score weight distributions) 考 号 总 分 语 法 词 汇 流 利 度 发 音 声 调 43111 总 分 42211 总 分 33211 总 分 总 分 3474748 3 3 2 4 4 4 30 32 31 30

评 分 权 重 研 究 Rating Scale Research 结 论 (Conclusion): PKT 分 数 与 PKU 的 评 分 转 换 分 的 相 关 系 数 为 0.92 说 明 PKT 评 分 模 型 的 区 分 度 较 好, 能 够 较 好 地 区 分 出 不 同 水 平 的 考 生, 只 是 整 体 分 数 偏 高

建 议 (Suggests): 评 分 权 重 研 究 Rating Scale Research 1. 关 于 各 分 项 分 数 在 总 分 中 所 占 的 权 重 问 题 ; 2. 关 于 对 未 答 题 的 减 分 比 率 问 题 ; 3. 关 于 高 分 段 区 分 度 问 题

研 究 内 容 (Content): 1) 考 试 信 度 研 究 ; 效 度 研 究 Validation 2) 自 动 评 分 和 人 工 评 分 的 相 关 度 研 究 ; 3) 汉 语 口 语 考 试 和 其 他 同 期 口 语 考 试 对 比 研 究 研 究 对 象 (Objects): 37 个 研 究 对 象 (21 女, 16 男 ) 21 名 在 中 国, 16 名 在 美 国 不 参 与 评 分 系 统 建 立 的 数 据 收 集

考 试 信 度 研 究 Test Reliability Score 分 半 信 度 Split-half Reliability (N=37) 重 测 信 度 Test Retest Reliability (N=31) 总 分 Overall 0.98 0.95 语 法 Grammar 0.97 0.96 词 汇 Vocabulary 0.94 0.87 流 利 度 Fluency 0.96 0.93 发 音 Pronunciation 0.91 0.86 声 调 Tone 0.87 0.74 其 他 语 言 (Other languages):0.94--0.97

自 动 评 分 人 工 评 分 的 相 关 度 Score Machine Human Correlation Correlation 总 分 Overall 0.98 语 法 Grammar 0.99 词 汇 Vocabulary 0.94 流 利 度 Fluency 0.89 发 音 Pronunciation 0.90 声 调 Tone 0.90 其 他 语 言 (Other languages):0.93--0.98 母 语 与 非 母 语 对 比 (Native vs. Non-native ) 母 语 内 部 相 关 度 (Native Dialect Groups)

与 其 他 同 期 口 语 考 试 的 对 比 Relation to Concurrent Tests 对 比 对 象 (Objects): ILR Oral Proficiency Interview HSK Oral Test 对 比 结 果 (Conclusions): 相 关 度 样 本 人 数 Relation Sample size vs. ILR-OPI 0.79 37 vs. HSK 中 级 口 语 考 试 0.86 23 其 他 语 言 (Other languages): 0.81-0.92

效 度 研 究 结 论 The Conclusion of Validation 试 用 版 考 试 的 研 究 得 到 了 令 人 满 意 的 结 果 Versant 方 法 同 样 适 用 于 汉 语 口 语 考 试

三 研 发 思 考 Sevral Thoughts 汉 语 口 语 考 试 的 目 的 是 什 么? 汉 语 口 语 考 试 的 分 数 应 该 代 表 了 什 么? 如 何 定 义 并 限 定 考 题 中 可 以 接 受 的 汉 语 口 语 范 围? 名 称 非 标 准 形 式 平 舌 音 和 翘 舌 音 的 合 并 {zh,ch,sh} 和 {z,c,s} 的 合 并 /n/ 变 成 /l/ 声 母 /n/ 被 发 成 /l/; 例 如 : 南 nán = 蓝 lán /r/ 变 成 /l/ 声 母 /r/ 被 发 成 /r/; 例 如 : 热 rè = 乐 lè 鼻 音 韵 母 的 变 化 前 鼻 音 和 后 鼻 音 的 合 并 {n, ng} ; 例 如 : 应 yīng = 音 yīn 儿 化 现 象 在 词 尾 用 儿 化 ; 例 如 : 花 读 成 花 儿. 轻 声 缺 失 轻 声 的 缺 失 ; 父 亲 fùqin 读 成 父 亲 fùqīn 声 调 的 变 化 声 调 的 自 由 转 换 ; 例 如 : 卧 室 wò shì 读 成 卧 室 wò shĭ 在 样 本 数 据 采 集 中, 如 何 判 断 一 个 被 试 的 样 本 为 可 接 受 的 母 语 者? 如 何 为 汉 语 的 发 音 评 分?

谢 谢! Thank you!