汉语口语考试

Size: px

Start display at page:

Download "汉语口语考试"

俟刁
9 years ago
Views:

1 自动化汉语口语考试研发与思考 Research and Thoughts of Automated Test of Spoken Chinese 北京大学李晓琪 Peking University Li Xiaoqi 2012 年 4 月 April 2012

2 项目概述 Project Overview 简介 (Brief Introduction): 自动化汉语口语能力测试项目由北京大学和培生 (PEARSON) 公司合作开发该项目旨在开发一个面向汉语学习者 ( 以中文作为第二语言 ) 的汉语口语考试, 通过建立起一个成熟的语音识别系统, 实现计算机自动评分, 在考生完成考试 2 分钟后即可给出成绩该项目从 2010 年 7 月正式启动研发, 计划在 2012 年 8 月推出考试产品阶段安排 (Two Phases): 项目研发分为 A B 两个阶段 A 阶段从 2010 年 7 月到 2011 年 4 月, 进行小规模预测, 初步建立起自动评分模型 B 阶段从 2011 年 5 月到 2012 年 8 月, 该阶段展开大规模预测, 进一步完善自动评分系统

3 研发日程表 Development Schedule

4 项目概述 Project Overview 项目特点 (The Characteristic): 项目的显著特点是考试由 Versant 的系统自动实施所谓自动实施包括 : 自动派发和自动评分因此该考试可以在任何时间任何地点通过电话或计算机进行, 自动评分系统通过语音处理技术即时生成客观可靠的分数自动化汉语口语能力测试是一个全自动化的口语考试

5 口语考试的方法 Methods of Spoken Language Test 直接考试 Interview - 面试 - 成对或分组测试半直接考试 Semi-direct test - 以计算机为媒介 - 在磁带上录制考试过程自动化考试 Automation test - 以计算机为媒介 - 语音处理

6 Versant 考试 Versant Test 全自动口语考试自动派发自动评分通过电话或电脑进行考试通过语音处理技术和计算机评分系统来为考试评分

7 Versant 方法 Versant s Operating Method 这里正在下雨. 考试派发服务器 Versant 数据库管理员的数据管理

questions 重组句子 Sentence builds 短文重述 Passage retellings 整体分数

8 Versant 试卷和分数报告 Test Paper and Score Report of Versant Test 试卷朗读句子 Read Sentences 重复句子 Repeat Sentences 回答问题 Short answer questions 重组句子 Sentence builds 短文重述 Passage retellings 整体分数 Overall 句子的掌握 Sentence 词汇 Vocabulary 流利度 Fluency 发音 Pronunciation

9 汉语口语考试 Spoken Chinese Test 试卷 Test paper 声调词语 Tone phrases 朗读 Read aloud 重复 Repeat 反义词 Opposites 问答 Questions 声调识别词语 Recognize tone word 声调识别 - 句子 Recognize tone-sentence 组句 Sentence builds 短文重述 Passage retellings 整体分数 Overall 句子的掌握 Sentence 词汇 Vocabulary 流利度 Fluency 发音 Pronunciation 声调 Tone

10 一前期准备 Preparation 项目职责分配 Allocation of responsibilities 北大 PKU 命题词表研制组织实施预测转写人工评分培生集团 PKT 辅助北大的命题转写和评分工作建立考试系统建立语音识别模型双方交流 Comunication 每天邮件往来每周一次视频会议每月互发月度报告

11 PKU 人员组织结构 Organization Structure of PKU Team 李晓琪李海燕张文贤祖人植路云朱晓亚刘立新张彩云王鹏莉吴晓睿李海旭项目总负责人命题总负责人参与命题转写总负责人参与命题命题评分总负责人参与命题负责词表的研制参与命题负责数据采集参与命题负责数据采集参与命题参与命题转写和数据收集办公室事务性工作, 辅助评分工作负责与美方联络, 参与转写和数据收集负责管理数据库

12 PKU 人员组织结构 Organization Structure of PKU Team 研发项目组专家组命题李海燕校领导转录张文贤评分祖人植李晓琪数据收集朱刘晓立亚新词表路云社科部办公室吴张王李晓彩鹏海睿云莉旭审题专家专家委员会 50 位命题员 67 位转录员 45 位评分员

13 PEARSON 组织结构 Organization Structure of Pearson

14 PKT 人员组织结构 Organization Structure of PKT Team Test Development IT Jared Bernstein 刘本安鈴木正紀 Consultants 林郁熏吴静侯雅玲苏裔凡顾琳 Alistair Van Moere 许晓秋程坚 R&D Sales & Marketing

15 二项目研发 Research and Development of The Project 词表研制 Vocabulary development 试题研发 Item Development 数据收集 Data collection 数据转录 Transcription 人工评分 Human Rating 计算机评分系统建立 The establishment of computer score system 效度研究 Validation

16 研发流程 Research & Development Process 词表研制试题研发数据收集数据转录人工评分制定命题细则组织被试制定转录守则培训命题员准备发放考试材料培训转录员命题录音及审核转录监控制定评分标准培训评分员评分监控合格考试监控完成完成合格审核淘汰题目和录音监控淘汰应答录音监控淘汰转写员监控控淘汰评分员效度研究组织考生效度验证建立计算机评分系统

17 词表研制 Vocabulary Development 研制人 (Teams):PKU&PKT 语料来源 (The source of materials ): 1) 北语汉语口语语料库 (PKU) 2)16 套重要国内口语教材 (PKU) 3)6 套重要国外口语教材 (PKU 4 套,PKT 2 套 ) 4) 汉语频率词典 (PKT) 5) 电话录音 Callhome(PKT) 研制方式 (Development method): 软件分析处理 + 专家人工干预词表规模 (Vocabulary size):5186 个

18 试题研发 Item Development 题型 A 阶段数量 B 阶段数量 AB 两阶段数量 A 声调词语 B 朗读句子 C 重复句子 D 反义词 E 简短问答 F 声调识别 - 词语声调识别 - 句子 G 组句 H 短文复述总计

19 数据收集 Data Collection 目的 (Aim): 采集足够多的母语考生和非母语考生的汉语语音样本和应答, 以培训和优化自动语音处理系统, 并开发汉语口语自动评分模型, 从而实现自动评分实际完成考试次数 (Completed tests): A 阶段 2043 次 ; B 阶段 3446 次 ; AB 两阶段共 5489 次收集方式 (Collection Method): 考生通过打电话或上机进行考试, 每次考试约 30 分钟为了验证本考试的效度, 每位考生参加两次考试, 以便查看两次考试分数的差值是否在正常范围内考生来源 (Sources of test-takers): 母语考生 : 来自近 20 个各方言代表城市与地区 ; 非母语考生 :1/3 来自北大,2/3 来自十余所各地大学或其他院校

20 母语考生取样表 Native test-takers sample distribution 数据收集 Data Collection

21 数据收集 Data Collection Immersion 0 的非母语考生取样表 Sample distribution of non-native test-takers : Immersion 0

22 数据收集 Data Collection Immersion=0 的非母语考生取样表 Sample distribution of non-native test-takers : Immersion=0

23 数据转录 Transcription 目的 (Aim): 将考生的口头应答以书面的文字形式呈现出来转写稿要准确地记录说话人所说的, 甚至试图所说的内容, 同时用特殊的符号记录下考试时外界环境发出的声音, 以及考生说话中任何不流利的地方总工作量 (The amount of work ):A 阶段转写 249,053 条,B 阶段转写 635,743 条, 共 884,796 条 ;B 阶段效度验证 64,287 条转写全部条数为 949,083 条人员培训 (Transcriber training): 招募了 4 批共 67 名转写员, 组织了 7 次培训, 主要讲解转写细则, 并针对转写中常见的错误进行重点练习质量监控 (Quality control): 同一应答至少由两名转写员转录, 如同一应答的两个转录结果不一样, 应答将会交给第三个转写员裁定此外, 还实行两级监控一级是抽调出 4 名优秀转写员专门进行质量监控, 每周发一次针对每个转写员的转写反馈二级是项目组设立两位专职监控人员, 对一级监控结果进行再次监控

24 转录符号与方法 Transcription Symbols and Methods 转录符号说明例句漏字 : 一个词未说出的部分要放在括号中, 并在括号的前面或后面紧加短划线来注明漏掉的字是词的前面, 或是后面 1.-( 学 ) 校 2. 上 ( 课 )- = 声音文件中的最后一个词因录音结束被从中切断, 其后加 = 3. 来中国以后 = * 声韵错误或声韵及声调错误, 加在有错误的词前面 4.* 习惯 % 纯声调错误, 加在声调出错的字前面 5. 骑车读成 qìchè :% 骑不可识别的或非汉语普通话的语言, 如方言外语 6. 这的电脑 -() or ()- 考生发出的口头犹豫, 如啊哦等, 都记做 uh 7. 这个周末 uh 我们 uh 去看电影 # 考生发出的口齿杂音, 如舌头敲打声笑声等 8.# 要下雨了 # : 音 ( 元音或是辅音 ) 拖长时, 将 : 加在被拖长音的字后面 9. 一个苹 : 果 + 用来记录多音节的词内部的停顿现象 10. 每个周 + 末他都和朋友一起 uh [N] 记录背景杂音 11. 我喜欢 [N] 饺子 12.[N>] 苹果 [<N] [S] 记录背景语言 13. 他不要 [S] 一起去 [R] 记录通讯录音杂音 14. 我不喜欢 [R] 我的新车 [!] 记录罕见的或是有问题的录音 [A] 外国口音, 在转录页面的对话窗下的相应选项上打勾 [D] 方言口音, 在转录页面的对话窗下的相应选项上打勾 [U] 作弊等不正常应答, 在转录页面的对话窗下的相应选项上打勾

25 转录实例 Examples of The Transcription 例参考答案 : 他决定下星期找个时间去一趟大使馆转录稿 : 他决 + 定 % 下星期 * 找个时间去一 % 趟 % 大 % 使馆 [N] (R)(A) 例参考答案 : 他每天从早忙到晚因为要学的东西太多了转录稿 :[R] [S] 他每天 [N] % 从早 # % 忙到晚 [N>] % 因为 [<N] 要 * 学的东西 [N>] [S] [<N] 太多了 [N] [S] [N] (A)

26 人工评分 Human Rating 目的 (Aim): 产生足够数量的人工评分, 并用来开发和验证自动评分模型任务 (Task): 利用培生的评分界面, 根据一系列的评分标准, 聆听每个应答, 并给予评分所有进入考试题库的试题都经过人工评分评分员 (Raters): 共培训评分员 40 名, 分为对比组声韵组声调组流利度组展开工作

27 评分 Rating 内容 Content 方式 Form 句子掌握 Sentence 词汇 Vocabulary 流利度 Fluency 发音 Pronunciation 声调 Tone

28 计算机评分系统建立 The Establishment of Computer Score System 试用版考试评分逻辑 Preliminary SCT score logic 语法词汇流利度发音声调 Grammar Vocabulary Fluency Pronunciation Tone 声调词语 Tone Phrases 朗读 Read Aloud 重复 Repeat 反义词 Opposites 问答 Questions 声调识别 - 词语 Recognize Tone-Word 声调识别 - 句子 Recognize Tone-Sentence 组句 Sentence Builds 短文重述 Passage Retellings 25 分钟 25 minutes

29 评分权重研究 Rating Scale Research 制定评分标准 (Establish grading standard ) 级别最高级 10 高级中级初级分值总体水平描述语法词汇流利度发音声调主要题型回答了所有试题 ; 内容正确 ; 语音自然, 表达流畅, 符合母语语感 ; 相当于母语者水平回答了大部分试题, 只有个别遗漏 ; 内容基本正确, 有个别不完整, 不准确之处 ; 语音比较自然, 表达比较流畅, 很少有影响交际的发音错误 ; 接近母语者水平 6 大约只回答了一半试题 ; 内容正确与错误参半, 很多时候不完整不 5 准确 ; 有些洋腔洋调, 表达不很流畅, 有些不恰当停顿, 不常接触外国人的普通中国人听 4 起来有些吃力 ; 重复句子组句结构语序虚词正确结构语序虚词基本正确, 有个别遗漏和错误, 但不妨碍意义理解结构语序虚词有一些明显的错误和遗漏, 有时候影响意义的理解反义词问答短文复述词汇丰富, 表达清楚, 完整, 准确词汇比较丰富, 词语使用基本正确, 偶尔不够准确, 完整 3 只回答了少部分试题 ; 结构语序虚词汇量有限, 词内容大部分不完整不准确 ; 词有比较多的明语使用常常有明 2 显的错误和遗漏, 洋腔洋调比较严重, 表达不流利, 不恰当显错误, 难以听常常影响意义的停顿很多, 听起来比较吃力, 常常听不懂懂 1 理解 0 基本上没有回答试题朗读重复句子组句非常流畅, 自然多数语句说得有一定的词汇量, 比较流利, 但词语使用大部分表达复杂内容正确, 但有时有时, 流利度不明显错误, 影响足, 有一些不意义理解恰当的停顿或明显的迟疑声调词语朗读重复句子反义词问答组句自然, 清楚没有外国口音比较清楚, 有个能流利表达, 别的音有错误, 不恰当的停顿但基本不妨碍理重复很少解有一些外国口音不流利, 不恰当的语音停顿比较多, 而且停顿时间比较长有些明显的发音错误, 有时候影响意义理解有较明显的外国口音发音错误多且明显, 有时候难以听懂外国口音比较严重声调词语声调识别自然, 调型调值准确调型调值基本正确, 偶尔表现出外国人特征, 但不妨碍理解大部分声调正确, 但不自然不准确的情况较明显带有一些规律性的外国人特征缺乏正确的声调变化, 有时候难以听懂听起来很生硬吃力

30 评分权重研究 Rating Scale Research 评分员信度验证 (Inter-rater reliability verification) 评分员 (Raters):9 人, 三组评分差 (Score variance): 各小组之间分差基本在分之间 ( 见曲线图 ) 相关系数 (Correlation): 三个评分组间的相关系数均达 0.94 以上 ( 见表格 ) 结论 (Conclusion): 各小组的评分信度很高, 一致性很好, 评分可靠第 1 组第 2 组第 3 组第 1 组 1 第 2 组第 3 组

31 评分权重研究 Rating Scale Research 评分员评分与 PKT 计算机系统评分相比较 Human rating score vs. PKT computer rating score 样本数量 (Sample size):115 个 (+210 个 ) 权重分布示例 (One example of various score weight distributions) 考号总分语法词汇流利度发音声调总分总分总分总分

32 评分权重研究 Rating Scale Research 结论 (Conclusion): PKT 分数与 PKU 的评分转换分的相关系数为 0.92 说明 PKT 评分模型的区分度较好, 能够较好地区分出不同水平的考生, 只是整体分数偏高

33 建议 (Suggests): 评分权重研究 Rating Scale Research 1. 关于各分项分数在总分中所占的权重问题 ; 2. 关于对未答题的减分比率问题 ; 3. 关于高分段区分度问题

34 研究内容 (Content): 1) 考试信度研究 ; 效度研究 Validation 2) 自动评分和人工评分的相关度研究 ; 3) 汉语口语考试和其他同期口语考试对比研究研究对象 (Objects): 37 个研究对象 (21 女, 16 男 ) 21 名在中国, 16 名在美国不参与评分系统建立的数据收集

35 考试信度研究 Test Reliability Score 分半信度 Split-half Reliability (N=37) 重测信度 Test Retest Reliability (N=31) 总分 Overall 语法 Grammar 词汇 Vocabulary 流利度 Fluency 发音 Pronunciation 声调 Tone 其他语言 (Other languages):

36 自动评分人工评分的相关度 Score Machine Human Correlation Correlation 总分 Overall 0.98 语法 Grammar 0.99 词汇 Vocabulary 0.94 流利度 Fluency 0.89 发音 Pronunciation 0.90 声调 Tone 0.90 其他语言 (Other languages): 母语与非母语对比 (Native vs. Non-native ) 母语内部相关度 (Native Dialect Groups)

37 与其他同期口语考试的对比 Relation to Concurrent Tests 对比对象 (Objects): ILR Oral Proficiency Interview HSK Oral Test 对比结果 (Conclusions): 相关度样本人数 Relation Sample size vs. ILR-OPI vs. HSK 中级口语考试其他语言 (Other languages):

38 效度研究结论 The Conclusion of Validation 试用版考试的研究得到了令人满意的结果 Versant 方法同样适用于汉语口语考试

39 三研发思考 Sevral Thoughts 汉语口语考试的目的是什么? 汉语口语考试的分数应该代表了什么? 如何定义并限定考题中可以接受的汉语口语范围? 名称非标准形式平舌音和翘舌音的合并 {zh,ch,sh} 和 {z,c,s} 的合并 /n/ 变成 /l/ 声母 /n/ 被发成 /l/; 例如 : 南 nán = 蓝 lán /r/ 变成 /l/ 声母 /r/ 被发成 /r/; 例如 : 热 rè = 乐 lè 鼻音韵母的变化前鼻音和后鼻音的合并 {n, ng} ; 例如 : 应 yīng = 音 yīn 儿化现象在词尾用儿化 ; 例如 : 花读成花儿. 轻声缺失轻声的缺失 ; 父亲 fùqin 读成父亲 fùqīn 声调的变化声调的自由转换 ; 例如 : 卧室 wò shì 读成卧室 wò shĭ 在样本数据采集中, 如何判断一个被试的样本为可接受的母语者? 如何为汉语的发音评分?

40 谢谢! Thank you!

Microsoft Word doc

Microsoft Word doc 中考英语科考试标准及试卷结构技术指标构想 1 王后雄童祥林 ( 华中师范大学考试研究院, 武汉,430079, 湖北 ) 提要 : 本文从结构模式内容要素能力要素题型要素难度要素分数要素时限要素等方面细致分析了中考英语科试卷结构的