2012No 5 (TotalNo 111) 北京城市学院学报 JOURNALOFBEIJINGCITYUNIVERSITY 2012 年第 5 期 ( 总第 111 期 ) 在社会 认知效验框架下分析英语听力成绩测试 张 敏 ( 三峡大学外国语学院湖北宜昌 443002) 摘要 : 本文试图运用社会 认知效度验证框架分析大学英语听力成绩测试的效度, 尤其是听力构念效度 构念效度是效度验证的核心, 其效度证据在测试之前开始收集, 但是目前的相关研究都集中在测试后才进行 本文在简要介绍和分析不同领域研究者提出的听力构念基础上, 探讨成绩测试环境下的听力构念, 之后以一所普通高校的一次大学英语听力期末考试的设计和编制为例, 运用上述框架收集其效度证据 结果显示, 这一方法是可行的, 有利于更好的确保测试的效度 关键词 : 成绩测试 ; 英语听力构念 ; 效度中图分类号 :G642 文献标识码 :A 文章编号 :1673-4513(2012) -05-055-06 引言大学英语听力成绩测试 (achievementtest) 是英语课程校本评估 (school-basedases ment) 的重要组成部分, 它是以学校为基础 以在校学生为考核对象而编制的, 用于检验英语听力教学效果, 诊断可能存在的教学问题, 为后续的教学工作提供改进的依据, 也为整个课程评估提供决策依据 因此, 作为每学期至少一次的成绩测试, 其编制的科学性 有效性 分数的解释和使用的合理性, 也就是效度, 显得尤为重要 但是, 在目前的教育评价环境下, 测试使用者是否对其有正确认识呢? 他们是如何确保成绩测试的效度的? 根据测试学原理, 成绩测试应不同于类似大学英语四 六级考试的水平测试, 前者属于标准参照测试 (criterion referencedtest) 1, 具有特定的理论和操作定义 ( 关于它的更多特点, 很多学者做了深入研究, 如 Bachman,Brown, Davis,Hudson& Lynch 2 ), 因此, 其效度评估也有所不同 同时效度的概念也在不断演变, 现在逐渐形成了 效度整体观, 对效度的验证也由集中在测试之后, 对测试分数与该测试所要测量的心理能力 属性 构念间的关系进行统计分析, 扩展到从测试之前就开始确保一个详尽清楚的构念 3 但是, 在教学实践中, 教师对成绩测试的设计存在很大的盲区和误区, 在使用成绩测试的结果时也非常随意 4 ; 现有的有关语言测试的文献中, 对于成绩测试质量的探讨和论述相对较少 5678, 研究对象都是基础英语或综合英语, 效度验证方法多基于早期的效度概念, 在测试后对测试结果进行统计分析找出其内在结构, 或者将其与已经被验证为具有高效度的测试作相关分析 很少有在测试之前就开始收集效度证据, 而有关听力成绩测试的效度研究则更少 本文试图运用 Weir 9 提出的社会 认知效度验证框架分析大学英语听力成绩测试的效度, 尤其是听力构念效度 首先介绍效度及社会 认知效度验证方法 ; 接着, 由于构念效度是效 收稿日期 :2012 年 8 月 6 日 作者简介 : 张 敏 (1982-), 女, 湖北洪湖人, 三峡大学讲师, 硕士 研究方向 : 语言测试与教学
５６ 在社会 认知效验框架下分析英语听力成绩测试 度验证的核心 是测试之前的效度证据 因此 知听力测试效度验证框架展示了它们之间的关 将在简要介绍和分析不同领域研究者提出的听 系 如图 １所示 力构念基础上 探讨成绩测试环境下的听力构 其中 音频 以及视频 的信息处理是几 念 最后以一所普通高校的一次大学英语听力 个核心的处理过程之一 这些处理过程关系到 期末考试的设计和编制为例 运用上述框架收 听力测试是否具有合理的理论和经验依据来评 集其效度证据 估内在认知过程 其它的心理过程 如目标设 １ 社会 认知听力测试效度验证框架 效度是评价一项测试优劣的最重要的标准 定与监控 语言使用者会将其与自身语言知识 及内容知识相结合 以达到理解的目的 所有 的内在认知过程都将受到外在环境因素的影响 它是基于多种理论依据和经验依据的论证 以 例如听力任务情景 听力任务所要求达到的语 证明一项测试的解释和使用能在多大程度上是 言水平等 同时 受试者的个人特征也会影响 合理的 信度也是一种效度依据 此时效度被 他们的测试表现 ⑩ 视为一个整体 包括认知效度 基于理论的效 以上涉及到的三个部分 受试者的个人特 度 情景效度 评分效度 效标关联效度和后 征 外在的情境因素和内在的认知过程 是社 果效度 构 念 效 度 是 其 核 心 除 认 知 效 度 外 会 认知听力测试效验框架的主要部分 一方 情景和效标关联效度证据也是构念效度证据的 面 受试者运用听力能力完成听力任务时 需 ⑨ 一部分 Ｗｅ ｉ ｒ开发设计的听力测试社会 认 要对输入信息进行处理 这是认知过程 另一 图 １ 社会 认知听力测试效度验证框架 ⑨
在社会 认知效验框架下分析英语听力成绩测试 57 方面, 听力能力的运用不可能是纯粹的语言现象, 它需要与一定的交际任务情景相结合, 这是它社会性的一面 Weir 提出在测试之前就需要开始收集效度证据, 如认知效度和情景效度, 测试之后也要收集其它的效度证据, 如评分效度, 效标关联效度以及后果效度 2 听力构念 (1) 听力的理论定义 对语言的不同认识体现在语言测试上, 通常表现为不同测试方法或模式的采用 例如结构主义测试法就是建立在以美国语言学家 Bloomfield 等人为代表的结构主义语言学的基础 瑏瑡上的 但是到目前为止, 还没有一个为大家所普遍接受的明确的听力概念, 部分原因是在不同的研究领域, 研究和测试方法不同, 对听力的理解不同 总的来说有两个研究方向 : 一个是微观角度, 研究发生在头脑中的事情, 语言的听力理解过程被认为是馈入信息的处理过程 通过自下而上和自上而下的进行认知处, 输入的语言信息从一种表征转化为另一种表征, 最 瑏瑡终将语言信号转化为可以理解的意义 ; 另一个是宏观角度, 研究发生在头脑外的事情, 研究者认为听力发生在交互情境中, 是听者与说话 瑏瑢者互动的高度情景化的双向的交流行为 在这个过程中, 听者往往会扮演积极主动的角色, 边听边给说话者以回应, 如示意理解 要求澄清或者意义协商等 由此, 他和说话者一道解决交际问题, 形成语篇, 完成交流目的 ( 二 ) 听力操作定义 听力在语言测试中会被分为若干个分范畴或指标, 有效的考察考生在这些指标上的表现, 从而为评估出该项能力提供可靠地依据 许多研究者提供了听力能力描述框架, 如 Buck 瑏瑣, Hughes 瑏瑤 瑏瑥, 邹申等 Hughes 将听力技能分为高等技能和低等技能 高等技能与理解需求直接相关, 如获取大意, 捕捉细节信息等 而低等技能则是这些高等技能的下属过程 他认为只有高等技能才能使课程或考试的目标, 而低等技能则仅仅是实 瑏瑤现高等技能的途径 与此类似的, 邹申等按照理解的层次将听力技能分为 3 类 : 微观语言意 瑏瑥义理解, 直接意义理解和间接意义理解 Buck 瑏瑣, 依照 Bachman& Palmer 瑏瑦对交际语言能力的分类框架描述了听力能力, 它主要包括两个部分语言能力 ( 如语法知识 语篇知识 语用知识 社会语言知识 ) 和策略能力 ( 如认知策略 元认知策略 ) 但是上述描述框架都是基于听力能力的,Buck 指出这样的分类方法的问题在于测试开发者很难确定所选用的测试项目考察的正是想要测试的能力 因此, 他又提出基于任务的听力构念, 采用 Bachman&Palm er 的交际语言测试任务框架, 从情景语境 指示语 馈入语篇 期望回答 馈入语篇和期望回答之间的关系这几个方面描述了听力测试任务特征 但是构念同样存在问题, 一是目标语言使用领域里的交际任务太多, 以至于很难选择哪一个作为测试任务 ; 而且即便是选择了部分测试任务, 也很难确保它所考查的听力能力就是真实语言使用环境下所考查的能力 最后, Buck 建议将听力能力和任务相结合, 并利用双向矩阵表来确定测试的听力构念 不难发现, 这一想法与 Weir 认为需要收集的听力构念效度证据是一致的 三 听力成绩测试的效度验证及例证分析 运用社会 认知听力测试效验框架, 效度的验证从测试开发时开始, 这样能帮助我们更全面有效地收集不同阶段的效度证据 根据这一框架, 测试开发者在设计和编制成绩测试时需要解决以下几个问题 : 测试会涉及受试的哪些生理 心理和经历特征? 完成测试任务的认知过程对受试来说是合适的吗? 测试任务的特征及其操作对所有受试都是公平的吗? 下面以某普通高校 2012 年春季学期大学英语二级听力期末考试的设计与编制为例, 分析说明在这一框架下成绩测试效度验证的几个重要的方面
58 在社会 认知效验框架下分析英语听力成绩测试 ( 一 ) 受试特征如前所述, 大学英语听力成绩测试属于校本评估的一部分, 一般在一个阶段的课程教学结束之后进行, 因此, 所有参加这一课程并将被评估的学生所表现出来的特征就是受试特征 生理特征方面, 我们需要考虑某些考生是否有暂时的身体不适 听音障碍 年龄 性别等 心理特征方面, 需要考虑考生的不同的认知风格, 记忆能力等 经历方面, 需要考虑考生的教育背景 考前准备 考试经历等 参加本次二级听力测试的学生均为 2011 年 9 月入学的一年级非英语专业学生, 在校学习英语听力将近一年, 教育背景, 考试经历基本相同 在春季学期开始之前, 教学内容和目标会被讨论并确定下来, 并且在考试之前, 考试题型 分值 范围信息均已告知考生 考虑到学生不同的认知风格, 测试采取了不同的任务, 如短对话 长对话 短文听力理解, 不同的题型包括多项选择题, 正误判断, 听写填空等 ( 二 ) 认知效度对于听力成绩测试来说, 其测试的内容是特定阶段的教学内容和目标, 也就是特定的听力技能, 而非一般听力能力 当然, 这些教学目标也是基于第二部分的听力构念 案例中的听力课程设置分为两个模块, 一个是听说结合, 使用的教材是 新视野大学英语视听说, 教师先讲授, 而后布置各种听说任务让学生运用所学的内容, 每一个单元都有一个主要的交际情景, 它们均属于学生熟悉的校园生活场景或未来工作 生活场景 我们的听力教学目标是学生能够运用不同交际场合所需要的听力技能 另一个模块是自主听力课, 学生在教师的指导下, 在自主学习室进行听力学习 一方面可以巩固听说课所学的内容, 另一方面学生也可以根据自己的听力水平, 选择难易度水平恰当的听力材料进行练习 相对应的, 我们的考试范围就是围绕这些教学内容 听力测试的构念就是在所学的交际场景里面所涉及到的听力技能, 这正运用了 Buck 瑏瑣提出的将听力能力和任务将结合的听力构念 以下是二级 听力测试考试规范中听力操作定义部分内容 交际听力场景 : 谈论音乐 电影 婚姻 广告 动物 时尚 金钱等 听力技能 : 微语言听力理解能力 : 辨别音素 ; 根据音素辨别单词 ; 理解语调 ; 理解基本句法结构, 即体现口头交际功能句法结构 ; 直接意义听力理解 : 能够听懂大意 ; 能够听懂重要信息 ; 能够听懂细节信息 ( 如职业 特殊的数量表达方式 较大数字 ); 间接意义听力理解 : 能够理解交际语言功能 ( 喜欢与不喜欢 建议 评论 邀请与接受邀请 安慰 忧虑 让步 要求解释 表扬 推荐 询问以及表达看法 ) 当然, 除了测试之前要明确听力构念之外, 测试之后还要根据学生分数进行相关的统计分析, 例如相关分析, 因子分析等来进行构念效度验证 ( 三 ) 情景效度 情景效度是构念效度的一部分, 指的是可能会影响考生测试表现的环境因素, 既包括测试内容的覆盖度, 又包括社会和文化环境因素 测试的情景必须要与真实的语言使用情景一致 1 期望回答 测试题型一般包括两种期望回答方式 : 选择式回答和结构式回答 不同的回答方式要求将会影响认知效度和评分效度 如果测试题全部要求选择式回答, 那么此测试的评分效度会很高, 但认知效度则可能会降低 不论是成绩测试还是水平测试, 一般都会包括这两种回答方式题型 当然, 期望回答的选择也需要考虑考生的能力水平以及想要考察的技能 如果考生尚处于初级水平, 且考察的听力技能属低等技能, 则可更多的考虑选择式回答类题型 随着课程目标要求的提高, 则需适当增加结构式 瑏瑤回答类题型 本次二级听力测试增加了听写填空 ( 一级听力测试全部为多项选择题 ), 考查学生是否能够通过拼写的方式表现他们真正听懂了那些传达文章重要意义的词汇或短语
在社会 认知效验框架下分析英语听力成绩测试 59 2 题目的排列顺序 简单的听力题一般认为最好排在整个测试的前面, 让考生能够镇定下来, 慢慢适应考试的难度 成绩测试大部分为期末考试, 考生在上面的表现关系到他们是否能够拿到奖学金, 是否能够顺利通过这门课程, 进入到下一个级别的学习, 所以也是很重要的, 他们会非常重视 4 如果前面的几道听力题过难, 可能会导致他们心情紧张, 从而影响整个水平的发挥 本次二级听力测试将短对话多项选择题放在最前面, 其次是长对话多项选择题, 短文理解多项选择题, 短文正误判断, 最后是听写填空, 其难易程度也可以通过测试后试卷的难易度统计来验证 3 时间限制 由于听力活动是实时进行信息处理的, 时间限制必然会影响听力理解的难易度 如果要求考生边听边答题, 题目之间的间隔时间不长的话, 他们的认知负担会加重, 虽然在现实生活的交际场景中, 听力理解是实时进行的, 但是听者可以要求说者重复, 所以相对负担不会那么重 这又涉及到录音播放次数问题, 如果为两次甚至三次, 那么必然会减轻考生的认知负担, 降低难度 考虑到本次测试内容均为考生所熟悉的话题, 且录音速度约每分钟 120-130 词, 所以客观题均只读一遍, 每小题之间有 10 秒钟的间隔, 听写填空读三遍 4 任务语言要求 成绩测试也需要在测试任务的语言使用要求方面真实的反映目标语环境语言使用特征 瑏瑧汪顺玉等认为我国的外语使用环境中, 目的语使用域就是指学生课堂内外的具体环境 如果教学任务和考试题目的特点符合学习者平时使用外语的特征, 那么这种语言教学和测试的情景就是真实的 测试任务也是根据教学目标所设置的听力构念来设计的 除第一题短对话不需要具体的任务情景, 仅考察基本的听力技能如听辨语音 数字等之外, 其它篇章均有特定的任务情景 音乐 电影 婚姻 广告 动物 时尚等课堂 所学的话题都在测试任务中出现 例如第二部分的长对话考察电影 广告及时尚相关话题的理解, 其中所涉及的关键词汇都与课堂教学所学的交际情景相关, 且在自主学习时部分提供给学生, 句法结构中多简单句, 也有较少复合句 并列句和复合并列句 篇章结构也比较简单, 均为学生平时所熟悉的 长度约 200-300 词, 考察的功能主要为信息性 态度性和行动性交际功能, 也是本学期的听力教学目标 5 说话者特征这个部分包括说话者语速 语言变体 参与人数和性别, 它们同样也会影响测试任务的难度 本次参加测试的为大学一年级非英语专业学生, 由于各种原因, 大部分在大学之前并没有过听力学习经历, 所以总体来说听力水平处于初级和中级之间 平时的英语教学中, 教师的英语输出语速不快, 且尽量让学生接触的都是标准英语, 练习多为两个人的对话 所以本次测试音频录制是由两位来自于美国的英语本族语使用者朗读录音稿, 语音标准, 语速约为每分钟 120-130 词 他们中一位男士, 一位女士, 声音辨识度较高, 所以不会给考生增加额外的认知负担 对于评分效度证据, 本次测试 80% 为客观题, 机器阅读, 评分效度高 最后的听写题也有相近的评分标准, 并且在集体评分之初, 对于部分评分老师的疑惑也给予了解释, 保证了一定的评分效度 当然这还可以使用测试后数据统计分析来证明 四 结论构念效度是效度验证的核心, 是测试之前开始收集的效度证据, 却很少在教学研究实践中受到关注 本文主要尝试运用社会 认知效度验证框架收集大学英语听力成绩测试的效度证据, 尤其是听力构念效度 实践证明, 按照 Weir 9 提出的效验框架, 结合对语言测试的认识, 英语听力成绩测试的效度验证在测试设计之初开始是可行的, 一方面, 它有利于测试分数被合理的解释和使用 ; 另一方面, 也能帮助测试使用者清楚的分析不同测试结果背后可能存在的原因 当然这些证据还需要和对测试分
60 在社会 认知效验框架下分析英语听力成绩测试 数的效度分析结果相结合, 才能更全面确保测试效度 注释 : 1 Bachman,L.F..FundamentalConsiderationsinLan guage Testing [M ]. Oxford: Oxford University Pres.1990. 2 彭康洲. 基于测试使用论证的听力理解任务效度研究 [D]. 上海外国语学院.2010. 3 李清华. 语言测试之效度理论发展五十年 [J]. 现代外语.2006(1):87-95. 4 张淑平. 成绩测试研究综述 [J]. 中国考试.2011 (11):48-52. 5 蒙梅. 英语专业 基础英语 成就考试信度效度研究 [J]. 广西教育学院学报,2011(2):158-161. 6 沈淑霞. 论大学英语校内期末测试性质与误区 [J]. 高等教育研究学报,2010(2):89-91. 7 钱冬梅. 浅谈综合英语成绩测试中的效度及存在的问题. 国外外语教学,2004(3):8-12. 8 汪顺玉 李璇 张爱琳. 大学英语成就测试的评价与反思 [J]. 重庆交通学院学报 ( 社科版 ),2003 (1):69-73. 9 Weir,C.J..LanguageTestingandValidation:Anevi dence BasedApproach[M].PalgraveMacmilan.2005. 10 Taylor,L.andA.Geranpayeh.Asesinglisteningfor academicpurposes:definingandoperationalisingthetest construct.journalofenglishforacademicpurposes. 2011(10):89-101. 瑏瑡潘之欣. 交际性听力理解考试的开发 全国大学英语四 六级考试听力理解部分改革探索 [M]. 上海交通大学出版社,2007. 瑏瑢关晓仙 金艳. 交互听力的构念及其在英语听力测试中的应用研究综述 [J]. 中国应用语言学.2010 (33):16-39. 瑏瑣 Buck,G..AsesingListening[M].Cambridge:Cam bridgeuniversitypres.2001. 瑏瑤 Hughes,A..TestingforLanguageTeachers[M].Cam bridge:cambridgeuniversitypres.1989. 瑏瑥邹申 杨仁明. 简明英语测试教程 [M]. 高等教育出版社,2000. 瑏瑦 Bachman,L.F.andA.S.Palmer.LanguageTestingin Practice[M].Oxford:OxfordUniversityPres.1996. 瑏瑧汪顺玉 彭康洲. 语言测试真实性维度的再认识 兼谈考试效度的诠释 [J]. 重庆工学院学报 ( 社会科学 ),2009(23):122-126. AValidationofColegeEnglishListeningAchievement TestintheSocio cognitiveframework ZHANGMin (ChinaThreeGorgesUniversity,ForeignLanguagesColege,YichangHubei,443002,China) Abstract:ThispapermainlyexploresthevalidationofcolegeEnglishlisteningachievementtestintheso cio cognitiveframework,listeningconstructvalidityinparticular.asthecoreandpriorivalidityevidenceof thewholevalidation,however,constructvalidityevidencehasn tbeenfulycoveredinempiricalresearch onachievementtest.therefore,afewapproachestodefiningandoperationalisinglisteningarebrieflyintro ducedandanalyzed,andthelisteningconstructofachievementtestisdiscusedunderthecurenteduca tionalasesmentseting.theabove mentionedframeworkisthenexemplifiedinrelationtothedesignand constructionofafinalenglishlisteningtestofanordinaryinstituteofhighereducation.itshowsthatitis practicaltocolectconstructvalidityevidencebeforeadministration. Keywords:achievementtest,Englishlisteningconstruct,validity ( 责任编辑 : 王育 )