查看原文
其他

“来”读书 | 第十七期:《评价二语听力:走向真实性》

黄剑 外研测评 2022-04-24

本期主笔

黄剑,中央财经大学外国语学院副教授,北京师范大学外国语言学及应用语言学博士,伦敦大学伯贝克学院访问学者,主要研究兴趣为听力教学与评价、翻译教学与评价、学术翻译研究。

Ockey, G.J., & Wagner, E. (2018). Assessing L2 Listening: Moving towards authenticity.  Amsterdam, NL: John Benjamins Publishing Company.

语言测试的真实性一直是语言测试研究的热点,而听力能力评价在语言测试研究领域却发展较为滞后(Alderson & Bachman,2001)。《评价二语听力:走向真实性》一书则是涵盖了以上两个方面的近期力作,作者从测试真实性的视角出发来探讨二语听力评价。


本书由四个部分组成:(1)真实口语文本的使用;(2)不同类型口语变体的使用;(3)视听文本的运用;(4)互动与综合口语测试任务构念中的互动听力部分。这四个部分代表了“二语听力评价中最主要的缺点和问题以及研究文献最匮乏的领域”(Ockey & Wagner 2018,p.247)。就整体而言,这四个部分合力回答了与该书主题“走向真实性”密切相关的两个问题:(1)在二语听力测试开发中使用真实材料是否合理?(2)在二语听力测试开发中如何最优化地使用真实材料?对第一个问题的回答建立了在二语听力材料中使用真实性材料的理论基础;对第二个问题的回答则为开发具有真实性的听力测试提供了实践支持。


长期以来,语言测试界对于如何保证测试的真实性进行了大量的尝试和探索。本书在此基础上,提供了丰富的最新实证研究结果,进一步论证了在听力测试中使用真实材料的合理性。这些实证研究的结果表明,使用真实材料的听力测试可以更好地代表二语听力的构念。在论证使用真实材料合理性的过程中,该书还阐述了利益相关者的观点:大多数听力测试的利益相关者都支持在听力测试中体现语音变体(第5章),而考生对听力测试中的视听文本更为青睐(第9章)。此外,本书还提到了使用真实材料可能会给听力测试带来更理想的“结果效度”(Messick,1989)或反拨效应(第2章)。在论述以上三点的同时,本书也没有忽视在听力测试中使用真实材料可能引发的问题和挑战。这些问题包括:构念不相关差异(construct-irrelevant variances)、对测试信度的不良影响(reliability threat)、测试偏颇(bias)以及成本问题(cost) 和时间问题(time)等。针对这些问题,本书还提出了许多可行的建议和解决方案,例如向读者介绍:如何选择和使用真实文本(第2章);如何降低熟悉度效应(familiarity effect)(第5章);如何在听力评价中融入视觉信息(第 9章)以及将互动综合口语任务的分数视为口语交际能力而非口语表达能力(第13章)等。这些解决方案都以实证研究为依托,为测试开发者提供了可以直接运用的方法和工具,如“真实化(authenticated)” 文本的制作方法(第3章)、口音强度量表(第6章)和临界值水平测量模型(第15章)等。


仅凭这些建议和解决方案,本书就在探索听力评价的真实性方面迈出了一大步。不过,略有遗憾的是,本书未能对两个与听力测试真实性密切相关的理论问题展开更深入的讨论。

第一个问题是真实性的概念阐述。在语言教育领域,“真实性”可以从两个角度进行概念界定,即说者/作者视角和听者/读者视角。从说者/作者视角出发,真实性语言指“母语使用者为真实目的而实际使用的语言”(Rost, 2011:165)。从听者/读者视角出发,那些“为达到语言教育目的、符合学生听力目标需求的语言输入就是真实的语言”(Rost,2011)。鉴于在二语教学的语境中对真实性进行定义非常困难,本书直接使用了语言测试领域中对真实性的定义,即“语言测试任务的特征与目标语言使用特征的符合程度”(Bachman & Palmer,1996:23)。这个定义更倾向于从说者/作者视角出发,但这一概念本身又引发出如何定义目标语言和如何准确复制目标语言任务的问题(Buck,2001)。另外,这种定义方式中对听者的忽视,很可能会对测试质量和反拨效应产生不良影响。听者可能有不同的身份,可以是听力活动中的参与者、目标听众、旁听人或评判者(Rost,1990),这些不同的身份对应着不同的听力能力要求,而在测试开发中忽略这些身份的差异则很可能会导致不恰当的能力构念。


第二个问题涉及听力构念的构成要素。本书的第9章认为将视觉理解能力作为听力构念的一部分是存在争议的,而第10章在谈到目标语言使用时却又肯定了视觉理解能力作为听力构念的一部分。这就带来了“听力能力的构念到底是什么”这一问题。的确,听力能力有多样的组成部分,包括语言知识、背景知识、元认知知识、声音辨别能力等等,并且,人们在看视频时对视觉信息的运用能力也的确有很大的差别(Wagner,2008)。但即便如此,听力能力就需要扩展到将视觉理解能力也纳入其中吗?实际在通常意义上,视觉理解能力常常都不包括在语言能力的范围内,因此上述问题的答案是否定的。一方面,正如Buck(2001:172)所指出的那样:“我们通常关注的是应试者的语言能力,而不是理解细微视觉信息的能力。”另一方面,视觉理解能力更应当被视为是与听力能力分离的独立能力。视觉理解能力完全可以独立于听力活动而存在,比如观看无声电影的观众或听觉障碍者运用的就是独立的视觉理解能力。鉴于视觉理解能力在理解说话者试图在交流中传递的信息方面也能起到一定作用,更为合理的方式是将视觉理解能力与听力能力一起视为更广义的交际能力构念的一部分,而不是听力理解能力的一部分。将视觉理解能力作为独立的能力进行评价将能够避免因考虑视觉理解能力而造成与听力构念无关的偏差。


尽管对上述两个问题的阐述略显不足,本书内容仍是到目前为止对听力评价真实性这一话题最全面、最深刻的讨论之一,对于该领域的研究者和实践者来说,本书具有重要的参考价值和启发意义。


参考文献

Alderson, J. C., & Bachman, L. F. (2001). Series Editors’ preface. In G. Buck (Ed.), Assessing Listening (pp. x-xi). Cambridge, UK: Cambridge University Press.

Bachman, L. F., & Palmer, A. (1996). Language Testing in Practice. Oxford, UK: Oxford University Press.

Buck, G. (2001). Assessing Listening. Cambridge, UK: Cambridge University Press.

Messick, S. (1989). Validity. In R. Linn (Ed.), Educational Measurement (3rd ed., pp. 13-103). New York, NY: American Council on Education and Macmillan.

Rost, M. (1990). Listening in Language Learning. Harlow, UK: Longman.

Rost, M. (2011). Teaching and Researching Listening (2nd ed). Harlow, UK: Pearson Education Ltd.

Wagner, E. (2008). Video listening tests: What are they measuring?. Language Assessment Quarterly, 5(3), 218-243.


延伸阅读

Huang, J. & Lin, D. (in press). Book Review of Assessing L2 Listening: Moving Toward Authenticity. International Journal of Listening. https://doi.org/10.1080/10904018.2019.1678387

第四届英语教学与测评学术研讨会正在火热征稿中~~

点击了解征稿详情

《会议征稿 | 第四届英语教学与测评学术研讨会征稿通知》

欢迎您投稿!!

往期精华

来读书 

“来”读书 | 第一期:混合方法研究在语言评价领域的运用

“来”读书 | 第二期:少儿英语学习者的语言能力评价

“来”读书 | 第三期:设计听力测试的实用方法

“来”读书 | 第四期:高等教育与核心能力培养

“来”读书 | 第五期:评价意义 (Assessing Meaning)

“来”读书 | 第六期:计算机辅助语言测试的发展、成就、现状与展望

“来”读书 | 第七期:美国教育考试服务中心(ETS)在教育和心理测量领域的贡献


专家视点 

专家视点 | Chris Davison: 教师测评素养:我们如何了解需要提高什么?

专家视点 | 陈新忠等:利用诊断性评价改进高中英语教学

专家视点 | 吴岩:新使命 大格局 新文科 大外语

专家视点 | 姜钢、何莲珍:构建系统连贯的考试体系,促进英语教育教学和评价方式改革

专家视点 | 金艳:外语教师评价素养发展:理论框架和路径探索

专家视点 | 武尊民:基于标准的学业质量测评:连接中国英语能力等级量表与内容标准


重磅干货

重磅干货 | Chris Davison:教师测评素养:我们如何了解需要提高什么?

重磅干货 | 罗少茜:素养教育背景下的语言测评:变与不变

重磅干货 | 刘建达:基于中国英语能力等级量表的外语教师测评素养发展

重磅干货 | 案例论坛:基于诊断性测评提升高中英语写作教学的案例研究

重磅干货 | 案例论坛:诊断性测评背景下思维导图运用于高中英语阅读教学实践

重磅干货 | 案例论坛:有效利用过程性评价, 以评促学

重磅干货 | 案例论坛:高中英语词汇教学中的测试任务设计

重磅干货 | 专题研讨: 基于核心素养的北京市初中英语学业标准的开发与应用


【阅读更多精华内容,请关注公众号后点击“学术交流”菜单栏~】


学习·分享·成长

长按关注外研测评

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存