周珊珊、赵海永：大学英语教学管理者语言评价素养发展需求及影响因素研究 | 前沿推荐

提  要：本研究以大学英语教学管理者为研究对象，通过问卷和访谈探讨大学英语教学管理者在实际工作中所需要的评价素养，构建该群体的语言评价素养框架。该框架包括六个维度：教育测量学基本知识与技能、测试评估与决策、测试开发与实施、语言与语言教学、评价结果的传达、评价原则。管理者对六个维度的发展需求较均衡。研究还发现：培训经历、学校层次、职位对评价素养发展需求的影响不同；管理经验不构成影响语言评价素养发展需求的变量。发展管理者的评价素养要充分考虑管理者的个人背景和真实的管理情境。

关键词：教学管理者；语言评价素养；发展需求

1 引言

大学英语是我国高等教育课程体系中的公共必修课，其评价常采用统一测评的方式，大学英语教学管理者（下称“管理者”或“教学管理者”）在此过程中扮演重要角色。《大学英语教学指南（2020版）》指出，教学管理者应制定科学、系统的校本评价体系，指导大学英语教师提高语言测试理论水平和实践能力，即语言评价素养，从而提升大学英语教学质量和大学生英语能力（教育部高等学校大学外语教学指导委员会 2020）。为了胜任这些工作，教学管理者需要发展什么样的语言评价素养、发展到何种程度，亟需实证研究来回答。

学术界普遍认为管理者有不同于其他利益相关者的评价素养需求（Popham 2009；Stiggins 1991），并从理论上探讨了管理者的评价素养构念（Stiggins & Duke 2008；Taylor 2013）。然而，这些自上而下的理论是否符合真实的管理情境？学者们认为管理者“应该”具有的素养与管理者“实际”需要的素养之间是否存在鸿沟？目前为止，还没有实证研究对此进行回答。

本研究通过实证方法探讨教学管理者在真实情境下的语言评价素养发展需求和影响因素，构建一个数据驱动的教学管理者语言评价素养框架，从而为有针对性地发展其评价素养、提升评价领导力提供依据。

2 文献回顾

“语言评价素养”这一概念起源于美国教育界提出的“评价素养”。早期研究认为管理者和教师应具备相同的评价素养，即评价素养实践能力（McMillan 2000；Popham 2009；Stiggins 1991）。在此认知下，Impara et al.（1993）和Impara & Plake（1995）对美国K12学段管理者的两项评价素养研究均以《教师评估能力标准》（AFT et al. 1990，下称《教师标准》）为框架。然而，用《教师标准》衡量管理者的评价能力是否恰当？管理者是否需要具备与教师相同的评价能力？

随后，学术界逐渐意识到管理者在教学评价中有不同于教师的地位和职责。美国多家教育行业协会于1997年联合颁布了《学生评价中的管理者能力标准》（AASA et al. 1997，下称《管理者标准》）。该标准明确提出管理者应具备《教师标准》中规定的全部评价操作能力，同时应在解释、传达和使用评价结果上有更突出的能力。Chappuis et al.（2005，转引自Stiggins & Duke 2008）从促学评价的角度提出K12学段校长应具备的“10条评价能力”：理解促学评价的原则，并能与教师合作，将其融入课堂教学；明确学业目标的必要性及其与准确评估的关系；能够评估教师的课堂评估能力，帮助教师学会评估并有效使用评估结果；能够计划、组织或确保与评估实践有关的职业发展活动；准确分析学生评估信息，利用这些信息改进课程和教学，并协助教师进行同样的工作；能够制定和实施合理的评估政策；为适当使用和报告学生成绩创造必要条件，并能与学校的相关部门就学生评估结果及其与改进课程和教学的关系进行有效沟通；了解评估的质量标准，在学校评估中合理使用学生评估信息；了解健全、平衡的评估体系的特征；了解不道德和不恰当使用学生评估的行为，并保护学生和教师免受此类滥用。

然而，《管理者标准》和“10条评价能力”均基于美国K12学段的管理情境制定，与我国大学英语教学管理者所处情境不同。比如《管理者标准》第7条规定管理者应理解并遵循评价伦理和技术指南，但我国缺少这样的指南。“10条评价能力”均是关于管理者指导课堂评价的能力，但我国大学英语教学管理者除了指导课堂评价，还需指导开发大规模测试。

在语言评价素养领域，近年来研究重点从整体探讨语言评价素养的构念（Davies 2008；Inbar-Lourie 2008）转向认同语言评价素养的多维性和发展性（Pill & Harding 2013），即不同利益相关者因参与评价的方式不同，应具有不同维度、不同程度的评价素养。Taylor（2013）首次构建了包括8个维度的语言评价素养假设框架，其中管理者在各维度上应具备的素养等级如下：理论知识（等级1=名义素养，知道一些术语但可能有理解偏差，下同）、操作技能（等级1）、本地实践（等级1）、个人信念（等级1）、语言教学（等级1）、原则和概念（等级2=功能性素养，对基本概念有良好的理解）、社会文化价值（等级3=程序或概念性素养，理解核心概念并具有实践能力）、分数和决策制定（等级4=多维素养，理解评价的哲学、历史和社会维度）。等级越高代表在该维度上的能力越强、越全面。该框架为调查不同利益相关者评价素养的实证研究提供了基础。Kremmel & Harding（2020）以Taylor（2013）的框架为起点，基于一项大规模问卷调查，构建了包含如下9个因子的语言评价素养框架：开发与实施语言测试，在语言教学中使用测试，评价政策与本地实践，个人信念与态度，统计与研究方法，评价原则与分数解释，语言的构成、使用及发展，反拨与备考，评分。但该调查数据主要来源于语言教师、语言测试开发者和研究者，在管理者群体获得的样本量很小（n=13）。

国内关于语言评价素养的研究以理论探讨居多（Xu & Brown 2016；金艳 2018；林敦来、高淼 2011；唐雄英 2013；许悦婷 2013），实证研究不足且均以英语教师为研究对象（江进林 2019；潘鸣威 2020；徐鹰等 2016；许悦婷、刘永灿 2008）。虽然近年来国内学术界对语言评价素养的关注度增加，但尚没有一项研究以教学管理者为研究对象。

综上所述，虽然学术界普遍认可管理者是重要的语言评价利益相关者，但管理者的语言评价素养构念仍停留在理论建构阶段，尚缺乏实证研究。在我国高等教育中，大学英语评价涉及庞大的学生群体。大学英语教学管理者肩负着制定评价政策的领导责任，如果不具备语言测试的基本常识，不仅会使大学英语的教学目标偏离，人才培养方向走入歧途，甚至还会阻碍教师评价素养发展（潘鸣威 2020）。然而，当前对该群体语言评价素养发展需求的了解十分有限。因此，本研究采用实证方法探讨管理者的语言评价素养，力求为有针对性地发展其评价素养提供依据。研究问题如下：

1）大学英语教学管理者的语言评价素养有哪些维度？

2）大学英语教学管理者在语言评价素养不同维度上的需求有何不同？

3）不同背景的大学英语教学管理者的语言评价素养发展需求存在何种差异？

3 研究方法

3.1 研究工具

3.1.1 问卷

本研究所使用的问卷依据文献自主开发，具体过程如下。

首先，基于文献对管理者评价素养的维度进行初步假设；然后，访谈三位管理者，请他们描述各自的评价管理职责，进而推演出为了胜任这些职责所需要的知识和技能。最后，根据Davies（2008），本研究将评价素养定义为知识、技能和原则的综合。借鉴Inbar-Lourie（2008）的三维划分， 参考前人研究（Fulcher 2012；Taylor 2013；Xu & Brown 2016；林敦来、高淼 2011），本研究提出了包含11个维度的大学英语教学管理者语言评价素养假设框架。该框架包括语言教师的全部评价素养，同时还包括“决策”和“测试评估”两个管理者应具有的素养。框架确定后，参考Kremmel & Harding（2020）的问卷从管理者的角度编写题项。各维度释义和题项示例见表1。

初稿完成后，将问卷发给三位语言测试专家进行专家判断、效度验证；经过小范围试测和访谈，针对问卷中措辞不严谨的个别题项进行修改，形成最终版本。

最终问卷包括两个部分。第一部分为受试者的个人基本信息，包括性别、职位、管理经验、所在大学的类别、是否接受过语言评价培训。第二部分为问卷主体，包含66个李克特五级量表题项。由于管理者通常兼任教师一职，因此问卷强调受试者需从自身作为管理者的角度，对每个题项做出从“无需了解”（1分）到“需非常了解”（5分）的判断。

3.1.2 访谈

本研究采用半结构式访谈，涉及以下方面：课程评价政策，《大学英语》课程评价管理工作内容，工作中需要的评价知识、技能或理念，评价管理中的挑战，如何获得评价知识和技能等。

3.2 研究对象

本研究采用方便取样和滚雪球的方法，获得183位现任或历任主管大学英语教学的外国语学院正/副院长，大学英语或基础部教研室正/副主任作为研究对象（见表2）。受试者来自全国12个省、市、自治区，其中来自北京和黑龙江的受试者比例最大，分别占总量的31%和27%。访谈采用“最大差异抽样”法，即样本最大限度地反映不同研究对象特征，随机抽取5人进行访谈（见表3）。

3.3 数据收集和分析

在2018年11月至2019年2月期间，通过“问卷星”平台和邮件发放问卷。两种方法共回收问卷193份，其中有效问卷183份。有效问卷超过100份，可进行因子分析（Dörnyei & Taguchi 2011）。

数据分析软件为SPSS 24.0。本研究中，KMO值为0.956>0.6，Bartlett球形检验卡方值为16429.14，p=0.000<0.001，表明数据适合因子分析。因子提取采用主成分分析法，用最大方差法进行正交旋转求出旋转因子负荷矩阵。因子提取标准为因子特征值大于1，且包含3个或3个以上题项；因子题项负载标准为0.5。对题项逐一考察，每次只删除有突出问题的1—2个题项，删除后重新运行探索性因子分析。用探索性因子分析和描述性统计分析分别回答研究问题1、2。数据降维形成新的变量后，用独立样本t检验和单因素方差分析回答研究问题3。

访谈通过面谈或电话进行，时间为30—60分钟。访谈内容均被录音并转写。

4 研究结果

4.1 大学英语教学管理者评价素养的构成

经过9轮分析，删除19个题项后，数据收敛为6个稳定且合理的因子。第10次分析后，旋转后的因子负荷矩阵包含47个题项（见表4、表5）。

依据题项的内在逻辑为因子命名。因子1解释22.147%的方差，包含17个题项，负载最高的题项为“常用的分数汇报参数的意义”。17个题项中有的是基本概念，如测试效度、信度；有的是教育统计学的基础知识，如项目的难度、区分度、测量误差。这些方面涉及与任何学科评价都相关的教育测量学基本知识和技能，因此，该因子被命名为“教育测量学基本知识与技能”；依此类推，因子2解释18.646%的方差，被命名为“测试评估与决策”；因子3解释13.494%的方差，被命名为“测试开发与实施”；因子4解释8.474%的方差，被命名为“语言与语言教学”；因子5和因子6分别解释8.146%和7.473%的方差，分别被命名为“评价结果的传达”和“评价原则”。

4.2 大学英语教学管理者评价素养的各维度发展需求

因子确立后，计算各因子的内部一致性系数。结果显示6个因子的内部一致性系数均接近0.9，表明6因子框架具有较好的稳定性（见表5）。6个因子的均值都接近4，表明受试者对各维度都“需很了解”，发展需求最强的是“测试评估与决策”，最弱的是“评价结果的传达”。

4.3 不同背景的大学英语教学管理者评价素养发展需求

在职位上，139人为现任或历任大学英语教研室正/副主任，41人为现任或历任主管大学英语教学的正/副院长。对比两组人群，教研室主任级别的受试者在各因子上的均值均高于正/副院长；但他们只在“测试开发与实施”上达到显著差异（t (181) = –2.538，p<0.05）。

在学校类别上，58人来自“985”“211”或省重点大学，125人来自普通本科院校。来自普通本科院校的受试者在各因子上的均值均高于来自重点大学的受试者，然而他们仅在“教育测量学基本知识与技能”（t (181) = –2.002，p<0.05）和“测试评估与决策”（t (181) = –2.105，p<0.05）上达到显著差异。

在管理经验上，66人具有3年及3年以下的管理经验，70人具有4—10年的管理经验，47人具有10年以上的管理经验。三组人群分别被定义为新手、中级和老手。单因素方差分析结果显示，在6个因子层面，三组人群没有呈现显著差异（p>0.05）。

在评价培训经历上，86人未接受过培训，97人接受过测评方面的培训。未接受过培训者在各个因子上的均值均高于接受过培训者，然而他们仅在“教育测量学基本知识与技能”上达到显著差异（t (181) = –2.041，p<0.05）。

5 讨论

5.1 大学英语教学管理者语言评价素养发展需求维度

本研究证实了“语言和语言教学”“测试开发与实施”和“评价原则”三个因子的存在。其中对“语言和语言教学”的数据支持具有重要意义，因为学术界关于语言评价素养和评价素养的关系一直存在争执（Taylor 2013）。本研究表明：语言评价素养可以被认为是一种独立的素养，有其自身的特点；语言学科知识以及学科教学知识是语言评价素养的一个重要维度。这一结果与Kremmel & Harding（2020），Xu & Brown（2016）和潘鸣威（2020）的研究结果一致。潘鸣威（2020）认为语言评价素养的内核是语言的测评知识、能力、原则和接受度。受访者A也认为，大学英语课程的首要目标是培养学生在未来工作或学术场景下的英语使用能力，应依据该目标制定评价政策。她说：“我设计这门课，我这门课需要学生学了这个东西干嘛，我想让他学了用……你将来进一个academic discourse community，然后你不懂这个话语社区的规矩不行吧，所以你得学会用……评价得冲着这个思路。”

“评价结果的传达”独立成为一个因子。这可能因为，作为联结上级管理部门和教师与学生的纽带，教学管理者的一项重要工作是将统计学意义上的分数用深入浅出的语言与其他利益相关者进行沟通。如受访者C提到：某学生曾因质疑分数公平性向校长投诉，她通过统计年级的分数数据，不到20分钟就回应了该学生的质疑。

“教育测量学基本知识与技能”和“测试评估与决策”有了外延。虽然“教育评价知识”这一因子存在于问卷的理论框架中，但本研究表明：教育评价知识有更广泛的外延，包括“分数解释”等实际操作技能。这些内容归到一个因子下，说明评价的知识与能力不可分割，理论与实践亦不可分割（Davies 2008）。同样，“反拨”被归到“测试评估与决策”因子下，表明管理者应深刻理解评价对教与学，以及其他利益相关者的意义，在评价开始之前能够有意识地考虑评价政策可能产生的积极或消极效应。

“个人信念”这个因子并未出现。这可能因为假设框架的理论基础是国外教育情境下的管理者，拥有较大的办学自主权，个人可以影响一个机构的评价类型、目的和频率，甚至可以决定是否招聘有评价能力的教师（Stiggins 2001）。然而，在我国高等教育管理体制下，教学管理者作为管理中层，长期扮演上传下达的角色。他们或许对评价权责的边界认识模糊，从而造成了在评价决策上的“失语”现象。比如受访者C提到：她所在学校的教学副校长对她提出要提高全国大学英语四级考试通过率，并认为备考是提高学生水平的最好教学方法。她虽然不认同该理念，但最终仍表示会落实校长的意志。受访者D表示：他所在学校的领导近年要求提高考研率，虽然目前还未影响到大学英语的课程评价，但在教学中，教师已经开始有意识地将教学与考研题型关联。受访者E虽对现有的评价政策存疑，但表示“延续过去的惯例会比较稳妥，不会承担意想不到的风险”。

与Kremmel & Harding（2020）的9因子框架相比，本研究得出的6因子框架虽然命名方式不同，但在内涵上与其部分重合。如在开发与实施语言测试，在语言教学中使用测试，评价原则与分数解释，语言的构成、使用及发展，反拨这些维度上两个框架一致。因研究对象不同，9因子框架中的评价政策与本地实践，个人信念与态度，统计与研究方法，备考，评分这些维度未出现在本研究结果中。6因子框架中的“评价结果的传达”和“测试评估与决策”则体现了管理者在评价实践中的角色定位：相对于教师作为评价结果产生者的身份，管理者更多是评价结果的评估者、传达者和基于评价结果改进课程的宏观决策者。

5.2 大学英语教学管理者语言评价素养发展需求程度

研究发现管理者最期望发展“测试评估与决策”能力。这与管理者作为决策制定者的职责有关：教学管理者认为他们需要指导和监控评估全过程，对教师的评价质量做出判断，并依据结果调整课程设置。对“评价结果的传达”能力需求相对最小。访谈结果也证实了该结论。有四位受访者表示，在工作中通常将评价结果发给学生后，评价即结束。如受访者C提到：“考试的结果怎么用的？应该说现在用得很差，你要通过管理者来讲，我是觉得我们没有目的，然后我们也没有人手来做这件事情，本身是可以做的。因为大学课程缺少连续性，这样做没有明确的目的。”

总体上，管理者在各维度上的需求较均衡，即他们对六个维度都“需很了解”。这一结果与Fulcher（2012）和Vogta & Tsagari（2014）的结果相似。Fulcher（2012）指出，当问卷基于理论设计，研究对象聚焦时，受试者倾向于认同问卷中的所有题项。也可能是因为教学管理者普遍出身于英语教师，专业背景除了外语教育外，还有文学、翻译、语言学等方向，而这些方向的培养计划通常不将语言测试课程作为必修课。即便选修了语言测试课程，教学内容也不全面，教育测量、心理测量、课堂评价和统计学的内容较少涉及（Jin 2010）。评价素养没有成为高校教师入职的必备条件（王少非 2008），这导致包括管理者在内的高校教师的评价素养普遍缺失，因此期望获得全面发展。

5.3 不同背景的大学英语教学管理者的发展需求差异

职位对语言评价素养的需求影响表现在“测试开发与实施”上。具体表现为教研室主任级别的管理者比正/副院长更期望掌握实际操作技能。这可能是因为在实际工作中，基层管理者是政策的落实人，真正参与到测试各环节：考试设计、评标制定到考试实施、分数报道等。如受访者D表示他想知道如何开发具有校本特色并且效度高的水平考试，但目前并不具备能力。

学校类别对语言评价素养的需求影响表现在“教育测量学基本知识与技能”和“测试评估与决策”上。普通本科院校的管理者比重点大学的管理者更渴望发展这两方面的能力。江进林（2019）发现学校类别是影响教师评价素养的因素之一，“985”“211”高校教师比普通高校教师更擅长开发评分标准，其原因可能是前者能够获得的在职培训机会多于后者。在访谈中，我们发现带来这种差别的原因可能是重点大学管理者的工作重心在外语学科发展或个人的研究方向上，他们对大学英语如何评价并不重视，也缺乏兴趣。例如，受访者B表示：“……我只关注大型课改，我也读过关于评价的书，但兴趣不大。”

管理经验不构成影响语言评价素养发展需求的变量。有研究发现教龄对语言评价素养没有产生显著影响（徐鹰等 2016），其他研究则发现教龄短的教师反而在选择测评方法和开发评分标准上的素养更高（江进林 2019）。本研究或许因为样本量偏小，导致差异不显著。也或许因为评价素养越强的管理者越知道自己的欠缺。例如，受访者C虽然有丰富的管理经验和语言测评的专业背景，但表示自己仍需继续学习。

评价培训经历对语言评价素养需求的影响表现在“教育测量学基本知识与技能”上。这或许是因为没接受过培训的受试者对“测量误差”“常模参照”“标准参照”“难度”“区分度”等概念比较陌生。因此，期望了解更多的理论知识。而在其他方面，虽然管理者缺乏培训，但他们在日常评价决策中，可根据常识、直觉或经验做出判断，即管理者通过实践发展了自身的评价素养。例如，受访者D表示自己的评价能力主要来自于自主学习和实践反思。这一结论也呼应了Yan et al.（2018）的结论，即环境和经验能够促进评价素养的发展。

6 结语

本研究基于实证构建了教学管理者所需的语言评价素养框架，讨论了该群体对六个维度的发展需求。为胜任大学英语评价管理工作，教学管理者需具备以下评价素养：掌握语言技能，理解语言教学实践，明晰语言教学目标；熟悉评价原则，理解评价政策对教与学的导向作用；掌握教育测量学的基本概念，并能将理论与本地实践结合；理解评价的不同目的和形式，能够开发和实施大规模测试；能够评估教师的评价质量；能够传达评价结果，并基于评价结果做出决策。

教学管理者在实际工作中，可参照本文提出的评价素养框架、结合个人背景和所处的管理情境，反思个人的评价素养，通过自学或培训有针对性地提升自身评价素养。在此基础上，教学管理者还需重视学生评价，以追求卓越评价，提升大学英语教学质量为使命；尊重并敢于行使评价决策权，敢于承担责任，发挥管理者的领导力。校级管理人员应充分赋权学院教学管理者，赋予他们评价话语权，提升学院层面的评价自治能力。

本研究有如下局限：第一，样本量较小，其中来自北京和黑龙江的受试者比例较高，样本的代表性不足；第二，教学管理者工作繁忙，他们在填写问卷时可能会考虑自身的面子、填写问卷占用时间等。这些问题均可能影响研究结果。未来的研究可扩大样本量，拓宽研究对象（如高校校长或教务处处长），深入访谈，从而更好地了解他们的评价理念和决策机制。

注：本文选自《外语教育研究前沿》2022年第5卷第3期第66—74页。由于篇幅所限，注释和参考文献已省略。

作者简介

周珊珊， 北京信息科技大学外国语学院讲师。主要研究领域：语言测评。 

赵海永，首都经济贸易大学外国语学院讲师。主要研究领域：二语习得、语言测评。

相关阅读

小提示

可点击以下关键词查询本公众号往期好文推荐~

【提示】在线阅读/下载

1）在期刊官网

（http://www.celea.org.cn/class/25）阅读本期刊讯；

2）在CNKI下载论文全文：

https://t.cnki.net/kcms/detail?v=PUKPotQc6wv5rD0DRtvXDigOFdhVEt4xbvuowcU3wRsg18DUnl6kSr75gL_rxzmbkpQmtuWOvViSSY2JgAzL_dh9v9Bzp59VM9OFZUF6CMOp33SiUTgpTQNRIv0SCB0o6GFwWLVYo2c=&uniplatform=NZKPT

（复制网址，粘贴到浏览器打开）

【声明】本文版权归《外语教育研究前沿》编辑部及作者所有。其他任何学术平台若有转载需要，可致电010-88819035或发送邮件至[e-mail]，我们将帮您协商授权事宜，请勿擅自转载。

点击“阅读原文”，可在知网下载全文~