学术观点 | 周季鸣、束定芳：同伴互评中的教师实践与学生认识互动研究
八万学者关注了语言学通讯
同伴互评中的教师实践与学生认识互动研究
周季鸣 束定芳
复旦大学外文学院 上海外国语大学
相关阅读
[1] Zhou, J., Zheng, Y., & Tai, J. H. M. (2019). Grudges and gratitude: the social-affective impacts of peer assessment. Assessment & Evaluation in Higher Education, 1-14. doi.org/10.1080/02602938.2019.1643449 [2] Zhou, J., Zhao, K., & Dawson, P. (2019). How first-year students perceive and experience assessment of academic literacies. Assessment & Evaluation in Higher Education, 1-13. doi.org/10.1080/02602938.2019.1637513
[3] Zhou, J., & Deneen, C. (2016). Chinese award-winning tutors’ perceptions and practices of classroom-based assessment. Assessment & Evaluation in Higher Education, 41(8), 1144-1158.
[4] Carless, D., & Zhou, J. (2016). Starting small in assessment change: short in-class written responses. Assessment & Evaluation in Higher Education, 41(7), 1114-1127.
“
摘要
关键词：同伴互评; 教师实践; 学生认识; 促学评价;
文献来源：周季鸣,束定芳.同伴互评中的教师实践与学生认识互动研究[J].外语界,2019(05):64-71.
可以点击当当链接加入购物车一揽子购买质性研究方法著作
1.引言
同伴互评(peer assessment)作为评价的重要形式,在大学外语教育中具有促进学习的潜在作用(金艳 2010;何莲珍2019)。同伴互评既提供改进学习效果和过程的反馈,也帮助学生理解和使用评价标准以发展评价能力(Topping 2010;Tai et al. 2018)。大学课堂中的同伴互评在不增加教师工作量的前提下增加反馈频次,提高了形成性评价的可操作性 (Wang 2014)。
尽管政策和理论研究肯定了同伴互评的价值,学生作为评价者的课堂实践仍然面临诸多挑战。学生对评价者身份的认同感 (Wang 2014)、互评中的情感因素 (Zhou et al. 2019)、互评实施 (许悦婷,刘骏 2010)、标准设置(周季鸣,万江波 2019)和结果使用 (Sridharan et al. 2019)等因素都会影响学生对互评的态度和参与。教师能否根据学生的认识和参与表现及时调整评价的具体实施,在很大程度上影响互评促学作用的发挥。本研究选取质性研究路径,通过课堂观察、小组访谈、学生反思报告等数据收集方式,探讨教师互评实践与学生认识之间的互动,旨在推动促学评估理论完善,为中国大学英语课堂中的互评实践提供启示。
02
文献回顾
同伴互评指学习者对同伴学习成果的数量、水平、价值、质量等进行评价的活动(Topping 2010)。学生的互评认识和行为受到社会文化环境、学生评价能力、教师评价实践等一系列因素影响(Zhou et al. 2019)。从社会文化来看,“评价”在中国文化中易被狭隘地理解成“考试”,教师经常被认为是组织评价活动和给予反馈的唯一来源(陈秋仙 2016;高满满等 2018)。教师如何设计、实施和使用评价活动也影响学生的认识和实践(李清华,孔文2015)。
根据Rea-Dickins(2001)的评价过程和策略框架,课堂评价可分为设计、实施、监控和记录4个步骤。国外教育和应用语言学领域权威期刊发表的研究显示,学生如何看待、参与互评和这些步骤密切相关。例如,设计写作互评时,教师如能增设口头沟通环节,将极大促进学生对反馈的后续使用(Zhu & Carless 2018)。实施过程中,教师及时与学生沟通互评目的和作用有助于消除学生对互评可能破坏友情的担忧(Xu & Carless 2017)。Patton(2012)调查澳大利亚的本科生后发现,学生欢迎以提供反馈为目标的互评,却极其反对将互评结果计入课程总评成绩。当互评目的变成产出分数和等级时,学生的不信任感加剧,他们倾向于给出低分(Wilson et al. 2015),或者抬高同伴分数(Sridharan et al. 2019)。
我国大学英语课堂中同伴互评的实施及其研究呈现以下特点:(1)同伴互评得到政策文件积极倡导,但并未在实际教学中得到广泛实施(刘建达 2015)。王蓓蕾、汪洁(2014)对华东地区17所高校的调查显示,普通教师的课堂较少系统实施学生自评和互评。(2)同伴互评研究侧重评价效果。相关研究表明,同伴互评对我国学生的翻译、演讲和写作能力产生积极促进作用(如吴育红 2013;叶萍 2014;范劲松,季佩英 2017等)。在互评培训不充分的情况下,学生口头互评的内容一般是分享自己的笼统感受,较难针对高阶思维能力提出细致反馈(周季鸣,万江波 2019)。实施有效培训之后,学生有能力产出可信度较高的互评结果(范劲松,季佩英2017)。当反馈来源对学生隐匿时,学生对教师和同伴反馈的采纳程度基本相同(许悦婷,刘骏2010)。(3)聚焦互评过程中学生认识和教师实践的研究不多,且主要调查学生对互评的大体接受程度。例如,李小撒和柯平(2013)的翻译课堂互评研究中,访谈结果表明大部分学习者认为同伴互评有助于提高自身译文的质量。
文献梳理结果显示,我国大学英语课堂中的同伴互评受到学生普遍欢迎,但同伴互评研究仍可从两方面深入拓展:(1)采用质性研究方法深入调查学生接纳同伴互评背后的原因、同伴互评时遇到的困难及其解决策略;(2)研究的时间跨度超越单次同伴互评,在更长时段内探究教师实践和学生认识的互动。鉴于此,本研究重点考察分析一个学年内学生对互评的认识如何与教师课堂评价活动(Classroom-based Assessment,CBA)的实施过程、策略相互影响作用。
03
研究设计
本研究剖析互评的过程性、情境性和互动性,因而采用质性研究路径。质性研究的对象选择不是基于人口的代表性,而是以“有目的的抽样”为原则,对小样本和事件的过程进行细致分析与描述(陈向明2008)。质性研究的目的也不是建构普遍性、规范化理论,而是通过深入探索事件的过程建立事实之间的联系,建构解释性理论(田海龙 2013)。
本研究拟探讨3个问题:(1)在课堂评价改革背景下,高校学生对同伴互评持有怎样的认识?(2)高校学生在参与同伴互评活动时面临什么困难?(3)针对学生的认识和实践困难,教师对同伴互评的设计和实施做了哪些改变,效果如何?
3.1 数据收集
本研究在我国东部一所实施大学英语教学改革的211高校开展,该校鼓励教师将互评引入课堂评价框架。研究聚焦同一备课组教授一年级非英语专业学生的3位教师T1、T2和T3,他们使用相同的互评方案和材料,均为全英文授课。教学对象的高考英语成绩均分为120分,在入学英语分级考试中达到相当于大学英语四级水平的B级。
在3位教师的授课班级中,研究者共招募6组学生(共25人)参加小组访谈,并在第二学期对其中4组学生进行跟踪访谈(另两组学生由于时间冲突退出访谈)。访谈围绕学生参与各种同伴互评时的想法和行为展开。在3位教师的课堂中,研究者进行多轮非参与式观察,分别观察大学英语U1、U3(第一学期)和U10(第二学期)3个教学单元,共计9个单元(54节45分钟一节的课)。课堂观察和访谈全程录音。一个学年结束时,有6名学生接受邀请,自愿撰写课堂评价活动的反思日记用作研究数据。
3.2 数据分析
研究者将访谈录音的转写文本和反思日记输入NVivo 10,进行内容分析、编码、归类,揭示学生对互评的认识和参与互评时遇到的困难。质性数据的分类编码体系如表1所示。
研究者按照时间顺序分隔并用编号标注出所有课堂评价活动,比如编号“T1_CBA 25”表示教师T1课堂中的第25项课堂评价活动。3位教师的课堂教学经标注得到25、36和27项评价活动,其中同伴互评分别为5、4和5次。互评内容涉及5次组内英语讨论、4次小组口头汇报、3次英语作文、2次基于阅读材料的综述写作。
04
研究发现
4.1 学生对同伴互评的认识
第一学期,学生认识主要表现为对评价者身份的认同、对自身评价能力的认识和对同伴互评的接受程度3个维度(示例见表2)。互评主要针对组内英语讨论,课前教师布置英语延伸阅读任务,课上教师要求学生组内讨论相关思辨问题。每组学生用英语讨论问题时,会有其他小组的一名学生评价者聆听。教师制定并发放评价标准给学生评价者,评价标准包括语言准确度、语言流畅度、信息清晰度、课外阅读内容的结合程度、讨论参与度等5个维度,评价者须给参与讨论的每名学生评定各维度的等级。
同伴互评颠覆了学生作为被评价者的传统角色,赋予学生评价他人的权利和机会。在第一学期访谈中,学生分享了身份转变过程中的不适感。他们认为学习评价应由高水平英语者实施,更希望教师看到自己的学习成果,得到教师的反馈和肯定。
伴随着学生对“评价者”身份不适应的,是他们对自己和同伴评价能力的不信任。学生对评价的专业性和公平性提出质疑。专业性方面,学生注意到自己或同学评价时更容易注意细节却忽略全局,而教师更多的是对整体水平进行评价。公平性方面,学生认为不同评价者对评价标准的理解差异可能导致不同评价结果,并且评价受到“面子”问题等的影响。尤其当互评结果与期末成绩相关联时,学生对评价能力的质疑甚至发展成为担忧和不满。
第一学期访谈中,学生普遍认为互评的一大功能是评定等级,教师可以据此调动学生更积极地参与、投入课堂活动。然而,有不少学生反映,这种评定等级的互评方式并没有真正提升他们参与课堂的积极性。组内英语讨论引入学生评价者实施同伴互评,会让学生感到紧张,反而迫使他们采取念稿之类的表层学习策略。
4.2 学生在同伴互评中遇到的困难
访谈、反思日记和课堂观察数据记录了学生在接触互评之初遇到的困难,涉及认知层面和社会文化层面。在认知层面,学生在理解、认同和使用评价标准上面临困难。在3位教师的课堂中,互评表格由教师设计,学生对一些评价标准并不完全理解。例如,在T1_CBA 25这次课堂评价中,教师T1引入了一个英语写作的互评表,并逐条解释五项标准(task achievement,effectiveness,register,language,mechanic)的意义。尽管如此,课堂观察和录音仍然记录了一个小组内学生对“register”感到困惑,最终没有依据这一标准给同学的英语作文评分,也未得到与教师进一步沟通、了解“register”内涵的机会。
即使理解了互评表格,学生仍有可能不认同教师设置的标准。对于教师评价组内讨论的互评表格,T3所教的学生S21_T3认为,教师把“fluency”设置成一条标准极不合理,而后续访谈显示,正是由于这种不认同,S21_T3评价同学时“并没有考虑这条标准”。
学生使用标准时同样存在困难。针对产出等级的互评,S7_T1在反思日记中表示不理解每个等级如何与具体表现挂钩。S24_T3的分享也较有代表性,认为评价要在短时间内考虑语言、内容和报告方式等维度,这给他们造成认知上的压力。
在社会文化层面,学生承认有时会故意上浮同伴的等级,或在反馈时只提及优点。在参与访谈的25名学生中,只有4名学生说自己不会过多考虑“面子”问题。大多数学生表示在面对面评价同学的小组讨论时,还是会考虑情面,拉高一定分数。
4.3 教师互评实践和学生认识的互动
教师互评实践与学生认识之间的互动分析基于课堂评价设计、实施和监控过程(Rea-Dickins 2001)展开。
4.3.1 评价设计
针对学生对互评的种种不适应,教师调整了互评的任务设计。教师实施同伴互评的目的逐渐从产出等级过渡到督促学生给同伴反馈。从第一学期后半学期开始,教师在课堂中引入匿名互评。评价内容从学期初单一的组内英语讨论拓展至作文、综述和小组口头报告。学生对不评等级的互评表示欢迎,比如:
我觉得不以打分机制来衡量会好一点,让我们通过评价这个手段真正能向别的组学习,吸取他们的教训或者学习他们的优点。(S3_T1)
由于学生在理解和使用评价标准方面存在困难,教师对学生的评价培训尤为重要。以小组讨论互评表格中的“fluency”为例,教师T2对“fluency”的内涵向学生作如下解释,因而没有出现如教师T3班级中的学生对此项标准持有异议的情况:
Many reasons may contribute to hesitations in your oral English. It may be because you cannot express your thoughts fluently, or you have not prepared well. There are some natural hesitations in our daily expressions, but you need to pay attention to those lasting for a long time. (T2)
4.3.2 评价实施
随着评价设计的调整和教师自身对互评的熟悉与深入理解,教师向学生介绍互评时的侧重点发生了变化。表3展示了教师T1在两个学期中介绍互评活动的课堂话语。从中可以发现,教师强调的侧重点从第一学期的“mark”, “give the grade”逐渐过渡到要求学生“report on the merits and weaknesses”,“negotiate”。
第二学期有不少学生特别指出,给出反馈的过程比收到反馈更有意义,比如:
在评价别人的同时有一个自我评价,这是一个很好的思维锻炼过程。对被评价者来说,会自我评价,知道自己有什么不足,知道别人眼中自己的不足,会更全面地了解自己。(S3_T1)
教师在评价过程中还为学生提供帮助。例如,针对多维度评价可能承受的认知压力,在T3_CBA 27中,教师T3让每组学生只关注语言、内容或报告方式中的一个维度,并记录学生的具体表现,从而减轻学生的评价压力。
针对学生对人际关系方面的担忧,教师T3让学生以小组为单位提供口头反馈,学生经过组内讨论后给出的评价以“We believe”而不是“I believe”开头。在小组访谈中,T3的学生表示,说“We believe”让他们心理上感觉更加“安全”。针对学生反映的只表扬不批评,T2鼓励学生在面对面互评时表扬优秀的地方,但必须有例证支持。课堂录音数据显示,很多学生的反馈从表扬开始,但随着互评活动持续进行,学生逐渐指出需要改进的地方。
4.3.3 评价监控
在Rea-Dickins(2001)的理论框架中,步骤三“评价监控”指教师如何记录学生评价结果、解读评价结果的意义、调整教学计划、与其他教师分享发现并向学生提供反馈。
教师对待学生评价结果的态度和方式会极大影响学生能否认真参与互评。在第一次实施针对组内讨论的同伴评价之后(T1_CBA 7),教师T1回收了学生的评价表格,感慨道: “Everybody is so clever that they all got many As.”T1的语气中透露出一丝对学生的不信任。紧接着,他邀请每组学生派一名代表复述之前组内讨论的结果,自己再给每组确定一个分数计入课堂表现。在之后的访谈中,T1的学生表示觉察到老师认为他们给出的等级“不公正”,这挫伤了学生之后参与互评的热情,也使得部分学生更加草率地给同伴评定等级,因为“反正我们自己给的等级不算数”。类似情况也发生在第一学期T3的课堂中。
相比教师T1和T3对学生评价结果的质疑,T2认为,“并不是因为学生善于评价,我们设计活动让他们来做”,而“恰恰是因为学生不善于评价,我们才设计各种类型的评价活动帮助他们发展这种能力”。基于这种认识,T2认为互评时学生的不适应、不接受、不准确都是正常甚至是必然的,因而没有必要在实施互评之初就考虑评价“准确”与否。T2认为最重要的是给予学生成为评价者的权利和机会,对同伴互评进行充分解释和培训,并在实施过程中灵活调整。对评价的认识深化和实践调整的效果在第二学期学生访谈和学年结束时的反思日记中得到了体现,3位教师的学生不再像第一学期那样对自己作为评价者的身份提出质疑,也不再过于怀疑自己的评价“资格”,比如T3的学生这样反思道:
虽然我觉得自己还是不大能全面评价别人的作品,但至少我知道了,面对他们的作文或者口头汇报,我需要考虑哪几个不同的方面。(S21_T3)
05
讨论
本研究中的3位教师响应外语教育教学顶层设计中关于引入多元评价的要求和学校层面关于评价改革的呼吁,在课堂中引入同伴互评。互评内容涉及小组讨论、口头汇报、论说文写作和阅读材料综述写作;互评结果从给出等级逐渐向提供反馈但不给出等级过渡;评价互动的形式从面对面评价慢慢转变为匿名评价或小组评价。
学生认识方面,以往研究发现学生对互评接受程度较高(如李小撒,柯平2013)。本研究基于质性数据,发现学生参加同伴互评时,对自己或者同伴的“评价者”身份并不完全认同,对能否准确、公正地评价同伴的学习成果感到不自信。学生认为,“评价者”身份认同和自身评价能力受到以考试为导向、讲究“面子”的社会文化环境影响。但是,学生对评价能力可靠性和评价结果公平性的质疑在很多国外研究文献中都有反映(如 Patton 2012;Wilson et al. 2015)。学生初始接触同伴互评时的抵触情绪并不是中国社会文化语境下的独特现象。
本研究中,学生参与互评时面临认知和社会文化层面的困难。认知层面,学生有时难以理解和认同教师设置的评价标准,或者难以将抽象的标准与具体的学习成果相对应。社会文化层面,学生出于维护同学之间人际关系的考虑,表现出上浮分数等级、惧怕直接批评同伴学习成果等倾向。Sridharan et al.(2019)发现,高风险评价活动中学生更可能故意给同伴打高分,这一观点在本研究中也得到验证:学生知道互评结果计入期末成绩后,选择上浮同伴的等级。
本研究进一步发现,学生对评价者身份的看法、对互评的接受程度、对自身评价能力的认识处于动态变化之中。一方面,学生对新型评价活动日渐熟悉,通过参与评价活动发展基本评价素养。在参与互评的过程中,学生逐渐意识到,对英语学习成果的评价包含很多层面。很多学生认为评价同时包含自我评价,是很好的思维锻炼过程。这表明随着评价能力提高,学生开始有意识地把评价能力用于自己的英语学习。另一方面,教师的互评设计、实施和监控在极大程度上促进学生的互评认识和实践水平提升。
6.启示
基于Rea-Dickins(2001)的课堂评价过程与策略框架,我们结合本研究中真实互评场景中教师实践与学生认识之间的互动,提出大学英语课堂中同伴互评设计、实施和监控的建议。
(1) 互评设计方面,确定以促学为目标,注重培养学生对评价标准的理解和反馈的使用,淡化对同伴互评产出分数和等级的要求;可考虑与学生共同分析优秀范例,设计评价标准。
相关研究表明,学生在悉心设计和实施的互评中给出的分数或具体反馈具有较高质量(许悦婷,刘骏2010;范劲松,季佩英 2017等)。但考虑到无论对普通大学英语教师还是学生而言,同伴互评都是较为新颖的评价方式,初期实践可尽量设置成同伴反馈,而不产出分数与等级。Carless & Zhou(2016)研究发现,学生在威胁性较低的合作式学习环境中,更能集中注意力判断学习成果和评价标准的关系。教师在实施低风险课堂评价时,也能有更多的空间发挥教学智慧,调整教学策略。此外,为体现课堂教学目标和评价标准清晰明确的原则(刘建达 2015),教师应对学生进行充分培训,帮助学生理解评价标准内涵,并能疏通协商交流渠道,使学生获得参与评价设计的机会。
(2) 互评实施方面,建立教师评价、同伴互评和自我评价的多元评价体系,赋予学生锻炼自身评价能力的机会;积极沟通,确保互评目的、过程和结果透明、公正。
教师向学生介绍互评活动的目的时,可介绍不同文化情景中互评活动的效果,增强学生对自身评价能力的信心和互评实施过程中的抗挫折能力。为了取得较好的促学效果,教师应示范评价过程,引导学生反思互评意义。教师可与学生讨论互评实施过程中的种种不适应和不完美,以避免学生因过分纠结结果的“准确性”而丧失参与的积极性。教师还可采用有声思维等方法,将自己评价学生的过程透明化,帮助学生发展评价能力,并能根据出现的问题及时调整评价实施策略。
(3) 互评监控方面,认真听取和记录学生的同伴互评结果,汇总全班同伴互评结果之后进行总结性反馈;与其他教师建立教师职业学习共同体,探讨互评实施策略的改进。
教师如何记录和解读同伴互评的结果对学生意义重大。本研究表明,同伴互评实施过程中的最大挑战正是来自“评价即打分”、“教师是唯一的权威评价者”等根深蒂固的观念。同伴互评的核心应是赋予学生作为评价者的权利,而不是变相使用评价方式控制学生。在互评活动的最后,可增添沟通交流环节,既帮助学生厘清如何使用互评反馈促进学习,也更有利于学生在互评中展现和感受同伴的尊重(Zhu & Carless 2018;Zhou et al. 2019)。以校本评价改革为依托,同一教研室的教师可定期在备课会议中分享和反思互评实施的得失。
本研究对促学评价的理论亦有所贡献。尽管政策文件一般将同伴互评归类为常见的形成性评价活动,但本研究呼应了曹荣平(2012)的观点,认为一种评价活动是形成性还是终结性,不是完全由评价活动本身决定,而是与评价的实施过程和结果使用息息相关。如果同伴互评只是让学生给同伴的学习成果打分或打等级,而在同伴互评之前没有对学生开展培训,实施过程中教师没有提供帮助和调整方案,反馈内容未能利于学生进步,这种评价活动只是终结性评价框架中加入学生元素,而绝非是促进学习的形成性评价。同伴互评本身并不自带“促学”或“形成性”属性。只有教师充分赋能学生,根据学生的参与体验及时调整评价的每一个环节,互评活动才能充分发挥促学作用。
The Coding Manual for Qualitative Researchers包括三个新的方法(子编码、因果编码和折中编码);分析部分中的增强讨论;概述第一和第二编码循环之间的分析转换过程的新章节;在第二周期编码之后的定性数据分析和写入的附加方法;以及32个编码方法的新词汇表。情感编码的例子已经改变，并扩展了选择最合适的编码方法进行研究的标准。在整个案文中增加了许多新的数字。本书对于从事质性研究的学者而言大有裨益。
本书在国内的京东、亚马逊都无法购得，如果对本书感兴趣，有意购买，请联系代理孙老师（微信：sflsy0803)，可优惠价格得纸质书。我们代理Taylor, John Benjamins多家国际出版社的电子、纸质书与期刊，可开具发票。
特别感谢束定芳教授和《外语界》编辑部对本公众号的支持与肯定，参考文献从略，欢迎查阅《外语界》2019年第5期纸质原文。
本文编辑：上海理工大学 孙雨
本文审核：吉林大学 王峰
公众号外联：我们优先推广免费的学术会议、讲座、研修等项目。收费项目与商务合作需支持劳务费，请联系dianzishu@126.com 商谈。
八万学者关注了
○
语言学通讯
○
科研助力|学术观点|专著推荐|期刊动态|教师研修|招贤纳士|博士招生|读书小札
请留下你指尖的温度
让太阳拥抱你
记得这是一个有情怀的公众号
点“在看”给我一朵小黄花