许玮等 | 同伴互评对学习者知识建构过程的实证研究
摘要：同伴互评能够促进学习者高阶认知能力的发展。文章采用认知网络分析法，以课程进程中四次作业的同伴互评评语为分析对象，从时间序列视角探索同伴互评对学习者知识建构的过程影响与差异影响，剖析出在高校课程教育中“以评促学”的作用机理。研究发现：同伴互评能有效提高学习者深层次的知识建构，帮助学习者在更高阶认知结构上进行知识构建；在同伴互评策略支持下，高、低元认知自我调节能力水平学习者与整体学习者的知识建构过程趋同，即都经历了从浅层学习到深度学习的发展过程；但是，对于高水平元认知自我调节能力组学习者而言，同伴互评在提升学习者认知结构的综合性和深层次的建构方面，有更加明显的作用。
关键词：同伴互评；元认知自我调节能力；知识建构；认知网络分析；时间序列分析
在深化教育教学改革的新形势之下，中共中央、国务院印发了《深化新时代教育评价改革总体方案》，明确提出“教育评价事关教育发展方向，坚决克服‘五唯’的顽瘴痼疾”[1]，突出强调教学评价的导向作用。不同于总结性评价，形成性评价既不评分也不进行认证，而是根据学习者表现出来的“学习证据”（如活动参与度、反思笔记等）对学习者的过程性学习效果进行多维评价，它能够监控作为行为主体的学习者的动态看法，促进有效学习的发生[2][3]。而同伴互评作为一种已经得到广泛认同的形成性评价形式，以其自身理据和“以评促学”的作用在高校课程教育中发挥着巨大作用[4]。然而，现阶段研究大多关注同伴互评的可行性与可靠性[5][6]，鲜少对其在学习者知识建构过程中产生的影响进行探究。另外，考虑到该过程与学习者元认知自我调节能力紧密相关，因此本研究以某高校开展的一门课程为例，并以元认知自我调节能力为分组变量，通过对课程进程中四次互评作业评语进行基于时间序列的认知网络分析，探索同伴互评教学策略对学习者知识建构的过程影响与差异影响，试图剖析同伴互评过程中“以评促学”的作用机理。
一 相关研究
1 同伴互评下的话语分析，从评语内容到学习者认知
马志强等[7]从国际层面对同伴互评的相关研究展开综述，发现同伴互评对作品质量、知识建构和反思能力都具有影响，并将针对评语进行内容及其话语分析视为未来的研究方向。基于此，本研究深挖有关同伴互评评语分析的相关研究，发现大体可分为两个方向：①对评语类型、评语采纳的分析研究，如Vanderpol等[8]从评语类型与学习者对评语采纳的维度出发，明确同伴互评中评语的关键作用；马志强等[9]在此基础上引入学习者对评语的可用性，展开了深入分析；而柏宏权等[10]从学习者情绪体验视角出发，对大学生采纳度高的评语类型进行了细化。②基于学习分析技术对学习者动态认知的分析研究，如汪琼等[11]对MOOC课程中的79287条同伴互评评语进行了文本编码分析；Peng等[12]利用文本挖掘和统计分析，剖析出学习者在评语中隐含的话语内容和认知特征。由此可见，同伴互评作为一种具备特殊评价设计和应用价值的多元评价方式，能有效提高学习者在评阅和反思互评作业中的参与度、主动性，有较高的可信性、精准性[13]。
2 知识建构中的教学评价，从浅层学习到深度学习
知识建构以社会建构主义理论为基，强调发挥学习者的主体作用，认为学习的本质是一种社会性对话和交流的过程[14]。Scardamalia等[15]在2006年便将知识建构中的浅层建构和深层建构作了特别的区分，并指出知识建构的真正意义在于深层建构，后续研究多为该研究的延伸：丁美荣等[16]提出深层建构要注重学习者对知识的应用和创新；张沿沿等[17]结合皮亚杰的知识观和SOLO分类理论，厘清了思维水平和知识建构的关系。此外，Smith[18]将SOLO分类理论中的前三层次对应于浅层学习，后两层次对应于深度学习。这种层级化的观点出现后，宋宇等[19]将知识传授到知识建构的转变视为深化课堂改革的内在要求，并从课堂对话中明确该转变有助于发展学习者的高阶思维、提升其综合素养。
可见，层级化的思维发展水平能够更加清晰地表现知识建构从浅层到深层、从低阶到高阶演变的复杂过程。学习者就是在互评的过程中与同伴进行交流，基于问题迭代达到知识的建构和反复推进。这不仅是思维结构化特征的体现，更是思维可“观察”性、阶段性及思维水平可评价性等特点的体现[20]，知识建构的最后一条原则亦是同理。此外，国内外对于学习者知识建构的过程性探索研究成果十分鲜见，针对高校的调查研究数据不足。鉴于教育评价的影响力，亟须开展专项研究，进一步探索教育评价在高校课程教育中的导向作用。
二 研究设计
1 研究问题布卢姆教育目标分类学强调，在学习测评中，目标、教学活动、测评三者之间要有一致的关系[21]。早在1982年，Biggs[22]便提出认知过程具有阶段性，表明人在学习新知识的过程中表现出来的思维阶段是可以被观察到的，即可“观察”性。而促进学习者知识建构的核心是帮助学生在观点上有持续改进，并将该过程投射到教学评价之中[23]。同伴互评过程中的学习者评语便是其观点的投射，从多次评语分析中透视学习者观点的持续改进，探索其知识建构的过程即是本研究的宗旨。因此，本研究拟针对以下两个问题开展研究：①随着课程的进行，在开展四次作业互评的教学策略下，学习者的知识建构是否更完善？②随着课程的进行，具有不同元认知自我调节能力水平的学习者在知识建构上是否会有差异？
首先，教师设计基于同伴互评的课程教学活动；接着，调查学生的元认知自我调节能力，据此对学生分组；之后实施课程，开展具体的教学；在整个教学过程结束后，收集并整理所有学生的同伴互评评语数据；最后，基于编码框架对有效数据进行处理与分析，如图1所示。
图1 研究流程
2 研究对象与课程设计
本研究的实验对象为40名参与“平面设计与创作”课程的大一新生。在开始此课程的学习之前，该40名学生已完成“艺术设计基础”课程的学习，习得了相关设计理论知识。因此，本课程主要教授平面设计软件的操作技巧，经过教学团队对课程的重新设计，课程被分为难度、等级相同的四个教学模块，教学历时5周。在该课程中，教学模块内容包含理论讲解与实操演练，且会布置相应的作业。每次学生提交完作业后，系统会采取双向匿名的形式，自动分配8份作业给每位学生。学生需在作业截止上交后的1天内完成8份互评作业，并且需要打分和撰写打分依据（评语）。研究者选出完整的四次作业互评，且每次都完整互评8份匿名作业的学生（共23名）。本研究使用Pintrich等[24]提出的MSLQ学习动机策略问卷中有关元认知自我调节维度的问卷工具，根据问卷结果对学生进行排序，并根据排序结果将23名学生分为两组：高水平元认知自我调节能力组（下文简称“高水平组”），有10人（即排序前10名）；低水平元认知自我调节能力组（下文简称“低水平组”），有13人（即排序后13名）。最终，研究将对两组学生所提交的评语进行整理分析。
3 编码框架
参考各类平面设计大赛的评分标准，围绕课程教学目标、核心知识点和课堂教学实际，本研究团队和任课教师所在的教学团队共同制定了由8个知识要素所组成的编码框架，并根据认知层级从低阶到高阶进行排列，分别为：画面结构、色彩搭配、设计技巧、专业术语、主题贴合、视觉效果、创意新颖、情感寓意，构成了如表1所示的评语编码框架。
表1 评语编码框架
4 数据收集与整理
在模块学习结束后，本研究收集了23名学生的四次作业评语数据，从中剔除部分与课程内容毫无相关性的评语，如“非常好！”“太棒了！”等，得到四次作业的有效评语724条、共32853个字符。之后，根据评语编码框架对这些数据进行内容分析，再使用在线建模平台ENA Webkit（网址：http://www.epistemicnetwork.org/）对内容分析结果进行认知网络分析。为了保证编码的准确性，由两位教学团队的任课老师对所有评语进行编码，当遇到有争议的数据时，由另外一名教师进行校对评判，最后经对比讨论，得到一个结构化数据集，其编码一致性系数值为0.893，说明研究数据的信度良好。
三 研究结果
1 基于时间序列分析整体学生知识建构过程的变化
图2展示了23名学生在整个课程学习过程中的四次互评序列比较，包括四次作业的质心图（位于图中心）和认知网络结构图（位于图的四周）。所有作业在时间序列上呈现出的变迁，体现了学习者在课程学习中的知识建构过程。质心图中的四个实心方形分别表示四次作业中所有学生评语的平均网络质心，这些平均网络质心被全部投射到一个二维置信区间（即ENA空间）中，四个质心都有明显的分离，表明整体学生在四次作业中的知识建构均存在差异。
图2 整体学生的四次互评序列比较
每个认知网络结构图中的8个节点对应8个知识要素，节点间的连线代表节点（即知识要素）共现的相对频次。对于给定的一次分析，被放置在空间极端边缘、远离中心的节点（即边缘节点）最能为直观标记坐标轴提供信息[25]。本次分析中存在多个边缘节点，以第二次作业为例，边缘节点“专业术语”和“视觉效果”的强连接决定了本次作业的质心将位于Y轴高处，结合表1可知：第二次作业中学习者评语反映出的知识建构正在向高阶认知方向发展。
为了更清楚地呈现学生在整个课程学习过程中基于时间序列的知识建构的变化，本研究选择相隔时间最长的第一次作业和第四次作业进行对比。两次作业的认知网络结构图说明了从第一次作业到第四次作业质心的跃迁是由于第四次作业中的学习者对“情感寓意”等高阶要素的关注度提升，这与两次作业在Y轴上呈显著差异（如表2所示）相符。而在X轴上的差异则与第一次作业中的学习者所关注的“画面结构”等低阶要素相关——这表明，学生在整个课程学习中的知识建构正逐渐从低阶认知走向高阶认知。
单纯从节点出发，难以明显地观察到两次作业在互评细节上的差异，故本研究计算了两次作业互评的认知网络连线系数值，结果如表3所示。表3显示，共有4组连线系数值在两次作业中均超过0.10（表3中用下划线标示），分析可得“设计技巧”为第一次作业互评评语的核心连接点，“主题贴合”为第四次作业互评评语的核心连接点。此外，第一次作业中有7处连线系数值超过0.20（表3中用加粗字体标示），在这7处连线组合中出现超过2次的知识要素有“画面结构”、“色彩搭配”、“设计技巧”，三者均为低阶要素，这便再次彰显第一次作业中的学习者对低阶要素的关注。
表2 第一次作业和第四次作业互评的认知网络差异t检验
注：*表示分析结果呈显著性差异。下同。
表3 第一次作业和第四次作业互评的认知网络连线系数值
2 基于时间序列分析两组学生知识建构过程的变化
图3所示为两组学生的四次互评序列比较，显示了两组学生在四次作业互评中的认知网络变化过程。其中，图3（a）显示，高水平组在前三次作业中，质心呈现出不断向Y轴正半轴偏移的趋势；而从第三次作业到第四次作业，质心在X轴、Y轴上均呈现出往负方向的跃迁。以Y轴为例，可以看出高水平组从第一次作业到第三次作业知识建构的变化与“专业术语”、“视觉效果”息息相关，两个节点的自现频率（节点大小）与共现频率（连线粗细）都在逐渐增多。在知识要素占比方面，高水平组从第一次作业到第四次作业在“画面结构”（43.64%→32.60%）、“设计技巧”（35.45%→28.75%）、“专业术语”（6.36%→1.75%）方面的占比都有大幅减少，而在“情感寓意”（5.45%→26.25%）、“创意新颖”（5.45%→18.75%）方面的占比有较大提升。此外，本处同样选择高水平组相隔时间最长的两次作业进行对比（如表4所示），结果显示这两次作业互评在X轴呈显著差异（p=0.00＜0.01），在Y轴无显著差异（p=0.67＞0.05）。
图3 两组学生的四次互评序列比较
表4 高水平组第一次作业、第四次作业互评的认知网络差异t检验
图3（b）显示了低水平组学生四次作业互评所体现的知识建构过程的变化，整体来说，可将该变化视为两个整体（即前两次作业为第一整体、后两次作业为第二整体）的变化。结合ENA空间中各轴的直观意义，可以发现从第一整体到第二整体，质心不断向X轴、Y轴的负方向移动，即从第一象限跃迁到第三象限。在知识要素占比方面，低水平组从第一次作业到第四次作业在“专业术语”（5.56%→0.00%）、“设计技巧”（35.45%→14.42%）、“画面结构”（45.64%→7.69%）方面的占比都有大幅减少，而在“情感寓意”（5.95%→18.27%）、“创意新颖”（5.45%→18.27%）方面的占比有较大提升。此外，表5显示，第一、二次作业在X轴（p=0.35＞0.05）和Y轴（p=0.64＞0.05）均不存在显著差异，第三、四次作业同理；但其第一次作业、第四次作业互评在X轴和Y轴均存在显著差异。
表5 低水平组在四次作业互评的认知网络差异t 检验
3 基于时间序列分析两组学生知识建构过程的差异
两组学生四次作业的认知网络结构差异如图4所示，可以看出：在前两次作业中，高水平组质心（左侧方形）位于坐标系左边、低水平组质心（右侧方形）位于右边，而后两次作业中两组的质心位置正好与此相反，说明两组学生在认知网络结构上存在显著差异。具体来说，在四次作业的互评评语中，高水平组对“创意新颖”等高阶要素的描述较多，而低水平组对“专业术语”、“画面结构”等低阶要素的描述较多。从元素之间的连接来看，随着课程的进行，在后三次作业互评的ENA空间中，高水平组出现了更多知识元素与“创意新颖”“视觉效果”之间的连接，而低水平组的作业评语中虽然出现了“情感寓意”“主题贴合”等高阶要素，但在四次作业互评的过程中，并未呈现这些高阶要素与其它知识要素的强连接。
四 讨论与结论
1 同伴互评能够有效提高学习者的知识建构，帮助学习者在更高阶的知识要素上进行认知结构的深度构建
通过比较四次作业互评的认知网络结构，本研究发现：在每次作业互评中，学习者的认知网络结构都有变化。在第一次作业中学习者对低阶知识要素的关注，说明在课程初期学习者对该课程的认知停留在初步阶段，并没有更深层的认知体现。随着课程推进，第二次作业中低阶要素的出现频率并未有明显改变。学习者对“创意新颖”这一高阶要素的关注度不断提高，这一趋势在第三次作业中有了明显体现。而在课程末期，学习者经过教学活动之后，其第一次作业、第四次作业互评在ENA空间的X轴和Y轴上均存在显著差异。
图5 知识要素在四次作业中的出现频次对比
8个知识要素在四次作业中的出现频次对比如图5所示，可以发现：显著性差异的出现具体体现在学习者对“情感寓意”、“创意新颖”等高阶知识要素关注的提升和对“画面结构”、“色彩搭配”、“设计技巧”等低阶知识要素关注的降低两方面。因此，同伴互评能有效提高学习者认知结构的深层次建构，帮助学习者在更高阶知识要素上进行知识建构——这也印证了知识建构的理念，将同伴互评看作是一个学习的过程，过程中的学习主体是进行互评的学习者，同伴互评作为一种特殊的过程性评价方式，让学习者的知识建构并不停留在浅层建构层面，而是到达高阶认知获得的深层建构层面，这与Scardamalia所指出的知识建构的真正意义相契合。
2 两组学习者的知识建构过程在大体上均趋同于整体学习者的知识建构过程，且均可视为是从浅层学习到深度学习的过程，但依旧存在一定差异
图3（a）中高水平组质心的偏移是由于高水平组对“专业术语”的关注度降低（Y轴负方向的偏移），以及对“情感寓意”等高阶知识要素的关注度提升（X轴负方向的偏移）。有趣的是，第四次作业在Y轴上的变化抵消了学习者在学习初期与中期的差异，导致最终结果仅与第一次作业呈显著差异。而图3（b）显示，在前期作业互评中学习者多关注低阶要素，后期则更关注高阶要素；低水平组在最终结果呈现上与整体学习者的知识建构过程趋同，两次作业在X轴、Y轴上均呈显著差异。由此可以得出，两组学习者的知识建构过程大体上均趋同于整体学习者的知识建构过程，但也存在一定差异，这在某种程度上说明了分类评价观的重要性。
以全局观透视研究结果的前两个部分——学习者整体认知结构的变化和两组学习者知识建构的变化，可以发现此变化过程与Biggs提出的SOLO分类理论深度契合。将包含浅层学习和深层学习的SOLO分类理论投射到基于同伴互评的学习过程之中，可将学习者在前期对低阶知识要素的关注视为一种浅层学习，同时可将从对单个低阶知识要素的关注转变为对多个低阶知识要素的关注与SOLO分类理论中从单点结构到多点结合的转变相对应；而在后期，对高阶知识要素的关注表明学习者的思维层次通过同伴互评这种教学策略已然提升到了深度学习层面，此过程中学习者的关注从多个单一节点转为多个关联节点（即节点间共现频率增加），这与SOLO分类理论的第四层次相应。而在整体学生和两组学生序列比较的第四次作业中，质心均因“情感寓意”、“创意新颖”这两个高阶知识要素而发生了偏移，这彰显了学习者抽象拓展水平的提升，与SOLO分类理论的第五层次相吻合，也在真正意义上体现了从量变到质变的发展过程。
3 两组学习者所关注的知识要素也存在差异，且同伴互评对高水平组学生认知水平提升的帮助更大
图4展示了两组学生认知网络结构的具体差异，结果显示：虽然两组学生在认知网络结构变化中存在一定的差异，但将分析范围缩小到每一次作业时，两组学生在四次作业中都只在X轴上有显著差异，而在Y轴上的差异几乎可视为不存在。虽然从图3来看，同伴互评对低水平组学生的影响更大，体现为在两个轴上都对其存在影响，但图4呈现的知识建构变化过程表明，高水平组学生认知网络所呈现出的趋势是节点间的“关联”愈发明显、多样，而低水平组学生虽然在第一次作业中的认知网络结构比高水平组更加完善，但他们在课程推进过程中认知网络结构的变化相较于高水平组并不明显，也就是说低水平组学生没有明显的知识与认知过程进化。由此可见，同伴互评对高水平组学生的知识建构完整性提升的帮助更大，这是因为节点间关联的复杂程度意味着知识结构的完整程度，知识节点的增多、节点内涵的丰富、节点间关联的加深，都彰显着高水平组学生知识建构的不断完善及其思维水平的不断提升。此外，两组学生关注的知识要素都涉及高、低两个层级的知识要素，但关注的侧重点存在差异：高水平组学生更关注高阶知识要素，而低水平组学生更关注低阶知识要素。
五 结语
作为一种表现性的过程性评价手段，同伴互评以评语的形式将学习者的学习效果进行外显，能够有效促进学习者对其所学知识的深层理解。本研究基于作业开展同伴互评活动，结合学习分析技术展开评语分析，从中透视学习者观点的持续改进和认知结构建构的过程，并对高、低元认知自我调节能力组学习者知识建构的过程和差异进行了细化分析，进一步验证了同伴互评作为一种“以评促学”的教学策略对学习者知识建构所起的促进作用。同时，本研究从学习者个体特征视角，分析得同伴互评策略支持下的两组学习者的知识建构过程在整体上趋同，但从浅层向深层知识建构发展的过程中有各自的特征，而高水平组学习者能更有效地通过获取评语来调整自己的学习进程并进行知识整合。后续针对学习者如何进行内部认知调节的问题，可以进一步结合教学策略的适应性调节开展深入探索。
参考文献
[1]国务院.中共中央国务院印发《深化新时代教育评价改革总体方案》[OL].<http://www.gov.cn/zhengce/2020-10/13/content_5551032.htm>
[2]Wiliam D. What is assessment forlearning?[J]. Studies in Educational Evaluation, 2011,(1):3-14.
[3]Admiraal W, Huisman B, Van de Ven M.Self-And peer assessment in massive open online courses[J]. International Journalof Higher Education, 2014,(3):119-128.
[4]高瑛,汪溢,(美)Schunn C D.英语写作同伴反馈评语采纳及其影响因素研究[J].外语电化教学,2019,(2):17-24.
[5][10]柏宏权,李婷.在线同伴互评的评语采纳倾向——基于情绪体验的视角[J].开放教育研究,2020,(4):95-101.
[6]李红霞,赵呈领,疏凤芳,等.促进学习的评价:在线开放课程中同伴互评投入度研究[J].电化教育研究,2021,(4):37-44.
[7]马志强,王雪娇,龙琴琴.基于同侪互评的在线学习评价研究综述[J].远程教育杂志,2014,(4):86-92.
[8]Van der Pol J, Van den Berg B, AdmiraalW, et al. The nature, reception, and use of online peer feedback in highereducation[J]. Computers & Education, 2008,(4):1804-1817.
[9]马志强,王靖,许晓群,等.网络同伴互评中反馈评语的类型与效果分析[J].电化教育研究,2016,(1):66-71.
[11]汪琼,欧阳嘉煜,范逸洲.MOOC同伴作业互评中反思意识与学习成效的关系研究[J].电化教育研究,2019,(6):58-67.
[12]Peng X, Xu Q. Investigating learners’behaviors and discourse content in MOOC course reviews[J]. Computers &Education, 2020,143:103673.
[13]刘迎春,朱旭,陈乐.精准教学中基于同伴互评的评价者认知网络分析[J].远程教育杂志,2019,(1):85-93.
[14][16]丁美荣,王同聚.人工智能教学中“知识建构、STEM、创客”三位一体教学模型的设计与应用[J].电化教育研究,2021,(4):108-114.
[15]Scardamalia M, Bereiter C. Knowledgebuilding: Theory, pedagogy and technology[M]. Cambridge: Cambridge UniversityPress: 2006:97-115.
[17][20]张沿沿,冯友梅,顾建军,等.从知识结构与思维结构看思维评价——基于皮亚杰发生认识论知识观的演绎[J].电化教育研究,2020,(6):33-38.
[18]Smith T W, Colby S A. Teaching for deeplearning[J]. A Journal of Educational Strategies, Issues and Ideas,2007,(5):205-210.
[19]宋宇,邬宝娴,郝天永.面向知识建构的课堂对话规律探析[J].电化教育研究,2021,(3):111-119.
[21][23](美)洛林·W·安德森等著.蒋小平,张琴美,罗晶晶译.布卢姆教育目标分类学:分类学视野下的学与教及其测评(完整版)[M].北京:外语教学与研究出版社,2009:11、47-55.
[22]Biggs J, Collis K. Towards a model of school-basedcurriculum-development and assessment using the SOLO taxonomy[J]. TheAustralian Journal of Education, 1989,(2):151-163.
[24]Pintrich P R, Smith D A F, Garcia T, etal. Reliability and predictive validity of the motivated strategies for learningquestions (MSLQ)[J]. Educational and Psychological Measurement, 1993,(3):801-813.
[25]Andrist S, Collier W, Gleicher M, et al.Look together: Analyzing gaze coordination with epistemic network analysis[J].Frontiers in Psychology, 2015,6:1016.
文章引自：许玮,祝思璇.同伴互评对学习者知识建构过程的实证研究[J].现代教育技术,2022,（1）：44-53.