郑兰琴等｜如何改善在线协作学习的设计与实施——基于一致性评估与优化的实证分析
点击上方蓝色文字关注我们
基金项目：2019年度教育部人文社会科学研究青年项目“多源数据驱动的协作学习活动设计方法及优化策略的实证研究”（19YJC880141）。
引用:郑兰琴,赵家怡,龙妙浪(2022).如何改善在线协作学习的设计与实施——基于一致性评估与优化的实证分析[J].现代远程教育研究,34(2):103-112.
摘要：在线协作学习已经成为“互联网+教育”时代一种重要的学习方式，其实施效果很大程度上取决于协作学习活动设计的质量。然而，已有研究大多关注某种特定干预策略的有效性，鲜有从提高在线协作学习设计与实施的一致性角度来研究如何改善在线协作学习的设计质量与实施效果。传统的有效性研究严重依赖情境并难以重复，而一致性研究着眼于不一致的真实来源和缺陷分析，通过深入地反思能够生成可证伪的知识。基于目标知识点范围一致性、协同知识建构水平一致性、交互主题一致性、角色分工一致性、参与度一致性5个量化指标，分两轮对在线协作学习设计和实施的一致性进行评估并优化，实验结果表明：（1）优化后的第二轮在线协作学习设计和实施的一致性以及学习效果均显著高于第一轮，且一致性与协作学习效果呈现显著正相关关系；（2）研发的在线协作学习设计与实施一致性的量化评估方法不仅克服了基于主观经验进行设计和优化的缺陷，而且基于数据驱动的策略使得设计和优化更加科学规范，实现了“设计—实施—优化设计—再度实施”的良性循环；（3）从学习任务、学习资源、角色分工、交互策略、评价方式等维度进行设计优化，有助于提升在线协作学习设计与实施的一致性与学习效果。
关键词：在线协作学习；一致性；学习效果；设计质量；优化策略
近年来，云计算、大数据和人工智能技术的飞速发展引发了学习方式的深刻变革。传统的学习方式已经不能够满足社会发展的需求，数字一代更加倾向于通过与同伴或者教师的在线交流来获取信息、建构知识并发展技能。特别是2020年新冠肺炎疫情背景下，全球数以亿计的学生不得不从线下课堂转向在线，在线学习成为重要的学习方式，在线协作学习也被越来越多的教育者和学习者所接受和采用。在线协作学习是指学习者为了共同的学习目标通过网络进行在线学习，协同完成学习任务并解决问题（Reeves et al.，2004）。通过在线协作学习，学习者可以随时随地与同伴或老师进行交流、分享信息、协同建构知识与技能（Fu et al.，2018）。然而，并非所有参与在线协作学习的学习者都能取得良好的学习效果（Osipov et al.，2015）。很多学习者仅仅停留于浅层次的信息交流与分享（Lan et al.，2012），小组成员在协作学习过程中常常出现搭便车（Lan et al.，2012）、跑题偏题等现象（Gu et al.，2015）。在线协作学习活动的设计质量是影响学习者在线协作学习效果的主要因素。
纵观已有研究，大多关注某种特定干预策略的有效性，并且有关在线协作学习活动的设计主要聚焦于局部要素，如在线协作学习环境、交互策略、评价方法等，鲜有从提高在线协作学习设计与实施的一致性角度来研究如何改善在线协作学习的设计质量和实施效果。事实上，在线协作学习包含两种形态：设计态与实施态。在线协作学习设计与实施的一致性指的是所有设计要素在实施过程中都能够落实。之所以研究一致性，是因为传统的有效性研究严重依赖情境，结论难以迁移和推广，也无法生成可证伪的知识；而一致性研究着眼于不一致的真实来源和缺陷分析，通过深入地反思能够生成可证伪的知识（郑兰琴等， 2014），且不依赖情境，研究结论可以重复和推广。对在线协作学习设计与实施的一致性进行深入研究，有助于明确在线协作学习过程中哪些设计要素落实了，哪些没有，进而发现设计的问题，通过反复优化生成协作学习设计的技术性知识，提升教师的教学设计能力。
本研究开展两轮的在线协作学习活动，利用研发的在线协作学习活动设计与实施一致性的量化评估指标计算两轮在线协作学习活动设计与实施的一致性，旨在解决两个研究问题：第一，通过评估和优化，在线协作学习活动设计与实施的一致性能否提升？第二，改善在线协作学习活动设计与实施的一致性，是否可以提高在线协作学习效果？
1.在线协作学习活动设计和效果评估的研究现状
（1）在线协作学习活动设计研究
当前关于在线协作学习活动设计的研究主要集中于两方面：构建协作学习活动设计整体框架以及探索影响协作学习活动的局部要素。在构建协作学习活动设计整体框架方面，研究者从不同视角进行了探索。比如，余亮等（2012）将任务、时序、角色、资源进行结构化，构建了包括任务分析、时序排列、角色定义、资源分配在内的协作学习活动设计框架。马志强（2012）在已有文献基础上构建了问题解决型在线协作学习活动的设计框架，主要包含问题情境、问题解决角色、任务和资源、工具4个核心设计要素。何文涛（2018）基于学习活动概念模型提出了协作学习活动设计框架，包括协作学习活动设计的过程模式、学习目标分析、活动分类与任务设计、内容分析、结构化设计、缺陷分析与改进6个方面。郑兰琴等（2020）从目标、任务、交互、资源和评价5方面提出了协作学习活动设计的框架。
在探索影响协作学习活动的局部要素方面，Pozzi（2010）探索了切块拼接、案例研究等交互策略对促进交流和协作以及提升学习成绩的影响。袁梦霞等（2017）探索了不同角色设计对学习者批判性思维的影响。Shin等（2018）探索了可视化标注工具对促进知识共享、提高知识建构水平的影响。Hasan等（2019）分析了游戏化在线协作学习环境对学生参与度的影响。
（2）在线协作学习活动效果评估研究
有关在线协作学习活动评估的研究，主要从评估内容和评估方法两方面开展。从评估内容来看，主要包括参与度、学业成绩、学习行为模式等。Hasan等（2019）通过评估学习者登录游戏化协作环境的次数、访问资源的次数、阅读贴子的次数以及提交作业次数等来考察游戏化协作学习环境是否影响学习者的参与度，结果表明游戏化协作学习环境能显著提高学生的参与度。Wang等（2020）探索了不同形式的学习材料呈现对学习者参与在线协作学习的行为模式和学习效果的影响，结果表明呈现互动性学习材料的小组绩效明显好于仅仅呈现视频或者文本学习材料的小组。
从评估方法来看，传统的方法主要包括问卷调查法、访谈法，近年来有研究开始利用社会网络分析法、行为序列分析法、学习分析技术进行在线协作学习效果的评估。比如，Guiter等（2021）采取问卷、访谈的方法，对学生在协作学习中的学习感受和学习成绩进行测量，以此反映协作学习效果。Zhang 等（2017）采用社会网络分析法，分析了学生在协作学习过程中的活跃度，进而评估协作学习的效果。Wang等（2017）采用行为序列分析方法来分析学生在协作学习过程中的行为模式和特征，进而评估协作学习效果。Cerro Martínez等（2020）采用学习分析方法对协作学习过程进行监控与分析，用以帮助教师实施个性化的反馈和干预。
综上所述，已有研究从协作学习活动的整体框架设计和局部要素对在线协作活动的设计进行了探索，并采用调查法、访谈法、社会网络分析法、行为序列分析法、学习分析技术等对协作学习效果进行了评估。然而，整体框架的设计主要停留在理论层面，局部要素的设计虽然进行了一些实证分析，但未从协作学习设计与实施的一致性角度进行思考，难以分辨到底哪些设计要素落实了、哪些没有，也缺乏对局部要素的进一步优化。另外，当前还鲜有研究从一致性的视角探索如何评估并提升在线协作学习的效果。
2.教育教学中的一致性研究现状
一致性指的是一个形式系统中不蕴含矛盾（Salmon，1977）。教育领域中的一致性指的是期望与评价之间彼此一致的程度（Webb，1997）。一致性在教育领域已经受到国内外学者的关注。国外学者主要从评价与课程标准之间的一致性进行探索。比如，Webb（1999）从类别一致性、知识深度一致性、知识范围一致性、表征平衡性四个维度考察数学和科学领域中评价与课程标准之间的一致性，结果发现，知识深度和知识范围上的一致性较低。Martone等（2009）总结了考察评价与课程内容标准一致性的三种方法，即Webb方法论（包括上述四个维度）、达成方法论（包括项目层次分析和项目集合分析两个维度）、调查实施的课程方法论（包括内容匹配、绩效期望、教学内容分析三个维度）。国内学者主要从教材与内容标准的一致性（卢群 等，2012）以及高考内容与课程标准的一致性（袁令民，2013）进行了探索。可见，已有研究主要聚焦于课程领域的一致性。
笔者认为，一致性应该贯穿于整个教育领域，不仅适用于课程领域的研究，而且适用于教学实践领域的研究。教学领域中的一致性主要包括教学目标和手段的一致性、教学设计与实施的一致性两方面。教学目标与手段的一致性指的是教学目标与采取的教学手段之间的吻合程度，教学设计与实施的一致性指的是教学行动中的行为和内容与教学方案中所设定的行为和内容的吻合程度（郑兰琴，2015）。在目标和手段一致性方面，目前已有研究者通过比较目标和手段之间的数据依赖关系来分析协作学习活动存在的缺陷，构建系统协作学习活动设计技术框架来促进优良协作学习过程的发生（何文涛，2018）。另外，杨开城等（2015）开发了包含目标—手段一致性在内的6个指标用于评价教案质量，具有可行性、客观性及有效性。在教学方案设计与实施的一致性方面，郑兰琴（2015）对两个案例教学方案进行设计，以个案研究的方式考察了设计与实施的一致性，开发了教学实施过程中的信息流序列、激活目标知识点的范围和激活量三个一致性指标，初步探究了一致性分析的可行性以及如何基于一致性进行反思性分析。田爽等（2017）采集小学信息技术课程的30个教学设计与实施过程样本，采用基于信息流的分析方法分析了教学设计方案与实施过程在激活知识点范围、目标知识点的激活量、信息流序列方面的一致性，并对教学过程进行了反思。
综上所述，已有研究主要对传统课堂中的教学设计与实施的一致性进行了探索。然而，鲜有研究探索在线协作学习设计与实施的一致性，并且缺乏对一致性与学习效果关系的研究。本研究将重点探索在线协作学习设计与实施一致性的评估方法、提升策略以及一致性与学习效果的关系，目的是为提升协作学习学习效果和教师的教学设计水平提供重要参考。
以设计为中心的研究范式关注教育设计的一致性，通过一致性分析判断教育设计的好坏，并关注不一致的真实来源和缺陷分析（杨开城，2013）。本研究采取以设计为中心的研究范式分析在线协作学习设计与实施的一致性。
1.研究对象
参与本研究的对象为北京某“985”高校的90名在校大学生。所有学生均具有协作学习相关的基础知识。研究一共开展了15个主题的在线协作学习活动，每个主题实施2轮在线协作学习，旨在评估能否通过一系列策略来优化协作学习活动设计与实施的一致性。15个在线协作学习活动主题涵盖教育学、教育技术学、教育传播学、计算机科学、化学等多个学科领域，每个主题的每一轮协作学习活动由3名学生在线参加。正式实验前，研究者对参加同一主题的6名学生进行在线前测，前测题型包含选择题、判断题、填空题、简答题四种题型，旨在评价参与两轮实验的学生在已有知识基础方面是否存在显著性差异，从而避免学生先前知识对实验结果的影响。经配对样本T检验，结果发现参与15个主题两轮在线协作学习活动的学生在前测成绩方面均无显著性差异（p＞ 0.05），分析结果见表1所示。
2.研究程序
本研究包括五个阶段。第一阶段，对所有学生进行前测，检验参加两轮在线协作学习的学生在已有知识基础方面是否存在显著性差异。第二阶段，设计15个主题的在线协作学习活动。研究首先从协作学习目标、任务、交互策略、资源和评价5个维度（郑兰琴等，2020）进行协作学习活动设计。然后，邀请45名大学生以3人为一组在不同时间和地点开展15个主题的第一轮在线协作学习活动。在线协作学习工具选择国内流行的即时通讯软件腾讯QQ，每次活动持续2小时左右。第三阶段，在第一轮在线协作学习活动结束后，研究者采用研发的一致性计算方法分析第一轮在线协作学习设计与实施的一致性，并根据分析结果优化第一轮在线协作学习设计方案，为第二轮活动做准备。第四阶段，另邀请45名大学生也以3人为一组在不同时间和地点开展第二轮在线协作学习活动。在线协作学习的主题、任务、持续时间等方面均与第一轮相同，但在第一轮的基础上对协作学习的任务、交互策略、资源和评价进行了优化。第五阶段，分析第二轮在线协作学习设计与实施的一致性，并计算两轮一致性的差异及其与在线协作学习效果的关系。
3.数据收集与分析方法
本研究采用准实验的方法收集共计30个小组的在线协作学习活动数据。数据源包括30个小组的在线协作学习记录和作品。在计算一致性结果前，需要对30个小组的在线协作学习讨论记录进行深入分析。这里采用的分析方法包括笔者提出的基于信息流的协作学习分析方法和内容分析法，主要用于在线协作学习设计与实施一致性的量化评估，以及协作学习效果的评价。
（1）在线协作学习设计与实施一致性的量化评估方法
在线协作学习设计与实施一致性的量化评估方法主要包括三个步骤：第一步，确定同时适用于分析设计方案与实施过程的编码体系和方法；第二步，对设计方案与实施过程采用既定的编码体系进行编码与分析；第三步，开发特定的量化指标和算法计算二者的一致性。在这三个步骤中，最关键的是开发一致性的量化评估指标。笔者认为，协作学习最核心、最重要的目标是提高学习者的协同知识建构水平、调节性学习的技能和参与程度。因此，可以从五个方面来计算在线协作学习设计与实施一致性，即目标知识点范围一致性、协同知识建构水平一致性、交互主题一致性、角色分工一致性和参与度一致性。其中，目标知识点范围一致性、协同知识建构水平一致性、交互主题一致性主要反映学习者的协同知识建构水平，角色分工一致性主要考察学习者的调节性学习技能，参与度一致性则反映学习者的参与程度是否符合教师的期望。另外，目标知识点范围一致性和协同知识建构水平一致性主要采用笔者提出的基于信息流的协作学习交互分析方法进行编码和分析。交互主题一致性、角色分工一致性和参与度一致性主要通过内容分析法进行编码和分析。具体指标的计算方法如下。
①目标知识点范围一致性
目标知识点范围一致性旨在衡量目标知识点激活广度的差异，即在线协作学习设计方案中激活的目标知识点与在线协作学习实施过程中激活的知识点范围的一致性。在线协作学习设计方案的目标知识点主要通过目标知识图计算得出，而在线协作学习实施过程中激活的知识点则需要借助于笔者提出的基于信息流的协作学习交互分析方法得出。该方法通过对在线协作学习交互过程中的信息流进行切分，进而生成每个小组实际激活的知识图，图中知识点的数量就是在线协作学习实施过程中激活的知识点的数量。
本研究借鉴Tversky相似系数（Tversky，1977）计算在线协作学习活动设计方案与实施过程在目标知识点范围上的一致性。Tversky相似系数强调可以通过两个事物共同拥有的属性占两个事物所有属性的比例来衡量相似性，计算方法见公式（1）所示。
公式（1）中的A 代表在线协作学习活动设计方案中包含的目标知识点，B代表在线协作学习活动实施过程中激活的目标知识点，f（A ∩B）则表示在线协作学习设计方案和活动实施过程中共同激活的目标知识点数量，f（A-B）表示在线协作学习设计方案中激活而实施过程中没有激活的目标知识点数量，f（B-A）表示在线协作学习实施过程中激活而设计方案中没有激活的目标知识点数量。S为目标知识点范围一致性。若S在0~0.3间，则表示目标知识点范围一致性水平较低；若S在0.3~0.8间，则表示中度一致；若S＞0.8则表示在线协作学习活动设计方案与实施过程的目标知识点范围高度一致。
②协同知识建构水平一致性
协同知识建构水平一致性旨在衡量教师预期的协同知识建构水平与学习者实际达到的知识建构水平的差异。一致性越高，协同知识建构水平也越高。教师预期的协同知识建构水平主要通过目标知识图表征。学习者实际达到的协同知识建构水平主要通过基于信息流的协作学习交互分析方法计算得出。该方法包括三个步骤，即绘制目标知识图、切分信息流和计算信息流的属性（激活量并生成带有激活量的知识图）。因此，协同知识建构水平一致性相当于比较目标知识图与学习者实际生成的知识图之间的一致性。具体计算方法如公式（2）所示（崔盼盼等，2018）。
公式（2）中，R代表目标知识图与学生实际生成的知识图正确命题链匹配的得分，W代表学生实际生成的知识图中新增的正确命题链得分，D代表断裂命题链得分，Y代表遗漏的命题链得分，F代表错误的命题链得分，Z代表目标知识图中包含的命题链总数。G为协同知识建构水平一致性。若G在0~0.3间，则表示协同知识建构水平一致性较低；若G在0.3~0.8间，则表示协同知识建构水平中度一致；若G＞0.8则表示协同知识建构水平高度一致。
③交互主题一致性
在线协作学习过程中学习者具有很高的自由度，因此可能发生跑题、偏题的现象。交互主题一致性主要考察教师预期的交互主题是否与学习者实际的交互主题一致，如果一致则表示学习者没有跑题、偏题。借助交互主题一致性能够深入考察学习者在交互主题方面的聚焦程度。本研究利用Deza等人（2009）提出的余弦相似度来计算交互主题一致性，计算方法见公式（3）。
公式（3）中，X代表在线协作学习设计方案中每个任务主题的词频向量，Y代表在线协作学习实施过程每个任务主题的词频向量，X·Y表示向量X与向量Y的点乘。T为交互主题一致性。若T取值在0~0.3之间，表示交互主题一致性较低；若T取值在0.3~0.8表示中等一致；若T超过0.8则表示交互主题高度一致。
④ 角色分工一致性
为了更好地评价在线协作学习设计与实施的一致性，本研究开发了角色分工一致性的计算方法，旨在衡量学习者是否按照教师预期的角色职责履职。研究在设计在线协作学习活动方案时，设计了小组长、信息搜索者和监控者三种角色，根据角色职责构建学习者角色分工的编码。小组长的职责包括分配任务、发起话题、提出问题、解决冲突、解释观点、协商调节；信息搜索者的职责包括询问需求、搜索信息、整理信息；监控者的职责包括监控进程、控制进程、批判质疑。两位研究者对每个小组参与协作学习的角色分工情况进行内容分析和编码，最后计算一致性。本研究通过计算在线协作学习活动设计方案与活动实施过程角色职责的相似度来计算角色分工的一致性，计算方法见公式（4）所示。
公式（4）中，f（A1）、f（A2）、f（A3）分别表示在线协作学习设计方案中小组长、信息搜索者、监控者承担职责的数量，f（B1）、f（B2）、f（B3）分别表示在线协作学习活动实施过程中小组长、信息搜索者、监控者实际承担职责的数量，公式中的f（A1∩B1）、f（A2∩B2）、f（A3∩B3）分别表示在线协作学习方案与实施过程中小组长、信息搜索者、监控者承担的共同职责的数量。R为角色分工一致性。若R在0~0.3之间，表示一致性较低；若R在0.3~0.8间表示中度一致；若R＞0.8则表示高度一致。
⑤参与度一致性
在线协作学习参与度一致性旨在衡量教师预期的参与度与学习者实际参与度的差异。差异越小，一致性越高。本研究的参与度包括认知与元认知层次的参与程度，其中认知层次的参与度主要体现在学习者进行识记、理解、应用、分析、评价和创造等方面；元认知层次的参与主要表现在协作学习中设定目标、制定计划、实施策略、监控协调、反思与评价等方面。研究者首先根据编码表对交互文本进行分析，然后计算参与度一致性，具体见公式（5）。
公式（5）中，t1表示认知层次参与的在线交互文本总数，t2表示元认知层次参与的在线交互文本总数，T表示所有在线协作学习交互文本的总数，f（A）表示在线协作学习设计方案中认知层次参与种类的数量，f（A1）表示在线协作学习实施过程中学习者所表现的认知层次参与种类的数量，f（B）表示在线协作学习设计方案中元认知层次参与种类的数量，f（B1）则表示在线协作学习实施过程中学习者所表现的元认知层次参与种类的数量。E为参与度一致性。若E在0~0.3间，则表示一致性较低，学习者没有积极参与；若E在0.3~0.8间，则表示参与度中等一致；若E＞0.8则表示一致性很高，学习者积极参与。
（2）协作学习效果的评价
本研究对在线协作学习效果的评价主要通过参与在线协作学习后生成的小组作品的成绩衡量。每个小组在协作学习结束时需要提交小组作品，每个小组的作品都是围绕协作学习任务的解决方案，成果形式为Word文档。笔者制定了如表2所示的量规来评价所有小组的作品。每个小组的作品均由两位研究者独立评判。
（3）研究信度
本研究用Kappa统计值来衡量两位研究者在在线协作学习作品得分、知识点总激活量、知识点范围、知识建构水平、交互主题、学习角色分工、参与度方面编码的一致性。其中，在线协作学习作品的评分者信度为0.88，其余的都在0.9以上，具有很高的信度。对于个别不一致的地方，由两位研究者进行商讨后确定最终结果。
1.在线协作学习设计与实施一致性的分析结果
（1）第一轮一致性分析结果
本研究对第一轮在线协作学习设计方案、在线协作学习实施过程的交互文本采用前文所述的方法进行深入分析，得到第一轮一致性结果，如表3所示。进一步计算5个指标的平均值和标准差，结果发现，目标知识点范围一致性最高（M＝0.77，SD＝0.08），其次是交互主题一致性（M＝0.52，SD＝0.13）、协同知识建构水平一致性（M＝0.48，SD＝0.23）、角色分工一致性（M＝0.47，SD＝ 0.11），参与度一致性最低（M＝0.33，SD＝0.13）。这说明学习者激活的目标知识点范围较广，与预期中度一致，但是协同知识建构水平较低，处于浅表层次，亟待提升。交互主题呈现中度一致，因此小组在协作学习过程中交互还不够聚焦，出现了跑题、偏题的现象。在角色分工方面，学习者在协作学习过程中没有充分尽到职责、小组实际分工和履职不到位，需要进一步优化。就参与程度而言，学习者的参与度总体偏低，认知和元认知层次的参与度都不高。
（2）优化过程及策略
从第一轮在线协作学习设计与实施一致性的分析结果可以发现，除目标知识点范围一致性较高之外，其他4个指标的一致性都很低。因此笔者对这15个主题第一轮的在线协作学习活动设计进行深入反思，发现导致在线协作学习设计和实施不一致的原因主要在于很多设计要素没有落实，比如时间分配不合理、任务完成度不高、履职不到位、学习资源没有充分利用、缺乏反思与评价等。为了进一步提升一致性，研究进行了五方面的优化：
第一，优化在线协作学习任务。根据第一轮结果可以发现，学习者的协同知识建构水平一致性较低并出现了跑题、偏题现象。为此，研究在设计第二轮的协作学习任务时，明确指出了任务的目标、情境、要解决的问题、完成任务的先后顺序、重难点任务、时间分配、任务成果要求和评价标准等。通过对协作学习任务的细化，促使学习者提升协同知识建构水平和交互主题的一致性。
第二，准备充分的学习资源。这不仅包括完成任务必备的学习资源，如与任务相关的文献资料、案例、作品等，还包括各类认知和元认知类脚手架。认知类脚手架包括对重要和疑难知识点进行解释、提醒等，另外还提供相关的思维导图以帮助学习者总结已有知识。元认知类脚手架包括在协作学习开始前进行培训，帮助学习者掌握一定的社交技能、解决冲突的技巧，以及对协作学习过程进行监控和评价的策略等。
第三，明确角色分工和履职要求。由于第一轮很多小组没有完成分配角色的既定职责而导致角色分工一致性很低。为此，第二轮在线协作学习活动设计在原本的角色职责上，增加了角色描述、角色提示、角色履职要求等；在实验开始前请每个小组讨论角色分配、明确个体职责，并且指定监控者在协作学习过程中实时监督每种角色的执行情况。
第四，设计多样的交互策略。由于第一轮在线协作学习仅仅设计了一种互动策略，学习者容易疲劳和倦怠。为了激发学习者的积极性并主动进行知识建构，第二轮在线协作学习活动设计增加了头脑风暴、辩论争论、切块拼接、互采互访等多样化的交互策略，一方面增加学习者的参与度，另一方面也促进知识建构，减少跑题、偏题的现象发生。
第五，采用多种评价方式。第二轮在线协作学习活动设计增加了过程性评价、同伴互评和奖励机制，即要求学习者在协作学习过程中对小组作品进行过程性评价、同伴互评和反思，发现不足与问题并及时改进，活动结束后再次进行组内的总结性评价，对作品再次改进与完善，最后提交。另外，第二轮在线协作学习活动还制定了奖励机制，对优秀的小组给予奖励，比如得分较高的同学会得到更多的奖励金，并具有后续活动报名的优先权等。
（3）第二轮一致性分析结果
根据第一轮一致性的分析结果并采用上述的策略对在线协作学习设计方案进行优化后，研究开展了第二轮的在线协作学习。根据5个一致性指标的计算方法，计算得出第二轮在线协作学习设计与实施的一致性，结果如表4所示。从表4可以看出，第二轮的目标知识点范围一致性（M＝0.92，SD＝0.07）、协同知识建构水平一致性（M＝0.80，SD＝0.14）、交互主题一致性（M＝0.82，SD＝0.13）、角色分工一致性（M＝0.76，SD＝0.10）、参与度一致性（M＝0.56，SD＝0.19）与第一轮相比，均有提升。
2.在线协作学习设计与实施的一致性与学习效果的关系
（1）两轮一致性及学习效果的差异
为了进一步检验两轮实验结果在统计学上的差异，研究对两轮在线协作学习设计与实施的一致性进行了配对样本T检验，结果如表5所示。从表5可以发现，无论在目标知识点范围一致性（t＝6.574，p＝0.000）、协同知识建构水平一致性（t＝4.899，p＝0.000）、交互主题一致性（t＝8.832，p＝0.000），还是角色分工一致性（t＝6.810，p＝0.000）以及参与度一致性（t＝5.661，p＝0.000），第二轮比第一轮均有显著提升。另外，通过对两轮在线协作学习的学习效果进行配对样本T检验（如表6所示），结果发现参与第二轮在线协作学习的学习效果也显著优于第一轮（t＝3.846，p＝0.002）。
（注：**p＜0.01。）
（注：*p＜0.05，**p＜0.01。）
（2）一致性与学习效果的关系
为了深入分析在线协作学习设计与实施一致性与学习效果的关系，对15个主题、30组的一致性与其学习效果进行相关分析，结果如表7所示。从表7可以看出，目标知识点范围一致性（r＝0.876，p＝0.000）、协同知识建构水平一致性（r＝0.639，p＝0.002）、交互主题一致性（r＝0.046，p＝0.026）、角色分工一致性（r＝0.552，p＝0.002）及参与度一致性（r＝0.778，p＝0.000）与在线协作学习效果均呈显著正相关。这个结果意味着如果能够提升这五方面的一致性，则在线协作学习效果也能够显著提升。
第一，本研究系统构建了在线协作学习设计与实施一致性的量化评估方法，研发了目标知识点范围一致性、协同知识建构水平一致性、交互主题一致性、角色分工一致性、参与度一致性5个评估指标，分两轮对在线协作学习设计和实施的一致性进行评估并优化，结果发现：优化后的第二轮在线协作学习设计和实施的一致性以及学习效果均显著高于第一轮，且一致性程度越高，协作学习效果越好。可见，对在线协作学习设计与实施一致性的评估与优化，不仅可以改善在线协作学习的设计质量，而且可以提高在线学习效果，对促进教师专业发展和推进在线教育发展具有重要意义和价值。
第二，本研究提出的在线协作学习设计与实施的量化评估方法不仅克服了基于主观经验进行设计和优化的缺陷，而且基于数据驱动的策略使得设计和优化更加科学规范，从而实现“设计—实施—优化设计—再度实施”的良性循环。这种方法不仅能够提升一致性和学习效果，而且能够生成设计的技术性知识并切实提升教师的教学设计能力以及专业素养。
第三，本研究探索并论证了能够提升在线协作学习设计质量和一致性的5种优化策略，包括优化在线协作学习任务、优化学习资源、明确角色分工和履职要求、设计多样的交互策略、采用多种评价方式等。通过这5个维度的优化，不仅能够进一步提升协作学习的3个核心目标，即提升协同知识建构水平、调节技能以及参与度，而且能够提升设计与实施的一致性和学习效果。因此，要想提升在线学习的设计质量，教师和实践者需要不断优化在线学习活动的设计方案，通过对学习任务、交互策略、学习资源和环境、评价方式、激励机制等不断优化，并且评估一致性、反思不一致之处，然后不断对设计方案进行调整，进而提升设计与实施的一致性和学习效果。
本研究提倡以设计为中心的研究范式，关注设计与实施的一致性而非有效性，通过精准评估一致性并反思不一致之处从而发现教学设计中的缺陷，不断改进教学设计质量从而提高教学效果，这种研究范式和思路对于促进教师的专业发展具有重要价值。传统的基于设计的研究关注有效性，然而有效性是某种教育干预受当事人满意的程度，严重受制于情境，研究结论难以重复和推广（郑兰琴等，2014）。相比之下，一致性研究具有可重复性、可推广性、能够生成设计的技术性知识等优势。需要澄清的是，这里的一致性指的是设计要素在实施过程中的落实情况。只要设计要素与实施要素一致，那么设计就是成功的，因此并不苛求每个细节都做到一模一样。同时，由于实践情境的复杂多变，完全的一致是不可能的。因为无论对于教学系统还是协作学习系统，教师和学习者的生成性会临场涌现，这在设计过程中无法预知。如果这种生成性能够推动教学目标的实现，则由此产生的不一致性完全可以接受；如果生成性阻碍了教学目标，则教师需要反思并分析产生不一致的原因，并据此进行教学设计的优化。
本研究也存在不足之处。首先，收集的样本量不大，未来研究需进一步扩大研究样本，探索提升设计与实施一致性的其他策略。第二，本研究对一致性与学习效果关系的研究结论还需要在其他情境中进一步检验。第三，本研究对一致性的分析尚未实现自动化，未来将进一步探索实时分析一致性的技术，从而为学习者提供个性化的反馈，也为教师实时干预提供强有力的支撑。
参考文献：
[1]崔盼盼,郑兰琴(2018).协作学习活动设计质量评估方法的个案研究[J].现代教育技术,28(10):64-69,106.
[2]何文涛(2018).协作学习活动的结构化设计框架[J].电化教育研究,(4):73-79.
[3]卢群,刘恩山(2012).高中生物学教科书与课程标准的一致性研究——以人民教育出版社和浙江科技出版社教科书为例[J].课程·教材·教法,(5):75-82.
[4]马志强(2012).问题解决在线学习活动设计与应用的实证研究[J].中国电化教育,(12):41-46.
[5]田爽,郑兰琴,杨开城等(2017).教学设计方案与实施过程一致性的实证研究[J].电化教育研究,38(3):104-109.
[6]杨开城(2013).DBR与DCR 哪个才能架起教育理论与实践之间的桥梁[J].电化教育研究,34(12):11-15.
[7]杨开城,张媛媛(2015).基于IIS图分析的教案质量评估指标体系的构建[J].中国电化教育,(1):124-130.
[8]余亮,黄荣怀(2012).协作学习活动结构设计研究[J].远程教育杂志,30(5):74-81.
[9]袁令民(2013).物理高考与内容标准的一致性研究[D].重庆:西南大学.
[10]袁梦霞,俞树煜,聂胜欣等(2017).促进批判性思维发展的在线学习活动角色设计[J].现代远距离教育,(2):76-82.
[11]郑兰琴(2015).教学设计与实施一致性分析的个案研究[J].现代远程教育研究,(3):95-103.
[12]郑兰琴,杨开城(2014).为什么要研究一致性而不是有效性?[J].中国电化教育,(9):20-23,33.
[13]郑兰琴,钟璐,牛佳玉(2020).联结在线协作学习设计与分析模型及应用研究[J].电化教育研究,41(11):63-71.
[14]Cerro Martínez, J. P., Guitert Catasús, M., & Romeu Fontanillas, T. (2020). Impact of Using Learning Analytics in Synchronous Online Discussions in Higher Education[J]. International Journal of Educational Technology in Higher Education, 17(1):17-39.
[15]Deza, M. M., & Deza, E. (2009). Encyclopedia of Distances[M]. Berlin Heidelberg: Springer:103-126.
[16]Fu, Q.-K., & Hwang, G.-J. (2018). Trends in Mobile Technology-Supported Collaborative Learning: A Systematic Review of Journal Publications from 2007 to 2016[J]. Computers & Education, 119:129-143.
[17]Gu, X., Shao, Y., & Guo, X. et al. (2015). Designing a Role Structure to Engage Students in Computer-Supported Collaborative Learning[J]. Internet and Higher Education, 24:13-20.
[18]Guiter, G. E., Sapia, S., & Wright, A. I. et al. (2021). Development of a Remote Online Collaborative Medical School Pathology Curriculum with Clinical Correlations, Across Several International Sites, Through the Covid-19 Pandemic[J]. Medical Science Educator, 31(2):549-556.
[19]Hasan, H. F., Nat, M., & Vanduhe, V. Z. (2019). Gamified Collaborative Environment in Moodle[J]. IEEE Access, 7:89833-89844.
[20]Lan, Y.-F., Tsai, P.-W., & Yang, S.-H. et al. (2012). Comparing the Social Knowledge Construction Behavioral Patterns of Problem-Based Online Asynchronous Discussion in E/M-Learning Environments[J]. Computers & Education, 59(4):1122-1135.
[21]Martone, A., & Sireci, S. G. (2009). Evaluating Alignment Between Curriculum, Assessment, and Instruction[J]. Review of Educational Research, 79(4):1332-1361.
[22]Osipov, P. N., & Ziyatdinova, J. N. (2015). Collaborative Learning: Pluses and Problems[C]// 2015 International Conference on Interactive Collaborative Learning (ICL). IEEE:361-364.
[23]Pozzi, F. (2010). Using Jigsaw and Case Study for Supporting Online Collaborative Learning[J]. Computers & Education, 55(1):67-75.
[24]Reeves, T. C., Herrington, J., & Oliver, R. (2004). A Development Research Agenda for Online Collaborative Learning[J]. Educational Technology Research and Development, 52(4):53-65.
[25]Salmon, M. H. (1977). Consistency Proofs for Applied Mathematics[M]// Salmon, W. C. (Eds.). Hans Reichenbach: Logical Empiricist[M]. Springer, Dordrecht:301-312.
[26]Shin, Y., Kim, D., & Jung, J. (2018). The Effects of Representation Tool (Visible-Annotation) Types to Support Knowledge Building in Computer-Supported Collaborative Learning[J]. Educational Technology & Society, 21(2):98-110.
[27]Tversky, A. (1977). Features of Similarity[J]. Psychological Review, 84(4):327-352.
[28]Wang, C., Fang, T., & Gu, Y. (2020). Learning Performance and Behavioral Patterns of Online Collaborative Learning: Impact of Cognitive Load and Affordances of Different Multimedia[J]. Computers & Education, 143:103683.
[29]Wang, S.-M., Hou, H.-T., & Wu, S.-Y. (2017). Analyzing the Knowledge Construction and Cognitive Patterns of Blog-Based Instructional Activities Using Four Frequent Interactive Strategies (Problem Solving, Peer Assessment, Role Playing and Peer Tutoring): A Preliminary Study[J]. Educational Technology Research & Development, 65(2):301-323.
[30]Webb, N. L. (1997). Criteria for Alignment of Expectations and Assessments in Mathematics and Science Education[J]. Academic Achievement, 1(11):1-46.
[31]Webb, N. L. (1999). Alignment of Science and Mathematics Standards and Assessments in Four States[M]. Washington, DC: Council of Chief State School Officers:11-19.
[32]Zhang, S., Liu, Q., & Chen, W. et al. (2017). Interactive Networks and Social Knowledge Construction Behavioral Patterns in Primary School Teachers’Online Collaborative Learning Activities[J]. Computers & Education, 104:1-17.
欢迎转载，开白请联系18980806833（微信号）