基于MOOC+SPOC模式的学习效果评价模型研究

0 引 言

近年来，以MOOC+SPOC为代表的互联网教学模式逐渐兴起并为教育界所接受，该模式通过短视频网络在线学习、翻转课堂、在线互动讨论、视频回看等手段，有效解决了学习受时间、空间、师资等方面限制的问题。重复观看视频、随时随地在线互动讨论以加深课程内容的理解，有效弥补课堂教学的不足。同时，课堂教学技术结合MOOC+SPOC，加强与学生的互动和深度交流，可起到宽度教学与深度教学相结合的效果，宽度教学由视频完成，深度教学则由课堂教学来实现，如此可有效保证教学质量的提升^[1]。

然而，在基于MOOC+SPOC的教学研究过程中，教育界对MOOC的研究大都集中在服务体系方面，比如MOOC设计、MOOC制作、MOOC上线、MOOC使用等，如中国大学MOOC团队开展的MOOC服务研究；或者针对MOOC课程本身进行评价，如文献[2]开展的“在实践中探索MOOC评价体系”，提出了一个MOOC课程建设的评价体系；而针对MOOC这种教学模式开展的学生学习效果评价机制却较少有系统性的研究。2016年，在高等教育出版社举办的“中国大学MOOC——大学计算机基础”课程研讨会上，西北农林大学的陈勇教授团队提出了一个“课程多元化考核机制与探索”课题，引起了与会者极大兴趣，该模式使用了线上线下、课内课外多种考核指标集成学生的最终考核成绩的方式，并大胆提出“期末考试的部分将逐渐取消”。该模式可行性强，且具有合理性和创新性，但其在指标权重分配上使用了诸如“50%，20%……”这样的模糊定义，且对于如何精选量化指标、每个指标权重如何分配、总评分数如何合成、总评成绩的区间如何界定等，缺乏有效的计算方法和科学界定。

因此，如何采用合理、科学、创新、量化的评价手段反映学生学习过程的每个环节，充分发挥MOOC+SPOC作用，有效提升教学效果，是当前教学评价领域急需解决的问题之一。基于上述问题，依据MOOC+SPOC教学模式的特点，笔者提出了一个关注学习者过程性评价的量化模型，并给出了详细的构建方法。

1 基于MOOC+SPOC模式的学习效果评价模型构建

1.1 模型概述

传统的教学评价过于关注结果，已经不适应网络化社会、终身教育和教育改革深化的需要，而过程性教学评价，在关注结果的基础上，更注重评价对象的成长发展过程，在教学过程中给予多次评价机会，有利于师生的自我教育和终身教育、有利于改善评价者和被评价者的关系、有利于反映教学的整体状况和个性特色，是一种促进教育改革深化的新评价模式^[3]。因此，过程性教学评价特别适合基于MOOC+SPOC模式的教学模式。

模型实施过程如图1所示。

1.2 指标体系的构建

首先，不同的学科、不同的课程，其评价标准是不一样的，比如“大学英语”的过程性教学评价要求的是听说读写能力，而“计算思维（大学计算机基础）”则注重计算思维、算法设计和实践能力，不同的课程需要不同的评价指标体系，这项研究是一个长期的、持续的系统工程，需要投入大量的人力物力。其次，评价指标应能在不同方面反映高等教育教学体系的发展目标、教育水平和教学效果、社会价值等特点。最后，评价指标的设置还要充分考虑MOOC+SPOC教学的特点以及实现的可行性。因此，需要广泛收集资料、不断研究实践，从而构建出科学性、可操作性较强的过程性教学评价指标体系，为过程性教学质量评价提供有力支撑。

根据过程性评价的要求，评价过程需要贯穿整个教学，所以笔者把评价过程分为前置性评价、形成性评价、终结性评价3个阶段。前置性评价在教学活动之前进行，主要评价学习的预备工作；形成性评价是在学习活动过程中进行的评价，目的是获取反馈信息，及时调整和改进学习活动；总结性评价则是在学习活动完成后进行的评价，目的在于对这一活动的结果进行反思和总结。这3个指标作为一级指标定义为(V1,V2,V3)，然后再根据一级指标定义的活动范围寻找二级指标，定义为｛(V11,V12,…,V1i )，(V21,V22,…,V2j )，(V31,V32,…,V3k )｝，以此类推。

初选的指标还要进行进一步的优化，笔者采用的优化方法是德尔菲法：系统首先向有经验的教育专家发放有关初选指标的调查问卷，收集调查专家对问卷所提问题的看法，反复征询、归纳、修改，最后汇总成与专家基本一致的看法作为优选的结果。这种方法具有广泛的代表性，且具备可行性，较为可靠。

优选后的指标将被加入到评价指标数据库中。如前所述，评价指标既是动态的又是相对静态的，所以在评价模型中，使用数据库进行处理，数据库中只存储指标代码和指标名称，数据库管理员可以根据需求更改指标名称及指标描述，以此达到实时动态更新的目的。

以计算思维课程为例，通过对相关文献的研究，结合中国大学MOOC在线提供的默认指标体系以及课题组教学实践，笔者得到了表1中的16个最终评价指标。

1.3 指标权重的确定

笔者选择的方法是AHP法（层次分析法），AHP法的基本思想就是将组成复杂问题的多个元素权重的整体判断，转变为对这些元素进行“两两比较”，再对这些元素的整体权重进行排序判断，最后确立各元素的权重^[4]。评判矩阵的确定是通过发送问卷调查得到的专家打分，将每个专家评定的分值单独建立矩阵，通过一致性检验的矩阵作为有效评判矩阵。然后，将所有专家对该指标的评判权重求平均值，得到最终权重。以计算思维课程为例，笔者得到的指标权重见表2。

1.4 终评得分的合成

终评得分的合成方法是根据已经获得的指标体系权重值，结合评价主体的打分。首先对指标获得的分数进行标准映射，将其映射到标准区间[a~b]之间，即为学生的最终得分，然后计算各指标加权算术平均得到的平均数作为评价最终得分。该方法能够消除指标体系中各个指标的量纲不统一和性质各异的问题，通过求解综合得分作为评价教学状态的依据。

本模型定义标准映射区间为[0 ~10]，一次考试分数最大值为X_{max t}，最小值为X_{min t}，则学生的标准分数为

举例说明，一次考试全班的最高分为70分，最低分为10分，某生得分70分；另一次考试全班的最高分为90分，最低分为60分，该生得分为70分。这两次某生同样得分为70分，但标准化之后分数分别为10分和3.3分，这意味着学生的知识掌握能力相对较高或者较低，而不是绝对分值的高低。本项步骤对于评价模型来说是非常必要的，这是因为评价模型中不可避免地会引入大量主观因素及其他不可度量因素，仅靠分值高低来认定某学生属于哪个等级还不够准确，还要考虑其分值相对整个得分区间的位置来进行最后的评判。

接下来将每个过程性评价指标的得分乘以其权重值然后累加，得到每个评价指标的总得分。最后将每一指标加权平均求出综合指数，定义评价区间（表3）并由教师给出恰当评语。

2 模型实施——以计算思维课程为例

为了研究评价模型的有效性，笔者选取2013级、2014级电子与信息工程学院非计算机专业新生共16个班的“计算思维”课程开展针对该评价模型的满意度调查，具体实施情况如下。

2013级，未开设MOOC+SPOC课程，考核方式是传统考核方式，即平时成绩60%，期末成绩40%。平时成绩源于课堂教学，包含5次平时作业、课堂提问、出勤率。学期结束时，发放调查问卷，收集学生对评价机制的意见。

2014级，在中国大学MOOC网开设了“大学计算机——计算思维导论”SPOC专区作为辅助教学平台，该平台依托哈尔滨工业大学战德臣教授的MOOC教学平台开设，可以实现教师布置作业、提问、发起讨论、测试等多种教学形式，而学生凭借学号和密码登录“SPOC课堂”，则可实现诸如完成作业、回答问题、参与讨论、参与测试、发表话题等功能。这些活动的相应得分都被存入电子档案，作为过程性教学的评价数据。最后，在学期结束时，参照模型中学生评价的计算方法对学生打出期末总评成绩，并再次通过调查问卷的形式收集学生对评价的意见。评价实施过程分为3个部分。

2.1 数据来源

（1）中国大学MOOC——大学计算机基础——计算思维导论苏州科技大学SPOC课程，原始数据含学生昵称、真实姓名、学号、学校、成绩等级、测验分、作业分、考试分、讨论分、域外成绩分、成绩总分、原始分、老师调整分、作业互评、发帖、讨论、视频观看时长等，提取指标映射为本系统指标，如①V14——“学生昵称，真实姓名，学号，学校”能获得正确结果，表明该生能正确注册平台，完成选课，具备一定现代信息技术运用能力，可以获得该指标的相应分数；②V31——“测验”，考察学生专业知识掌握程度，直接从系统中获得。

（2）课堂控制，结合苏州科技大学上课实践，主要包含入学考试、微信签到、上课提问、课堂小作业、课堂讨论，映射为本系统指标V11、V21、V24、V25、V32。这部分的控制比较难，因为计算机基础课都是大班，约70人左右，通过上课提问记下每个人成绩较难实现。所以我们选用了“问卷星”平台，每学期开展5次左右的微信签到，5次左右的课堂讨论或者实时作业，通过“问卷星”平台发送微信链接，保证每个同学都能拿到10次课堂成绩，该成绩也计入评价体系。

2.2 数据转换

将数据转换为标准分，然后求每个指标的加权值并累加，得到求每个同学的最终评价分数。最后根据评价定义区间确定最终评价等级。

2.3 数据分析

关于计算思维课程的考核方式评价满意度调查如图2、图3所示。

从学生意见反馈来看，使用该模型后的评价满意率远超过未使用该模型的评价模式，不少学生反映说很喜欢这种评价方式，因为以前的评价就是由期末考试分数决定，一旦失误就要重修，一学期的辛苦学习就被一笔抹杀，有了这种方式，学习中的点点滴滴都能体现出来，应该说这是一种科学的评价方式。

从上述研究的结果来看，应用该模型得到的评价指数较好地反映了苏州科技大学高等教育教学中的实际情况，达到了预期的效果，表明该模型在教学评价中起到了积极的作用。

3 结 语

笔者所在课题组在2013年就开始了以“计算思维”为导向的大学计算机课程改革尝试，并于同年加入了哈尔滨工业大学战德臣教授的“基于MOOC+SPOC的教学改革”团队，在“中国大学MOOC”平台上，开设了2年的计算思维MOOC+SPOC同步课程。从理论研究、问题分析到教学实施方案的研制、试用、修订和完善，整个过程历时3年。在为期3年的教学研究和改革过程中，引入了“过程性教学”作为评价的基础理论，综合考察学习者的发展指标，设计了一套较为完整的指标考核体系，把评价过程分为前置性评价、形成性评价、终结性评价3个阶段，并应用统计学原理，提出了一个合理的基于MOOC+SPOC教学评价模型。

教学实践证明，该模型是科学、有效、可行的，希望能够给其他课程的教学改革提供一种新的思路。然而，在课题的研究中，我们也看到了这种评价模式存在的一些问题：①评价过程复杂，需要记录大量成长数据，这其中不可避免地需要引入大量的主观评价因素，不利于定量分析。②需要教师掌握较多有关教学评价的专业知识，能够确定测验、观察和评价的重点，制定和掌握适当的评价标准；需要教师和学生的有效互动。这意味着教师必须投入更多的精力在教学和学生身上，这对习惯了传统教学模式的教师来说是一种挑战。③实施改革还需要技术层面的支持，评价模型中数据的记录、采集、运算、决策，都需要计算机技术的支持，而目前笔者还是先取得数据，然后依据EXCEL进行合并、统计，工作量较大，所以必须利用可靠的软件设计、先进的编程技术开发出功能强大、操作简单、界面友好和稳定性强的计算机分析软件，才能被广泛应用于教学实践，这都需要进一步研究和探索。

基金项目： 江苏省高等教育教改专项研究重点课题（ 2013JSJG063）；苏州科技大学教学专项研究课题（2013JGM-09）；苏州科技大学天平学院教育教学改革重点研究课题（2015TJGA-01）；苏州科技大学教改研究课题（ 621541602）。

第一作者简介：张昭玉，女，副教授，研究方向为软件工程， [e-mail] 。

参考文献：

[1] 战德臣, 王浩. 面向计算思维的大学计算机课程教学内容体系[J]. 中国大学教学, 2014(7): 59-66.

[2] 冯雪松, 于青青, 李晓明. 在实践中探索MOOC评价体系[J]. 中国大学教学, 2015(10): 72-815.

[3] 谭红叶, 王文剑, 李茹. 计算思维和MOOC理念下的计算机导论课程[J]. 计算机教育, 2015(15): 46-49.

[4] 田汉族. 第三代教学评价理论: 交往—发展性教学评价研究[J]. 湖南师范大学教育科学学报, 2002(3): 21-27.

（完）

更多精彩：