【MOOC透视】在MOOC中运用学习分析的益处、坏处及可能失败
【总第19期】评价MOOC中运用学习分析效果
在MOOC中运用学习分析的益处、坏处及可能失败
说明：上周我们译介了奥地利Mohammad Khalil等人的文章《用聚类分析方法勾勒MOOC学习者众生相》，今天我们再译介一篇Mohammad Khalil与另外两位学者撰写的评价MOOC中运用学习分析效果的文章（发表于2016年国际教育与创新会议）（译文有删节），供参考。
原文
ENGAGING LEARNINGANALYTICS IN MOOCS: THE GOOD, THE BAD,
AND THE UGLY
作者：Mohammad Khalil, Behnam Taraghi & Martin Ebner
Educational Technology, Graz University of Technology(Austria)
简介
一般来说，MOOC课程主要采用视频演讲、多选题测验或同伴评价、论坛讨论和文档等形式进行。课程通常每周推送一期，要求学生在该周内完成学习。此外，学生要完成一定量的作业，并在论坛或社交媒体上分享或讨论他们的观点。一些老师还会不断张贴一些问题，并与学生保持联系，从而创造一种存在感。然而，不断有研究和报告指出MOOC学习存在完成率低、缺乏互动、难以对学习者给予持续激励等问题，甚至还在学习者中发现有玩弄学习规则的人。因此，挖掘学生在远程学习环境中的活动数据，从而使教育者和研究人员了解学习行为，寻找激励对策，逐渐受到关注。
近来教育大数据概念受到关注。有两个研究领域致力于发现教育活动数据的意义：教育数据挖掘和学习分析。
本论文着重讨论学习分析，特别是讨论在MOOC中运用学习分析的潜力、局限乃至负面影响。该研究基于作者过去几年中对奥地利MOOC学习领军平台iMooX实施学习分析和战略规划的经验。
在MOOC中应用学习分析的潜力（益处）
分析在线学习环境中的学生数据，从而揭示隐藏的模式，发现行为范式，被称为学习分析。2011年，学习分析和研究协会将之定义为 “对与学习者相关的数据的测量、收集、分析和报告，目的是理解和优化学习及其所发生的环境。”
近年来已有很多学者利用学习分析技术研究MOOC学习及其环境。针对2013-2015年间发表的学术论文的统计分析还表明：与学习分析和MOOC两个主题均相关的论文在同期的谷歌学术(http://scholar.google.com)上被引用率最高。
像MOOC这样的在线远程学习环境提供了丰富的知识挖掘机会。通过学生记录鼠标点击、论坛活动、测验表现、注册频率、花在作业上的时间，以及跟踪其与视频的交互情况，研究人员可以建立大量的数据日志。这些信息数据库，如果解释得当，就能帮助从计算机科学、教育学到统计学，以及机器学习等多个领域的研究人员，为学习者成功学习提供一些干预措施。
在MOOC中学习分析的益处可以说是无限的，主要有：
预测：这是学习分析和教育数据挖掘最受欢迎的目标之一。用相关技术可预测一个学习者何时可能会辍学。通过分析该学生的行为、考试表现，以及观看视频时的跳过情况，就能做到这一点。存贮了大量之前学生的学习活动记录后，就能帮助研究人员预测未来的活动，例如，预测辍学率，或发现处于辍学风险中的学生；还可以预测学生的成绩和学习动机。观看课程视频或在讨论区中活动的预测，也可以通可操作得。
推荐：挖掘MOOC平台上的活动可用于推荐目的。例如，MOOC课程提供者会基于学生之前选学的课程来推荐学习材料。同时，推荐还可用于鼓励学生在论坛中回答特定的问题。
可视化：通过学习分析，跟踪之前提到的学习活动，就能建立大量记录，并进行可视化。通过可视化的方式分析数据，使研究人员可以揭示隐藏的模式，并向MOOC参与者提供反馈和反思。
娱乐：游戏工具已经被认为是一种重要的学习分析技术。调查表明，游戏能使MOOC上的学习更有趣，从而增加学习意愿，提高学业完成率。像徽章、奖励点、进步条或彩色刻度等，都属于此类工具。
标杆管理：标杆管理法是一种学习过程，它利用学习分析评价课程、视频、作业，以及MOOC平台的可获得性。 因此，我们可以识别在线学习的困难和弱点，相应地，就可以产生建设性的反馈，以改进教育。
个性化：学习者可以塑造他们在MOOC上的学习体验。开发人员通过不同类型的学习分析技术，可以在MOOC平台上建立一套个性化选件。例如，学生可以标识其最喜欢的视频段落，或为一篇文章做书签。此外，他（她）还可以为视频定制通知，或加注释。
增强参与度： 参与度近来已经成为MOOC研究中一个非常吸引人的题目。通过数据挖掘技术进行学习分析，如聚类分析，可以将学习者按照视频互动程度、完成作业或测验表现等进一步划分为有近似行为特点组群，从而可以根据各群的不同学习需求设计特定学习策略或提供帮助。
交流信息：学习分析涉及从各种来源采集信息并进行处理，这就可以将相关信息以统计分析的形式进一步通报给MOOC平台的各利益相关方。例如，类似于网页分析，学生可以查看他们的学习活动，评论一般统计信息，而老师和决策者们可以利用那些描述性的统计信息形成关于MOOC的总体认识。
节省费用：由于学习分析提供了数据分析工具，因而就打开了更广阔的考试服务方式，能够更好地判断MOOC课程的弱点，从而使决策者更有效地分配资源。
在MOOC中运用学习分析的弊端
尽管事实表明将学习分析运用与教育数据流已经取得了一些收益，但最近也有研究指出了其会引发的不利方面，主要是大规模的数据采集和处理使得学习分析引发隐私权和道德方面的担忧。主要有：
安全问题：学习分析应用程序中的数据库中存贮的学生记录，涉及学生的核心私人信息。因此，确保数据库安全不仅仅受到有关组织的关注。毕竟机密信息泄露的事是有可能发生的。
隐私问题：学习分析会泄露学习者的个人信息。MOOC数据库中存有大量敏感信息，如邮件地址、姓名或地址等。私人信息因而被视为学习分析的风险和限制。也有研究者提出了一些解决方案，如采用匿名方式、加密或提高使用权限等。
所有权：人们关注MOOC上被分析的数据所有权归谁？学习者希望他们的个人信息是机密的，当然一定程度的权利让渡也为确保透明度所必须。人们希望MOOC提供者删除或不去刻意识别其平台上的学习者个人信息。但MOOC提供者并不总是清晰说明将如何使用其所掌握的学习者信息，是否会提供给研究机构使用，甚至卖给第三方。
透明性：当学习分析用于教育数据集时，秘密处理过程可能会隐藏一些不公正的决策。出于同样的原因，当对MOOC运用学习分析时，提供者应公开他们采集、分析和使用学习者数据的方式。同时，应当注意找到一个平衡点，确保学习分析算法或工具是恰当的。
存储：由于MOOC向公众开放，一门课程可能吸引来成千上万的学生。存储和管理这些大数据的成本是高昂的，技术也是复杂的。
MOOC中运用学习分析的可能失败（丑陋）
学习分析中所用的数据质量十分关键。当数据记录中有不完整的片段或受污染的信息时，学习分析就可能受到很大影响，甚至得出错误结论。而且，对学生在在线学习的总体评价，并不能仅通过其在MOOC上留下的踪迹来获得。那么能否确定学习分析结果的正确性？准确性又如何呢？
这里我们列举几种在MOOC上运用学习分析可能产生的最糟糕的结论。
假正。如果分析者基于小数据集匆忙进行判断，就可能得到“假正”的结果。相应地，后续决策的准确性也会受到影响。例如，如果一个群组中的学生都是玩弄规则的人，分析者基于MOOC上完成课程的总人数建立预测模型，就会诱发一个“假正”判断。事实上，学习分析不仅基于数据和统计，研究者的判断和意见也扮演很重要的角色。例如学生在论坛中的活跃程度与成绩的关联性。一些研究者认为在论坛中活跃度与其学业成绩呈正向关系，另一些学者则持相反意见。由此可见，学习分析的结论并不总是准确的。
错误分析。学习分析可能会失败，所以，错误的干预或预测也就会发生。失败可能源自分析循环的主过程，也可能源自错误的数据采集、处理或过滤，以及错误的干预策略等。另外，在将分析结果以可视化方式呈现时，也可能发生偏差。可视化是报告信息的一种重要方式，但用3维图形显示的结果对最终用户（学生、老师、决策者）也有一定的欺骗性。错误分析可能是意外造成而非有意的，但基于错误分析而对数据进行阐释，对MOOC的不同利益相关方来说则是危险的，对MOOC商业来说是不经济的。由于滥用学习分析工具而造成错误的分析，不仅损害研究者的声誉，也浪费了其时间和精力。
偏见。学习分析虽然具有预测和建议的重要作用，它也能解决像论坛中的讨论积极性与学业成绩之间，或观看视频与通过MOOC考试之间关系的一些假设。但所谓“从采集到的数据能感觉到”，实际上返回的是研究者或决策者的主观意愿。这种导向一个特定的假设和要证明一个理论的内在决心，通常会导致带有偏见的学习分析。
有意义的数据。有研究指出，学习分析通常会得出定量研究结果，但还需要用定性方法解释重要结果的意义。如果学习分析不能提取出有意义的数据，则表明这一分析是失败的和浪费时间精力的。有研究指出判断数据有无意义的两个依据：采集到的数据是否对于提高或改变教育毫无影响；是否有数据毫无意义的证据，如缺少关于获得这些有意义信息将去测度什么的说明。
结论
学习分析提供了各种工具，可用于优化学习。本文评论了在MOOC中运用学习分析的原则，讨论了其能力（益处）、困境（坏处）和及可能的失败（丑陋之处）。
图1：在MOCC中运用学习分析的益处、坏处和可能的失败
文章来源：https://www.researchgate.net/publication/305881181