生态系统观视角下的学习分析
点击蓝字关注我们
精选学术内容,让阅读更有价值
【刊载信息】保罗·普林斯路,莎伦·斯莱德,默罕默德·哈利勒. 2020. 生态系统观视角下的学习分析[J]. 肖俊洪, 译. 中国远程教育(4):1-11.
【摘要】 学习分析自从2011年出现以来,不管是作为一个研究重点还是实践领域,它一直在发展,从某种程度上讲已经成熟了。学习分析不但在增进我们对学生坚持学习和顺利完成学业的了解以及提高我们教学策略的效果等方面有巨大潜能,它还能帮助学生在更加知情的情况下做出选择。然而,学习分析在多大程度上影响学生学习?它在什么条件下能够充分发挥其潜能?这些问题引起一些关注。我们在这篇概念性文章中提出从生态系统观的角度理解学习分析,或是把它视为某一个生态系统的一部分,或是把它当成一个生态系统,这个系统由各种人为和非人为因素(行动者)组成,包含一系列相互交叉、常常互相依存且又是彼此一部分的变量。鉴于学习分析有提高学习效果的潜能,我们基于学习的社会批判视角提出学习分析的生态系统观。我们从机构和机构以外社会层面的微观、中观和宏观因素出发对学习分析进行阐述。学习分析的生态系统观不认为学生对自己的学习可以免责,而是更加细致入微地了解促成(或妨碍)学习发生的因素(行动者)。
【关键词】生态系统;学习;学习分析;社会批判模型;学生成功
一、
引言
有证据表明在高等教育领域学习分析自从2011年出现以来已经被制度化了(institutionalised)(Ferguson, 2012; Gaševi, Dawson, & Siemens, 2015),但是它对改进课程计划和教学法的影响以及最终对学生成功的影响却仍然没有定论(Ferguson, et al., 2016; Ferguson & Clow, 2017; Kitto, Shum, & Gibson, 2018)。学习分析的实施可能受到各种因素的影响(比如:Leitner, Khalil, & Ebner, 2017; Lonn, McKay, & Teasley, 2017; Scheffel, Drachsler, & Specht, 2015)。有研究者指出:“(学习分析)干预据称是学习分析的最大挑战,目前尚未得到广泛推行”(Wong & Li, 2019, p.1),除了其他方面的挑战以外,成功实施学习分析所面临的挑战还包括其干预不具规模化和可持续性,牵涉太多可变因素,而且这些因素的相互交织也构成一个挑战(Wong & Li, 2019)。此外,从目前情况看,美国似乎是开展学习分析最多的国家,而鉴于“干预的效果可能会因人、因环境而异”,“今后的研究应该考虑环境多样性问题”(Wong & Li, 2019, p.10)。因此,虽然从研究和实践看,学习分析已经得到认可,我们仍然需要弄清楚它究竟带来“什么变化?为谁带来变化?”(Lim, et al., 2019),因为弄清此类问题很有意义。本文的目的不是为了分析有关学习分析效果的主张或谁最有可能是学习分析的受益者,而是研究学习分析在什么条件下可能会或不会产生影响。纵观教育技术发展史,大量证据表明机构因素影响技术的应用效果(比如:Lawrence & Tar, 2018)。
针对学习分析的影响、好处和用途的研究不在少数。本文是一篇概念性文章(conceptual article),把学习分析制度化和把成熟过程置于微观、中观和宏观因素的背景下进行分析。我们认为不管学习分析是作为一种现象、技术工具、研究重点或实践领域,生态系统观是理解学习分析对学习产生积极影响这方面复杂性的一种有用的启发式视角(Gaševi, Dawson, & Siemens, 2015)。学习分析的成功实施,除了其他方面的因素外,取决于如何做好以下几个方面的平衡,包括机构对学习和学习复杂性的理解、机构自身控制点(locus of control)的限制、学生对提示他们开展深度学习的反馈做出反应时面对的限制以及如何分配资源帮助被确定需要帮助的学生等方面的平衡。为了能够理解学习分析是由各种不同但又是重叠而且常常是彼此一部分的因素(行动者)构成的一个生态系统(的一部分),我们提出从机构层面看学习分析,探讨可能影响学习分析制度化的一些微观、中观和宏观机构因素。
学习分析指测量、收集、分析和使用学生数据,其目的不但是为了弄清和解释学习的复杂性,而且还是为了预测和指导更有效的学习。由此可见,学习这个概念是学习分析生态系统观的基础(Gaševi, Dawson, & Siemens, 2015; Siemens, 2013)。作为从机构层面看学习分析的概念基础,我们进一步把学习分析置于社会批判(socio-critical)视角下,从这个视角理解学生坚持学习、失败和成功这些问题(Subotzky & Prinsloo, 2011)。
下面首先简要区分学校事务分析(academic analytics)和学习分析(learning analytics),随后介绍苏博斯基和普林斯路(Subotzky & Prinsloo, 2011)提出的关于学生成功的社会批判模型,接着讨论影响发挥学习分析潜能的宏观、中观和微观的环境因素,最后提出生态系统观具有启发意义。
二、
学校事务分析与学习分析的区别
不管是传统高等教育还是远程开放高等教育,长期以来都在测量、收集、分析和使用学生数据以服务各种目的,比如分配资源、汇报的需要、战略和运作上的规划,以及分析招生和留住学生的经验。那么,现在有何变化呢?现在高等教育机构能够获得的学生数据不但数量越来越多、种类越来越多,而且数据的粒度更大,数据来源也更广泛(Prinsloo, Archer, Barnes, Chetty, & Van Zyl, 2015)。这些数据可以在学生办理注册时自动或直接以调查的方式收集(参见Kitchen, 2013)。随着收集的数据集越来越多,高等教育机构也越来越多地把教育数据用于更好地了解有效学习是如何发生的。数据挖掘原来是作为一种数据分析的方法出现的,目的是揭示数据所隐含的模式。教育数据挖掘则特别关注对数据挖掘和机器学习技术的研究,以更好地了解学生以及他们的学习环境(Ferguson, 2012; Papamitsiou & Economides, 2014)。
高等教育的分析往往分为学习分析和学校事务分析两类(Siemens & Long, 2011)。虽然两者可能用到相同数据集,但是其术语清楚地说明学生数据被用于不同目的。学校事务分析指在机构或国家乃至国际层面,即在中观或宏观层面使用课程、专业或学历/学位方面的学生数据(大多数是聚类数据),以满足监管要求(如申请拨款)、招生宣传、更为宏观地了解学习者情况(如统计全国学生基本信息)和教职员工工作情况管理等。
至于学习分析,从根本上讲旨在更加深入地揭示学生如何学习(Gaševi, Dawson, & Siemens, 2015),包括学生个体(微观)层面(如跟踪学生进步,提高完成率或预测完成率以主动提供支持服务)、模块或资格(中观)层面(支持课程计划设计,比如更好地实施评价考核或教学辅导策略以使学生顺利完成学业)和宏观层面(我们常常通过学习分析发现有辍学风险或特殊需要的学生,此时需要机构采取相应措施,必要时还要分配所需资源,帮助这些学生)。
学习分析有促进学习的潜能。然而,宏观层面的因素(不管是涉及机构还是学生)对这种潜能的影响却是一个可能被忽视但又可以从学习分析生态系统观的角度进行研究的问题。比如,学校事务分析把聚合数据报告给一些外部利益相关者(如为了争取拨款、认证和质量评估),但是如何分配支持相关学生所需的资源这些宏观层面的决定可能直接影响微观层面的问题(Prinsloo & Slade, 2017)。从生态系统观的角度了解各种独立但又是常常有重叠而且有时是彼此一部分的因素(行动者),有助于更好地弄清楚它们可能如何影响微观、中观和宏观层面学生数据的收集、分析和使用。进一步了解这三个层面如何收集、分析和使用学生数据,也可能有助于我们克服学习分析在机构的成功应用所牵涉的一些复杂问题。
三、
社会批判视角下的学习成功
学习和学习效果是学习分析的核心(Gaševi, Dawson, & Siemens, 2015)。有关高等教育学习效果的研究早已见诸文献,比如斯帕蒂(Spady, 1970)和丁拓(Tinto, 1975, 1988, 2006)的早期理论模型。虽然有关学生顺利完成学业的很多研究以这些模型为理论基础,但是它们也受到批评。有人认为这些模型过于强调学生的能动性和学生“适应”机构文化的责任(比如:Braxton, 2000),有人则认为这些模型反映的是北大西洋的地缘政治、认识论和社会现实,但其研究者却以为它们具有普适性(比如:Subotzky & Prinsloo, 2011)。大量已发表的研究聚焦独立的可变因素,忽视学生成功是他们的惯习(habitus)、资本、先前教育经历和生活世界这些微观因素和机构的特点、价值观、过程、资源和效率这些中观因素以及“机构以外的宏观政治和经济社会因素”(Subotzky & Prinsloo, 2011, p.179)相互交织的一种复杂、动态现象。我们将在下文提到,如果把学生的成功和失败看作是某些独立的因素单独造成的结果,那么这会严重影响学习分析的作用。教育应当被视为一个开放和递归的系统(Biesta, 2007, 2010),而且我们必须明白关联(correlation)与因果(causation)关系有很大不同。对学生方面和(或)机构方面影响条件的误解可能导致过分高估学习分析的解释价值。虽然有很多模型和框架试图解释影响学生成功的不同因素(行动者),苏博斯基和普林斯路(Subotzky & Prinsloo, 2011)提出的社会批判模型(socio-critical model)为了解学习复杂性提供了一个有用视角(见图1)。
图1 学生成功的社会批判模型(Subotzky and Prinsloo, 2011)
图1是苏博斯基和普林斯路(Subotzky & Prinsloo, 2011)社会批判模型的主要内容。处于中心位置的“学生历程”(student walk)以线性方式呈现学生从注册到成功毕业的整个过程。作者指出,虽然以这种形式呈现“学生历程”会导致人们以为这是一个线性模型,但是学生学习实际上并不是线性的。学习的“线性”观体现的是机构对学习的假设,而这些假设与学生如何在学习过程中取得进步的实际情况并不一致。
如图1所示,“学生历程”的主要推动者是学生和机构。与其他学生成功模型相比(比如:Spady, 1970; Tinto, 1975),社会批判模型还包含第三种因素(行动者)——影响学生和机构的社会大环境,即“影响条件”,包括可预测和不确定的影响条件。
苏博斯基和普林斯路(Subotzky & Prinsloo, 2011)从社会批判的角度阐述学生成功,他们的模型包含理解教与学复杂性和效果的一些关键构念。
(一)受制于环境的推动者:学生和机构
这个构念强调学生是有能动性的,不是无助的服务对象。但是,他们的能动性是由结构所决定和限制的,并受到他们的控制点(locus of control)和他们对控制点的理解所影响。比如,学生的决心和动力可能很大,但是也可能因他们的惯习或获取资源的机会而受到削弱。机构也一样。机构可能承诺提供高质量学习和学生支持服务,但是这些可能会受到政府拨款或学费收入的影响。此外,还有一些因素是机构无法控制的,比如制约或影响机构运作的政治和经济条件。因此,我们必须接受学生和机构的能动性受到限制和环境影响这个事实。两者的情景化意味着其“特质和行为受到他们的历史、地理、经济社会、文化背景和环境这些结构性条件的严重影响。然而,作为(学习)推动者,他们在这些限制性条件的范围内享有在追求成功的过程中培养、发展和转变自身特质的相对自由”(Subotzky & Prinsloo, 2011, p. 184)。必须指出,这个模型不同于先前的学生成功模型,因为它明确承认学生和机构的能动性和责任受到制约、有赖于环境和结构性条件。
(二)学生历程
苏博斯基和普林斯路(Subotzky & Prinsloo, 2011, p. 185)把“贯穿于学生学习过程每一步的学生和机构之间众多持续进行的交互”称为“学生历程”。必须再次指出,虽然图1把学生历程显示为线性,但是这个线性观代表的很可能是机构对学习以及从课程计划和教学法角度看应该如何组织学习的看法和假设。学生在学习和选择(在他们的控制点范围之内)或针对图1所示的影响条件做出反应时,他们的学习可能不是线性的。介于学生和机构之间的“中间地带”(学生历程——译注)所发生的事情经常是彼此的一部分、相互依存。“学生历程”以及机构和学生双方的能力和对学习过程的反应受到双方与“中间地带”以外的参与者的关系和环境因素的影响。
(三)资本
资本在这里指的是不同资本在学生和机构做出决定和采取或不采取行动时的角色,包括经济资本和“以文化、知识、组织和态度等形式呈现的资本”(Subotzky & Prinsloo, 2011, p. 186)。这里有必要简单说明“态度资本”(attitudinal capital),它指的是一个人对如何回应某些事情(比如批评或反馈)的看法和态度的价值和影响。我们对生活的态度以及对具体某个危机或机会的态度都是一种“资本”。虽然学生和机构拥有不同资本,但是必须承认机构的符号资本(symbolic capital)和文化资本使学生资本相形见绌。学生与机构之间的权力关系是不平等的,他们必须根据机构的学习规则和假设做出回应和行动。同时,机构则必须遵守监管和拨款规则以及规范性假设。
(四)惯习
苏博斯基和普林斯路(Subotzky & Prinsloo, 2011, p. 186)根据布迪厄(Bourdieu, 1971)和布莱克斯顿(Braxton, 2000)的理论把惯习说成是“对我们世界观的形成有重大影响的感知、体验、价值观、实践、话语和假设的复杂组合”。学生和机构的惯习影响他们对风险、成功和导致辍学或促进成功的因素的看法。早期的学生成功和失败模型(Spade, 1970; Tinto, 1975)把学生的成功机会等同于他们能否与为人所认可的学习成功规范、世界观和假设保持一致。学生上大学之后并没有把自己的惯习留在校门外。他们的惯习(本体论和认识论)常常与机构的惯习冲突。用布迪厄的话说,这导致出现“断裂惯习”(cleft habitus)(Abrahams & Ingram, 2013),即学生感到严重不知所措、格格不入。学生能否成功找到完成“学生历程”的方法,这取决于他们的控制点、拥有的资本和在这个过程中各种影响条件产生的影响以及影响范围。
(五)转变的方面和方式
从学生方面讲(见图1),苏博斯基和普林斯路(Subotzky & Prinsloo, 2011)指出发生变化的包括个人内在方面和人际方面,并阐述这些方面如何影响学生的学习方法和策略。学生的个人内在方面包括与学习成功密切相关的一系列个人心理特质,比如动机、自律和自信。人际方面指涉及人与人之间社会交往的各种心理和社会关系这些东西,比如交际技能、果断、批判性反思和自我知识或情商/社交商(emotional/social intelligence)。从机构的角度看,学术、运作(管理)和社会(非学术)三个方面与学生的个人内在和人际方面相互作用,其方式常常既复杂又互相依存。
至于转变方式,学生和机构同样通过三种方式实现转变:归因、控制点和自我效能。机构和学生都把成功归因于某些因素并假定某个行动与某个结果之间存在某种因果关系。有关学生成功的大量研究结果显示,机构把学生行为的变化归因于某一个因素,比如登录平台数据,然而这个变量与学习效果的关系可能是一种关联关系,而不是因果关系。控制点和对控制点范围的自我理解和意识也是社会批判模型的一个重要维度。比如,机构应当承担资源分配所带来的影响的责任,但是我们也应该承认机构所控制不了的拨款模式和监管环境对变化的影响。学生是否采取行动对他们的学习和成功机会有特别影响,但是我们也不得不承认有一些事件和环境因素是学生无法控制的。由此可见,有些因素并非学生和机构能够左右得了的。与控制点相关的是学生和机构的自我效能感,即他们对能够达成自己的目标和实现自己抱负的信心。
(六)学生成功
人们可能没有完全理解学生成功这个构念。学生成功通常被认为是指完成课程学习或顺利毕业(以完成时间计)。随着高等教育强调学生满意度,成功也可能是指一段令人满意的体验。此外,学生成功还可能指“学生毕业时具备的特质与职场、公民组织(civil society)、公民的民主和参与意识这些方面要求的成功匹配”(Subotzky & Prinsloo, 2011, p.188)。早期解释和预测学生成功的模型强调“匹配”概念(比如:Spady, 1970; Tinto, 1975),社会批判模型(Subotzky & Prinsloo, 2011)则把“匹配”的责任置于更大背景下考虑,认为这不仅仅是学生一方的责任。
四、
学习分析的生态系统观
学习分析的大量文献认为,决定学习结果是学生个体的行为或特点或者是某一个模块或科目全体学生的行为。如上所述,学生成功远不是这么简单的事情,是由学生、机构和宏观的社会因素(行动者)等一起作用的结果。因此,从生态系统观的视角看学习分析似乎是非常合适之举。把学习分析理解为生态系统,就把它(其潜能、挑战和实践)看作是由各种因素(行动者)组成的更大生态系统的一个不可或缺部分。这些因素(行动者),包括人为和非人为的,是独立实体,但常常是彼此的一部分,相互依存,有时转瞬即逝,具有动态性。其他因素可能属于结构性安排,包括经济、政治、社会、环境、技术和(或)法律方面的因素。把高等教育视为一个生态系统这种观点并不是我们提出来的(比如:Crosling, Nair, & Vaithilingam, 2015; Holstein, Starkey, & Wright, 2018),然而从生态系统观的角度介绍或理解学习分析却较为鲜见。有些研究把学习分析看成是一个生态系统的一部分并把它理解为数字、数据、人、知识和环境这些更大生态系统的一个不可或缺部分(比如:Daniel, 2017),查蒂等(Chatti, Muslim, & Schroeder, 2017)则阐述了一个开放性学习分析生态系统。
本文从生态系统观出发着眼分析学生、机构和社会层面(包括微观、中观和宏观)的一系列因素的影响。我们在反思苏博斯基和普林斯路(Subotzky & Prinsloo, 2011)的社会批判模型的基础上,剖析影响这些层面学习分析制度化的因素。
(一)宏观因素
乍一看宏观层面似乎没有什么事情能真正影响学习分析的实施。如上所述,人们对数据进行收集、分析并向各种外部利益相关者汇报。这些聚合数据被用于决定政策、拨款标准以及质量和认证规章制度。人们经常认为学校事务分析和学习分析有关联,但是这种关联不一定会影响某一个学生或某一门课程学生的“学生历程”。然而,如果我们把学习分析当成一个数据和数据使用的更大生态系统的一部分,那么事实并非人们所认为的那样。比如,根据对聚合数据的分析结果调整质量或拨款标准,不管是从学生的角度还是机构的角度讲,都可能会直接影响“学生历程”。
我们也应该考虑每一个层面(微观、中观和宏观)的惯习,即生活经历使然的习惯、技能和倾向。教育和教育技术(包括数据)不是中立的,而是(不同)“价值观激烈竞争之地”(Selwyn, 2014, p. 2),同样,学校事务分析和学习分析在实际使用中受到某些意识形态以及本体论和认识论假设和信念的影响。如果我们认同前者的观点,我们也应该接受后者的观点。因此,我们应该把学习分析看作是“涉及复杂问题、矛盾和冲突的一些社会、政治、经济和文化议程”进行对待(Selwyn, 2014, p. 6)。我们必须把学习分析这种技术理解为“没有好坏之分,也不是中立的”,这种技术“与社会生态的交互使得技术的发展常常对环境、社会和人类造成后果,而这些后果远非技术设备和实践本身的直接目的”(Kranzberg, 1986, p. 545)。
在机构层面,惯习受到国家环境和高层管理者的观点和看法的影响。会影响到如何界定数据、收集什么数据以及对数据所代表的意义的深层认识。从来没有“裸”数据,数据也从来不是“中立”和客观的,没有“分析前”(pre-analytic)的数据(Bowker, 2005; Gitelman & Jackson, 2013; Kitchin, 2014)。数据“事实上被赋予技术、经济、道德、时间、空间和哲学的含义。数据的生成、处理和分析离不开思想、工具、实践、(权力或控制权的)争夺和各种知识,因而数据不是独立于这些东西而存在的”(Kitchin, 2014, p. 2)。还有一种现象,即学习分析经常是针对所能收集到的数据,不是根据实际需要进行学习分析。如果缺乏让学生参与数据意义建构的政治意志,包括收集什么数据、何时收集数据以及还有其他什么数据可能使机构和学习者更加全面了解学生在“学生历程”中的惯习和资本,那么不是针对实际需要进行学习分析的情况可能进一步加剧(Prinsloo, 2017)。
同样,资本这个概念适用于每一个层面。资本的获得很可能受到经济社会和文化环境的影响。我们曾在另文认为机构有信托和道德责任运用它们的资本确保学生享有高效、符合道德和温馨的合适学习体验(Slade & Prinsloo, 2013; Prinsloo & Slade, 2016)。机构不但必须对收集和分析学生数据以确定他们的“资本”范围和价值在道德上负有监督责任(Willis, Slade, & Prinsloo, 2016),而且也应该承担合约和道义责任,确保针对学习分析结果进行资源分配符合道德标准(Prinsloo & Slade, 2017)。
学习分析经常用于分析学生行为数据,而这些数据在很多方面是学生为了应对教师的教学策略、课程连贯性、学习以外的日常生活中受到的刺激和碰到的事件而调用他们所拥有的不同资本的结果。必须指出,没有证据表明机构资本得到同等重视,同样没有得到重视的还包括如何根据系统收集、分析和使用机构战略和运作方面数据孤岛这些数据的结果,运用机构资本支持和确保高效、合适、优质学习体验。
机构常常面对监管上的问题,比如拨款机制的变化会严重影响和妨碍它们开课情况以及对运作上的挑战、日益激烈的竞争和向学生提供支持服务等方面做出回应。如同普林斯路和斯莱德(Prinsloo & Slade, 2017, p. 1)所言,从很多方面讲,机构如何处理所发现的学生危机和学生需要的支持服务——这是“学习分析的棘手问题”。
(二)中观因素
学生有责任促进他们自己的“学生历程”,这一点是毫无疑问的。然而,人们对这个过程中其他参与者(教师和教辅人员乃至机构本身)的关注却少得多。目前我们尽可能收集更多学生数据(但并不总是清楚这些数据可能用于什么用途),与之形成鲜明对比的是机构在跟踪、监控和收集课程组运作的数据以及各课程和院系如何分配支持服务和学习资源的数据方面缺乏承诺和资源配备。此外,由于存在部门数据孤岛,很可能不但导致低效率和不能真正理解这些原始数据以及对这些数据的分析结果,而且也无法达成共同的见解。
由于强调学生的责任但没有充分考虑其他参与者的(不)作为,学习分析可能“被卡在中间”。同样,机构的社会层面(它的文化、权力关系和主流思想)对其教与学和管理策略都有重大影响。承认并处理好这方面的问题是社会批判模型的一个基本特点(Subotzky & Prinsloo, 2011)。
“受制于环境”这个构念在发挥学习分析有效处理学生需要和风险的潜能上给我们很多重要启发。苏博斯基和普林斯路(Subotzky & Prinsloo, 2011)认为,学生和机构在一定条件下发挥其能动性,而学习则是受到两者这种能动性的作用。然而,考虑到学生和机构在权力关系上的不对称,以及机构的过程和规章制度对学生学习的影响,学习分析显然不能只聚焦学生做什么或不做什么。虽然学生有能动性,一些有关学习的决定属于他们的控制点范围之内,但是他们的能动性和控制点实际上受到一定条件的限制。学生做什么或不做什么经常是根据机构意图和(不)作为而定。
学生(受到一定条件限制的)能动性还涉及另一个问题,即学生的同意。我们通常认为学生入学时已经接受学校制订的条款,这意味着赋予机构全权收集、分析和使用他们的数据的许可。虽然机构有合约和道义责任使用学生聚合数据(即用于学校事务分析目的),但是涉及收集、分析和使用能识别个人身份的学生数据以干预他们的学习方面的道德规范目前尚不清晰(Willis, Slade, & Prinsloo, 2016)。随着国际数据条例,如“欧洲通用数据保护条例”(European General Data Protection Regulation)的变化,高等教育必须制订细致监管框架的压力越来越大,以确保向学生提供符合法律规定而且道义上正当的选择,允许不同意机构收集、分析和使用自己的数据(Sclater, 2017)。
(三)微观因素
我们现在能够获得的学生数据的量越来越大,类型更多,速度更快,粒度更大。机构不但收集和分析学生行为数据,而且把这些数据和学生的基本信息和先前学习方面的数据以及其他来源的数据(如图书馆、学生咨询辅导和社交媒体,后者的数据越来越多)结合在一起。因此,我们对学生个人身份、行为和关系网络的了解越来越细。我们用这些数据了解和描述学生学习,诊断他们的需要、风险和潜能,预测他们的成功和失败机会以及对机构资源的需求,现在越来越多地用于制订个性化/个人化的课程计划、考核、学习路径和未来报读的课程。如果所用的数据不完整或者采用有名无实的数据(data proxies)代替缺失的数据集,那么根据分析结果做出的决定的有效性会受到削弱。在预测性分析中使用有名无实的数据还有一种风险,即出现判断错误,根据不准确的数据集得出某个学生是“高危”学生的结论。
目前的学习分析较少关注个人内在的因素,即学习成功所必备的个人心理特质,如积极的态度和信念、自律、动力和信心,虽然通常没有收集这些方面的数据,这些数据也不容易测量。相比之下,人际方面越来越受到重视,即能促进学习和理解的社会交互(Ferguson & Shum, 2012; Perrotta & Williamson, 2016)。
苏博斯基和普林斯路(Subotzky & Prinsloo, 2011)还讨论因果与归因、控制与效能感在“学生历程”中的作用。从学习分析的研究文献看,数据有可能被错误地用于证明因果关系而不是简单的关联关系(Ferguson, et al., 2016)。一些因素在学生和(或)机构的控制(或感知控制)范围之内,但是很多因素却不在他们的控制点之内。人们常常以为只要能发现影响学生策略或学习行为的因素,学生便会据此做出改变。虽然我们不应该认为学生在学习上是无助的,但是我们也不应该低估代际、具体环境和结构性等方面的因素对他们的自我效能感和控制点的消极影响。
苏博斯基和普林斯路(Subotzky & Prinsloo, 2011)的社会批判模型最终的落脚点是学生成功这个构念。学习分析有很多吸引人之处,其中之一是发现“不成功”“高危”学生的潜能。学生成功模型经常采用比较法,根据先前成功学习一门课程或一个专业的学生的特点、基本情况和行为数据衡量当前学生的成功率。因此,我们有可能向学生提供诸如“我们的研究显示像你这样的学生……”此类的反馈评语。根据先前学生的行为和特点预测某个学生是否成功,这样做是有危险的,因为先前学生成功与否是根据他们的实际学习结果判断的,但是实际结果与预测结果是不同的。此外,伍德利(Woodley, 2004)还警告说,我们不应该认为远程教育的学生辍学是一种病态现象,因为各人的学习动机不同,成功标准也因人而异。由此可见,“像你这样的学生……”的反馈评语没有多大意义。
(四)可预测和不确定的影响条件
我们把学习分析、其潜能、挑战和缺点不但视为一个生态系统的组成部分(不管是数字、数据、环境、人、法律,还是经济的生态系统,当然还有其他生态系统,恕不一一列出),而且学习分析本身可能成为一个生态系统。考虑学习分析与那些可预测和不确定的影响条件的关系对于理解上述观点尤为相关。我们认为,不管是从学生的角度讲还是从它们对机构的影响的角度讲,这些条件都可能影响“学生历程”,但是我们并不清楚目前所开展的学习分析在多大程度上能够解释这些条件对学习的影响。大多数学习分析系统收集学生的行为数据并结合其他来源的数据(学生基本信息或先前学习情况),然后分析这些数据并通过面向学生的(学习)仪表盘或院系/机构的报告公布分析结果。这些分析结果经常假定学生还能够更加努力,比如花更多时间学习或更加重视学习,或者需要具体的支持措施以解决(被推测)认定的缺陷或不足。学习分析似乎认为需要分析的是学生的不足,而且所需采取的补救措施是学生所能控制的。然而,诚如苏博斯基和普林斯路(Subotzky & Prinsloo, 2011)所指出的,管理和组织效率的高低对学生的学习产生重大影响,尤其是在远程开放教育环境下。
还有一种观点建议高等教育机构要求其教师、管理人员和教学辅助人员采取更多措施防止学生学业失败和辍学。按照这种观点,学生的辍学和学习上的失败好像是因为教师和其他机构员工不作为的直接结果,教师等本来可以做得更好。在这方面,我们经常忽视的一个现实是,不管机构能够准备或提供多少支持和额外学习资源,有些学生依然不可能获得学习上的成功。
我们无意为学生或教师或机构开脱责任,但是学生学习的某些方面和影响因素不容易测量或解释,不管我们试图使用什么和哪些有名无实的数据代替这些方面的缺失。这也是学习分析必须注意的一个问题。学生学习是很多独立而又常常相互依存和成为彼此一部分的因素(行动者),即学生、机构和宏观社会因素(行动者)一起作用的结果,因此学生学习的复杂性自不待言。
五、
结论抑或未定论
自从2011年学习分析出现以来,作为一种实践、一门学科和一个研究热点,学习分析已经成熟了。然而,目前还没有证据表明学习分析能够对学生学习产生积极影响,这一点也是人们的关切所在(Ferguson & Clow, 2017),也有人认为学习分析在很多方面并不完美(Kitto, Sum, & Gibson, 2018)。虽然已有研究旨在发现和研究影响学习分析制度化的诸多因素(Ferguson, 2012; Scheffel, Drachsler, & Specht, 2015),但是本研究则提出从生态系统观的角度阐述影响学习分析有效性的微观、中观和宏观因素。学习分析文献居多聚焦微观层面学生个体的因素以及学生的特点和行为如何影响学习结果。本文认为这样的研究重点有失偏颇。我们从社会批判视角分析影响学生学习的因素,发现(学习分析发现并通过仪表盘和预警系统向学生、教师和教辅人员通报)很多因素不是在学生控制点之内。
学习分析既是一个生态系统(不管是法律、监管、人、技术等生态系统)的一个部分,其本身也是一个生态系统。如此理解学习分析为我们提供了一个新视角。从这一点看,我们应该既考虑学习分析的潜能,也要重视其局限。大规模实施学习分析和衡量学习分析对学习的影响是一项非常复杂的工作,我们必须对其复杂性有充分的认识。
【致谢】本文是提交给2018年6月17日-20日在意大利热那亚举行的欧洲远程E-Learning网络协会(European Distance and E-Learning Network [EDEN])年会的文章并荣获最佳论文奖。感谢《中国远程教育》“国际论坛”客座主编热情邀请,我们对原稿进行大幅修改,以供《中国远程教育》发表。
参考文献
向上滑动阅览
Abrahams, J., & Ingram, N. (2013). The chameleon habitus: Exploring local students’ negotiations of multiple fields. Sociological Research Online, 18(4), 1-14.
Biesta, G. (2007). Why “what works” won’t work: evidence-based practice and the democratic deficit in educational research, Educational Theory, 57(1), 1-22.
Biesta, G. (2010). Why ‘what works’ still won’t work: from evidence-based education to value-based education, Studies in Philosophy of Education, 29, 491-503.
Bourdieu, P. (1971). Systems of education and systems of thought. In M.K. D. Young. (Ed.), Knowledge and control: New directions for the sociology of education (pp. 189-207). London: Collier-Macmillan.
Bowker, G. (2005). Memory practices in the sciences. Cambridge, CA: MIT Press.
Braxton, J. M. (Ed.). (2000). Reworking the student departure puzzle. Nashville: TN: Vanderbilt University Press.
Chatti, M. A., Muslim, A., & Schroeder, U. (2017). Toward an open learning analytics ecosystem: Current theory and practice. In Daniel, B.K. (ed.), Big data and learning analytics in higher education (pp. 195-219). Springer, Cham.
Crosling, G., Nair, M., & Vaithilingam, S. (2015). A creative learning ecosystem, quality of education and innovative capacity: a perspective from higher education. Studies in Higher Education, 40(7), 1147-1163.
Daniel, B. K. (ed.)(2017). Big data and learning analytics in higher education: Current theory and practice. Springer International, Cham.
Ferguson, R. (2012). Learning analytics: drivers, developments and challenges. International Journal of Technology Enhanced Learning, 4(5/6), 304-317.
Ferguson, R., & Shum, S. B. (2012). Social learning analytics: five approaches. In Proceedings of the 2nd international conference on learning analytics and knowledge (pp. 23-33). ACM.
Ferguson, R., Brasher, A., Clow, D., Cooper, A., Hillaire, G., Mittelmeier, J., Rienties, B., Ullmann, T., & Vuorikari, R. (2016). Research Evidence on the Use of Learning Analytics - Implications for Education Policy. In R. Vuorikari, J. Castaño Muñoz (Eds.). Joint Research Centre Science for Policy Report; EUR 28294 EN; doi:10.2791/955210.
Ferguson, R. & Clow, D. (2017). Where is the evidence? A call to action for learning analytics. In: LAK ′17 Proceedings of the Seventh International Learning Analytics & Knowledge Conference (pp. 56-65). ACM International Conference Proceeding Series, ACM, New York, USA.
Gaševi, D., Dawson, S., & Siemens, G. (2015). Let’s not forget: Learning analytics are about learning. TechTrends, 59(1), 64-71.
Gitelman, L., & Jackson, V. (2013). Introduction. In L. Gitelman (ed.), ‘Raw data’ is an oxymoron. Cambridge, CA: MIT Press.
Holstein, J., Starkey, K., & Wright, M. (2018). Strategy and narrative in higher education. Strategic Organization, 16(1), 61-91.
Kitchin, R. (2013). Big data and human geography: Opportunities, challenges and risks. Dialogues in Human Geography, 3(3), 262-267.
Kitto, K., Shum, S. B., & Gibson, A. (2018, March). Embracing imperfection in learning analytics. Paper presented at LAK ′18, Sydney, Australia. Retrieved from http://users.on.net/~kirsty.kitto/papers/embracing-imperfection-learning-final.pdf
Kranzberg, M. (1986). Technology and history: “Kranzberg’s laws”. Technology and Culture, 27(3), 544-560.
Lawrence, J. E., & Tar, U. A. (2018). Factors that influence teachers’adoption and integration of ICT in teaching/learning process. Educational Media International, 55(1), 79-105.
Leitner, P., Khalil, M., & Ebner, M. (2017). Learning analytics in higher education - a literature review. In A. Peña-Ayala (Ed.), Learning Analytics: Fundamentals, Applications, and Trends (pp.1-23). Springer, Cham.
Lim, L. A., Gentili, S., Pardo, A., Kovanovi, V., Whitelock-Wainwright, A., Gaševi, D., & Dawson, S. (2019). What changes, and for whom? A study of the impact of learning analytics-based process feedback in a large course. Learning and Instruction. DOI: 10.1016/j. learninstruc.2019.04.003
Lonn, S., McKay, T. A., & Teasley, S. D. (2017). Cultivating institutional capacities for learning analytics. New Directions for Higher Education, 179, 53-63.
Papamitsiou, Z., & Economides, A. A. (2014). Learning analytics and educational data mining in practice: A systematic literature review of empirical evidence. Journal of Educational Tech & Society, 17(4), 49-64.
Perrotta, C., & Williamson, B. (2016). The social life of learning analytics: Cluster analysis and the ‘performance’ of algorithmic education. Learning, Media and Technology, 1-14.
Prinsloo, P. (2017). Guidelines on the ethical use of student data: a draft narrative framework. Retrieved from http://www.siyaphumelela.org.za/documents/5a61c7b737ff5.pdf
Prinsloo, P., Archer, L., Barnes, G., Chetty, Y., & Van Zyl, D. (2015). Big(ger) Data as Better Data in Open Distance Learning: Some Provocations and Theses. International Review of Research in Open and Distance Learning (IRRODL), 16(1), 284-306. Retrieved from http://www.irrodl.org/index.php/irrodl/article/view/1948/3259
Prinsloo, P., & Slade, S. (2016). Student vulnerability, agency, and learning analytics: an exploration. Journal of Learning Analytics, 3 (1), 159-182.
Prinsloo, P., & Slade, S. (2017). An elephant in the learning analytics room: the obligation to act. Proceedings of the Seventh International Learning Analytics & Knowledge Conference (pp. 46-55), ACM, New York, NY.
Scheffel, M., Drachsler, H., & Specht, M. (2015). Developing an evaluation framework of quality indicators for learning analytics. In Proceedings of the Fifth International Conference on Learning Analytics and Knowledge (pp. 16-20). ACM.
Sclater, N. (2017). Consent and the GDPR: what approaches are universities taking? Retrieved from https://analytics.jiscinvolve.org/wp/category/policy/
Selwyn, N. (2014). Distrusting educational technology. Critical questions for changing times. London, UK: Routledge.
Siemens, G. (2013). Learning analytics: The emergence of a discipline. American Behavioral Scientist, 57(10), 1380-1400.
Siemens, G., & Long, P. (2011). Penetrating the fog: Analytics in learning and education. EDUCAUSE review, 46(5), 30-40.
Slade, S., & Prinsloo, P. (2013). Learning analytics: ethical issues and dilemmas. American Behavioral Scientist, 57(1), 1509-1528.
Spady, W. G. (1970). Dropouts from higher education: An interdisciplinary review and synthesis. Interchange, 1, 64-85.
Subotzky, G., & Prinsloo, P. (2011). Turning the tide: A socio-critical model and framework for improving student success in open distance learning at the University of South Africa. Distance Education, 32(2), 177-193.
Tinto, V. (1975). Dropout from higher education: A theoretical synthesis of recent research. Review of Educational Research, 45, 89-125. Retrieved from http://www.jstor.org/stable/1170024
Tinto, V. (1988). Stages of student departure: Reflections on the longitudinal character of student leaving. The Journal of Higher Education, 59, 438-455. Retrieved from http://www.jstor.org/stable/ 1981920
Tinto, V. (2006). Research and practice of student retention: What next? Journal of College Student Retention, 8, 1-19. Retrieved from http://journals.sagepub.com/doi/abs/10.2190/4YNU-4TMB-22DJ-AN4W
Willis, J. E., Slade, S., & Prinsloo, P. (2016). Ethical oversight of student data in learning analytics: A typology derived from a cross-continental, cross-institutional perspective. Educational Technology Research and Development, 64, 881-901.
Wong, B. T. M., & Li, K. C. (2019). A review of learning analytics intervention in higher education (2011–2018). Journal of Computers in Education, 1-22.
Woodley, A. (2004). Conceptualising student dropout in part-time distance education: Pathologising the normal? Open Learning, 19, 48-63.
作者简介
保罗·普林斯路(Paul Prinsloo)教授,南非大学(University of South Africa)经济和管理学院远程开放学习研究教授(Research Professor)。研究兴趣涵盖神学、艺术史、工商管理、在线学习和宗教;在在线学习领域的研究主要涉及远程教育学生的学习、学习分析技术、课程开发等。
莎伦·斯莱德(Sharon Slade)博士, 英国开放大学(The Open University UK)高级讲师,承担多项学习分析课题。主要研究兴趣:围绕学生数据使用上的道德问题、旨在提高学生巩固率的预测分析、学生知情等。
默罕默德·哈利勒(Mohammad Khalil)博士,挪威卑尔根大学(University of Bergen)学习科学与技术中心学习分析高级研究员、讲师,欧洲慕课质量标准(CEN/353)挪威代表和专家组成员;曾任职于荷兰代尔夫特理工大学(Delft University of Technology)。主要研究兴趣:远程开放教育学习分析、移动技术、可视化、游戏化以及隐私和道德。
译者简介
肖俊洪,汕头广播电视大学教授,Distance Education(Taylor & Francis)期刊副主编。
责任编辑:韩世梅
中国期刊方阵双效期刊
中文核心期刊
中文社会科学引文索引(CSSCI)来源期刊
AMI综合评价(A刊)核心期刊
人大复印报刊资料重要转载来源期刊
中国科学评价研究中心(RCCSE)核心期刊
邮发代号2-353,全国各地邮局均可订阅。
本社亦办理征订,联系电话:010-68182513
更多精彩内容,尽在“阅读原文”
我知道你在看哟