高等教育人工智能应用研究综述： 教育工作者的角色何在？
点击蓝字关注我们
精选学术内容，让阅读更有价值
【刊载信息】奥拉夫·扎瓦克奇-里克特，维多利亚·艾琳·马林，梅丽莎·邦德，弗兰齐斯卡·古弗尼尔. 2020.高等教育人工智能应用研究综述：教育工作者的角色何在？肖俊洪，译. 中国远程教育（6）：1-21.
【摘要】多种国际报告显示教育人工智能是当前教育技术新兴领域之一。虽然教育人工智能已有约三十年的历史，但是目前教育工作者仍然不清楚如何更大规模地发挥其在教学上的优势，也不清楚现实中它可能以何种方式对高等教育教与学产生有意义的影响。本文旨在通过系统综述呈现人工智能在高等教育的应用研究概况。本研究最初检索到2007—2018年间发表的2,656篇论文，根据明确的收录和排除标准，最后采用146篇论文作为综合分析的文献。描述性结果显示，此类论文多数涉及计算机科学、科学、技术、工程和数学（STEM）学科，定量研究方法是实证研究最常用的方法。对研究结果进行综合分析显示，教育人工智能在学习支持服务和教学以及行政管理服务方面的应用可以归为四类：①特征分析和预测；②考核和评价；③自适应系统和个性化；④智能辅导系统。文章最后还对以下问题进行反思：对教育人工智能带来的挑战和风险几乎不见批判性反思、与教学理论联系不密切。必须进一步探索符合道德规范和教育规律的高等教育人工智能应用。
【关键词】人工智能；高等教育；机器学习；智能辅导系统；综述
一、
引言
过去几年，人工智能（Artificial Intelligence, AI）在教育的应用日渐升温，广为学界关注。2018年《地平线报告》把AI和自适应学习技术列为教育技术的重要发展（Educause, 2018），并预期两三年内会被采用。根据该报告，专家预测2018—2022年教育AI增长43%，显然2019年的《地平线报告》预计与教与学相关的AI应用的增长远不止43%（Educause, 2019）。“毫无疑问，（AI）这种技术必定与高等教育的未来联系在一起”（Contact North, 2018, p. 5）——这是加拿大一家主要非营利性在线学习机构的研究结论。私营公司在这个领域投入巨资（如Google花四亿美元收购欧洲AI初创企业Deep Mind），加上非营利性公私合作伙伴机构的出现（如德国人工智能研究中心[Deutsches Forschungszentrum für Künstliche Intelligenz]
学界对教育人工智能（AI in education, AIEd）应用的研究已有约三十年历史。国际教育人工智能学会（International AIEd Society）成立于1997年，该学会出版《国际AIEd期刊》（International Journal of Artificial Intelligence in Education），今年将举办第二十届AIEd年度大会。然而，AI应用有可能在“学生在校学习生涯”（student life cycle）中向他们提供哪些学习机会——教育工作者刚刚开始研究这一类的问题。
虽然AI有可能提供很多支持教与学的机会，但是AI在高等教育的应用从道德层面讲也带来新问题和风险。比如，在财政紧缩的情况下，学校行政领导可能经不住诱惑采用有利可图的自动化AI方案代替教师的教学。教师、教学助理、学生辅导员和行政人员可能会担心智能导师、专家系统和聊天机器人将抢去他们的饭碗。AI有进一步提升学习分析能力的潜能，但是另一方面这些系统离不开大数据，包括学生和教职员工的私密信息，这引起人们对隐私和数据保护的严重关切。最近成立的一些机构（如英国教育合乎道德规范人工智能研究院[Institute for Ethical AI in Education]
罗素和诺维格（Russel & Norvig, 2010, p. 1020）告诫我们：“所有AI研究者都应该注意他们的工作可能会产生道德上的影响。”因此，针对AI教育应用可能带来哪些道德层面的影响和风险，研究者对此有何反映呢？这也是我们想了解的问题。本文旨在对AI在高等教育的应用研究进行全面述评。近年来本领域发展迅速，教育工作者对AI越来越感兴趣，因此这个综述是非常必要的。
具体来说，本文希望通过系统文献述评回答以下研究问题（参见：Gough, Oliver, & Thomas, 2017; Petticrew & Roberts, 2006）：
①高等教育AI的成果发表是如何随着时间推移发展的？这些成果发表在哪些期刊？作者的地理分布和学科背景有何特点？
②研究者如何理解AIEd？他们认为AIEd有可能产生哪些道德上的影响、挑战和风险？
③AI应用于高等教育环境时其本质和范围是什么？
AI源于计算机科学和工程学，但是在很大程度上受到其他学科的影响，如哲学、认知科学、神经科学和经济学。由于AI领域的跨学科性，AI研究者对AI（乃至“智能”）的定义和理解尚未达成共识（Tegmark, 2018）。伊诺霍－卢塞纳等（Hinojo-Lucena, Aznar-Díaz, & Cáceres-Reche, 2019）指出：“（AI）这种技术已经正在高等教育领域得到应用，虽然很多教师不知道其范围，尤其是不清楚它包含哪些内容。”鉴于本研究的目的，我们应该澄清有关术语的含义。因此，我们拟在下一节梳理AIEd的各种定义以及AI在高等教育的应用可能涉及哪些内容和方法。
二、
AIEd（教育人工智能）
AI的提出可以追溯到20世纪50年代，当时约翰·麦卡锡（John McCarthy）在美国达特茅斯学院（Dartmouth College）组织一次历时两个月的工作坊。他在组织这次工作坊的申请报告中第一次使用AI这个术语：“学习的每一个方面或智能的任何其他特征原则上都可以被精确描述，以便机器能对其进行模仿。（人工智能的）研究将在这种假设的基础上进行。我们将试图研究机器如何使用语言、进行抽象和形成概念以解决各种人类问题，并自我改进”（McCarthy, 1956, 转引自 Russel & Norvig, 2010, p. 17）。
贝克和史密斯（Baker & Smith, 2019, p. 10）的AI定义更宽泛：“（AI用于描述）执行通常与人脑相关，尤其是学习和解决问题之类的认知任务的计算机。”他们解释说AI不是指任何一种单独的技术，而是一个统称，用于描述各种技术和方法，比如机器学习、自然语言处理、数据挖掘、神经网络或算法。
AI和机器学习经常同时出现在文献中。机器学习是AI的一种方法，用于监督和非监督分类和特征分析，比如可用来预测某个学生辍学或被录取的可能性，或者识别书面作业的主题。帕皮尼奇和科尔（Popenici & Kerr, 2017, p. 2）把机器学习定义为“AI领域的一个分支，包括能够辨别模式、做出预测和把新发现的模式应用于非原先设计所涵盖的情景的软件。”
理性代理（rational agents）是AI的核心概念。“代理可以被看作是能通过传感器来感知周围环境并通过执行器对该环境采取行动的任何东西”（Russel & Norvig, 2010, p. 34）。真空清洁器机器人就是一种智能代理的简单形式，但是如果我们讲的是自动驾驶出租车，情况就变得非常复杂、充满各种可能性了。
AI有强式和弱式（Russel & Norvig, 2010, p. 1020）或狭义和广义之分（Baker & Smith, 2019, p. 10）。未来机器是否能够思考，甚至有意识，而不仅仅是模仿（人类）思维、做出理性行动？这是一个哲学问题。短期内可能不会出现这种强式或广义AI。因此，本文仅对“老式AI”（GOFAI，即good old-fashioned AI的缩略词，是哲学家约翰·豪奇兰德[John Haugeland]1985年创造的术语）在高等教育的应用研究文献进行述评。换言之，这些代理和信息系统好像真的具有智能一样。
“老式AI”可能在哪些方面应用于教育，尤其是高等教育？卢金等（Luckin, et al., 2016）把今天应用于教育领域的AI软件分为三类：私人导师、协作学习智能支持系统和智能虚拟现实。
智能辅导系统（Intelligent tutoring systems, ITS）可用于模拟一对一私人辅导。它们能根据学习者模型、算法和神经网络决定某个学习者的学习路径和应该选择什么内容，提供认知上的指导和帮助，与学生进行对话。ITS有巨大的应用潜能，尤其是对大型远程教学机构而言，因为这些机构的课程报读人数数以万计，不可能提供一对一辅导。大量研究显示学习是一项社会活动，学习的实质是交互和协作（比如，Jonassen, et al., 1995）。然而，在线协作离不开指导，必须有人主持此类活动（Salmon, 2000）。AIEd能够根据学习者模型支持自适应分组，指导在线小组交互，或总结讨论情况供教师用于指导学生朝着达成课程目标的方向努力，因此有助于促进协作学习。至于建立在ITS基础上的智能虚拟现实，则可以用于吸引和指导学生参加增强现实和基于游戏的学习环境下的学习。比如，在虚拟或远程实验室，虚拟代理可以充当教师、学习指导者或学习伙伴（Perez, et al., 2017）。
随着AIEd的发展和学生（大）数据以及学习分析已成为可能，卢金等（Luckin, et al., 2016, p. 35）主张“（学习）考核的复兴”（renaissance in assessment）。AI能及时提供反馈和考核结果。我们不必要求学生暂停学习参加考核，而是可以把AIEd嵌入学习活动中，持续分析学生进步。算法则已经被用来预测某个学生不能完成作业或辍学的概率，而且准确率很高（比如：Bahadir, 2016）。
贝克和史密斯（Baker & Smith, 2019）从三个方面分析教育AI工具：①面向学生的AIEd；②面向教师的AIEd；③面向系统的AIEd。面向学生的AI工具指学生用于学习学科内容的软件，如自适应或个性化学习管理系统或ITS。面向教师的系统则用于向教师提供支持服务，通过管理工作、考核、反馈和剽窃检测等的自动化减轻教师工作量。AIEd工具还能提供学生学习进步情况分析，教师因此能够未雨绸缪提供必要的支持服务和指导。面向系统的AIEd则能向学校行政管理人员和业务管理人员提供信息，比如监控各学院的学生流失模式。
我们把高等教育的“学生在校学习生涯”（Reid, 1995）用作描述机构和行政管理层面以及支持教与学的各种基于AI的服务框架。
三、
多模态数据融合模型
综述旨在通过使用清晰、系统和可复制的检索方法，根据相关标准对检索结果予以收录或排除，以回答具体问题（Gough, Oliver, & Thomas, 2012）。然后对样本进行数据编码和提取，以便综合分析研究发现，揭示它们的实际应用情况，发现存在的不足或矛盾。本研究的样本是146篇高等教育AI的论文。
（一）检索方法
最初的检索词（见表1）和标准（见表2）包括以英语发表、同行评审的论文，这些论文涉及AI在各层次教育中的应用并且被三个国际数据库索引：EBSCO Education Source、Web of Science和Scopus（标题、摘要和关键词）。虽然学界对同行评审有些疑虑（比如：Smith，2006），本研究的样本仅限于发表在同行评审期刊的论文。一般而言，这些期刊能赢得学界信任，遵循严格评审程序（Nicholas, et al., 2015）。文献检索于2018年11月进行，最初检索到2,656篇文章。
表1 第一次检索词
剔除重复文章之后，我们决定把文章发表时间限于2007年或之后，因为这一年iPhone推出Siri。这是一款基于算法的个人助理，原先是美国国防高级研究计划署（US Defense Advanced Research Projects Agency）资助的一个AI项目，后来转变为一家公司并被苹果公司收购了。我们还决定把收录范围仅限于讨论高等教育AI应用的文章。
（二）甄别和编码者间信度
三位编码者对1,549篇论文的标题和摘要进行甄别。这个阶段的甄别要求编码者具有敏感性而不是详细分析，目的是决定哪些论文可以录用。我们定期对第一批80篇论文是否符合收录标准进行讨论，以达成共识。我们随机抽出20篇论文，评估三位编码者（A、B和C）的编码情况，并使用科恩 kappa（κ）系数检查编码者间信度（Cohen, 1960），了解不同评估者意见一致的程度（Neumann, 2007, p. 326）。Kappa值0.40~0.60、0.60~0.75和0.75以上分别被视为中、良和优（Bakeman & Gottman, 1997; Fleiss, 1981）。编码者A和B的编码一致程度是κ=0.79，A和C是κ=0.89，B和C是κ=0.69（median=0.79）。因此，本研究的编码者间信度达到“优”等级。
经过最初的甄别之后，剩下332篇论文进行全文甄别（见图1）。但是，其中有41篇论文无法检索到全文，通过图书馆订购系统和联系作者均未果。因此，我们对其余291篇文章的全文进行甄别和编码，进一步排除了145篇，最终剩下146篇。
（三）编码、数据提取和分析
所有文章被上载专门软件EPPI Reviewer
（四）局限
虽然本综述方法严谨，但是任何综述均受到其检索方法的限制。我们选择三个大型国际性教育研究数据库，规定录入文章必须是以英语或西班牙语发表并经同行评审，因此本综述不包括其他语言的文章。同样，会议论文、论文集论文、灰色文献（grey literature）以及虽被上述三个数据库索引但不是学术期刊论文等均被排除在外。此外，虽然我们把西班牙语同行评审作为录入标准之一，但是检索词并不包含西班牙语，因此会影响对西班牙语文章的检索。今后的研究可以考虑增加数据库数量、出版/发表类型和语言等，以扩大述评范围。但是，此时必须认真考虑所需的资源和实际操作上的难度。
四、
结果
（一）期刊、作者和方法
1. 年发文量
从2007年起发文量显著上升，2007年仅有6篇，到了2018年已经增加到23篇（见图2）。
2. 发文期刊
146篇文章发表于104家期刊，发文最多的三家是《国际AIEd期刊》（International Journal of Artificial Intelligence in Education）（n=11）、《计算机与教育》（Computers & Education）（n=8）和《国际新兴学习技术期刊》（International Journal of Emerging Technologies in Learning）（n=5）。表3列举了2007—2018年至少发表两篇AIEd论文的期刊。
3. 国家和地区分布
我们根据第一作者的国籍对他们的地理分布进行分析（n=38个国家和地区）。表4（含台湾地区）显示发文量至少两篇的19个国家和地区，另外，美国、中国（含台湾地区）和土耳其的发文量占全部样本的50%。
表3 各期刊发文量（n=146）
4. 作者所属部门
如同其他国家和地区分布一样，我们仅分析第一作者的供职部门（见表5）。来自计算机科学院系的作者发文量最大（n=61），科学、技术、工程和数学（STEM）院系次之（n=29）。仅有9位第一作者来自教育学院系，有些作者同时供职于教育学和计算机科学院系（n=2）、教育学和心理学院系（n=1）或教育学和STEM院系（n=1）。
表5 第一作者所属部门（n=146 articles）
由此可见，仅有13篇（8.9%）文章第一作者具有教育学背景。值得指出的是，其中三篇文章的作者来自美国纽约哥伦比亚大学（Columbia University）教师学院（Baker, 2016; Paquette, et al, 2016; Perin & Lauterbach, 2018），而且均发表于《国际AIEd期刊》。
5. 方法
编码结果显示，30篇文章（20.5%）是理论性或描述性研究。大多数研究（73.3%）采用定量方法，仅有1篇（0.7%）是质性研究，8篇（5.5%）采用混合式方法。这项质性研究对英语为第二语言的学生进行访谈，目的是对自动作文评分系统和教师评分所提供的书面评语进行比较（Dikli, 2010）。很多研究采用准实验方法，即把样本分成实验组（使用AI应用程序，如ITS）和控制组（常规教学），并进行前测和后测（比如：Adamson, Dyke, Jang, & Rosé, 2014）。
（二）对AI的理解和批判性反思挑战与风险
146篇文章涉及不同类型和层次的AI，但是仅有5篇（3.4%）给出AI的清晰定义。这5篇文章指出AI的主要特点是AI与人脑的相似之处。作者们把AI理解为智能计算机系统或具有人类特点的智能代理，如能够记忆知识、如同人一样能够感知和利用环境、能够理解人类自然语言等（Huang, 2018; Lodhi, et al., 2018; Huang, 2018; Welham, 2008）。多迪格维克（Dodigovic, 2007）的AI定义是：“AI是一个用于指模仿智慧生物的机器的术语……AI是一个跨学科的知识和研究领域，旨在了解人脑的运作并在技术设计中应用人脑运作原理。在语言学习和教学中，AI可被用于模仿教师或学习者的行为。”多迪格维克是唯一一个来自艺术、人文与社会科学院系又对AI进行定义的作者，因此她把AI与第二语言学习的智能导师联系在一起。
146篇论文中仅有2篇（1.4%）批判性反思AI应用于教育在道德层面的问题、挑战和风险。比例之低令人难以置信。李（Li, 2007）在文章中表达了对智能代理支持下在线学习的隐私关切：“在开展基于代理的个性化教育时隐私也是一个重要关切。如上所述，代理能够自动收集学生的很多个人信息，如学习风格和学习能力。事实上，个人信息是私有的。很多学生不想别人知道自己的隐私信息（如学习风格和学习能力）。学生可能会担心教师出于特殊学习需要而根据学习表现区别对待学生。因此，必须先解决隐私问题，然后才采用基于代理的个性化教与学技术。”
韦勒姆（Welham, 2008）提到应用AI的另一个挑战，即很多公立学校无法承担开发和引进基于AI方法所需的费用和时间。
（三）AI在高等教育的应用
如上所述，我们以学生在校学习生涯（Reid, 1995）这个概念为框架描述机构和行政管理层面各种基于AI的服务（如入学录取、咨询辅导、图书馆服务等）和教与学层面的学习支持服务（如考核、反馈和学习辅导等）。编码结果显示，92篇论文（63.0%）是围绕学习支持服务的研究，48篇（32.8%）聚焦机构和行政管理服务研究，6篇（4.1%）涉及上述两个领域服务的研究。大多数研究（n=91，62.3%）的对象是本科生，以研究生为研究对象的只有11篇论文（7.5%），另有44篇（30.1%）没有说明研究对象的层次。
迭代编码的结果表明，146篇论文涉及的AI应用可分为四个方面，共17个子类。这四个方面是：①特征分析和预测；②考核和评价；③自适应系统和个性化；④智能辅导系统（见表6）。
表6 AI应用情况（论文数量n=146）
注：有些研究不止涉及一个方面的应用，所以总数超过146。
本节拟对上述各类AI应用逐一进行综述。
1. 特征分析和预测
很多AI应用以学习者模型和特征分析为基础进行预测，如预测学生辍学或被某个专业录取的概率，以便在学习过程中针对具体问题及时提供支持或反馈和指导。分类、建模和预测是教育数据挖掘不可或缺的一部分（Krishna, Kumar, & Sri, 2018）。
多数研究（55.2%，n=32）涉及机构和行政管理层面的问题，很多研究（36.2%，n=21）涉及课程的教与学，还有少数（8.6%，n=5）同时涉及这两方面问题。“特征分析和预测”类文章包括三个子类：录取决定和课程安排（n=7）、辍学和保留（n=23）、学生模型和学业成绩（n=27）。另有1篇是研究成本预测，对一所中国大学用于支持基于人工神经网络的管理决策的成本进行预测（Ge & Xie, 2015）。
这一类全部58项研究均采用机器学习方法对模式进行识别和分类并对学生特征进行建模以实现预测。因此，它们都是定量研究。很多研究使用几种机器学习算法（如ANN、SVM、RF、NB，见表7）
表7 机器学习算法和逻辑回归的平均表现（%）
注：
算法：ANN= artificial neural network（人工神经网络），RF/DT= random forest / decision tree（随机森林/决策树），SVM = support vector machines（支持向量机），NB = Naïve Bayes（朴素贝叶斯），J48 = C4.5 decision tree（C4.5决策树），LR = logistic regression（逻辑回归）
预测：a. 录取决定；b. 学生学业表现；c. 本科生辍学；d. 学生投入
（1）录取决定和课程安排
有研究指出：“准确预测学生的学业表现对做出录取决定和提供更好的教育服务非常重要”（Chen & Do, 2014）。有四项研究旨在预测有意愿申请入学的人是否会被大学录取。比如：阿昔克卡尔和阿凯（Acikkar & Akay, 2009）根据体能测试、全国入学考试成绩和中学毕业的平均积分点（GPA）为土耳其一所体育和运动学校挑选候选人，他们使用SVM技术对学生进行分类并预测录取决定，2006年的准确率是97.1%，2007年是90.51%。SVM也被安德里斯等（Andris, Cowen, & Wittenbach, 2013）用于研究可能偏向于来自美国某些地区申请入学者的空间模式（spatial patterns）。冯等（Feng, Zhou, & Liu, 2011）以中国25个省份的入学数据为训练数据，使用ANN模型预测其他省份的注册率。机器学习方法和ANN也被用于预测学生选课行为以支持课程安排。凯丹等（Kardan, Sadeghi, Ghidary, & Sani, 2013）调查影响学生选课的因素，比如课程和教师特点、学习量、教学方式和考试时间，并建构一个模型，使用ANN预测两个计算机工程和信息技术硕士专业的选课情况。凯丹等（Kardan & Sadeghi, 2013）的另一项研究是提出一个开课决策支持系统。总的看来，对录取决定预测的准确率能够达到很高水平，因此AI方案可以减轻行政管理人员的工作量，使他们能够集中精力处理更难的问题。
（2）辍学和保留
这一类研究旨在开发早期预警系统，以便能够在学生入学第一年发现“危机”学生（比如：Alkhasawneh & Hargraves, 2014; Aluko, et al., 2016; Hoffait & Schyns, 2017; Howard, Meehan, & Parnell，2018）或预测本科生的总体流失情况（比如：Oztekin, 2016; Raju & Schumacker, 2015）。德伦（Delen, 2011）收集美国一所大学过去八年25,224名新生的数据，使用ANN、决策树和逻辑回归三种分类技术预测辍学情况。学生数据包括与他们的人口统计信息、学习情况和经济情况相关的变量（如性别、年龄、民族、GPA、托福成绩、财政资助、学生贷款等）。根据十折交叉验证的结果，德伦发现ANN模型准确率最高（81.19%）（见表7），其结论是预测学生辍学的最重要因素是学生过去和现在的成绩以及他们是否获得财政支持。苏塔娜等（Sultana, Khan, & Abbas, 2017）讨论了工程学本科生的认知和非认知特征对预测其学习表现的影响。与其他很多研究相比，他们重点研究能提高预测准确率的非认知因素，即时间管理、自我概念、自我评价、领导力和社区支持。
（3）学生模型和学业成绩
很多研究旨在分析学生特征并对他们的行为进行建模，以预测课程学习成绩。侯赛因等（Hussain, et al., 2018）使用几种机器学习算法分析来自英国开放大学虚拟学习环境的学生行为数据，以便预测学生的学习投入。这对于一所大型远程教学大学来讲尤为重要，因为不可能组织绝大多数学生参加面授辅导。该研究旨在开发一个智能预测系统，使教师能够自动识别学习投入不足的学生并进行干预。斯皮科尔等（Spikol, Ruffaldi, Dabisias, & Cukurova, 2018）在工程学学生的工作坊上通过人脸和手势跟踪技术评估他们在基于项目的学习中的进步情况，他们的结论是多模态数据所产生的结果能使教师更好地了解基于项目学习活动的主要特征。布利克斯坦等（Blikstein, et al., 2014）根据学生在软件开发项目创建的150,000份代码记录，研究他们学习计算机编程的模式，发现他们这个基于编程过程的模型比期中成绩有更好的预测力。巴比奇（BabiĆ, 2017）则是根据学生在在线学习环境的行为开发一个预测他们学习动力的模型。学生模型的研究是设计ITS和自适应学习环境的一个重要基础。
2. ITS
研究ITS的29篇文章，除了1篇是针对机构和行政管理层面问题外，其余均是针对教与学层面的问题。针对机构和行政管理层面问题的这一项研究介绍了一款交互性智能学生助理StuA，能够回答大学新生有关教师、考试、课外活动、图书馆服务等方面的问题（Lodhi, Mishra, Jain, & Bajaj, 2018）。
这些研究经常使用“智能（在线）导师”或“智能辅导系统”（比如：Dodigovic, 2007; Miwa, Terai, Kanzaki, & Nakaike, 2014）等名称，虽然也有使用其他名称的，如“智能（软件）代理”（比如：Schiaffino, Garcia, & Amandi, 2008）或“智能助理”（比如：Casamayor, Amandi, & Campo, 2009; Jeschike, et al., 2007）。根据韦勒姆（Welham, 2008）的研究，最早见诸报道的ITS是1970年推出的SCHOLAR系统，该系统允许师生相互提问但不支持持续对话。
有研究（Huang & Chen, 2016）介绍了ITS通常包含的模型：学生模型（如有关学生知识水平、认知能力、学习动力和学习风格等的信息）、教师模型（如分析学生现状、选择教学策略和模式、提供帮助和指导等）、领域模型（如学生和教师的知识表征）和诊断模型（如根据领域模型对错误和缺陷进行评估）。
这些研究对ITS的应用和验证通常持续时间不长（一门课程或一个学期），只有一项纵向研究（Jackson & Cossitt, 2015）。多数研究显示（一定程度）积极或令人满意的初步结果，但是它们没有考虑新技术应用于教育时可能会产生的新奇效应（novelty effect）。有一项研究呈现基于IT的支持服务产生负面影响（Adamson, et al., 2014）；如果研究者也考虑该研究涉及的学习者类型这个因素，研究结果可能更有价值。
总体看，ITS的作用尚待进一步研究。五年前斯滕贝亨-胡和库珀（Steenbergen-Hu & Cooper, 2014）对39项ITS研究进行元分析，结果发现ITS对学生的学习有一定影响，其作用不如教师辅导，但却优于其他教学方法（如传统课堂教学、阅读印刷或数字化文本、完成家庭作业）。
根据本综述的文献，ITS的功能可分为教授课程内容（n=12）、诊断学生的知识强项或缺陷和提供自动反馈（n=7）、根据学生需要提供学习材料（n=3）、促进学习者协作（n=2）和教师其他方面的职能（n=5）。
（1）教授课程内容
这一类有四项研究涉及教授计算机科学内容（Dobre, 2014; Hooshyar, Ahmad, Yousefi, Yusop, & Horng, 2015; Howard, Jordan, di Eugenio, & Katz, 2017; Shen & Yang, 2011）。其他研究包括教授数学（Miwa, et al., 2014）、商业统计与会计（Jackson & Cossitt, 2015; Palocsay & Stevens, 2008）、医学（Payne, et al., 2009）和心理学本科生的写作和阅读理解策略（Ray & Belden, 2007; Weston-Sementelli, Allen, & McNamara, 2018）。总体看，ITS在这些研究中的主要目的是向学生推送教学内容，同时也提供学习支持（提供自适应反馈以及涉及学习内容的问题的提示，发现学生在学习课程内容或完成练习过程碰到的困难或出现的错误）。
克朗等（Crown, et al., 2011）把教授内容和与聊天机器人的对话结合起来，即学生同时也从这种对话中学到知识，他们称之为“基于文本的聊天代理”。这种教学方法更能促进具有主动性、反思性和思考性的以学生为中心的学习。达菲和阿泽韦多（Duffy & Azevedo, 2015）开发了一款ITS——MetaTutor，目的是教授人类循环系统但同时也通过系统自身的功能（计时器、使用不同学习策略的工具栏和学习目标等等）帮助学生进行自我调节学习。
（2）诊断学生的知识强项或缺陷和提供自动反馈
这一类有四项研究的ITS是一个计算机对学生的单向交流系统，发现学生的知识缺陷并提供反馈。在涉及STEM的三项研究中，两项通过反馈和监控学生行为在虚拟实验室提供虚拟帮助（Duarte, et al., 2008; Ramírez, et al., 2018），一项是单机ITS在计算机学科的应用（Paquette, Lebeau, Beaulieu, & Mayers, 2015）。此外，还有一项研究涉及ITS在第二语言学习中的应用（Dodigovic, 2007）。
两项研究的诊断错误和提供反馈通过人机对话完成，一款是能通过识别问题与学习者进行交流的交互式泛在教学机器人（Umarani, Raviram, & Wahidabanu, 2011），另一款是基于大学物理入门的辅导对话工具包的辅导系统（Chi, VanLehn, Litman, & Jordan, 2011）。这款辅导对话工具包（TuTalk）是另一项研究开发的同伴对话代理的核心（Howard, et al., 2017），在这项研究中ITS与学生开展一对一解决问题的对话，交流可以通过语言和图形进行，而且是过程导向，协作解决问题而非常规辅导。这项研究可被视为同伴代理协作的例子。
（3）根据学生需要提供学习材料
这一类有两项研究着重学习材料的提供（Jeschike, et al., 2007; Schiaffino, et al., 2008），一项则是把这个功能当成该研究所开发的探测系统的一个特性进行介绍（Hall Jr. & Ko, 2008）。希夫里诺等（Schiaffino, et al., 2008）开发了一款面向eLearning学生的eTeacher系统，通过观察他们的课程学习行为形成学生特征分析，向他们提供个性化帮助。该系统既能推荐相应的阅读材料和练习，也能推荐个性化行动。耶施克等（Jeschike, et al., 2007）研究的是用于统计力学虚拟实验室的一款智能助理，该系统提供练习、学生学习评价以及适合具体学生的交互式课程材料。
（4）促进学习者协作
这一类只有两项研究：一项使用有利于促进学习的话步（talk moves）支持在线协作学习讨论（Adamson, et al., 2014），另一项通过提供自动反馈、自动生成问题和分析学习过程促进协作写作（Calvo, et al., 2011）。这两项研究均表明AI软件有促进学生协作的潜能，因此应该成为今后一个研究方向。
（5）教师其他方面的职能
如上所述，贝克和史密斯（Baker & Smith, 2019, p.12）区分面向学生的AI和面向教师的AI。但是，只有两篇ITS文章聚焦教师职能。卡萨马约等（Casamayor, et al., 2009）研究如何通过监控和发现协作学习过程的冲突向教师提供帮助。该研究的智能助理向教师提供每一个小组成员学习情况，包括每个人的进步、以何种方式参与小组学习、发现有冲突情况时发出的提醒信息以及学习风格（登录之后的活动），方便教师适时采取干预措施。另一项研究是突出如何分摊教师的教学辅导工作（Chou, Huang, & Lin, 2011）。同样强调减轻教师工作量的还有池等的研究（Chi, et al., 2011）。此外，很多面向学生的AI系统也会涉及教师职能，虽然它们的重点是帮助学生。
3. 考核和评价
这一类研究也是多数聚焦教与学的问题（86%，n=31），虽然有五项围绕机构层面的应用研究。阿纳多卢大学（Anadolu University）研究者使用Twitter API Twython获取学生在Twitter上提到该校远程开放教育系统使用情况方面的内容并采用情感分析法（sentiment analysis）分析这些内容，以便了解学生对该校在线远程教育的意见（Ozturk, Cicek, & Ergul, 2017）。研究者通过分析这些公开获取的数据了解学生的意见，因为他们可能无法从学校的学习管理系统获取这类信息，因此研究结果有助于改进正在使用的系统。有两项研究通过AI评估学生的先前学习认定。卡尔兹等（Kalz, et al., 2008）采用潜在语义分析（Latent Semantic Analysis）和电子档案袋帮助学生设计个性化学习路径；比勒特斯卡等（Biletska, Biletskiy, Li, & Vovk, 2011）使用语义网络技术对学生在不同学校获得的资格证书进行换算，可能还包括课程介绍和主题，方便授予学分。另一项聚焦机构层面问题的研究（Sanchez, et al., 2016）通过算法对照用人单位所要求的专业素养和能力培养学生，确保课程内容和业界需求一致。
总体看，AI应用能够非常准确和高效完成考核和评价工作。然而，由于需要对这些系统进行校准和训练（监督机器学习），它们更适合应用于学生规模大的课程或专业。
这类文章可以进一步分为四个子类：自动评分（n=13）、反馈（n=8）、评价学生的理解、投入和学术诚信（n=5）、评价教学（n=5）。
（1）自动评分
对自动作文评分（Automated Essay Scoring）系统的研究涉及各个学科（如生物学、医学、商学、英语作为第二语言等），但是多数在本科课程使用（n=10），包括以读写能力较差的学生为研究对象（Perin & Lauterbach, 2018）。吉尔尔等（Gierl, et al., 2014）采用LightSIDE这款开源Java软件给医学研究生作文评分，结果显示计算机评分与教师评分的一致性介于94.6%到98.2%之间，因此在应对大规模考核的评分任务时能够减少人工费用和时间（Barker, 2011; McNamara, et al., 2015）。但是，他们强调并非所有体裁的作文适合使用自动作文评分系统，而且由于需要使用大量预评分作文校准系统，因此不宜在小班教学中使用。借助算法分析回答文本的模式已被发现有助于鼓励学生做更多修改（Ma & Slater, 2015），不再只能依靠多项选择测试检查学生的知识和能力（Nehm, Ha, & Mayfield, 2012）。但是，自动作文评分系统的反馈质量一直引起关注（Dikli, 2010），贝克（Barker, 2011）发现系统提供的反馈越详细学生越有可能对分数提出质疑，也有研究质疑自动反馈对语言初学者的帮助（Aluthman, 2016）。
（2）反馈
这一类研究包括各种面向学生的工具，比如：在学生感到不解或停滞不前时向他们提供提示或指导的智能代理（Huang, et al., 2008）、向在飞行途中正在失去情景意识（situation awareness）的飞行学员发出警告的软件（Thatcher, 2014）和具备生成自动反馈、帮助学生提高写作水平的词汇功能的机器学习技术（Chodorow, Gammon, & Tetreault, 2010; Garcia-Gorrostieta, Lopez-Lopez, & Gonzalez-Lopez, 2018; Nguyen, 2017; Quixal & Meurers, 2016）。这些技术能防止学生认知超负荷（Yang, Wong, & Yeh, 2009）；基于自适应测试的自动反馈系统不仅能够根据布鲁姆的认知层次确定最恰当答案，而且还推荐额外材料和任务（Barker, 2010）。
（3）评价学生的理解、投入和学术诚信
有三项研究报告面向学生的工具评价学生理解概念（Jain, Gurupur, Schroeder, & Faulkenberry, 2014; Zhu, Marquez, & Yoo, 2015）和提供个性化帮助（Samarkou, et al., 2015）的情况。侯赛恩等（Hussain, Zhu, Zhang, & Abidi, 2018）使用机器学习算法评价英国开放大学学生在一门社会科学课程的学习投入，包括最终成绩、考核分数和学生使用虚拟学习环境的情况，目的是提醒教师注意是否需要采取干预措施。阿米古德等（Amigud, Arnedo-Moreno, Daradoumis, & Guerrero-Roldan, 2017）使用机器学习算法评估学生作业雷同程度，检查他们的学术诚信。该研究的平均准确率为93%，因此证明这种方法能减少对监考员的需求或因需要登录学生账户引发的隐私关切。
（4）评价教学
有四项研究在课程评价中使用数据挖掘算法评价教师表现（Agaoglu, 2016; Ahmad & Rashid, 2016; DeCarlo & Rizk, 2010; Gutierrez, et al., 2018），其中阿高格鲁（Agaoglu, 2016）使用四种不同分类技术后发现评价问卷的很多问题不恰当。有一项研究通过算法评价微分方程课上所使用的教学方法的影响，结果发现提供即时反馈的在线作业比课堂反应系统的效果更好（Duzhin & Gustafsson, 2018）。这项研究还发现，一般而言，以前考试成绩对后面的考试结果有良好的预测作用，但是无助于了解学生在基于项目的任务中的表现。
4. 自适应系统和个性化
这一类研究多数涉及教与学问题（85%，n= 23），也有四项研究旨在解决机构和行政管理层面的问题，其中两项研究聚焦本科生学习咨询指导（Alfarsi, Omar, & Alsinani, 2017; Feghali, Zbib, & Hallal, 2011），阮等（Nguyen, et al., 2018）则是围绕AI支持大学提供就业服务的研究。吴等（Ng, Wong, Lee, & Lee, 2011）开发一款基于代理的远程学习管理系统，该系统允许用户获取各专业的数据，而不是仅限于使用某一个院系的数据，可用于管理资源、支持决策和机构制定政策以及帮助管理本科生学习流程（如入学、考试和课程管理）。
这些研究对自适应系统的称谓似乎不一致，这可能是因为自适应系统功能的多样性所致的结果。有些研究采用的术语类似于ITS的别称，如智能助理（Li, 2007; Ng, et al., 2011）。最常用的名称是智能eLearning系统（Kose & Arslan, 2016）、自适应基于网站的学习系统（Lo, Chan, & Yeh, 2012）或智能教学系统（Ji & Liu, 2014）。如同ITS的研究一样，多数研究对系统进行描述或包含试点但并没有报告使用较长时间的结果，而且除了维格特等（Vlugter, et al., 2009）的研究显示使用基于对话的计算机辅助语言学习系统的实验组在延迟后测的成绩比控制组低，其他研究通常只报告正面结果。
针对教与学问题的23项研究可以分成五个子类：教授课程内容（n=7）、推荐个性化内容（n=5）、支持教师教学设计（n=3）、使用学习数据监控和指导学生（n=2）、用概念图表征知识（n=2）。但是有些研究难以分类，因为其工具的使用目的特殊，包括帮助组建兴趣相同的在线学习小组（Yang, Wang, Shen, & Han, 2007）、支持模拟商业决定（Ben-Zvi, 2012）和使用具身会话代理改变神经性厌食病人的态度和行为（Sebastian & Richards, 2017）。阿帕利西奥等（Aparicio, et al., 2018）的研究并不是分析自适应系统的应用情况，而是研究学生对信息系统（包括智能信息获取系统）应用于教育（尤其是生物医学教育）的看法。
（1）教授课程内容
这一类研究涉及多种课程，包括环境教育（Huang, 2018）、动画设计（Ji & Liu, 2014）、语言学习（Jia, 2009; Vlugter, Knott, McDonald, & Hall, 2009）、计算机科学（Iglesias, Martinez, Aler, & Fernandez, 2009）和生物学（Chaudhri, et al., 2013）。沃世尔等（Walsh, Tamjidul, & Williams, 2017）介绍一款基于机器学习与人机学习共生的自适应系统，但没有说明应用于哪一个学科的教与学。
（2）推荐个性化内容
这一类研究根据学生在工商管理学（Hall & Ko, 2008）和计算机科学（Kose & Arslan, 2016; Lo, et al., 2012）的学习行为分析结果向学生提供量身定制的内容、材料和练习。戴等（Tai, Wu, & Li, 2008）开发了一个旨在帮助在线学生选课的eLearning推荐系统，而托雷斯-迪亚兹等（Torres-Díaz, Infante Moro, & Valdiviezo Díaz, 2014）研究的则是慕课（自适应）推荐系统根据学生个人偏好建议他们采取相应行动、推荐新内容等的效果。
（3）支持教师教学设计
有三项研究属于这一类。一项是围绕一个教学模式混合推荐系统的研究，旨在帮助教师根据具体班级的情况制定教学策略（Cobos, et al., 2013）；一项介绍一个基于元数据的模型，该模型能够进行自动学习设计，解决发现的问题（Camacho & Moreno, 2007）；一项是描述性研究（Li, 2007），作者认为智能代理能完成重复性工作，从而节省在线教师的时间，使教师更能把精力集中在创造性工作上。
（4）使用学习数据监控和指导学生
这一类研究的自适应系统能提取学生学习信息以做出相应诊断，使教师能主动提供个性化指导（Rovira, Puertas, & Igual, 2017）。此外，系统还能评价学生表现和提供个性化帮助和反馈，如“基于AI的学习者诊断、帮助和评价系统”（Learner Diagnosis， Assistance， and Evaluation System based on AI [StuDiAsE]）（Samarakou, et al., 2015）。
（5）用概念图表征知识
概念图有助于培养学生对概念结构的自我意识。这一类的两项研究均涉及专家系统。一项旨在通过综合概念图系统（ICMSys）呈现同伴的观点，方便比较，减轻学生认知负荷，促进学生对概念的反思（Kao, Chen, & Sun, 2010）；另一项旨在帮助英语为外语的大学生运用照应（referential）关系思维导图提高阅读理解能力（Yang, Wong, & Yeh, 2009），这个系统还提供系统指导的教学、练习和反馈。
五、
结论与进一步研究的启示
本文分析了AIEd研究的作者和发文期刊情况。研究发现，本领域的主要研究者是来自美国、中国（含台湾地区）和土耳其（占第一作者的50%）的学者，他们大多（62%）就职于计算机科学和STEM院系，主要发文期刊是《国际AIEd期刊》《计算机与教育》《国际新兴学习技术期刊》。
更重要的是，本综述显示AI在高等教育有广泛的应用潜能，包括向学生、教师和行政管理人员等提供支持。这些方面的应用被分为4大类（特征分析和预测、智能辅导系统、考核和评价，以及自适应系统和个性化）、17个子类。这样的分类有助于学界了解和认识AIEd的实践和研究。
纵向研究的匮乏，对技术进行描述性和试点研究为数可观，以及以定量方法为主，尤其是准实验方法的实证研究比比皆是，所有这些都说明，从对高等教育学习产生积极影响的角度看，AIEd实践与研究的创新性和意义仍有很大的提升空间，如可以采用基于设计的研究方法（Easterday, Rees Lewis, & Gerber, 2018）。最近一项文献综述显示有关教育技术促进个性化的研究也经常采用定量方法（Bartolomé, Castañeda, & Adell, 2018）。米西约克和沃森（Misiejuk & Wasson, 2017, p. 61）在其学习分析文献综述中指出：“（有关学习分析的）实施研究和影响研究为数极少。”这一点也在本综述得到印证。
今天我们仍然无法预测AI发展的全面影响，但是AI应用似乎可能成为未来20年最为重要的教育技术问题之一。基于AI的工具和服务在学生在校学习生涯中向学生、教师和行政管理者提供支持上的潜力很大。本综述所归纳的各种应用为智能学生支持系统的设计和引导学生在自适应和个性化学习环境下进行学习提供巨大的教与学机会。对于大型高等教育机构（如远程开放教学大学）而言更是如此，因为AIEd能帮助它们克服向众多学生提供高等教育的机会（大众化高等教育）所面对的窘境。AIEd也能有助于它们提供灵活且具有交互性和个性化的学习机会。比如：AIEd能给数以百计，甚至是数以万计的作业评分，从而减轻教师的工作负担，使他们能够把精力放在充满人文关怀的教学上。
必须指出，教育技术不（仅仅）是关乎技术，我们应该关心的是AIEd在教学、伦理道德、社会、文化和经济等方面的意义。赛尔温（Selwyn, 2016, p. 106）指出：“当然，危险在于把数据和编码看成提供指导和支持的权威而非相对的依据。教育如此复杂，远非可以仅被简化为数据分析和算法。如同数字技术一样，数字化数据不能提供解决教育窘况的技术良方，不管分析结果可能显得有多么大的说服力。”
技术潜能不应该是我们追求的目标，我们应该经常自问：哪些（技术潜能）具有教学上的意义？教室的人脸识别技术（“智慧校园”[Smart Campus]
本综述有一个令人吃惊的研究发现，即对于在高等教育实施AI应用可能在教学和伦理道德上带来的问题以及风险的批判性反思严重缺失。从伦理道德上讲，有一项学习分析文献综述也发现实证研究很少注意隐私问题（Misiejuk & Wasson, 2017）。如何把AI应用融合到学生在校学习生涯中？如何充分利用它们给创设智能教与学系统所带来的巨大机会？这些问题有待于教育工作者和学习设计者进一步研究。本综述显示来自教育学院系背景的作者比例非常低，由此可见我们必须重视从教育的角度看AI这些技术的发展。
总体看，理论缺失可能是教育技术领域的一种典型现象。丘等（Hew, et al., 2019）发现三家一流教育技术期刊的文章中超过40%存在“去理论化”（a-theoretical）。巴托洛美等（Bartolomé, Castañeda, & Adell, 2018）的综述也显示他们所分析的研究缺乏清楚的教育法视角。本综述的大多数研究把重点局限于分析和发现数据中的模式，目的是为了开发模型和面向学生和教师的应用，或使用几十年前提出的数学理论和机器学习方法支持行政管理上的决策（Russel & Norvig, 2010）。由于计算能力的发展和学生大数据唾手可得，这一类研究现在已经不是什么难事。然而，目前几乎没有证据表明AI驱动的教育技术促进了教学理论和学习心理学理论的发展。本综述一个重要的启示是：要鼓励研究者阐述围绕AIEd开发和实施的实证研究的理论基础，这样才能使研究结果得到推广，帮助我们了解（如本综述所示）将对高等教育机构带来巨大影响的AI发展的原因和机制。
参考文献
向上滑动阅览
Acikkar, M., & Akay, M. F. (2009). Support vector machines for predicting the admission decision of a candidate to the School of Physical Education and Sports at Cukurova University. Expert Systems with Applications, 36(3 PART 2), 7228-7233. https://doi.org/10.1016/j.eswa.2008.09.007
Adamson, David, Dyke, G., Jang, H., & Penstein Rosé, C. (2014). Towards an Agile Approach to Adapting Dynamic Collaboration Support to Student Needs. International Journal of Artificial Intelligence in Education, 24(1), 92-124. https://doi.org/10.1007/s40593-013-0012-6
Agaoglu, M. (2016). Predicting Instructor Performance Using Data Mining Techniques in Higher Education. IEEE ACCESS, 4, 2379-2387. https://doi.org/10.1109/ACCESS.2016.2568756
Ahmad, H., & Rashid, T. (2016). Lecturer performance analysis using multiple classifiers. Journal of Computer Science, 12(5), 255-264. https://doi.org/10.3844/fjcssp.2016.255.264
Alfarsi, G. M. S., Omar, K. A. M., & Alsinani, M. J. (2017). A Rule-Based System for Advising Undergraduate Students. Journal of Theoretical and Applied Information Technology, 95(11). Retrieved from http://www.jatit.org
Alkhasawneh, R., & Hargraves, R. H. (2014). Developing a hybrid model to predict student first year retention in STEM disciplines using machine learning techniques. Journal of STEM Education: Innovations & Research, 15(3), 35-42. https://core.ac.uk/download/pdf/51289621.pdf
Aluko, R. O., Adenuga, O. A., Kukoyi, P. O., Soyingbe, A. A., & Oyedeji, J. O. (2016). Predicting the academic success of architecture students by pre-enrolment requirement: using machine-learning techniques. Construction Economics and Building, 16(4), 86-98. https://doi.org/10.5130/AJCEB.v16i4.5184
Aluthman, E. S. (2016). The Effect of Using Automated Essay Evaluation on ESL Undergraduate Students’ Writing Skill. International Journal of English Linguistics, 6(5), 54-67. https://doi.org/10.5539/ijel.v6n5p54
Amigud, A., Arnedo-Moreno, J., Daradoumis, T., & Guerrero-Roldan, A.-E. (2017). Using learning analytics for preserving academic integrity. International Review of Research in Open and Distance Learning, 18(5), 192-210. DOI: 10.19173/irrodl.v18i5.3103
Andris, C., Cowen, D., & Wittenbach, J. (2013). Support Vector Machine for Spatial Variation. Transactions in GIS, 17(1), 41-61. https://doi.org/10.1111/j.1467-9671.2012.01354.x
Aparicio, F., Morales-Botello, M. L., Rubio, M., Hernando, A., Muñoz, R., López-Fernández, H., … Buenaga, M. de. (2018). Perceptions of the use of intelligent information access systems in university level active learning activities among teachers of biomedical subjects. International Journal of Medical Informatics, 112(December 2017), 21-33. https://doi.org/10.1016/j.ijmedinf.2017.12.016
Babic, I. D. (2017). Machine learning methods in predicting the student academic motivation. Croatian Operational Research Review, 8(2), 443-461. https://doi.org/10.17535/crorr.2017.0028
Bahadır, E. (2016). Using neural network and logistic regression analysis to predict prospective mathematics teachers’ academic success upon entering graduate education. Kuram ve Uygulamada Egitim Bilimleri, 16(3), 943-964. https://doi.org/10.12738/estp.2016.3.0214
Bakeman, R., & Gottman, J. M. (1997). Observing interaction-an introduction to sequential analysis. Cambridge: Cambridge University Press.
Baker, R. S. (2016). Stupid Tutoring Systems, Intelligent Humans. International Journal of Artificial Intelligence in Education, 26(2), 600-614. https://doi.org/10.1007/s40593-016-0105-0
Baker, T., & Smith, L. (2019). Educ-AI-tion Rebooted? Exploring the future of artificial intelligence in schools and colleges. Retrieved from Nesta Foundation website: https://media.nesta.org.uk/documents/Future of AI and education v5 WEB.pdf
Barker, T. (2010). An automated feedback system based on adaptive testing: Extending the model. International Journal of Emerging Technologies in Learning, 5(2), 11-14. https://doi.org/10.3991/ijet.v5i2.1235
Barker, T. (2011). An Automated Individual Feedback and Marking System: An Empirical Study. Electronic Journal of E-Learning, 9(1), 1-14. https://www.learntechlib.org/p/52053/
Bartolomé, A., Castañeda, L., & Adell, J. (2018). Personalisation in educational technology: the absence of underlying pedagogies. International Journal of Educational Technology in Higher Education, 15(14). https://doi.org/10.1186/s41239-018-0095-0
Ben-Zvi, T. (2012). Measuring the perceived effectiveness of decision support systems and their impact on performance. Decision Support Systems, 54(1), 248-256. https://doi.org/10.1016/j.dss.2012.05.033
Biletska, O., Biletskiy, Y., Li, H., & Vovk, R. (2010). A semantic approach to expert system for e-Assessment of credentials and competencies. Expert Systems with Applications, 37(10), 7003-7014. https://doi.org/10.1016/j.eswa.2010.03.018
Blikstein, P., Worsley, M., Piech, C., Sahami, M., Cooper, S., & Koller, D. (2014). Programming Pluralism: Using Learning Analytics to Detect Patterns in the Learning of Computer Programming. Journal of the Learning Sciences, 23(4), 561-599. https://doi.org/10.1080/10508406.2014.954750
Brunton, J., & Thomas, J. (2012). Information management in systematic reviews. In D. Gough, S. Oliver, & J. Thomas (Eds.), An introduction to systematic reviews (pp. 83-106). London: SAGE.
Calvo, R. A., O’Rourke, S. T., Jones, J., Yacef, K., & Reimann, P. (2011). Collaborative Writing Support Tools on the Cloud. IEEE Transactions on Learning Technologies, 4(1), 88-97. https://www.learntechlib.org/p/73461/
Camacho, D., & Moreno, M. D. R. (2007). Towards an automatic monitoring for higher education Learning Design. International Journal of Metadata, Semantics and Ontologies, 2(1), 1-1. https://doi.org/10.1504/ijmso.2007.015071
Casamayor, A., Amandi, A., & Campo, M. (2009). Intelligent assistance for teachers in collaborative e-Learning environments. Computers & Education, 53(4), 1147-1154. https://doi.org/10.1016/j.compedu.2009. 05.025
Castañeda, L. & Selwyn, N. (2018). More than tools? Making sense of the ongoing digitizations of higher education. International Journal of Educational Technology in Higher Education, 15(22). https://doi.org/10.1186/s41239-018-0109-y
Chaudhri, V. K., Cheng, B., Overtholtzer, A., Roschelle, J., Spaulding, A., Clark, P., … Gunning, D. (2013). Inquire Biology: A Textbook that Answers Questions. AI Magazine, 34(3), 55-55. https://doi.org/10.1609/aimag.v34i3.2486
Chen, J.-F., & Do, Q. H. (2014). Training neural networks to predict student academic performance: A comparison of cuckoo search and gravitational search algorithms. International Journal of Computational Intelligence and Applications, 13(1). https://doi.org/10.1142/S14690268 14500059
Chi, M., VanLehn, K., Litman, D., & Jordan, P. (2011). Empirically evaluating the application of reinforcement learning to the induction of effective and adaptive pedagogical strategies. User Modeling and User-Adapted Interaction, 21(1), 137-180. DOI 10.1007/s11257-010- 9093-1
Chodorow, M., Gamon, M., & Tetreault, J. (2010). The utility of article and preposition error correction systems for English language learners: Feedback and assessment. Language Testing, 27(3), 419-436. https://doi.org/10.1177/0265532210364391
Chou, C.-Y., Huang, B.-H., & Lin, C.-J. (2011). Complementary machine intelligence and human intelligence in virtual teaching assistant for tutoring program tracing. Computers & Education, 57(4), 2303-2312. https://www.learntechlib.org/p/167322/
Cobos, C., Rodriguez, O., Rivera, J., Betancourt, J., Mendoza, M., León, E., & Herrera-Viedma, E. (2013). A hybrid system of pedagogical pattern recommendations based on singular value decomposition and variable data attributes. Information Processing and Management, 49(3), 607-625. https://doi.org/10.1016/j.ipm.2012.12.002
Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20, 37-46. https://doi.org/10.1177/001316446002000104
Contact North. (2018). Ten facts about artificial intelligence in teaching and learning. Retrieved from https://teachonline.ca/sites/default/files/tools-trends/downloads/ten_facts_about_artificial_intelligence.pdf
Crown, S., Fuentes, A., Jones, R., Nambiar, R., & Crown, D. (2011). Anne G. Neering: Interactive chatbot to engage and motivate engineering students. Computers in Education Journal, 21(2), 24-34.
DeCarlo, P., & Rizk, N. (2010). The design and development of an expert system prototype for enhancing exam quality. International Journal of Advanced Corporate Learning, 3(3), 10-13. https://doi.org/10.3991/ijac.v3i3.1356
Delen, D. (2011). Predicting student attrition with data mining methods. Journal of College Student Retention: Research, Theory and Practice, 13(1), 17-35. https://doi.org/10.2190/CS.13.1.b
Delen, D. (2010). A comparative analysis of machine learning techniques for student retention management. Decision Support Systems, 49(4), 498-506. https://doi.org/10.1016/j.dss.2010.06.003
Dikli, S. (2010). The Nature of Automated Essay Scoring Feedback. CALICO Journal, 28(1), 99-134. DOI: 10.11139/cj.28.1.99-134
Dobre, I. (2014). Assessing the student’s knowledge in informatics discipline using the METEOR metric. Mediterranean Journal of Social Sciences, 5(19), 84-92. DOI: 10.5901/mjss.2014.v5n19p84
Dodigovic, M. (2007). Artificial Intelligence and Second Language Learning: An Efficient Approach to Error Remediation. Language Awareness, 16(2), 99-113. https://doi.org/10.2167/la416.0
Duarte, M., Butz, B., Miller, S., & Mahalingam, A. (2008). An Intelligent Universal Virtual Laboratory (UVL). IEEE Transactions on Education, 51(1), 2-9. DOI: 10.1109/SSST.2002.1027009
Duffy, M. C., & Azevedo, R. (2015). Motivation matters: Interactions between achievement goals and agent scaffolding for self-regulated learning within an intelligent tutoring system. Computers in Human Behavior, 52, 338-348. https://doi.org/10.1016/j.chb.2015.05.041
Duzhin, F., & Gustafsson, A. (2018). Machine Learning-Based App for Self-Evaluation of Teacher-Specific Instructional Style and Tools. Education Sciences, 8(1). https://doi.org/10.3390/educsci8010007
Easterday, M. W., Rees Lewis, D. G., & Gerber, E. M. (2018). The logic of design research. Learning: Research and Practice, 4(2), 131-160. https://doi.org/10.1080/23735082.2017.1286367
EDUCAUSE. (2018). Horizon Report: 2018 Higher Education Edition. Retrieved from EDUCAUSE Learning Initiative and The New Media Consortium website: https://library.educause.edu/~/media/files/library/ 2018/8/2018horizonreport.pdf
EDUCAUSE. (2019). Horizon Report: 2019 Higher Education Edition. Retrieved from EDUCAUSE Learning Initiative and The New Media Consortium website: https://library.educause.edu/-/media/files/library/ 2019/4/2019horizonreport.pdf
Feghali, T., Zbib, I., & Hallal, S. (2011). A web-based decision support tool for academic advising. Educational Technology and Society, 14(1), 82-94. https://www.learntechlib.org/p/52325/
Feng, S., Zhou, S., & Liu, Y. (2011). Research on data mining in university admissions decision-making. International Journal of Advancements in Computing Technology, 3(6), 176-186. https://doi.org/10. 4156/ijact.vol3.issue6.21
Fleiss, J. L. (1981). Statistical methods for rates and proportions. New York: Wiley.
Ge, C., & Xie, J. (2015). Application of Grey Forecasting Model Based on Improved Residual Correction in the Cost Estimation of University Education. International Journal of Emerging Technologies in Learning, 10(8), 30-33. DOI: 10.3991/ijet.v10i8.5215
Gierl, M., Latifi, S., Lai, H., Boulais, A., & Champlain, A. (2014). Automated essay scoring and the future of educational assessment in medical education. Medical Education, 48(10), 950-962. https://doi.org/10.1111/medu.12517
Gough, D., Oliver, S., & Thomas, J. (2017). An introduction to systematic reviews (2nd edition). Los Angeles: SAGE.
Gutierrez, G., Canul-Reich, J., Ochoa Zezzatti, A., Margain, L., & Ponce, J. (2018). Mining: Students Comments about Teacher Performance Assessment using Machine Learning Algorithms. International Journal of Combinatorial Optimization Problems and Informatics, 9(3), 26-40. https://ijcopi.org/index.php/ojs/article/view/99
Hall, O. P., & Ko, K. (2008). Customized content delivery for graduate management education: Application to business statistics. Journal of Statistics Education, 16(3). https://doi.org/10.1080/10691898.2008. 11889571
Haugeland, J. (1985). Artificial intelligence: The very idea. Cambridge, Mass.: MIT Press
Hew, K. F., Lan, M., Tang, Y., Jia, C., & Lo, C. K. (2019). Where is the “theory” within the field of educational technology research? British Journal of Educational Technology, 50(3), 956-971. https://doi.org/10.1111/bjet.12770
Hinojo-Lucena, F.-J., Aznar-Díaz, I., Cáceres-Reche, M.-P., & Romero-Rodríguez, J.-M. (2019). Artificial Intelligence in Higher Education: A Bibliometric Study on its Impact in the Scientific Literature. Education Sciences, 9(1), 51. https://doi.org/10.3390/educsci9010051
Hoffait, A.-S., & Schyns, M. (2017). Early detection of university students with potential difficulties. DECISION SUPPORT SYSTEMS, 101, 1-11. https://doi.org/10.1016/j.dss.2017.05.003
Hooshyar, D., Ahmad, R., Yousefi, M., Yusop, F., & Horng, S. (2015). A flowchart-based intelligent tutoring system for improving problem-solving skills of novice programmers. Journal of Computer Assisted Learning, 31(4), 345-361. https://doi.org/10.1111/jcal.12099
Howard, C., Jordan, P., di Eugenio, B., & Katz, S. (2017). Shifting the Load: a Peer Dialogue Agent that Encourages its Human Collaborator to Contribute More to Problem Solving. International Journal of Artificial Intelligence in Education, 27(1), 101-129. https://doi.org/10.1007/s40593-015-0071-y
Howard, E., Meehan, M., & Parnell, A. (2018). Contrasting prediction methods for early warning systems at undergraduate level. Internet and Higher Education, 37, 66-75. https://doi.org/10.1016/j.iheduc.2018.02.001
Huang, C.-J., Chen, C.-H., Luo, Y.-C., Chen, H.-X., & Chuang, Y.-T. (2008). Developing an Intelligent Diagnosis and Assessment E-learning Tool for Introductory Programming. Educational Technology & Society, 11(4), 139-157. https://www.jstor.org/stable/jeductechsoci.11. 4.139
Huang, J., & Chen, Z. (2016). The research and design of web-based intelligent tutoring system. International Journal of Multimedia and Ubiquitous Engineering, 11(6), 337-348. https://doi.org/10.14257/ijmue.2016.11.6.30
Huang, S. P. (2018). Effects of using artificial intelligence teaching system for environmental education on environmental knowledge and attitude. Eurasia Journal of Mathematics, Science and Technology Education, 14(7), 3277-3284. https://doi.org/10.29333/ejmste/91248
Hussain, M., Zhu, W., Zhang, W., & Abidi, S. M. R. (2018). Student engagement predictions in an e-Learning system and their impact on student course assessment scores. Computational Intelligence and Neuroscience. https://doi.org/10.1155/2018/6347186
Iglesias, A., Martinez, P., Aler, R., & Fernandez, F. (2009). Reinforcement learning of pedagogical policies in adaptive and intelligent educational systems. Knowledge-Based Systems, 22(4), 266-270. https://e-archivo.uc3m.es/bitstream/handle/10016/6502/reinforcement_aler_KBS_2009_ps.pdf?sequence=1&isAllowed=y
Jackson, M., & Cossitt, B. (2015). Is intelligent online tutoring software useful in refreshing financial accounting knowledge? Advances in Accounting Education: Teaching and Curriculum Innovations, 16, 1-19. https://doi.org/10.1108/S1085-462220150000016001
Jain, G. P., Gurupur, V. P., Schroeder, J. L., & Faulkenberry, E. D. (2014). Artificial Intelligence-Based Student Learning Evaluation: A Concept Map-Based Approach for Analyzing a Student’s Understanding of a Topic. IEEE Transactions on Learning Technologies, 7(3), 267-279. DOI: 10.1109/TLT.2014.2330297
Jeschike, M., Jeschke, S., Pfeiffer, O., Reinhard, R., & Richter, T. (2007). Equipping Virtual Laboratories with Intelligent Training Scenarios. AACE Journal, 15(4), 413-436. https://www.learntechlib.org/primary/p/23636/
Ji, Y., & Liu, Y. (2014). Development of an Intelligent Teaching System Based on 3D Technology in the Course of Digital Animation Production. International Journal of Emerging Technologies in Learning, 9(9), 81-86. https://doi.org/10.3991/ijet.v11i09.6116
Jia, J. (2009). An AI Framework to Teach English as a Foreign Language: CSIEC. AI Magazine, 30(2), 59-59. https://doi.org/10.1609/aimag.v30i2.2232
Jonassen, D., Davidson, M., Collins, M., Campbell, J., & Haag, B. B. (1995). Constructivism and computer-mediated communication in distance education. American Journal of Distance Education, 9(2), 7-25. https://doi.org/10.1080/08923649509526885
Kalz, M., van Bruggen, J., Giesbers, B., Waterink, W., Eshuis, J., & Koper, R. (2008). A model for new linkages for prior learning assessment. Campus-Wide Information Systems, 25(4), 233-243. https://doi.org/10.1108/10650740810900676
Kao, Chen, & Sun. (2010). Using an E-Learning System with Integrated Concept Maps to Improve Conceptual Understanding. International Journal of Instructional Media, 37(2), 151-151.
Kaplan, A., & Haenlein, M. (2019). Siri, Siri, in my hand: Who’s the fairest in the land? On the interpretations, illustrations, and implications of artificial intelligence. Business Horizons, 62(1), 15-25. https://doi.org/10.1016/j.bushor.2018.08.004
Kardan, A. A., & Sadeghi, H. (2013). A Decision Support System for Course Offering in Online Higher Education Institutes. International Journal of Computational Intelligence Systems, 6(5), 928-942. https://doi.org/10.1080/18756891.2013.808428
Kardan, A. A., Sadeghi, H., Ghidary, S. S., & Sani, M. R. F. (2013). Prediction of student course selection in online higher education institutes using neural network. Computers and Education, 65, 1-11. https://doi.org/10.1016/j.compedu.2013.01.015
Kose, U., & Arslan, A. (2016). Intelligent E-Learning System for Improving Students’ Academic Achievements in Computer Programming Courses. International Journal of Engineering Education, 32(1, A), 185-198.
Li, X. (2007). Intelligent Agent-Supported Online Education. Decision Sciences Journal of Innovative Education, 5(2), 311-331. https://doi.org/10.1111/j.1540-4609.2007.00143.x
Lo, J. J., Chan, Y. C., & Yeh, S. W. (2012). Designing an adaptive web-based learning system based on students’ cognitive styles identified online. Computers and Education, 58(1), 209-222. https://doi.org/10.1016/j.compedu.2011.08.018
Lodhi, P., Mishra, O., Jain, S., & Bajaj, V. (2018). StuA: An Intelligent Student Assistant. International Journal of Interactive Multimedia and Artificial Intelligence, 5(2), 17-25. https://doi.org/10.9781/ijimai. 2018.02.008
Luckin, R., Holmes, W., Griffiths, M., & Forcier, L. B. (2016). Intelligence unleashed-an argument for AI in education. Retrieved from http://discovery.ucl.ac.uk/1475756/
Ma, H., & Slater, T. (2015). Using the Developmental Path of Cause to Bridge the Gap between AWE Scores and Writing Teachers’ Evaluations. Writing & Pedagogy, 7(2), 395-422. https://doi.org/10.1558/wap.v7i2-3.26376
McNamara, D. S., Crossley, S. A., Roscoe, R. D., Allen, L. K., & Dai, J. (2015). A hierarchical classification approach to automated essay scoring. Assessing Writing, 23, 35-59. https://doi.org/10.1016/j.asw.2014. 09.002
Misiejuk, K., & Wasson, B. (2017). State of the Field report on Learning Analytics. SLATE Report 2017-2. Bergen: Centre for the Science of Learning & Technology (SLATE). Retrieved from http://bora.uib.no/handle/1956/17740
Miwa, K., Terai, H., Kanzaki, N., & Nakaike, R. (2014). An intelligent tutoring system with variable levels of instructional support for instructing natural deduction. Transactions of the Japanese Society for Artificial Intelligence, 29(1), 148-156. https://doi.org/10.1527/tjsai.29.148
Moher, D., Liberati, A., Tetzlaff, J., & Altman, D. G. (2009). Preferred reporting items for systematic reviews and meta-analyses: The PRISMA statement. BMJ. Clinical Research Ed., 339, b2535. https://doi.org/10.1136/bmj.b2535
Nehm, R. H., Ha, M., & Mayfield, E. (2012). Transforming Biology Assessment with Machine Learning: Automated Scoring of Written Evolutionary Explanations. Journal of Science Education and Technology, 21(1), 183-196. https://doi.org/10.1007/s10956-011-9300-9
Neumann, W. L. (2007). Social research methods: Qualitative and quantitative approaches. Boston: Pearson.
Ng, S. C., Wong, C. K., Lee, T. S., & Lee, F. Y. (2011). Design of an Agent-based Academic Information System for Effective Education Management. Information Technology Journal, 10(9), 1784-1788. https://doi.org/10.3923/itj.2011.1784.1788
Nguyen, J., Sánchez-Hernández, G., Armisen, A., Agell, N., Rovira, X., & Angulo, C. (2018). A linguistic multi-criteria decision-aiding system to support university career services. Applied Soft Computing Journal, 67, 933-940. https://doi.org/10.1016/j.asoc.2017.06.052
Nicholas, D., Watkinson, A., Jamali, H. R., Herman, E., Tenopir, C., Volentine, R., . . . Levine, K. (2015). Peer review: still king in the digital age. Learned Publishing, 28(1), 15-21. https://doi.org/10.1087/20150104
Oztekin, A. (2016). A hybrid data analytic approach to predict college graduation status and its determinative factors. Industrial Management and Data Systems, 116(8), 1678-1699. https://doi.org/10.1108/IMDS-09-2015-0363
Ozturk, Z. K., Cicek, Z. I. E., & Ergul, Z. (2017). Sentiment Analysis: an Application to Anadolu University. Acta Physica Polonica A, 132(3), 753-755. DOI: 10.12693/APhysPolA.132.753
Palocsay, S. W., & Stevens, S. P. (2008). A Study of the Effectiveness of Web-Based Homework in Teaching Undergraduate Business Statistics. Decision Sciences Journal of Innovative Education, 6(2), 213-232. https://doi.org/10.1111/j.1540-4609.2008.00167.x
Paquette, L., Lebeau, J. F., Beaulieu, G., & Mayers, A. (2015). Designing a Knowledge representation approach for the generation of pedagogical interventions by MTTs. International Journal of Artificial Intelligence in Education, 25(1), 118-156. https://www.learntechlib.org/p/168275/
Payne, V. L., Medvedeva, O., Legowski, E., Castine, M., Tseytlin, E., Jukic, D., & Crowley, R. S. (2009). Effect of a limited-enforcement intelligent tutoring system in dermatopathology on student errors, goals and solution paths. Artificial Intelligence in Medicine, 47(3), 175-197. https://doi.org/10.1016/j.artmed.2009.07.002
Pedró, F., Subosa, M., Rivas, A., & Valverde, P. (2019). Artificial intelligence in education: challenges and opportunities for sustainable development. Paris: UNESCO.
Perez, S., Massey-Allard, J., Butler, D., Ives, J., Bonn, D., Yee, N., & Roll, I. (2017). Identifying Productive Inquiry in Virtual Labs Using Sequence Mining. In E. André, R. Baker, X. Hu, Ma. M. T. Rodrigo, & B. du Boulay (Eds.), Artificial Intelligence in Education (Vol. 10331, pp. 287-298). https://doi.org/10.1007/978-3-319-61425-0 24
Perin, D., & Lauterbach, M. (2018). Assessing Text-Based Writing of Low-Skilled College Students. International Journal of Artificial Intelligence in Education, 28(1), 56-78. https://doi.org/10.1007/s40593- 016-0122-z
Petticrew, M., & Roberts, H. (2006). Systematic reviews in the social sciences: A practical guide. Malden, MA; Oxford: Blackwell Pub.
Phani Krishna, K. V., Mani Kumar, M., & Aruna Sri, P. S. G. (2018). Student information system and performance retrieval through dashboard. International Journal of Engineering and Technology(UAE), 7, 682-685. DOI: 10.14419/ijet.v7i2.7.10922
Popenici, S., & Kerr, S. (2017). Exploring the impact of artificial intelligence on teaching and learning in higher education. Research and Practice in Technology Enhanced Learning. DOI: 10.1186/s41039- 017-0062-8
Prinsloo, P. (2017). Fleeing from Frankenstein’s monster and meeting Kafka on the way: Algorithmic decision-making in higher education. E-Learning and Digital Media, 14(3), 138-163. https://doi.org/10.1177/2042753017731355
Quixal, M., Meurers, Detmar. (2016). How can Writing Tasks be Characterized in a way serving Pedagogical Goals and Automatic Analysis Needs? Calico Journal, 33(1), 19-48. https://doi.org/10.1558/cj.v33i1.26543
Raju, D., & Schumacker, R. (2015). Exploring student characteristics of retention that lead to graduation in higher education using data mining models. Journal of College Student Retention: Research, Theory and Practice, 16(4), 563-591. https://doi.org/10.2190/CS.16.4.e
Ramírez, J., Rico, M., Riofrío-Luzcando, D., Berrocal-Lobo, M., & Antonio, A. (2018). Students’ Evaluation of a Virtual World for Procedural Training in a Tertiary-Education Course. Journal of Educational Computing Research, 56(1), 23-47. https://doi.org/10.1177/0735633117706047
Ray, R. D., & Belden, N. (2007). Teaching College Level Content and Reading Comprehension Skills Simultaneously via an Artificially Intelligent Adaptive Computerized Instructional System. Psychological Record, 57(2), 201-218. https://opensiuc.lib.siu.edu/cgi/viewcontent.cgi?referer=https://www.google.com/&httpsredir=1&article=1103&co ntext=tpr
Reid, J. (1995). Managing learner support. In F. Lockwood (Ed.), Open and distance learning today (pp. 265-275). London: Routledge.
Rovira, S., Puertas, E., & Igual, L. (2017). Data-driven system to predict academic grades and dropout. PLoS ONE, 12(2), 1-21. https://doi.org/10.1371/journal.pone.0171207
Russel, S., & Norvig, P. (2010). Artificial Intelligence-A Modern Approach. New Jersey: Pearson Education.
Salmon, G. (2000). E-Moderating-The key to teaching and learning online (1st ed.). London: Routledge.
Samarakou, M., Fylladitakis, E. D., Früh, W. G., Hatziapostolou, A., & Gelegenis, J. J. (2015). An advanced eLearning environment developed for engineering learners. International Journal of Emerging Technologies in Learning, 10(3), 22-33. https://doi.org/10.3991/ijet.v10i3.4484
Sanchez, E. L., Santos-Olmo, A., Alvarez, E., Huerta, M., Camacho, S., & Fernandez-Medina, E. (2016). Development of an expert system for the evaluation of students’ curricula on the basis of competencies. FUTURE INTERNET, 8(2). https://doi.org/10.3390/fi8020022
Schiaffino, S., Garcia, P., & Amandi, A. (2008). eTeacher: Providing personalized assistance to e-learning students. Computers & Education, 51(4), 1744-1754. https://doi.org/10.1016/j.compedu.2008.05.008
Sebastian, J., & Richards, D. (2017). Changing stigmatizing attitudes to mental health via education and contact with embodied conversational agents. Computers in Human Behavior, 73, 479-488. https://doi.org/10.1016/j.chb.2017.03.071
Selwyn, N. (2016). Is technology good for education? Cambridge, UK: Malden, MA : Polity Press.
Shen, V. R. L., & Yang, C.-Y. (2011). Intelligent Multiagent Tutoring System in Artificial Intelligence. International Journal of Engineering Education, 27(2), 248-256.
Šimundi, A.-M. (2009). Measures of diagnostic accuracy: basic definitions. Journal of the International Federation of Clinical Chemistry and Laboratory Medicine, 19(4), 203-2011. https://www.ncbi.nlm.nih.gov/pubmed/27683318
Smith, R. (2006). Peer review: a flawed process at the heart of science and journals. Journal of the Royal Society of Medicine, 99, 178-182. DOI: 10.1258/jrsm.99.4.178
Spikol, D., Ruffaldi, E., Dabisias, G., & Cukurova, M. (2018). Supervised machine learning in multimodal learning analytics for estimating success in project‐based learning. Journal of Computer Assisted Learning, 34(4), 366-377. https://doi.org/10.1111/jcal.12263
Sreenivasa Rao, K., Swapna, N., & Praveen Kumar, P. (2018). Educational data mining for student placement prediction using machine learning algorithms. International Journal of Engineering and Technology(UAE), 7(1.2), 43-46. DOI: 10.14419/ijet.v7i1.2.8988
Steenbergen-Hu, S., & Cooper, H. (2014). A meta-analysis of the effectiveness of intelligent tutoring systems on college students’ academic learning. Journal of Educational Psychology, 106(2), 331-347. https://doi.org/10.1037/a0034752
Sultana, S., Khan, S., & Abbas, M. (2017). Predicting performance of electrical engineering students using cognitive and non-cognitive features for identification of potential dropouts. International Journal of Electrical Engineering Education, 54(2), 105-118. https://doi.org/10.1177/0020720916688484
Tai, D. W. S., Wu, H. J., & Li, P. H. (2008). Effective e-learning recommendation system based on self-organizing maps and association mining. Electronic Library, 26(3), 329-344. https://doi.org/10.1108/02640470810879482
Tegmark, M. (2018). Life 3.0: Being human in the age of artificial intelligence. London: Penguin Books.
Thatcher, S. J. (2014). The use of artificial intelligence in the learning of flight crew situation awareness in an undergraduate aviation programme. World Transactions on Engineering and Technology Education, 12(4), 764-768. https://www.semanticscholar.org/paper/The-use- of-artificial-intelligence-in-the-learning-Thatcher/758d305305151 1cde2f28fc6b2181b8e227f8ea2
Torres-Díaz, J. C., Infante Moro, A., & Valdiviezo Díaz, P. (2014). Los MOOC y la masificación personalizada. Profesorado, 18(1), 63-72. http://www.redalyc.org/articulo.oa?id=56730662005
Umarani, S. D., Raviram, P., & Wahidabanu, R. S. D. (2011). Speech based question recognition of interactive ubiquitous teaching robot using supervised classifier. International Journal of Engineering and Technology, 3(3), 239-243. http://www.enggjournals.com/ijet/docs/IJET11-03-03-35.pdf
Umer, R., Susnjak, T., Mathrani, A., & Suriadi, S. (2017). On predicting academic performance with process mining in learning analytics. Journal of Research in Innovative Teaching, 10(2), 160-176. https://doi.org/10.1108/JRIT-09-2017-0022
Vlugter, P., Knott, A., McDonald, J., & Hall, C. (2009). Dialogue-based CALL: A case study on teaching pronouns. Computer Assisted Language Learning, 22(2), 115-131. https://doi.org/10.1080/095882209 02778260
Walsh, K., Tamjidul, H., & Williams, K. (2017). Human Machine Learning Symbiosis. Journal of Learning in Higher Education, 13(1), 55-62. http://cs.uno.edu/~tamjid/pub/2017/JLHE.pdf
Welham, D. (2008). AI in training (1980-2000): Foundation for the future or misplaced optimism? British Journal of Educational Technology, 39(2), 287-303. https://doi.org/10.1111/j.1467-8535.2008.00818.x
Weston-Sementelli, J. L., Allen, L. K., & McNamara, D. S. (2018). Comprehension and Writing Strategy Training Improves Performance on Content-Specific Source-Based Writing Tasks. International Journal of Artificial Intelligence in Education, 28(1), 106-137. https://doi.org/10.1007/s40593-016-0127-7
Wickham, H., & Grolemund, G. (2016). R for data science: Import, tidy, transform, visualize, and model data (First edition). Sebastopol, CA: O’ Reilly.
Yang, F., Wang, M., Shen, R., & Han, P. (2007). Community-organizing agent: An artificial intelligent system for building learning communities among large numbers of learners. Computers & Education, 49(2), 131-147. https://doi.org/10.1016/j.compedu.2005.04.019
Yang, Y. F., Wong, W. K., & Yeh, H. C. (2009). Investigating readers’ mental maps of references in an online system. Computers and Education, 53(3), 799-808. https://doi.org/10.1016/j.compedu.2009.04.016
Yoo, J., & Kim, J. (2014). Can Online Discussion Participation Predict Group Project Performance? Investigating the Roles of Linguistic Features and Participation Patterns. International Journal of Artificial Intelligence in Education, 24(1), 8-32. https://www.learntechlib.org/p/155243/
Zhu, W., Marquez, A., & Yoo, J. (2015). “Engineering Economics Jeopardy!” Mobile App for University Students. Engineering Economist, 60(4), 291-306. https://doi.org/10.1080/0013791X.2015.1067343
作者简介
奥拉夫·扎瓦克奇-里克特（Olaf Zawacki-Richter）博士，德国奥尔登堡卡尔·冯·奥西茨基大学（Carl von Ossietzky University of Oldenburg）教育研究院/终身学习中心教育技术教授，开放教育研究中心创建者、主任，终身学习中心主任，Distance Education （Taylor & Francis）期刊副主编，International Review of Research in Open and Distributed Learning、Open Learning和Open University of Sri Lanka Journal等期刊编委；曾任德国哈根函授大学（开放大学）（FernUniversity in Hagen）教育技术教授和沙特阿拉伯国王大学（King Saud University）客座教授。
维多利亚·艾琳·马林（Victoria Irene Marín）博士，德国奥尔登堡大学教育与社会科学部开放教育研究中心博士后研究员。
梅丽莎·邦德（Melissa Bond），德国奥尔登堡卡大学教育与社会科学部开放教育研究中心副研究员，博士研究生。
弗兰齐斯卡·古弗尼尔（Franziska Gouverneur），德国奥尔登堡卡大学教育与社会科学部开放教育研究中心研究助理，硕士研究生。
译者简介
肖俊洪，汕头广播电视大学教授，Distance Education（Taylor & Francis）期刊副主编。责任编辑：韩世梅
中国期刊方阵双效期刊
中文核心期刊
中文社会科学引文索引（CSSCI）来源期刊
AMI综合评价（A刊）核心期刊
人大复印报刊资料重要转载来源期刊
中国科学评价研究中心（RCCSE）核心期刊
邮发代号2-353，全国各地邮局均可订阅。
本社亦办理征订，联系电话：010-68182513
更多精彩内容，尽在阅读原文
我知道你在看哟
欢迎您留言，反馈意见建议
电话：（010）68182514
邮箱：zzs@ouchn.edu.cn