摘 要：院校研究与学习分析在学习研究方面同异并存,皆利用大数据探寻学生学习的优劣。院校研究主要依赖大学的管理和调查数据，学习分析主要使用学习管理系统收集的数据。院校研究聚焦于帮助大学“知己知彼”，学习分析旨在助力“知学生”“知学习”“知教育”。院校研究为学校层面决策提供实证研究证据，学习分析识别学生个体学习行为从而支持个性化学习。二者有效融合可互助互利，更全面挖掘教育特征，提升学生学习成果。院校研究可利用决策支持服务经验，倡导和组建学习分析治理体系，为学习分析整合数据、从事学习分析的实践人员提供技术和方法支持，利用学习分析结果推动全校性教学改革。学习分析是耗资昂贵的项目，实施大学层面学习分析须考虑的问题：院校研究组织智能可否提供有效学习分析支持？是否做好了通过学习分析进行教学变革的准备？是否制定了学习分析目标? 如是，各层面的目标认知程度如何？
其他
【论文选刊】常桐善：院校研究与学习分析
作者简介：常桐善，浙江大学高等教育研究所求是讲座教授，加州大学校长办公室院校研究与学术规划主任，高等教育管理博士。
基金项目：国家社科基金一般项目“第三方评估与院校研究的效能提升互补机制探索”（BIA170160）
原文刊载于《高等工程教育研究》2021年第二期6-14页。
关键词：院校研究 学习分析 本科教育质量 个性化学习
一、引言
院校研究兴起于20世纪五六十年代，1966年美国院校研究学会成立是其发展的重要里程碑。半个多世纪以来，美国院校研究为美国高等教育发展做出了巨大贡献。院校研究一线工作人员及高等教育研究学者对院校研究的任务、目的、运行模式做了大量研究，对其成绩和经验教训进行了认真反思和总结。2015年美国院校研究学会出版的《院校研究手册》是美国院校研究理论和实践智慧的结晶。[1] 该书收录了大约40篇院校研究领域顶级专家撰写的文章。他们详细论述了美国院校研究学会成立以来院校研究的历史发展路径、理论基础、实践经验、组织机构建设、研究范畴、组织智能、研究方法、研究工具及研究结果在决策支持方面的应用。
关于院校研究的论述，笔者认为Terenzini2011年美国院校研究年会报告的概括最为精辟。他引用《孙子兵法》中的“知己知彼”来阐述院校研究的核心目的和任务，非常贴切，也是笔者20多年院校研究工作的感受。院校研究是通过数据分析和研究加强“知己知彼”的深度和广度，为学校制定科学有效的制度、长远发展战略规划提供实证依据。院校研究另一任务是通过数据告知社会公众大学发展状况，也被解读为提升大学的“透明度”，体现为宣传大学、展示办学绩效、接受社会监督、有效回应社会问责。加州大学主管院校研究与学术规划的副校长提到：“作为一所公立大学，我们必须确保大学有足够的透明度和责任感，我们希望通过在信息中心展示的大学数据，帮助学校实现这个目标”。
美国大学院校研究部门在践行其传统职能方面已达到专业化和职业化水平。[2] 随着高等教育普及化和多元化，大学面临办学绩效和回应政府及投资人问责等挑战，在解决学生个性化教育方面存在的问题时还束手无策。这给院校研究提出了新任务，即个性化学习的数据收集、学习成果分析等。随着学习理论和计算机技术的发展，新的助力跟踪学生学习过程的范式和研究学习成果的方法不断涌现，学习分析（Learning Analytics，LA）是其一。这些范式和方法促进了院校研究拓展其领域，在加强对学生群体学习研究的同时，逐步强化个性化学习的研究。
中国高校正积极推进院校研究工作，多方面借鉴了美国院校研究理论方法和实践经验，已取得丰富成果，尤其是为大学战略规划制定提供了实证研究依据。在国家强调人才培养和重视本科教育大环境中，中国院校研究提出了加强办学绩效、教学质量、学生发展及个性化教育等研究的力度。如2017年院校研究年会主题“院校研究与学生成长”，院校研究诸多学者和实践人员展示了提升教学质量的研究成果。刘献君的专著《个性化教育论》[3] 详细阐述了个性化教育的核心理念、模式及路径。中国院校研究及个性化教育发展仍较缓慢。从过去几年与中国大学管理人员交流获得的信息看，有几方面原因：一是大学主要领导对院校研究和个性化教育的价值和意义认识不足，院校研究和个性化教育的组织资源配给方面步伐缓慢，影响了研究工作的进展；二是缺乏院校研究和个性化教育研究专业人才，目前研究人员大多是教师且以学术研究为主，成果主要以发表论文为主，为大学制定政策发挥的作用非常有限。中国高校有自身特点也有其优先发展战略，不能完全按美国院校研究标准衡量其工作职能和研究效果。在新的学习技术、新的学习研究方法涌现的今天，了解不同国家院校研究发展动向、面临的问题及新方法背后的理论基础和实践原则，无疑对中国院校研究发展及新的学习研究方法有益。
二、 院校研究的职能、职责及面临的挑战
美国院校研究的基本宗旨在半个多世纪的发展中没有太大变化，依然是服务导向、通过提供实证研究依据提升大学决策绩效。其工作职责可归结为四方面[4,5] ：① 利用数据向学校和社会展示大学现状；② 为大学提供有效决策依据和备选方案；③向社会呈现大学办学成功案例和面临的挑战；④ 为学校提供办学绩效证据和借鉴建议；⑤ 数据库开发和管理。随着新技术不断涌现、不可预见事件频繁发生，院校研究五个领域的工作任务空前细化，涵盖范围愈加广泛，渗透到大学管理的各层面；决策服务更加具体，更具针对性。如2020年新冠疫情泛滥时，院校研究部门承担了很多应急分析研究工作，如疫情对在线学习的影响、学生心理健康状况调查、高危人群状况分析、解决经费短缺的可行性方案等。这些分析研究结果为大学顺利度过疫情难关、保障在线教学质量及安全复学提供了有效的证据。一所高校的院校研究能力是处理类似新冠疫情应急事件核心能力的重要组成部分，可以有效地解决教学、预算、人事等方面的问题，大学必须加强院校研究的数据收集和分析。[6]
以加州大学总校为例，院校研究部门工作职责可总结为六个方面（图1）。首先是数据治理（data governance）。这项工作与Serban早期阐述的数据管理（data management）有相似之处，但二者在工作范畴、工作量及对大学决策支持发挥的作用等方面存在差异。数据管理是从技术层面阐述数据的收集、储存等事宜；数据治理则彰显综合性和整体性特征，除包括数据管理涵盖的事项外，还强调大学政策、利益人、数据安全等涉及大学整体发展的事宜，其目的是通过综合性模式有效控制和管理大学的数据资产，提升数据资产的质量、价值和利用率。加州大学总校院校研究部门过去10多年已逐步完成了从数据管理向数据治理的过渡，彰显的特征是大学出台一系列数据治理政策，包括部门间协调运行数据的合作，数据的收集、储存、整合，报告平台开发和工具选用，院校研究数据服务指南，数据资产管理，数据隐私保密制度，用户培训，数据结果阐释等领域。院校研究部门专门开发了加州大学“数据运行枢纽”（Data Operations Hub）网站[7]，展示这些政策和制度，供服务对象了解院校研究服务职责及大学数据治理模式。显然，大学数据治理是系统的政策框架下的大学全校性工作。美国部分大学负责数据治理工作的部门是信息中心，或者是院校研究部门和信息中心合作。没有数据，院校研究寸步难行；没有有效的数据治理制度，院校研究也难以有效利用数据完成支持决策、满足大学对院校研究的要求的服务职责。
图 1 院校研究部门工作职能
第二项工作是发布常规性报告。这部分工作实际是向学校和社会展示大学的现状，呈现大学办学的成功案例及面临的挑战。加州大学总校院校研究部门通过多种途径完成这一职责，主要包括：①加州大学数据中心（Information Center）[8]：院校研究部门通过可视化工具（Tableau）展示加州大学学生、教职工、财务、办学绩效等方面数据，帮助校内外读者解读加州大学的故事；②加州大学年度问责报告(Annual Accountability Report)[9]：从招生、入学、科研、财务管理等13个领域，利用150多项指标对加州大学办学绩效进行全面完整评价和诠释；③专题分析报告[10]：以专题总结（topic brief）的形式展示专题研究结果。
第三项工作是开展决策问题研究。这部分工作主要是支持大学的决策过程。通常情况下，决策者根据决策议题提出研究问题，院校研究部门通过数据分析、挖掘，与职能部门合作解答这些问题并提出建议。如2019—2020年院校研究部门完成的本科生升学标准化考试成绩与大学学习成绩之间的相关性研究。[11]这项研究应学术委员会和教务长的要求完成，是为加州大学决定是否在大学招生评价中继续使用标准化考试成绩而提供的证据。这类研究的服务对象包括州政府、大学董事会、各级行政领导、学术委员会、各职能部门、学生组织及相关合作机构（如高等教育学会、大学联盟、加州其他公立大学系统、县区教育部门等）。由于总校办公室主要支持大学系统的决策工作，与各分校院校研究部门相比，给院系提供的类似于专业审核、认证等院校研究的支持比较少。
第四项工作是开展内部自选项目研究工作。这些研究项目是院校研究部门开发、积累、传播院校研究知识和智能的重要组成部分，且这些研究成果也成为大学决策的重要依据。加州大学通常通过学术会议、加州大学内部会议及办公室网站交流和展示研究成果。[12] 选定研究课题的方法主要是环境扫描（environmental scanning），就是通过各种渠道了解和预测大学决策对实证研究的需求，以提前做好数据收集和相关院校研究工作。渠道包括三方面：①参加大学各类会议（如董事会、学术委员会等会议）及与职能部门深度合作，了解大学决策动向和要研究的问题；②阅读讨论报刊杂志上刊发的文章，了解全球及美国高等教育发展动向和关注的问题；③参加全国性专业学术会议，了解同伴大学发展动态及院校研究领域的前沿成果。这三项环境扫描工作不仅有利于帮助选择内部研究项目，也有助于提升院校研究组织的大学背景和高等教育情境智能，一举两得。
第五项工作是完成联邦政府和州政府的统计报表。加州大学总校院校研究部门负责完成所有州政府的数据调查报表和部分联邦政府的数据调查报表。与美国其他大学院校研究部门相比，总校办公室在这项工作上花费的时间相对要少，大多数联邦政府报表是由各分校负责完成。
第六项工作是为校外数据需求提供服务。为提升大学的透明度，满足大学研究人员和社会公众需求，院校研究部门依据有关法律，在不泄漏学生隐私的情况下，为相关研究人员提供数据，以完成加州大学教师的研究、博士论文研究等。这种服务不仅提升了大学数据的使用率，也有利于帮助学者通过实证研究提升相关研究领域的理论和实践价值。这部分工作充分彰显了院校研究服务社会，加强大学透明度的功能。
综上，院校研究在数据资产治理、决策支持、展示大学绩效等方面发挥了巨大作用。部门研究结果也具有很高利用率，大学董事会颁布的很多政策中都可看到院校研究的线索。尽管如此，通过挖掘教育数据和学生学情数据评价学生学习成果，提升个性化教育成效方面还存在很多问题。首先，目前院校研究的数据分析大都是对学生学习结果的“诊断性”而不是“体检性”分析，即结果性评估。对学生来说，这样的“诊断”如同看病，不能帮助病人把病情消灭在患病过程中，也就是说不能帮助学生解决当时存在的学习问题。其次是常用的大学运行数据只能回答“结果”而不能解释行为。目前对学习行为的研究大多是依赖调查数据，是对过去学生学习投入如课堂参与等的了解。院校研究基于调查数据的研究发现已成为过去时，对被调查学生的帮助不是很有效。更重要的是，不是所有学生都积极、准确地回复调查问卷。调查数据虽一定程度反映学生群体或亚群体的学习特征，但无法展示所有学生个体学习行为特征。第三个问题是院校研究预测性模型的效度都很低。由于学习行为本身是一个复杂的过程，院校研究利用学生学习成果数据（GPA、标准化考试成绩等）及学生就读经历调查数据（课堂参与、学习投入、师生互动等），对学生个体未来学习成果的预测准确性不高。如笔者2005年就开始探索预测加州大学本科学生的学习成果，无论是用传统统计方法（回归方程），还是用现代数据挖掘技术（决策树、神经网络等方法），效果都不佳，这些因素共同最多解释学生学业完成变化程度的30%。利用这些研究结果很难帮助教师和辅导人员提出针对性且具体的指导和改进学习成效的措施。第四是院校研究的对象通常是群体或亚群体，主要目的是发掘院校研究部门所在学校学生的群体特征，寻找学生学习的普遍规律，为制定有效的或适用于群体的政策提供依据。对学生A、B等个人学习指导性仍有局限性。摆在院校研究人员面前的任务是如何找到针对学生个体且能提供有即时指导意义的方法，这样才能把学生学习问题消灭在萌芽状态。学习分析方法的诞生为此提供了一个新的思路。
三、学习分析
（一） 概念界定和产生背景。
首届学习分析国际会议将“学习分析”界定为：学习分析是测量学生学习行为，收集、分析和解读学习行为及学习环境数据的研究方法。[13] 其目的是帮助学校和学生了解和优化学习行为及其背景和环境。该界定与院校研究学会对院校研究在学习行为研究方面的界定相似，都强调通过数据分析学生的学习行为。通过深层次解读学习行为的理论基础和实施方法发现，学习分析强调的数据及其分析是基于学生个体的学习行为。这样的研究无疑会弥补前述利用教育大数据聚焦研究学生群体学习行为的院校研究的不足。
学习分析产生背景是多方面的。美国大学在规模拓展、运营成本增加的同时，社会呼吁大学提高办学绩效和教学质量。美国公立大学本科四年平均毕业率仅37%，六年内能完成本科学业的学生只有60%。[14] 在这样的压力下，大学必须寻找提高教育质量的途径，否则就可能自取灭亡。要帮助学生完成学业，就必须针对性帮助有辍学危险的学生改进学习行为，因此分析学生个体的学习行为是关键。技术发展为学习分析奠定了基础。计算机知识识别模式（knowledge modeling and representation）、人工智能、数据挖掘、分析方法、开放数据（open data）等快速发展和广泛应用，为学习分析方法的诞生提供了技术支撑。学习方式的变化也激发了研究学习行为的实质性变革。随着计算机、网络技术和社交媒体快速发展和日趋完善，学习发生的环境已远远超越学校和工作环境，社交和网络学习已成为信息接收的主要方式。对特殊群体来说，这两种途径已成为学习知识和接受信息的最主要途径。面对技术、知识和信息获取渠道的变化及社交媒体的新趋势，必须考虑改革大学教育模式以确保通过提供个性化学习辅助（advising）、必要的学习干预（interventions）让所有学生都达到预设学习成果（predefined learning outcomes）。这种情况下，如果研究人员仍将学习行为研究囿于方寸教室，显然存在偏差。另外，学习成果过程性评估要求大学关注学生的学习过程和学习参与，督促学生投入足够学习时间和精力完成学习任务。这些变化都促进了学习分析的诞生。
（二） 理论基础。
提出学习分析的学者没有提出新的学习分析理论，而是综合不同学习理论提出研究学生个体学习行为的方法，学习分析实际上是多项理论的综合应用。Simon Knight和Simon Buckingham Shum 从认识论、学习成果评估及教学法三方面对学习分析的理论基础进行了概括（图2）。[15]
图 2 学习分析理论基础
他们认为，从认识论角度来说，学习分析要考虑两个问题：学习分析测量什么，如何测量。回答第一个问题有利于确定测量目标与指标。即在开展学习分析前，必须认识所教知识的本质、结构、存在和发展的客观规律，以及与客观实在的联系。只有这样才能有效制定学生学习行为发生后要达到的学习成果，才能有目的的制定跟踪测量指标，设定学习分析平台需要记录学生学习行为和人机互动的端口。如测量“陈述性知识”（回答“是什么”问题的知识）与测量“程序性知识和技能”（回答“怎样”的问题的知识和技能）对学习分析的设计（课堂活动、阅读资料、作业等）要求是不一样的。回答如何测量知识和技能的问题，学习分析涉及的问题不仅是测量工具和测量方法的效度和信度问题，更重要的是学习分析人员要在理解知识的组成和构建的基础上，探讨如何测评学生这些知识的学习效果。传统教学最大的问题是缺乏作业设计，授课教师随意给学生布置的作业无法形成完整课程教学知识体系，学生掌握的知识就像没有灰浆的砖墙，很容易坍塌散落。
从教学法角度来说，学习分析设计须基于对知识重要性的了解，也就是教师认为什么知识对完成教学任务和学习是有用的、是不可或缺的，什么知识和技能对学生来说是有意义的、有价值的，能满足不同背景学生的学习需求，并对他们未来的学习和发展有引导性和启发性。因此，学习分析要测量学生掌握这些重要的、有意义的知识和技能，而不是用多项选择题聚焦于容易测量的知识。另外，设计学习分析时，须考虑开展学习分析的目的，即学习分析结果使用对象是谁，是支持教师改进教学模式，还是帮助学生了解自己的学习行为，以改进学习效果，抑或是为学校管理层提供办学绩效的证据。当然，学习分析的终极目标是帮助学生改进学习效果，提升个性化学习质量，帮助学生了解自己学习行为的重要性，只有这样学习分析才能督促学生改变不良学习行为（如不交作业、不完成教师布置的阅读资料），帮助学生把问题消灭在萌芽阶段。
评估理论为学习分析提供了两方面理论指导，一是学习分析的学习成果评估何处发生，二是何时评估。Knight和Shum认为，利用学习分析平台完成学习成果评估采用过程性评估最有效，如对作业完成情况、阅读任务完成情况的评估等。但由于学生学习习惯不同，如有的学生喜欢阅读纸质资料，而有的学生可能喜欢在线阅读。这种情况可能影响评估的效度，会对未来大数据分析有效性产生负面影响。评估何时发生的问题涉及直接与间接评估、过程评估与总结评估。直接评估是测量学生掌握知识的程度，但收集到的数据很难解释不同学生的成绩差异。间接评估则可通过了解学生学习时间投入和精力来判断学生学习差异。过程评估是学习发生过程中对学习进行评估，总结评估是学生完成一项学习任务或一门课程后的评估。过程评估有利于教师和学生发现学习过程中存在的问题，及时改进；总结评估是对学生最后学习成果的考核。毫无疑问，为改进教学，实现学习分析的目标，必须将直接评估与间接评估、过程评估与总结评估结合。学习分析平台为多元化的评估提供了便利条件和基础。
（三） 工具设计理论基础。
学习分析工具的设计需要计算机领域的专业技能，也需要遵循相关学习理论。了解学习分析工具遵循的相关理论有利于教师有效选择和利用相关工具开展教学设计和完成学习分析工作。纽约大学Alyssa和加拿大西蒙弗莱瑟大学（Simon Fraser University）Jovita Vytasek以建构主义理论、元认知理论及自律学习理论为基础提出了学习分析的协调（Coordination）、比较（Comparison）和个性化（Customization）设计“三元”原则。[16]
图 3 学习分析工具“三元”设计原则
协调性原则强调学习分析是教育目标和教育期待等就读经历的重要组成部分。具体而言，学习分析设计必须将学习行为、教师对学生的反馈与教育目标紧密结合，所测量或跟踪记录的学习行为一定要支持学习过程，有利于提高学习效果，这是概念的协调性。另一个是逻辑方面的协调，强调老师和学生何时可利用学习分析工具对学习行为进行评价，并给学生提出改进建议。比较性原则强调学习分析的意义，即通过比较提出行动建议。学习分析常采用两种不同比较方法，针对学生个体行为给出反馈意见。标准参照指标是将学生个体学习行为与事先预设的标准比较，如要求学生每周参与讨论的次数，学生达不到标准会收到警告信息。常模参照指标是所有学生每周参与讨论的平均数作为常模指标，与个体学生参与讨论次数比较，低于平均数的学生会收到友好提示。个性化原则强调学习分析要符合学生个体学习特征，在学习设计中最具有挑战性。一方面必须考虑学生的学习进展，根据学生掌握教学内容的情况提供学习资料；另一方面根据学生的学习特征评价学生的学习行为。有的学生喜欢直接在教学网站阅读教学资料，这样比较容易跟踪记录学生阅读某部分资料花费的时间，而有的学生倾向于把阅读资料打印出来学习，这样只能记录是否访问网站、是否打印资料等，无法跟踪记录学生实际花在阅读上的时间。
（四） 数据收集和整合模式。
学习分析核心数据通过学习管理系统（Learning Management System，LMS）收集。LMS是集教学设计、资料传播、记录、跟踪、报告和传送课程教学资料，开展多元化学习成果评估的计算机系统。LMS早期名称包括计算机管理教学系统（Computer-Managed Instruction）、一体化学习系统（Integrated Learning System）、计算机辅助教学（Computer-Assisted Instruction）、计算机教学（Computer-Based Instruction）、计算机辅助学习（Computer-Assisted Learning）等。这些系统的共同特点是聚焦学习练习和实践、辅导及个性化教学。最早的网络学习系统是普拉托学习管理系统（Plato Learning Management System），是20世纪70年代控制数据公司（Control Data Corporation）开发的。目前美国高校比较普遍使用的LMS包括Blackboard、Moodle和Canvas。
随着人工智能技术不断成熟，LMS利用人工脑神经网络和深度学习理论，基于丰富的数据分析，优化学习内容分类，根据学生学习行为在海量知识储备中为他们提供匹配的学习内容，即将个性化教育推上新的台阶。随着计算机网络技术发展及不同系统间兼容性能提升，LMS已与很多其他教学工具对接，大大提高了LMS利用率及数据收集和学习分析广度和深度。如加州大学伯克利分校使用Canvas系统与“学术诚信”（Academic Integrity）、“课堂点击器”（Clickers）、“课程摄制”（Course Capture）①等教学工具融合成更完整的教学系统。LMS系统整合程度越大，数据愈加趋于海量，给学习分析提供了更多信息的同时，也给数据整合、清理尤其是结果解读提出了更多挑战。
2013年George Siemens提出学习分析数据“收集—整合—分析—行动”模式（Learning Analytics Model）对学习分析仍具借鉴价值（图4）。[17] 教师和院校研究人员早已通过传统方式收集该模式展示的部分数据，同时做了相应学习分析，但缺乏学习分析的系统处理方法（systemwide approaches to analytics）。传统方法是依靠教师的观察和记录获取相关数据，学习“干预”是通过相应资源支持（教学助理等）才能实现。构建了基于系统的LAM，“干预”工作可由LAM完成。如图4所示，该模式包括七方面元素：数据收集、储存、清洗、整合、分析、展示与可视化及行动。另外，实现该模式目标需要多元化技能的团队，包括学校支持部门、数据科学家、程序员、统计学专家、有实用LAM经验的专业人员。顺利完成该系统的每项工作，会遇到很多挑战。Siemens引用Slade和Prinsloo的研究成果强调了三方面挑战[18]：数据质量与维度，学生隐私及数据不能解释的问题。对第三个问题，Siemens强调，在他尝试构建的学习分析数据“收集—整合—分析—行动”模式中，核心要素仍是“人”（human）和学习的“交流过程”（social processes）。
四、院校研究在学习分析中可承担的职责
学习分析数据“收集—整合—分析—行动”模式已展示了院校研究及其他部门在学习分析中的重要作用，结合工作职能和专业特长，院校研究在学习分析中可在以下面方面发挥具体作用。
院校研究可承担学校层面学习分析组织管理工作，倡导、构建和协调学习分析的治理体系。学习分析的发展历史还很短，目前没有任何一所大学形成完整治理体系或者学校层面管理机制。鉴于院校研究和学习分析具有的共同目标，以及院校研究在大学具有的认可度，院校研究部门有基础和条件承担这一重任，推动大学学习分析工作，最终形成大学范围内的教学变革。
图 4 学习分析数据“收集—整合—分析—行动”模式
院校研究可承担数据整合工作。美国多数高校院校研究承担大学数据治理工作，已承担了数据“收集—整合—分析—行动”模式的数据收集、储存、清理和整合工作。院校研究目前承担的工作聚焦于大学管理和调查数据的治理和整合，鲜有参与LMS数据治理和整合。目前院校研究已构建的数据整合模式可直接应用于LMS数据整合；院校研究已非常熟悉大学管理数据，所以在对接管理数据和LMS数据方面具有优势。鉴于此，院校研究可承担学习分析数据整合这一重任。
院校研究应承担提供学习分析技术和方法支持的职责。学习分析与院校研究最大区别之一是院校研究是职业化和专业化工作，学习分析在具有一定职业化和专业化特征的同时，也是教师个体教学的一部分。教师可能投入更多时间设计课程，以满足学习分析的要求，而不一定有足够时间和技术利用LMS收集的一手资料开展深层次分析；部分教师可能不具备学习分析技能，对LMS收集的海量数据束手无策。好的LMS学习分析系统应有内置功能，对数据自动挖掘和分析并展示结果，建议“干扰”行动。教师可对不同课程、不同时期数据进行综合分析，这仍需要专业技术支撑，院校研究应承担相关培训和技术支持工作。
院校研究应积极促进基于学习分析结果的全校性教学改革。学习分析的初衷是通过记录学生个体学习过程，对学生学习行为进行“体检”，让学生及时改进存在的问题，杜绝掉队。LMS收集的学习分析数据仍可用来发掘学生学习共性特征，以及教师教学存在的共性问题。将LMS数据与大学管理数据整合起来进行教育数据挖掘，能发现大学经费分配、教师质量、学生参与、教学模式、设备配置（如互联网、图书馆）、校风、助教辅助效果、“干预”项目、教师教学绩效评价、教师晋升等方面的优势及存在的问题。具有倡导性、鼓励性或需要改革的行动更适合专业层面或学科层面的改进，如果能开展学校层面的广泛讨论，能鼓励学校层面学习分析的深度和广度，最终实现大学层面的教学改革。院校研究作为支持大学决策的服务部门，积累了利用院校研究实证依据支持循证决策过程的经验，理应承担推动基于学习分析结果的全校性教学改革。
五、需进一步思考的问题
综上，院校研究和学习分析各有其职责和聚焦点，也有很多共性。如果说做好院校研究可更好“知己知彼”“知大学”，那么做好学习分析便可更好“知学生”“知学习”“知教育”，未来院校研究和学习行为研究中，学习分析将是热门而有意义的课题，是真实和质量内涵教育研究。必须认识到，学习分析需要的支撑条件非常高，技术方面包括学习管理系统、网络技术、教师应用系统技能、大数据系统构建、大数据分析能力等；与传统教学模式相比，教学人员需投入成倍精力；对学生来说，必须有学习参与的主动性。需要与现代化教学模式配合，满足不同学生学习习惯具有很大的挑战性。决定采纳基于院校研究学习分析模式时，需要思考三个问题。
第一个问题是，院校研究是否具备支持学习分析要求的组织智能。Terenzini将组织智能概括为三方面亦院校研究“三元”智能理论[19]：技术与分析智能、学校背景智能及高等教育情景智能。技术与分析智能更多是强调方法而忽视方法背后的理论。这也许不是Terenzini“三元”智能理论的初衷，目前院校研究实践的确如此。拓展院校研究技术和分析组织智能是有效支持学习分析的首要条件。院校研究人员阐释数据结果时更多聚焦数据本身诠释，对数据背后的理论探讨深度不够，后者是学习分析的关键要素。强化学习分析理论要素探讨，院校研究组织需要拓展新的智能领域，需要包含学习理论、评估理论、认识论等方面知识。目前美国部分学校评估办公室已配置这方面工作人员，但力量还很薄弱。院校研究配置这方面专业人员前，可利用教师智慧完成这项工作。
第二个问题是，是否做好了开展学习分析的准备。学习分析不仅是数据问题，一定程度上可颠覆传统教学模式。如果还用期中和期末考试评价学生的学习，就没有必要投入如此大的财力搞学习分析工具；如果教学内容从头到尾是一本用了多年的教科书，就没有必要搞学习分析模式；如果学生问了问题，教师一周都不愿意回复，就更不需要学习分析系统；如果教师不知道或不投入足够精力进行课堂活动和作业设计，学习分析就无需考虑；如果海量数据可能把计算机“爆棚”而什么分析也不做，就没有必要搞学习分析。如果具备了这些条件，就有必要尝试这个听起来有用的工具，可按照认识论、教学法及评估理论的模式设计课程教学、设计学习分析，构建包括院校研究专业人员、数据科学家在内的大数据研究团队。
第三个问题是，学习分析的终极目标是什么。答案似乎非常简单，是为提高教与学的效果和质量，推进个性化教育。但可以回顾一下，这方面研究多大程度上对教和学活动的主体——教师和学生产生实质性影响。学者和实践者可通过研究论文和报告传播研究结果。遗憾的是，论文质量再好，即便是发表顶级刊物上，不是高等教育专业的学者和管理人员不会去读，不是专业的学生更不会去读。几年前，笔者在一次学习分析高峰会议上向加州大学伯克利分校负责学习分析的主任提了一个问题：花费如此之多的精力从事这项工作，学生是否知道你们的努力，是否有证据证明努力是有效的。回答非常模棱两可，因为学习分析工作都是“闭门”工作，没有走到学生中去，系统并没有提供有效的“干预”建议，没有证据证明这些研究和努力是有效的。这就完全违背了院校研究闭环研究的特征，就是说在制定政策时提供证据、执行政策时检测效果、政策实施一段时间后评估成果。如果不能完成闭环过程，院校研究、学习分析初心何在？院校研究和学习分析人员要通过各种方式，如新生入学指导、学生服务中心、教师入职培训、教师教学研讨会、社会公众号等，把研究结果及时传达给学生和老师，让教与学两个主体在认知和情感方面直接受益，而不仅是通过政策间接影响和规范学生行为。只有这样，院校研究和学习分析才有可能成为高等教育领域接地气的研究，才可增加研究的实践性，达到支持个性化学习和提升学生学习效果的目的。
注释
①“学术诚信”包括一系列学生行为和诚信规范，要求学生使用LMS时遵循。“课堂点击器”又名“观众信息反馈系统”（Audience Response Systems）、“课堂信息反馈系统”（Classroom Response Systems）或“学生信息反馈系统”（Student Response Systems），是帮助教师课堂提出问题即刻收集和查看学生反馈信息，有助于提升学生课堂参与度，获取即时信息反馈，对大课教学帮助很大。“课程摄制”是加州大学伯克利分校为教师提供的音响录制服务，教师授课音频在相关网站公布，供学生回放和学习。
参考文献
[1]HOWARD R, MCLAUGHLIN G, KNIGHT W,et al. The Handbook of Institutional Research[M]. San Francisco：Jossey-Bass,2012.
[2]常桐善.美国院校研究的过去、现在和未来[J]. 高等工程教育研究,2013(2):133-142.
[3]刘献君.个性化教育论[M].武汉：华中科技大学出版社，2018.
[4]J FREDERICKS VOLKWEIN. The four faces of institutional research[J]. New Direction for Institutional Research,1999，104:9-19.
[5]ANDREA M SERBAN. Knowledge management: The “Fifth Face” of institutional research[J]. New Direction for Institutional Research,2002,113:105-111.
[6]JOHN DOUGLASS,IGOR CHIRIKOV. Refocusing institutional research on university needs[N/OL].[2020-07-25]. https://www.universityworldnews.com/post.php?story=20200518114757175.
[7]University of California. Data Operations Hub[EB/OL].[2020-07-25]. https://data.ucop.edu/index.html.
[8]University of California. Information Center[EB/OL].[2020-07-25]. https://www.universityofcalifornia.edu/infocenter.
[9]University of California. Annual Accountability Report[EB/OL].[2020-07-25].https://accountability.university of california.edu/2019/
[10]Institutional Research and Academic Planning at the University of California Office of the President. Content & Analysis[EB/OL].[2020-07-25].https://www.ucop.edu/institutional-research-academic-planning//content-analysis/index.html.
[11]Institutional Research and Academic Planning at the University of California Office of the President. Relationship of the SAT/ACT to College Performance at the University of California[EB/OL].[2020-07-25].https://www.ucop.edu/institutional-research-academic-planning//_files/sat-act-study-report.pdf.
[12]Institutional Research and Academic Planning at the University of California Office of the President. Conference Presentations[EB/OL].[2020-07-25]. https://www.ucop.edu/institutional-research-academic-planning//services/presentations/index.html.
[13]1st International Conference on Learning Analytics and Knowledge 2011[EB/OL].[2020-07-25]. https://tekri.athabascau.ca/analytics/.
[14]National Center for Education Statistics. Digest of Education Statistics[EB/OL].[2020-07-25]. https://nces.ed.gov/programs/digest/d18/tables/dt18_326.10.asp.
[15]SIMON KNIGHT, SIMON BUCKINGHAM SHUM. Theory and Learning Analytics[M]//LANG C, SIEMENS G, WISE A, et al. Handbook of Learning Analytics.Society for Learning Analytics Research. 2017:17-21.
[16]ALYSSA FRIEND WISE, JOVITA VYTASEK. Learning Analytics Implementation Design[M]//LANG C, SIEMENS G, WISE A, et al. Handbook of Learning Analytics.Society for Learning Analytics Research. 2017:151-160.
[17]SIEMENS G. Learning analytics the emergence of a discipline[J]. American Behavioral Scientist, 2013,57(10):1380-1400.
[18]SLADE S, PRINSLOO P. Learning analytics: Ethical issues and dilemmas[J].American Behavioral Scientist,2013,57(10):1510-1529.
[19]PATRICK T TERENZINI. On the nature of institutional research and the knowledge and skills it requires[J].Research in Higher Education,1993,34(1): 1-10.