【MOOC透视】教育技术应用效果评价研究应当遵循什么原则？
【总第109期】
教育技术应用效果评价研究应当遵循什么原则？
【MOOC导读】学习效果评价非常重要，但又极为难做；教育技术工具应用对学习效果的影响评价则更为难做。相关研究不是没有，然而研究人员费力劳神得出的结论，教师们常常觉得莫名其妙、根本没有参考意义。这种情况我们遇到的并不少。如何打破这一困境？本文作者提出的几条原则，或许可启发思路。
原文链接：https://www.insidehighered.com/digital-learning/views/2018/08/08/addressing-professors-legitimate-doubts-about-studies-ed-tech
评测学习效果已非易事，要将教育技术工具所发挥的作用从整个教育环境中其他所有因素发挥的作用中分离出来，并进行评价，更近乎是不可能的。经过十年的对教育介入因素的混合方法研究，以及与该领域的很多领军人物共同工作后，我发现一个基本而重要的真理：有用的影响(应用效果评价)研究必须以特定的语境(背景)开始。没有给定的语境，研究结果将难以对我们努力服务的教育事业发挥实际作用；而研究样本大小、相关系数和显著性检验等则相对影响不大。
作为一名教育工作者，我十分需要对教育科技的应用功效有更多的了解，所以当看到这一领域有越来越多的研究结果发表出来可供参考时，是十分兴奋的。但当我从学校到另一个学校，与教师们探讨这些研究结果的实用性时，听到的几乎是同样的答案：“我的班级根本不是这样的!”
令人尴尬的是，他们通常是对的！例如，最近我与一位来自一个小型社区学院的心理学讲师谈及一项在一所大型私立四年制大学进行的受控学习研究结果，她就对研究结果无动于衷，并反问道，“你认为如果以我们班级的学生为研究样本，会得到同样的结果吗？”考虑到所采用的研究设计和方法，我确实不敢说能。
随着时间的推移，我越来越意识到，许多教师并没有阅读越来越多的教育技术应用效果研究文献，因为他们觉得与自己关系不大，这不怪他们，只表明我们需要做把研究做得更好。教师需要可靠和相关证据以就是否使用教育技术----采用哪些工具以及如何利用它们----做出明智的决策。严格控制条件的效果研究可能是严密的，但它在教育工作者看来，利用价值可能也是有限的，因为并不适用于他们的实际情况。此外，由于许多研究需要花费数年才能完成，其结果出来得太迟，无法为教师们选择使用何种教育技术以及如何实施时提供帮助。
因此，建议按照以下四个原则进行影响研究，以确保研究结果对于教育工作者有指导作用，进而改进教育。
1.教师应该是研究的合作伙伴，而不是普通的参与者。 研究人员应与教师合作进行研究。充分了解教师的教学目标、需求和挑战应该成为研究的基础。然后，研究人员应与教师共同确立研究目标、数据收集的方法设计与策略，以确保研究结果能够反映教师的见解并具有指导意义。同样重要的是，应理解教师所在机构的文化----包括对在该机构中如何进行涉及学生的研究，以确保满足其当地审查委员会的所有要求。
2.了解教育技术工具在如何实施和被学生使用。任何关于教育技术应用效果评价的研究项目所做的第一步，都应该是在整个研究范围内的教师和所有类型机构中，进行技术实施和应用情况的调查。项目研究展开于其中的教育环境是应被细致观察和记录，包括环境中的实体组织，学生团体构成，最重要的是教师在其教学中已经选择什么样的教育技术工具，以及学生如何使用它们。
这可以通过如下方式实现：将从教师和学生那里收集到的丰富的定性数据（借助访谈、聚焦特定小组并进行观测等形式），与来自同意参与调查的学生的定量数据（调查指标、平台的分析、学业成绩和考勤等）相匹配。综合分析之后，这些数据就可以为形成洞见提供基础，可以更准确地了解一种教育技术工具如何在一种特定的环境下，被以什么样的方式使用，如何与具体的课程结合，对学生的学习成果有何关系。虽然这些分析结果只是描述性和相关性分析（不是因果关系分析），他们还是为理解一种技术工具怎么发挥作用提供了必要的背景。
3.在一种特定语境下探索有效性，然后再推广到更多语境。分析应当首先基于从某一个特定语境收集到的数据，而且推论应当严格限定于这一教育环境。这样的研究，可为参与研究的教师提供一种洞察力，使之能以同样的方法在类似的语境下运用技术工具。然后，数据应当在汇聚之后进行重新检验，以揭示不同语境、不同实施模式下的一些趋势，对工具的运用及其产出之间的关联性提供更有说服力的分析，使结论更具通用性。
4.将研究结果以与教育者相关和可操作的方式进行交流。教育工作者常常不得不从长期积累下来的各类技术研究文献中寻找与他们的需要相关的见解。为了使效果研究成果更方便获得和具有可操作性，它必须寻找最相关的目标受众。例如，教师经常发现阅读同行曾参与的研究比较有价值，可以了解同行的课程目标、情境、面对的挑战、实施方案的选择和结果等。越来越多的图书馆为教师提供机会，去发现与他们的需求类似的语境下进行的研究结果，从而给教师们信心去采用类似的方式实现自己的目标。研究人员还应提供配套的简要研究说明及技术报告（研究方法、设计和分析等），这样的话，任何一位教师都可以确认研究所做出的结论是否适合于自己的情况。
随着教育工作者日益需要与教育技术工作相关的更深刻、更有用的见解，研究人员需要为他们提供更明晰的解释：教育技术为什么有效、为谁服务，以及可在什么样的情况与环境下发挥作用。在对应用环境和实施方法有了明晰理解后，建立在早期研究和与教师深度合作基础上的新的比较研究将会更加可信和有用。
如果我们的目标是让教育技术帮助提高学生的学习效果和成就，我们就需要将效果研究从传统的孤立研究转向研究者与教育者高度密切协作的研究，从而使研究结果对教师们来说更具有相关性和可操作性。
编译者简介：王涛，“新维学习空间站”（中关村互联网教育创新中心合作）、“新维大健康空间站”（中国食品药品企业质量安全促进会、中关村联创医学工程转化中心合作）、新维国学空间站（福建平潭两岸国学中心合作）、智慧党员活动室等“新维系空间站”设计、规划和实施者；“移动学习”教育部-中国移动联合实验室MOOC研究中心主任；北京大学教育学院教育经济博士；业界知名有20多万教育专家的MOOC微信公众账号（微信号：openonline，公号名称：MOOC）的发起及运营者。
喜欢我们就多一次点赞多一次分享吧~
有缘的人终会相聚，慕客君想了想，要是不分享出来，怕我们会擦肩而过~
按住下图--“识别图中二维码”--即可关注！