王洁 张民选｜跨国视频研究的实践可能与方法论意义——TALIS Video Study对课堂教学研究的启示与反思

本期精彩回顾

⊙《全球教育展望》2021年第1期目录

⊙ 彭茜  李俊堂｜美国课程改革的危机意识及其社会认识论思考——与托马斯·波克维茨 教授的对话

⊙ 钟启泉｜深度学习：课堂转型的标识

摘要  经济合作与发展组织在“教师教学国际调查”（TALIS）中新增“视频研究”（Video Study）作为附加项目。本研究首先分析了该项目发起的缘由与目的，并阐述了研究设计中的四个特点，包括共同评估主题、通用评估工具、纵向研究设计、标准化程序等。基于此，本研究试图揭示视频研究对于课堂教学研究的三个作用：作为开发共享话语的工具，开创跨国教学研究的新视角；作为反思性思考线索，为课堂教学带来新的理论来源；弥补定性和定量研究的不足，为教学研究带来突破。最后，本研究对视频研究所具有的共享性与隐私性、丰富性与局限性、抽样所具有的代表性、学生成就与教学实践的关联等进行了反思。

关键词  TALIS；视频研究；教学研究；方法论；纵向研究设计

作者简介

王洁/上海师范大学国际与比较教育研究院研究员（上海200234）

张民选/上海师范大学国际与比较教育研究院教授（上海200234）

^{2008年，经济合作与发展组织（Organization for Economic Cooperation and Development，简称OECD）研发组织了“教师教学国际调查”（Teaching and Learning International Survey，简称TALIS），旨在通过教师的自我陈述，检视教师的教学实践是如何与教师所持的教育理念、教师背景、工作环境以及教师专业发展相关联。TALIS在第三轮新增了“视频研究”（TALIS Video Study，简称TVS）作为附加项目。本文将从四个方面对其展开探讨。}

一、TVS项目的缘由与方法论意义 

^{TVS由OECD委托美国教育考试中心（Educational　Testing　Service，简称ETS）、兰德公司（RAND Corporation）以及德国国际教育学研究所（German　Institute　for　International　Education　Research，简称DIPF）组成国际专家研究小组，与包括上海在内的9个国家和地区（美国中途退出）协作，尝试通过视频技术真实地记录不同国家和地区的课堂教学现场，同时辅以调查问卷（教师和学生）、测试（学生）和相关教学资料的采集，分析与学生认知发展的结果（students　achievement　outcomes）和非认知发展结果（non-cognitive　outcomes）最相关的教师课堂教学过程与行为。}

^{1. 开展跨国视频研究的缘由}

^{与学生成绩最相关的因素是发生在课堂上的教学过程，因此“没有对课堂实践的更深入理解，有效教学的内涵只能是狭义的”［1］。与之相对应的，对教师发展而言，仅仅以结果而不是以实践质量来定义一个有效的教师，并不能促进教育者的发展和提高。OECE发起的国际学生评估项目（Program for International Student Assessment，简称PISA）要求学生报告他们的老师在课堂中使用的方法，TALIS则是通过教师的自我陈述收集数据。这些数据为研究世界各地的教与学提供了宝贵的、可以相互比较的信息、经验和见解，但这些数据大多数是间接的课堂数据。TVS项目尝试使用创新性的教育研究方式，大规模地对全球课堂教学过程进行直接观察和描述，在不断接近教学真相的过程中，打开教室的“黑匣子”。}

^{20世纪90年代，国际教育成就评估协会（International Association for the Evaluation of Educational Achievement，简称IEA）主持了“国际数学与科学趋势研究”（Trends in International Mathematics and Science Study，简称TMISS）。由于美国学生与其他国家相比得分较低，为了更多地了解与学生学习成就相关的教学与文化因素，美国国家教育统计中心（National Center for Education　Statistics，简称NCES）委托课堂研究实验室（Lessonlab Inc.）开展了“课堂教学录像研究”（The TIMSS Videotape Classroom Study），以补充TIMSS研究的不足，日本和德国也参加了该项目。这是第一次跨国收集不同国家的课堂教学录像，对与学生问卷结果、测试成绩相关联的教学实践进行直接观察与研究。1999年，IEA进行了第二次TMISS追踪录像研究，共有7个国家和地区参加。TIMSS视频研究在教学和跨文化研究的关键问题上产生了一些最有价值的学术成果。它展示了视频更清晰地揭示课堂实践的力量，并促进了对这些实践的研究。2016年启动的TVS是具有同等规模的第三次跨国视频研究。}

^{2. 跨国视频研究的目标及其方法论意义}

^{TVS项目的最终目标是鼓励教育工作者、政策制定者、研究人员和公众对教学实践和有价值的学生成果进行更加深入和细致的讨论。TVS项目也能为广大教师提供观看世界各地同行教学实践的机会，加深对自身实践的认识与反思。具体来说，TVS的目标有三项。}

^{首先，通过视频对课堂教学过程进行直接记录与观察，为课堂教学研究提供丰富、客观的证据。视频作为数据源的优势是多方面的：第一，能够捕获与学习相关的多种因素，不仅仅是谈话，还包括身体姿势、手势、面部表情、情绪、物理环境和时空环境等因素；第二，能够从课堂的任何时间点开始，倍速或者慢动作回看，并允许以分钟（每分钟或者几分钟）为单位分析在复杂的教学环境中可能未被注意到的瞬间事件。}

^{其次，以一种比较的方式了解不同文化背景下丰富的教学过程信息。虽然从方法论的角度看，大规模、跨国的观察性研究要考虑更多的细节，操作起来也更难更复杂，但观察是发现教学隐性知识的最有力方法，而这些隐性知识又常常是支撑高质量教学的关键，因此观察能够帮助我们理解教学过程与学生学习的各方面结果之间的关系。此外，观看世界各地同行的教学行动有助于教师加深对自身教学实践、方法的认识和反思，进一步理解课堂中复杂且高度情境化的教学实践到底意味着什么。}

^{第三，探索大规模衡量多文化背景下教学活动的方法，为未来跨国教学研究提供支持。TVS探索各种教学活动的拍摄和数据收集程序的可行性，如将视频和课件收集的信息与问卷调查（主要是TALIS和PISA的问卷内容）结果相互比照，制定不同国家环境下教学拍摄的通用方法并进行检验等等，尽可能控制各种人为操作引发的误差，从而检验和理解各种教学方法的适用条件。这对于参与国家和经济体理解如何在自己的教育体制下支持教学的持续发展和改进，具有方法论意义。}

二、TVS的设计特点 

^{作为跨国大规模的创新性先导研究，TVS在设计过程中，充分吸取了国际及不同国家在课堂评价以及数据搜集方面的经验，尤其是借鉴了20世纪90年代IEA主持的TIMSS“课堂教学研究录像”的研究成果。虽然TVS不是采用视频进行跨国研究的首创，但该项目对于TMISS的完善和创新，促使视频技术发展成为国际教育比较研究和课堂教学研究的强大方法论工具。TVS项目设计有四个特点。}

^{1. 共同的评估主题（Common Topic for Evaluation）}

^{“教什么”和“怎么教”一直是教学研究的两大主题。［2］}TMISS视频研究结果表明，如果采用不同的教学主题研究教学，可能会导致“教什么”与“怎么教”两方面因素的交叉融合，模糊和弱化研究结论，而采用相同教学主题的研究设计则在结果的表达上比较清晰。^［3］鉴于此，TVS在设计中控制了“教什么”的变量，而集中研究“怎么教”，即采用相同的教学主题对参与国家和地区的教学进行同时调查。

在全球范围内寻找一个可供研究的共同课程主题（a　common curricular topic）是极具挑战的。^［4］TVS通过制作课程地图（curriculum mapping）的方式，确定潜在的研究载体。项目课程地图绘制依据四个原则：① 内容存在于所有参与国家的课程中；② 内容是学生在15岁或八年级学习的，使得项目结果有机会和PISA项目做链接分析；③ 内容学习时长为6—12课时，控制项目搜集的时间；④ 内容的核心概念结构良好（核心概念明确且与其他概念关联度小），适合开展应用、建模等帮助学生深入思考的活动，使得数据具有丰富度。最后，符合上述各原则的教学内容为一元二次方程（quadratic　equations）。理由有三：首先，参与项目的8个国家或地区，学生学习该内容的时间均在8—11年级，接近PISA目标年龄15+岁，上海学生在八年级第一学期学习该内容。第二，各国各地区在此主题上差异较小，均涉及将ax2+bx+c=0理解为特定的方程式，根据a，b，c的值区分不同的情况，运用因式分解、配方、公式等多种方式求解，将方程运用于日程问题解决等等相同的内容。第三，PISA　2012中的学生报告说，他们代数相关的学习任务多，而代数尤其是二次方程式的学习经验与成绩有着很强的相关性。^［5］

2. 通用的测评方法（Common Evaluation Method）

TVS的目标不是找出一种全球公认的有效教学方法。教学的目标是多样的，而教学实践及其特点与不同的目标相关，也与不同的文化背景相关，因此教学实践必然呈现出多样化的特征。但是，为了对各国课堂教学过程有一个全面和相对客观的描述和评估，TVS研发和实施了两套通用观察与测评工具，一套是用于记录和评估不同国家或地区教学视频的观测编码（observation codes），一套是用于观察和评估教学资料观测编码（artefact codes），教材资料包括教学计划、学生作业、教学投影、教材等等。

就如TVS一贯宣称的，不同文化背景有不同的促使学生发展的方法，通用观测工具使用的目的不是对不同教师的教学行为进行评估，其目的是为了加深各国各地区对于教学质量的共同理解。TVS以参与国家或地区的标准和国际教学研究成果为基础，通过协作的方式确定教学质量的共同考量因素。与依赖单个国家的研究人员相比，这个方法更有优势。具体操作分为三个步骤：① 来自全部九个参与国家和地区（包括美国）的研究人员，递交关于教学质量、教学标准以及课堂观察方案的国家综述。② 国际专家研究小组对现有的与教学质量相关的文献进行综述，对已展开的相关研究进行回顾。③ 梳理TALIS 2018和PISA学生问卷中关于教学质量的相关条款。TVS最终发现，上述三方面对于教学质量的认识有着相当好的一致性。至此TVS将教学质量概念化（conceptualizations of teaching）为六大教学实践领域（six domains of teaching）（见图1）。

图1  TVS教学质量框架（六大教学实践领域）

3. 标准化程序（Standardized Procedures）

TVS采用标准化和可重复程序收集数据、培训并认证视频和课件评分员（rater），以及对参与国家和地区提交的视频和课件进行编码。这样做的目的是为了消除项目执行本身导致的误差，确保学习结果的差异是由课堂中不同教师的不同教学行为引发的。

TVS通过研发管理类文本工具进行项目管理。管理类工具有两类：一是为了保证项目顺利展开的各种协议（protocol），如隐私协议、数据传输协议、数据保密协议等等；二是为了规约数据搜集的格式与方法、尽可能排除人为误差而研发的各种手册，如课堂录像准备和课件搜集手册、学生问卷和测试流程等等。所有管理工具以手册的形式呈现，由国际专家小组委托相关专门机构单独研发。

尽管其程序已标准化，但该研究仍由参与国家和地区的学校系统全面实施。参与国家和地区的项目小组可以、也有责任对调查数据收集和评分等方面做出质量承诺和本土化改造（adaptive）。例如，在保证搜集的数据符合共同质量标准的前提下，可以选择适合本地的记录方式、评分者档案等等。这有助于提高项目在更多国家和地区实施的可行性，也能起到控制成本的作用。

4. 纵向的研究设计（Longitudinal Design）

教学过程虽然发生在课堂中，但却是教师、学生、教学内容三者之间复杂的交互过程（见图2）。首先，教师有能力和个性的差异，差异虽然是客观存在的，但还是会由于学校背景而发生变化，如接受培训的机会、同事间的相互影响等。其次，教室中的学生由不同认知水平与风格、不同动机与情绪的个体组成，每个个体背后又都有着家庭和同伴的“影子”，当这些个体学生组成班级集体时，还会相互影响。另外，班级集体的特征也会受学校大背景的影响。

图2  背景因素对教学的影响^［6］

为了衡量这些背景因素对于教学过程的影响，TVS采用“纵向设计”，设计了师生问卷以及学生测试（见图3）。首先，通过学生的前测卷（pre-test）和前问卷（pre-questionaire）捕获学生在学习一元二次方程前的先验知识和看法，通过后测卷（post-test）和后问卷（post-questionaire）了解学生在学习该主题之后的收获、对课堂活动的感知和参与。其次，设计了教师的前后问卷，在教师教学一元二次方程单元前，询问他们的教育背景、信念、动机和对学校环境的看法，了解有关所选班级和所选单元的信息，包括课程目标，所涵盖的数学内容等等；在完成该单元教学后，向他们询问对自身教学实践以及教学有效性的看法，并确认录像课是否代表他们的典型教学等等。第三，要求教师在整个一元二次方程单元教学过程中，记录每节课的长度、涵盖的子主题（如通过配方法求解二次方程式），及各子主题教学所用的时间、方法等等。通过这样的方式，TVS一方面能够分析学生的先验知识并控制该变量；另一方面能够排除其他因素对学生学习结果的影响，从而更好地聚焦于课堂教学策略及活动与学生学习成就之间的关联。^［7］

图3  TVS项目的纵向设计及流程

三、TVS对课堂教学研究的启示 

视频技术成为课堂研究中重要的方法论工具，已有40多年的历史。TIMSS录像带教学研究促进了视频数据数字化方面的进步，改变了视频技术在教育研究中的使用，激发了人们在教育研究中使用视频技术的极大热情。^［8］从20个世纪末的TIMSS到21世纪的TVS，不仅提供了查看和记录各国课堂实践的镜头，作为增强和扩展国际比较研究的工具，而且TVS项目设计的独特之处和整个项目展开的过程，为课堂教学研究中如何通过协作与迭代开发工具、如何借助视频分析开发共通话语、如何基于视频编码弥补定性与定量研究的不足等等带来了新的视角、新的表现形式，新的课堂教学知识来源。

1. 如何通过协作与迭代，开发观测与分析工具

“长期以来，研究人员一直在批评‘从天而降’的评估方法，以及不恰当的评估方式，诸如评估什么、如何评估，以及如何使用评估分值等。”^［9］如何使得课堂研究中的评估与观察工具在不同的背景和情境中有效并有用，TVS为我们做了一个示范。

TVS两种观测编码的开发过程包括起草/修订、测试、精制和分享四个阶段，持续了两年多。在两年多的开发活动中，经过四个阶段的迭代开发，形成了五个版本的编码。具体而言，TVS项目国际观察小组首先起草了两种观测编码，而后使用参与国或地区提供的视频测试并完善编码，最后与外部专家、参与国家或地区共享编码。四个阶段结束后，再次进入下一周期的修订、测试与完善等工作。

从最初的第一版编码开始，TVS观察编码便频繁地结合技术专家和参与国家或地区的观点。这就增加了TVS产生标准化的可扩展的编码（scalable codes）和培训材料的可能性。每个开发周期都始于编码的起草或修订（图4），一旦编写出一套编码草案，观察组就观看来自所有参与国或地区的视频，以测试和完善编码，然后分享。在每个国家或地区的数学学科专家和观察专家针对共享给出反馈之前，这种测试和改进编码的过程会持续几个星期。

图4  TVS观察编码开发周期

2. 如何基于视频分析，建立共通的专业话语

相比访谈、问卷调查等教师自我报告的数据收集方式，视频更能捕捉课堂教学的真实性与复杂性。视频与图像提供了观看课堂的镜头，也为开发共享的教学实践语言提供了“工具”。一直以来，课堂教学研究的尴尬之处在于，国际上对于“好课”的认识迥异，而且很难使用公认的、被完全理解的词汇去指代教学的某些特定方面。但视频通过对课堂中稍瞬即逝的教学行为的实时记录便于研究人员定格并反复观看。基于此，研究人员能够通过对话建立一系列描述课堂实践的“视听术语”（audiovisual glossaries），为难以用言语描述的教学实践提供了具有国际视野的共享话语（a universal language）。这样的专业教学语言对于实践者和研究者都是非常有价值的，因为它能最大限度地减少在课堂观察中由于语言描述带来的认识差异，而将关注点放在课堂实践上。

TVS通过建立共同话语，增加不同情境、不同地域协作研究的便利，使得交流、互动在同一语义下进行。TVS为来自不同国家和不同文化背景的研究者之间、实践者之间的互动、合作与交流，提供了检视、认识、理解教学行为的不同角度与不同可能。视频可以让教育研究者、实践者、政策制定者“将其他国家的视频作为一面对照自己的镜子，以便更清楚地看到自己的实践，并揭示我们文化中无法想象的其他实践的具体例子。”^［10］

3. 如何通过视频和教学资料编码，弥补定性与定量研究的不足

随着PISA和TALIS的影响力日益增加，出现了大量利用其数据库进行的研究。研究人员将寻找相关变量在大样本统计上的相关性，作为研究的基本逻辑；通过描述统计、相关分析、回归分析、多层回归、非线性关系、因子分析、结构方程建模等等方法，展示和梳理了影响教育教学、学生学习的各变量及其相互关系。但是这种“由自变量—因变量二元关系构成的统计方法，无论是‘多元回归’，还是‘结构方程’，本质都是基于变量的回归，虽然可以从理论上证明变量之间存在相关性，但很难排除其他解释性前提条件的存在，从而导致研究逻辑过于‘拘束’”^［11］。

采用通用观测工具对视频与教学资料进行编码，有助于挖掘定性研究结果的普适性，更全面地检视跨国课堂实践，弥补定性和定量研究的不足。首先，视频编码帮助研究人员跟踪数据，例如特定课堂事件的发生频率，教师讲课、师生互动、小组工作和个人工作花费的相对时间等等，从而解释课堂的一般趋势与变化。这种多视角检视和解释具体教学行为的机会，是传统的教学研究无法实现的。其次，每个编码背后的内涵与解读，为定量检视的课堂教学行为，赋予了具体的、实质性的内涵与意义，补充和丰富了视频图像的定量研究。如通过编码定量检验发现，上海课堂中教师常常采用“让个别学生在全班同学面前回答”的提问方式，而进一步的定性分析发现这种提问方法的使用与教学具体内容是有关联的。虽然一间教室的个案，无法概括整个上海的教学实践，但是该观察结果可以作为一个假设，需要在大量带编码的上海课堂视频样本中进行定量检验，或者通过定性研究补充视频图像的定量分析结果等等。

 四、关于视频研究之局限的思考 

视频研究作为一项现代教育研究技术，其自身具有难以克服的局限与弱点也是不言而喻的。

1. 共享、隐私与保密

视频易于共享。信息技术飞速发展的今天，将互联网作为共享数字化信息的手段已经相当普遍，用数字化手段积累的课堂教学视频可以供研究人员实现任何地方、任何时间、多种目的的研究。但这种便捷带来了参与研究项目的人员的知情权与隐私保护的问题。假设储存在档案中的录像带不能匿名，研究人员如何保护研究参与者的隐私？

隐私问题是与文化关联的。对于国际项目而言，需要从统计学上确定参与样本的合理性，并以公正的方式获取他们的合作。不同国家的文化以及对公共教学的认识，是一个不得不考虑的因素。一些文化中，录像录音可能稀疏平常，但某些文化中教师和学生可能对录像和录音非常不舒服；又比如一些国家的管理人员希望将优秀的教师放在优先的位置，凡此种种都会让研究日常教学的抽样工作变得复杂。对教师表现的判断以及可能的效应也会因国家和文化而异。评估和判断是视频研究中不可避免的方面，研究人员和研究参与者如何引导公众将意见集中于有效建构的方面，而不是仅仅揭示出课程中的错误，或对录像中的教学进行解构？

TVS将于2020年底公布结果，相关的视频也会呈现给公众。教师和学生的图像出现在视频上，这一事实使得在使用数据进行二次分析时，保护研究参与者的隐私比以往更加困难。如何建立规章制度，规范对二次分析感兴趣的研究人员持续访问视频数据的行为？如何通过现代的数字视频编辑工具来实现参与者的隐私保护？如何只将视频技术作为观察的方法与手段，而减少视频给参与教师和学生带来的不安？这些都要做更细致的研究。

2. 丰富与局限

视频技术可以清楚地捕捉到一个观察者可能忽略的信息，并可能记录更多。但从另一种意义上讲，视频技术可以捕捉到的信息更少。TVS项目对摄像操作要求做了具体规定，并且要求参与国家和地区的TVS研究中心对摄像人员进行培训，控制摄像师个人因素引发的误差，但不争的事实是视频无法捕获教室中发生的所有事件与细节，丢失的原因通常取决于摄像机的位置。相机的不同放置和握持方式可能会导致对课程中将会发生的事件进行无意识的假设。例如，相机放置在教室一侧靠后三分之一的位置，可能假设老师是站在教室前面的，并且可能会潜移默化地影响老师或学生的行为。

虽然我们对视频数据的处理要比其他类型的数据少，似乎是原汁原味的，但它们仍然不等同于直接观察到的数据。观看视频录像者的视线仍然受到“屏幕”的限制，这种限制是与研究者制定的收集数据的方案有关联的。从这点来看，摄像师似乎只是传达了研究者想与观看者分享的“课堂当下”发生的故事。

3. 抽样与代表性

TVS的参与国家和地区各有85名初中教师及其所在班级的学生参与，就教学研究来说这个样本量已经相对较大，对于理解不同文化背景下课堂教学活动非常具有参考价值。但是，与TALIS和PISA抽样不同的是，TVS研究项目的样本并没有大到可以提供国家和地区的平均估计值，也没有达到跨国比较中此类估计值精确度的常用标准。此外，TVS项目的教师样本不能代表参与国家和经济体的教师群体，换言之，参与国家和经济体之间的比较结果并不能反映这些系统之间的差异。

采用小样本量和可能不具代表性的样本，部分原因是TVS项目设计的要求决定的。TVS的研究设计既要拍摄两节课的课堂视频，又要搜集相关的教学课件，还要通过问卷和测试纵向衡量学生的学习情况，这些对于大型国际项目而言任务异常繁重。对各国来说，在教师和学生招募方面也更具挑战性。当然，随着各国的教师越来越习惯此类研究设计，未来情况可能发生改变，但是对于本次研究而言，本设计可能造成无应答偏差，从而在解释和比较各个国家和地区时存在不便。因此，TVS的目的不在于生成教学实践的系统级平均值，也不对国家进行排名和比较，而是根据各国的多样化样本，为各国提供一般的教学活动与学生学习关系的描述性信息，然后从跨文化比较的角度对该描述性信息进行解释。

4. 学生学习成就与教学实践之间的联系

视频展示的特定教师实践与学习成果之间并没有建立经验联系。虽然很多研究者对于将TVS的观察结果与PISA学生成绩联系起来进行研究很感兴趣。但在国家和地区层面，样本规模只有8个，成就差异的潜在原因很多，况且教师层面仅有两节数学课录像，这并不能提供可靠的结果。即使录制了同一位老师的多节课，这种方法也只能在一个时间点上衡量教学和学生学习成就，并不能排除学生之前的学习经历的影响。解释学生成就与教师教学实践的联系，需要大规模的研究，其中包括收集大量的教师样本，捕捉多种背景变量与差异。“无论是什么成就，都可能无法在视频中体现出来，因此有必要对民族志进行深入描述，以确定在特定环境中学习的要素，亦即关注成就应该包括在不同文化背景下不同国家如何定义成就。”［12］跨国视频研究可能生成关于教学对学习效果影响的诸多假设，而国家内部的大规模视频研究则可能更适合检验通过跨国比较产生的假设。

TVS历时四年，上海作为其中的项目成员，过程中不仅积累了大量的视频，也积累了研究经验。如何明智地将视频技术应用于未来比较教育研究，需要思考的问题还有很多。

参考文献： 

扫码订阅

投稿网址：

http://wgjn.cbpt.cnki.net