体育教学实验干预的执行效度:定义、概念框架与测评体系
体育教学实验干预的执行效度:定义、概念框架与测评体系
金晶，李卫东，马莲，唐炎
第一作者简介
金晶，副教授，南京林业大学体育教育部主任，江苏省高校体育教学指导委员会副秘书长。
摘要
目前，我国发表的体育教学实验干预研究文章鲜有报道实验干预执行的有效度数据。实验干预执行有效度是指在实验过程中，实验干预按照原定设计的内容计划执行的程度，是评估实验结果的必要因素。若干预实验研究缺乏执行有效度，实验的结果数据便会缺乏解释力度，大大削弱了体育教学研究的科学严谨性。本文通过介绍国外对实验干预执行有效度的定义以及五个部分的概念框架，探讨了实验研究对干预执行有效度进行测量和评价的重要性，提供了关于实验干预执行有效度测量工具的详细案例，并创建了测量与评价体系，旨在提高我国体育教学实验干预研究的科学严谨性。
关键词:体育教育；实验干预研究；教学效果
体育教学实验干预研究是决定教与学因果关系的关键研究设计。实验干预研究结果对教学实践和改革具有重要的指导作用。在体育教学研究中，实验干预研究非常少。作者呼吁体育科研人员应更多地进行实验干预研究，而不是相关性研究，并且要加强实验干预研究的科学严谨性。体育教学实验干预研究的科学严谨性由许多因素决定，这些因素包括:实验设计类型、样本抽取方法、教师培训质量、样本量、和实验干预执行有效度(fidelity of implementation)。实验干预执行有效度是体育教学实验干预研究科学严谨性的一个重要决定因素，但体育科研人员往往忽略了对实验干预执行的有效度进行测量和评估，也就成为科研人员通常所说的“黑箱”研究(black box study)。因为没有对实验干预进行执行有效度检验，实验过程所发生的一切都是无知的，也无法对结果数据给出科学解释。
因此，通过深入探讨实验研究，对干预执行有效度进行具体的测量和评价具有深刻地研究意义。本文从国外对实验干预执行有效度的定义以及五个部分的概念框架入手，探讨实验研究对干预执行有效度进行测量和评价的重要性，提供关于实验干预执行有效度测量工具的详细案例，并创建了测量与评价体系，旨在提高我国体育教学实验干预研究的科学严谨性。
1
实验干预执行有效度的定义及其重要性
实验干预执行有效度指:“在实验过程中，实验干预在多大程度上是按照原定设计的内容计划执行的”。实验干预执行有效度是评估实验结果的必要因素。对实验干预执行有效性进行测量和评价的重要性体现在五个方面。(1)众多因素决定了一项研究的数理统计能力(statistical power)。它们包括实验设计，alpha，科学严谨的测量工具，样本量，样本抽样方法，以及实验干预执行有效度。然而，对于一项实验研究，如果实验干预执行有效度非常差，那么实验的统计能力就会被大大降低。(2)实验干预执行有效度的测量数据可以为科研人员提供大量的有效信息。例如，为什么实验干预成功了，达到预期的效果，实验效果是什么时候产生以及是如何产生的。实验干预执行有效度数据可以帮助科研工作者了解哪些干预内容按照原来计划执行了以及执行的质量如何。同样可以帮助科研工作者了解在实验过程中产生了哪些具体的内容调整和改变，以及这些内容调整和改变对实验结果的影响是什么。如果科研工作者想要知道实验结果的失败是不是由于实验干预的质量差，还是实验干预内容与理论不一致而造成的，那么这些实验干预执行有效度的数据就显得非常重要了。如果实验干预执行有效度非常高，所有的实验干预内容按照原来计划高质量地执行，那么实验结果没有达到预期的效果，问题不在于干预过程，科研工作者就需要根据原来的理论或者采用不同理论来重新设计干预内容。(3)实验干预执行有效度对于检验理论的准确性非常重要。所有实验干预内容都是在某一特定的理论思想指导下设计出来的。如果没有确信所有的实验干预内容被有效地，高质量地执行了，那么就无法检验理论的正确性。(4)对实验干预执行有效度进行评估是评估一个实验研究的内在和外在合理性的关键因素(internal and external validity)。高质量的实验干预执行有效度数据可以大大增加科研工作者对实验结果的可信度。没有实验干预执行有效度数据，科研工作者就很难对实验结果进行解释，把它归结于实验干预的结果。其原因是显著差异的研究结果有可能是来自偶然的机会或者是实验过程中引入了其它非实验内容的因素所造成的。(5)对实验干预执行有效度进行评估是复制和推广应用一项科学研究的必要条件。没有实验干预执行有效度数据就很难复制一项科学研究。因为如果科研工作者不知道实验过程中会发生什么，不知道实验内容执行程度如何，执行过程中需要做什么调整等重要信息，那么，也就无法对这项研究进行复制。但一项实验研究如果有很高的实验干预执行有效度，不仅可以通过干预执行有效度的测量数据对该项研究进行复制，还可以增加教学工作者将研究结果应用于教学实践的信心，从而促进科学研究结果的应用和推广。
体育教学科研工作者也渐渐开始认识到对课程实验干预进行有效度检验的重要性。究其原因是因为以前的科学研究结果显示:体育教师在实验中受到同样的培训，但是在教学中执行课程模式的程度却各不相同。另外，研究表明:在体育教学领域，实验干预执行有效度的好坏与实验结果的关联程度非常大。Li et al(in press)研究结果显示只有49%的体育教学实验干预研究测量并评估实验干预执行有效度，大部分的研究没有测量和评估实验干预有效度。
Hastie and Casey呼吁体育科研工作者使用正式合理的检验方法来全面地体现实验干预执行质量。他们还建议在测量实验干预执行有效度时要测量环境因素。这些因素包括:教师的特长、学生以前的课程经历、教学时间以及其它影响实验干预的因素。然而，对实验干预执行有效度的测量和评估并不统一，存在许多的差异性。正如Li et al.(in press)研究结果显示:清单(checklists)、录像分析(videoa-nalysis)、以及行为观察表格(observational instruments)经常被用来测量和评估实验干预执行有效度。在体育教学领域中，并没有一个统一的概念框架(conceptual framework)来指导对实验干预执行有效度进行测量和评估。我国体育教学研究在这个方面更是欠缺，许多实验干预研究成为黑箱研究，没有测量和评估实验干预执行有效度。因此，需要一个统一的概念框架来指导实验干预执行有效度的测量和评估。
2
实验干预执行有效度定义在不同领域的历史演变
在20世纪70年代以前，美国科研学者认为对实验干预执行有效度的研究没有必要性。他们要么认为实验干预有效度会很高，或者实验干预实施者会完全按照原先的实验设计和计划去执行干预内容。但科研学者渐渐地意识到实验干预实施者会根据自己的思想和兴趣有意或无意的改变实验干预内容，而且这种现象在实验干预执行中时常发生。自20世纪80年代，美国各界学者开始对实验干预执行有效度进行定义。O’Donnell等对实验干预执行有效度的定义进行了综述，把定义主要分为卫生健康和教育学两个领域。实验干预执行有效度的定义有许多共同之处，但是也因为研究领域不同而有所不同之。
2.1
卫生健康领域
在卫生健康领域，对实验干预执行有效度的研究比较多。学者对实验干预执行有效度的定义也是具有多样性，学者都有自己的定义和测量方法。在Moncher and Prinz文章发表之前，实验干预有效度(treatment fidelity)的定义基本上是指:“与原先设计和计划的干预内容相比较，实验干预实施执行的程度如何”。在Moncher and Prinz的文章里，作者将传统的实验干预一致性(treatment integrity)的定义进行拓展，加入了实验干预组之间的区别性(treatment differen-tiation)，也就是“实验各个组之间的差异和特征有没有在实验中执行和实施。”Moncher and Prinz首次在他们的文章中正式介绍实验干预有效度(treatment fidelity)的定义，并提供了一些用来增强实验干预有效度的指南。后来的学者对实验干预有效度定义以及测量进行了进一步完善。比如Lichstein，Riedel，andGrieve认为实验干预有效度应该包括其它两个部分:第一，实验参与者对实验干预内容的接受和理解程度(treatment receipt)。第二，实验干预内容在日常生活中的运用(treatment enactment)。目前对实验干预有效性的测量包括五个部分:实验设计(treatment design)；对实验干预实施者的培训有效性(train-ing provider)；实验干预的执行(delivery of treatment)；参与者对实验的接受和理解程度(receipt of treatment)；实验干预内容在日常生活中的运用(enactment of treatment skills)。
2.2
教育学领域
在教育学领域，学者主要是研究实验干预执行有效度(Fidelity of implementation)。这个概念与健康卫生领域的实验干预有效度(treatment integrity)相一致。教育界学者对实验干预执行有效度的定义基本相同，只是使用不同的语言。比如，Berman and McLaughlin和Scheirer & Rezmovic分别将实验干预执行有效度定义为:实验干预研究在多大程度上执行了原先制定的内容计划，但是Berman and McLaughlin在定义使用了“原先提出(originally proposed)，而Scheirer and Rezmovic没有使用“原先提出”一词。
3
实验干预执行有效度测量的概念框架
自20世纪90年代以来，教育界和健康卫生的学者都提出了测量实验干预执行有效度的5个维度的概念框架。这五个部分包括:(1)干预一致性(adherence)；(2)干预剂量(intervention exposure or dose)；(3)干预质量(quality of program delivery)；(4)实验参与者的参与与反应(participant responsiveness)；(5)实验干预组之间的区别性(program differentiation)。下面对每个维度的定义以及指标进行举例阐述:
3.1
干预一致性
干预一致性指的是干预内容在多大程度上按照原来计划和设计来执行的。科研学者通常根据实验干预的内容来设计一份观察清单表，然后采用清单来观察课程教学进行评估。如表1所示，第一列是任务，在第二列列出课程教学的所有干预内容。列出课程教学的所有干预内容。在第三列，评估结果。当观察者观察到这一教学内容时，就写下“是”。当没有观察到这一教学内容时，就写下“否”。表2是另外一个例子，主要针对特定的教学方法进行执行有效度的评估。每个课程教学模式都有自己特定的教学方法，这是实战情境教学课程模式所采用的教学方法。为了确定教师在使用该模式进行教学时使用了该教学方法，研究者必须设计一个观察清单来评估执行有效度。同样使用“是或否”来评估。
3.2
干预剂量
干预剂量指的是实验干预对象在实验过程中所接受的干预程度是多少。在体育教学干预研究中，通常指的是课时的时间和次数，每次课的内容是否有变更，以及每个实验对象的出勤情况。科研工作者可以通过观察记录，访谈和教师日志来对干预剂量进行评估。确定实验对象的出勤情况可以通过出勤表来评估。对于课时的时间和次数以及课的内容变更，科研学者通常无法每次课都在场，他们可以随机选一些课来进行观察或者进行几次访谈，来记录课程的时间安排。但是，这仍无法记录所有的课时执行情况，所以最好的评估手段是采用教师的日志。每次课结束后，任课教师可以写日志来记录课时的时间，次数和内容是否有变更等重要信息(见表3)。
3.3
干预质量
干预质量指的是实验干预者在什么程度上正确地使用教学方法和手段来执行干预内容。按照既定的计划，实验干预内容是否被非常正确地和清楚地实施和执行?实验干预的效果不仅取决于干预的剂量，更取决于干预的质量。在做干预执行有效度检验的时候，学者必须要收集具体的数据来反映干预的质量。比如，在Ward，Kim，Ko和Li研究里，作者采用了观察清单对所有教案里的练习任务进行了干预执行有效度检验(见表4)。通过对每个层次数据进行百分比统计分析，作者就可以得到非常精确的信息，从而知道干预的质量如何。教师有没有采用正确的教学内容和练习进行教学。
3.4
实验参与者的参与和反应
(participant responsiveness)
指的是实验对象多大程度上参与到教学活动中。这个维度体现了学生和实验参与者作为主体的教学理念。如果学生或实验参与者消极参与，那么即使干预剂量和质量非常高，实验干预效果也不会太好，所以科研工作者一定要对这一维度进行测量和评估。比如，Hastie研究运动教育课程模式对学生的技术和战术能力的影响。他采用了计算机软件，通过对录像进行分析，从而测量到学生在运动教育课程单元每次课的身体活动量。这些运动量的数据就可以检验学生在课程单元的参与程度。当然在教学课程干预的研究里，参与者的参与与反应通常是我们所感兴趣的自变量。在测量和评估这个维度的时候，科研工作者要根据自己具体的研究来决定是否可以合理地对这个维度进行测量，并且要有创新性。
3.5
组间的区别性(Program differentiation)
组间的区别性指的是实验组与对照组/控制组之间的差异特征有没有在实验干预过程里实施。也就是说，实验组按照既定的计划来，采用特定的教学方法和手段来正确地执行教学内容干预。同样，对照组/控制组按照既定的计划来，采用特定的教学方法和手段来正确地执行教学内容。如果一个研究有两个或两个以上的实验组或者至少一个实验组和一个对照组/控制组，那么研究者需要对所有组别的教学内容，方法和手段进行执行有效度检验，然后通过数据分析和对比来评估这一维度。上面所讨论的对实验干预组所采用的观察量表(如表1和表2)都可以在这里使用，需要增加的就是对对照组或控制组的执行有效度进行测量和评估。
4
实验干预执行有效度的测量评价体系
根据实验干预执行有效度的5个维度的概念框架，Li等创建了测量与评价体系(见表5)。这个测量与评价体系包括5个维度。针对每个维度，有相应的一些指标。在使用这个测量与评价体系时，科研工作者可以根据文章作者是否提供相应的数据信息，来进行评价。如果文章作者提供了相应的信息，那么就给“是”。如果文章作者没有提供相应的信息，那么就给“否”。如果这个维度不适用于该文章，那么就给“不适用”。
5
结语
本文介绍了国外实验干预执行有效度的定义以及发展历史，并详细地举例来阐述如何对实验干预执行有效度进行测量。对于这五个维度的概念框架，现在还没有确定是否要对所有的维度都要进行测量。不过由于这五个维度互相关联，并且互补，对所有维度进行测量可以全面的了解实验干预的执行度。不管实验效果成功或失败，作者可以从干预执行有效度的测量数据中具体地找出成功或失败的原因，从而为今后提高实验效果打下坚实的基础和提供参考意见。实验干预执行有效度测量与评价体系的建立，会对实验干预研究的干预执行有效度状况进行全面的评价，从而找出优缺点，以期提高我国体育教学实验干预研究的科学严谨性。
长按二维码关注
成都体育学院学报
编辑丨魏珂珂