湘潭大学钱辰、旷怡 等：基于前门调整法的“项目式学习”过程考核设计与课程质量评价

中国电工技术学会活动专区

CES Conference

阅读提示：本文约 6700 字，建议收藏后阅读！

工程教育是我国高等教育的重要组成部分，而工程教育专业认证是国际通行的工程教育质量保障制度，也是实现工程教育国际互认和工程师资格国际互认的重要基础。“项目式学习”是应对工程教育专业认证考察学生能力要求的一种新兴课程教学方法，因为受学生“惰性”等混杂因子影响，常规课程质量评价中的考试成绩无法真实反映学生在学习中所能获得的能力提升。

湘潭大学自动化与电子信息学院、湖南大学电气与信息工程学院、湘潭大学专业认证指导中心的钱辰、旷怡、章兢，在2022年第10期《电气技术》上撰文，引入因果推断科学的前门调整法，在面临难以控制与观测的混杂因子时，一方面指导优化项目式学习的教学与考核设计，以改进混杂因子对学习和成果两方面的不利影响；另一方面用于评价项目教学法对于学生学习成果的真实因果效应。

我国的高等教育不断发展，自2016年6月正式加入《华盛顿协议》以来，我国工程教育专业认证工作不断推进，通过认证的专业数量正在不断增长，专业认证成为我国教育领域的一大重点。

现如今很多课程老师为了提高课堂效果，获得更高的课程目标达成度，采用“项目式学习（project- based learning, PBL）”教学方法，以学生为中心，以真实项目或案例为主题，让学生自主学习或小组讨论，从而在学习过程中获得自我能力的提升。

但PBL教学方法在实际应用中的效果并不理想，因为其中很多同学无法达到自主学习的状态，教学中的作业任务并未自主完成而是借用其他同学的作业去交差，小组讨论中也没有发挥积极作用，但是其在最后考试中反而取得了不错的成绩，所以最后的成绩所反映出来的效果不能真正地表达学生的实际能力。也就是说，有很多难以控制与观测的混杂因子在同时影响着学生的项目式学习过程与最后的考试成绩，项目式学习课程现状因果图如图1所示。

图1  项目式学习课程现状因果图

由此可见，在面临难以控制与观测的混杂因子时，需要解决两个问题：①是否有清晰易懂的推理模型能够为提出的诸多问题提供明确的答案，设计项目式学习的教学与考核，以改进混杂因子对学习和成果两方面的影响；②是否有适应性强的计算公式能够根据所掌握的数据回答因果问题，评价项目教学法对于学生学习成果的真实因果效应。

本文将因果推断科学的前门调整法迁移应用到课程教学设计与质量评价中。一方面，在面临无解的混杂因子时，教师运用因果图，着手寻找不受混杂因子影响的中介变量，也就是新的教学或考核环节，在减少混杂因子影响的同时，能形成使用前门调整公式的条件；另一方面，运用前门调整公式作为教学方法对学生学习成果因果效应的被估量，利用课程观测数据来估计真实的因果效应。

1  理论与方法

1.1  因果理论与因果图

因果理论的发展与因果模型自1998年《科学》杂志刊登了一篇名为《大数据的处理程序》最早提出了“大数据（big data）”，短短数十年已发展成为一门重要的学科。现常用的因果模型通常指由朱迪亚·珀尔等于2000年左右提出基本概念，至今已经发展成为一门横跨统计学与计算机学科的重大任务，其重点在于关于干预的建模与推理。Bernhard将其称作新一代信息革命的燃料。其主要概念是将事物或者事件用节点进行表示，再用带箭头的线段来表示其因果关系。

图2是为了严格处理因果关系问题而针对数据集所提出的一种结构因果模型（structural causal model, SCM）概念的图形化因果模型关联集。其给出的图形定义为，如变量X是变量C的子变量，即有箭头从C指向X，则称C为X的直接因果原因，箭头代表的是C到X的概率或者说是贡献值，表示有C与无C时X出现的差值。

图2  因果模型

图2中，真正的因果效应X→Y与由叉接合X←C→Y诱导的X和Y之间的伪相关混合在一起，这里的C就叫混杂因子，若C作为不可观测的混杂因子，影响X→Y的因果效应时，因果效应就无法通过条件期望计算，这时需要采用随机试验计算因果效应或者采用传统统计学方法进行回归分析。

但在工程教育领域中，采用随机试验分析课程目标达成度的方法无法使用，工程教育具有全员覆盖性，随机试验不现实，同样用回归分析的方法计算因果效应的方法过于繁琐，不便于在教育领域的推广与应用。因果图提供了一种将数据与因果信息相结合的可选语言，可使用后门调整法、前门调整法等直观的方法解决因果推断问题，这使因果图非常适合在工程教育领域应用。

1.2  do算子与后门调整

因果学可以将认知能力分为三种层级：观察能力（seeing）、行动能力（doing）和想象能力（imagining），其中第二层级的行动能力代表实施“干预”。“干预”就是控制一个变量，以影响其他变量，是判定因果关系的一个重要操作。如果控制一个变量，导致其他变量的概率分布，则可以说明前者是后者的因。通过干预可以确定多个变量间因果关系的存在性，这也是现如今很多科学方法常用的手段，例如控制变量法及随机对照实验等。

然而在很多情境下，实施干预去确定因果关系的成本及风险都难以估计，如前文所言，在具有全员覆盖性的教育领域，实施干预的举措就难以完成。这就使得在这些情境下，需要通过一些举措观测现有数据去预测干预的效果。

这里需要调用“do算子”来表达预测实施了干预的结果，do算子的引用是因果理论与传统统计学最为显著的区别。“do”代表了行动，可以表达因果关系第二层级的一个经典问题，即“如果我们实施了某种行动，这将会带来何种结果？”，缺乏do算子的条件概率仅仅反映了因果关系第一层级的观察所得到的结果。其中do(X)对于因果图来说就是删除指向X的所有箭头。

例如图2中，当混杂因子C可测量时，可以使用后门调整法计算X对Y的因果效应P(Y|do(X))。后门路径可以定义为所有X和Y之间以指向X的箭头为开始的路径，如果可以阻断所有的后门路径，也就意味着完成了去混杂。控制C即可阻断后门路径，后门调整就是通过对去混变量集C的控制阻断从X到Y的所有后门路径；对于数学公式，此时，do(X)等同于see(X)，P(Y|do(X),C)=P(Y|X,C)，表达的意思是，在控制了一个充分的去混因子集C之后，留下的相关性，就是真正的因果效应。

由do算子运算可以推导出后门调整公式为

式（1）

此公式计算的是变量X对于变量Y的因果效应，其中变量C为变量X对变量Y因果效应中的混杂因子。通过公式，可以在C可观测的情况下，直接通过数学计算得到X到Y的因果效应。

1.3  前门调整法

在C不可测量的情况下，已无法通过后门路径简化计算，此时可以选用前门调整法，在C不可测量的情况下去除混杂，从而计算X到Y的因果效应。

如果一个变量集合M满足以下条件：M切断了所有X到Y的有向路径；X到M没有后门路径；所有M到Y的后门路径都被X阻断，则称变量集合M满足有序变量（X, Y）的前门准则。也就是说，当计算因果效应时发现X对Y的因果效应被一组变量C混杂，又被另一组变量M介导，且变量M不受变量C的影响，便能知道这里可以利用前门调整法从观测数据中估计X对Y的因果效应。当意识到这点之后，在面临无解的混杂因子时，首先应想到寻找不受混杂因子影响的中介变量。

加入中介变量的因果模型如图3所示，此模型满足前门调整法的使用条件，所以X到Y的因果效应P(Y|do(X))可以使用前门调整公式表达为

式（2）

此公式计算的是变量X对于变量Y的因果效应，其中变量M是变量X对变量Y因果效应的中介变量。

图3  加入中介变量的因果模型

2  因果模型搭建与分析

2.1  因果模型搭建

回到图1的因果图所展示出的问题，因为混杂原因无法真实找到项目教学法对于学生学习效果的因果效应，所以本文目的即是去除影响两个变量的混杂因子。现如今的评价方式大多使用考试成绩作为反映学生能力的具体体现，将考试成绩作为课程目标达成情况的考察标准，但是考试成绩可由多种途径提高，例如老师考前划重点、学生考前刷真题等，这类因素可以使一些实际能力未能达标的同学由考试成绩的数值反映为达标。

若想要知道项目式学习本身对学生学习效果的因果效应，则需主要研究P(考试成绩|do(项目式学习))，现在教育常规评价的是P(考试成绩|项目式学习)，这种条件概率公式表示学习产出达成的概率（P）是以观察到学生参加了实验为条件的。注意P(考试成绩|项目式学习)与P(考试成绩|do(项目式学习))完全不同，观察到（seeing）和进行干预（doing）有本质的区别，两者的混淆成为高等教育评价社会失信之源。完全由P(考试成绩|项目式学习)统治的高等教育评价是荒诞的。

因此，本文使用因果推断的方法计算课程目标达成度，即计算项目式学习对于考试成绩的因果效应，需要排除影响项目式学习与考试成绩间因果效应的混杂因子。现将“学生作业抄袭”“学生在小组讨论中划水”“学生考前刷真题”“作弊”等因素归类为“惰性”，作为项目式学习对于考试成绩因果效应中的混杂因子。

然而“惰性”大多为学生自身主观的消极因素，无法观测，无法使用后门调整法去除混杂。由朱迪亚·珀尔的前门调整法可知，在面临无解的混杂因子时，应立即着手寻找不受混杂因子影响的中介变量，从而使用前门调整法从观测数据中估计X对Y的影响。

对于项目式学习与课程目标达成情况的中介变量，本文选用“成果展示”。“成果展示”指的是学生在完成自己以项目为基础的作业后，在课堂上进行展示并由其他学生进行投票打分。以“成果展示”作为项目式学习到课程目标达成情况的中介变量，是因为现在大多数的老师意识到以面向成果导向的工程教育专业认证注重的是以解决实际问题为目标的学生能力，而不是传统的以考察学生知识点掌握能力为终极目标的分数教育，由此，需要一个过程性评价。所以这里要求学生在课堂上展示自己所完成的以项目为基础的作业。

某校信息安全课程因果模型如图4所示，在这里，X代表项目式学习，Y代表课程目标达成情况，C代表混杂因子惰性，M代表成果展示。

图4  某校信息安全课程因果模型

2.2  基于前门调整法的模型分析

观察图4可以知道，因为未采取任何措施，惰性同样影响着学生的成果展示成绩，即混杂因子C影响了中介变量M，所以C有指向M的箭头，这导致混杂因子无法在引入中介变量后得到有效的控制和去除。

所以如果要使用前门调整法，就必须屏蔽混杂因子对于成果展示的影响，取消掉C到M的箭头。课程可以在大纲中明确要求学生每人至少参加一次以项目为基础的成果展示，将不参加成果展示则不能参与期末考试作为硬性要求，因为项目式学习作业次数多，且难以每次严格管理，而成果展示每个人只有一次，可以做到严格管理成果展示这一环节且精确评分。

这些举措就阻断了惰性这一混杂因子对于过程评价即“成果展示”的影响，消除了因果图中C指向M的箭头。改进后的课程因果模型如图5所示，这一举措使中介变量“屏蔽”了混杂因子的影响，因此适合使用前门标准来分析项目式学习对于考试成绩的因果效应。

图5  改进后的课程因果模型

对于这样的因果模型，可以发现公式中看不到C（惰性因子）的存在，这使此方法在未采集到任何数据的时候就成功地排除了混杂因子C。其次，因果推断引擎作为一种问题处理机器，以“假设”为基础，接收“问题”输入，产生输出“被估量”。

被估量可视作一种针对问题中目标量的计算方法。前门调整和后门调整公式就是两个被估量。公式左边代表提出问题“X对Y的影响是什么”，而公式右边是被估量，即是回答左边提出问题的一种方法，此被估量以条件概率的形式表示，不包含关于do算子的有关数据，也就是说与关于实际干预的数据无关，只包含观测到的数据。这意味着它无需依赖随机对照实验，可以直接根据数据估计出来。

3  数据分析

3.1  数据来源

本文选用某校2019级通信工程班信息安全课程101人成绩，成绩包括项目式学习的作业成绩，学生以项目为基础的成果展示的成绩，以及考试成绩。对于X：“0”“1”分别代表着学生项目式学习平时成绩不合格和平时成绩合格。对于M：“0”“1”“2”分别代表着学生在成果展示的成绩中取得“不及格”“及格”与“优秀”。对于Y：“0”“1”“2”分别代表着学生在期末考试中取得“不及格”“及格”与“优秀”。

对于此课程的课程目标达成度分析，本文采用将P(Y≥1|do(X=1))的值大于70%视为课程目标达成度合格的方法。

3.2  数据处理

将101位同学的各项成绩进行分类，在平时成绩合格和不合格的情况下，成果展示成绩取得“不及格”“及格”与“优秀”人数见表1。

表1  各平时成绩级别下的成果展示成绩人数（单位: 人）

由表1可以计算，在项目式学习平时成绩不合格的同学中，成果展示环节成绩不及格的概率为P(M=0|X=0)=57.69%，成绩及格的概率为P(M=1|X=0)= 38.46%，成绩优秀的概率为P(M=2|X=0)=3.85%；在项目式学习平时成绩合格的同学中，成果展示环节成绩不及格的概率为P(M=0|X=1)=13.33%，成绩及格的概率为P(M=1|X=1)=57.33%，成绩优秀的概率为P(M=2|X=1)=29.33%。

对已有数据进行进一步处理，得到在项目式学习平时成绩两个不同成绩级别及成果展示环节三个不同成绩级别的条件下，考试成绩取得“不及格”“及格”与“优秀”人数见表2。

表2  平时成绩和成果展示各成绩级别下的不同考试成绩级别人数（单位: 人）

将表2中数据代入后门调整公式可知，如果学生按照要求分别取得成果展示成绩为“不及格”“及格”与“优秀”，那么他们在这种条件下，可能取得不同的考试成绩级别的概率见表3。

表3  实验假设后各成果展示成绩级别下考试成绩级别概率（单位: %）

最后由前门调整公式可知，如果学生按照要求参加项目式学习并且平时成绩合格的话，那么学生在考试中取得成绩的概率见表4。

表4  实验假设后项目式学习不同成绩级别下的考试成绩级别概率（单位: %）

在这里，数据中P(Y|do(X=0))可以表达为“如果学生未能按照要求完成项目式学习任务的话，那么其在考试成绩中所能取得某种成绩的概率为……”，同理，P(Y|do(X=1))可以表达为“如果学生按照要求完成项目式学习任务的话，那么其在考试成绩中所能取得某种成绩的概率为”。

从以上数据可以看出，学生如果按照要求完成项目式学习任务的话，那么在期末考试中及格的概率为P(Y=1|do(X=1))=64.92%，其在期末考试中获得优秀的概率为P(Y=2|do(X=1))=18.81%。所以P(Y≥1|do(X=1))=83.73%。

现如今的国内课程目标达成度分析普遍使用平均分算分法、15%分位法等，类似方法太过于考虑数据而忽略了数据生成过程中的混杂因素。

去除与未去除混杂的课程目标达成度情况见表5，对比不使用因果推断仅用条件概率算出的课程目标达成度情况P(Y=1|X=1)=65.33%，P(Y=2|X=1)= 25.33%，所得出的P(Y≥1|X=1)=90.66%，有明显的区别。若按条件概率所得到的课程目标达成度计算，混杂原因会使课程目标达成度的值普遍较高，这可能让一些实际并未合格的课程在未去除混杂的情况下也在条件概率的数据下显示合格，这明显不符合工程教育专业认证的目的，因此去除混杂计算课程目标达成度的因果推断方法更符合工程教育专业认证的要求。

表5  去除与未去除混杂的课程目标达成度情况

由以上数据可得，P(Y≥1|do(X=1))=83.73%＞70%，所以可以知道本课程的课程目标达成度合格。去除混杂后的数据直接反映了学生参加课程教学对于期末考试成绩的因果效应，而去除“惰性”混杂因子后的考试成绩可以反映出学生自身的学习成果产出，也就说明了此数据更能反映学生的课程目标达成度情况。

3.3  变量选取分析

本文中变量X本质为项目式学习这种教学方法，而度量一种教学方法主要是观察学生自身的改变，通常可以选用参与度来度量教学方法。参与度的高低需要数值来进行区分，故本文选取平时成绩的合格与否，赋值“1”“0”作为参与度高或低的区分。实际上依据课程的教学情况，可以对参与度有更多的档次分层。

对于中介变量M，本文选用以项目为基础的成果展示，在项目式学习中起到两大关键作用：首先是对干预有预测作用，即在不进行随机试验的情况下也可以模拟随机试验的效果；第二，在教学大纲中加入成果展示环节，对学生在学习的投入有积极的促进作用。在不同的课程中可以根据实际教学情况有不同的选取方式，例如在需要进行实验的课程中选取实验作为中介变量，但要保证混杂因子对中介变量无影响，需对实验的环境与评价方式进行一些设计，比如采用人工智能评价方法去评测结果。

在本文中，变量Y是采用学生的期末考试数据，但实际上项目式学习这种教学方式本身就产生了多元化的过程和考核结果，在不同课程的课程目标达成情况分析中，可以选取不同的考核数据，或是多次的考核结果数据，因为在本文图1中，变量Y的选取并不影响变量X是变量Y的因，变量Y是变量X的果，同理，在图5中，变量Y既是变量X的果，也是变量M的果，变量间的因果关系都不会因为Y的构成而发生变化。

4  结论

本文引用了因果推断方法中的do算子及后门标准、前门标准的概念，将之迁移到教育领域，提出构建基于前门调整法的“项目式学习”过程考核设计与课程质量评价方法，在工程教育具有全员覆盖性、无法实施随机对照试验的前提下，采用基于观测数据的自然实验方法，有效去除数据关联中的混杂影响，从而推断出项目式学习对学生学习成果的真实因果效应。本文方法是结合教学实践的有益探索，对专业认证实施有积极促进作用。

本文编自2022年第10期《电气技术》，论文标题为“基于前门调整法的“项目式学习”过程考核设计与课程质量评价”，作者为钱辰、旷怡 等，本课题得到湖南省学位与研究生教育教改研究重大项目、湖南省新工科研究与实践项目的支持。

下载论文PDF版，请点击左下角“阅读原文”，访问期刊网站。

推荐阅读

中国电工技术学会

新媒体平台

学会官方微信

电工技术学报

CES电气

学会官方B站

CES TEMS

今日头条号

学会科普微信

新浪微博

抖音号

联系我们

☎️ 《电工技术学报》：010-63256949/6981；邮箱：[e-mail]

☎️ 《电气技术》：010-63256943；邮箱：[e-mail]

☎️ 《中国电工技术学会电机与系统学报（CES TEMS）》：电话：[phone]；邮箱：[e-mail]

☎️ 编务：010-63256994

☎️ 订阅：010-63256817

☎️ 商务合作：010-63256867/6838