王烨晖 等：PISA问卷的最新发展趋势

作者：

王烨晖，北京师范大学中国基础教育质量监测协同创新中心；
秦可心，北京师范大学教育学部；
张楠，北京师范大学中国基础教育质量监测协同创新中心；
温红博，北京师范大学中国基础教育质量监测协同创新中心。

原文刊载于《中国考试》2020年第5期第16—18页。

摘要：问卷是PISA测验工具中的一个重要组成部分。PISA持续致力于问卷的研发与完善。随着教育政策关注点的变换，PISA问卷的重心从具体学科领域转向非学科领域。在框架设计上，PISA问卷不断加强理论支撑，对指标进行更科学的划分和整合。在测评技术上，PISA问卷在测评方式、组卷、题型、反应选项、措辞等方面不断创新完善、提高效率，力求做到公平有效。

关键词：PISA；问卷设计；教育质量监测

　　国际学生评估项目（Program for International Student Assessment，PISA）作为一项大规模的测评项目，对促进教育系统内学生发展、全球范围的教育进步及21世纪能力培养具有重要作用。问卷作为PISA测评的一个重要组成部分，具有明确的定位目标和清晰的结构框架，有助于引导后续的工具编制、数据结果的解读与报告撰写。
　　PISA测试背景问卷的目的在于：1）从教育系统内外两个视角出发，为测试结果的解读提供背景信息；2）对教育结构进行可靠和有效的测量，为政策决策与研究提供依据。随着时间推移，研究者发现除特定学科知识外，其他因素和能力对学生的发展也有重要作用。为更好地理解学生发展、引导政策决策，PISA2021问卷的关注点开始从学科知识技能转向包括创造力、交流合作、学会学习等在内的个体适应现代化社会所需的各种能力。经济合作发展组织（Organization for Economic Co-operation and Development，OECD）和PISA管理委员会（PISA Governing Board，PGB）一直致力于提升PISA问卷的科学性，以及与政策的关联性，旨在更好地实现PISA的测评目标。

 1

PISA问卷不断完善其理论构建和测评框架

　　在2000年至2009年的4轮PISA测评中，问卷尚未理论化与系统化。在其公布的框架报告中，问卷只是项目整体介绍中的一个小点，相关的介绍与说明非常简单，所占篇幅仅为一页甚至更少。PISA2012首次将问卷作为一个独立的章节，与3个测试科目相并列，对其理论架构、测评框架和各个指标进行详细介绍。基于国际教育成就评价协会（International Association for the Evaluation of Educational Achievement，IEA）提出的“投入—过程—产出”（Context-Input-Process-Outcome，CIPO）理论模型，PISA2012构建起一个4×3的综合性问卷框架，其中：纵向结构包括学生、班级、学校和国家，横向结构包括投入、过程和产出。框架的每一个交叉格都对应具体的问卷指标，其中学生的学业表现作为学生层面的重要产出指标也被纳入框架之中^[1]。
　　PISA2015和PISA2018调整了问卷的理论框架，将纵向结构指标调整为学科相关内容和一般内容。学科相关内容指学生在特定学科领域（阅读、数学和科学）的经历，以及与教学紧密相关的因素；一般内容与学科无关，但也是理解学业成就差异的重要因素，包括社会经济地位、学生对学校感受、学校基础设施等指标。此外，还将横向的投入、过程和产出3个指标分别具体化为学生背景、教学与学校政策和管理及非认知与元认知结果，形成2×3的结构框架。
　　由于CIPO的阶段划分过于简单，无法有效体现问卷研发的理念与思路，PISA2021对问卷模型进一步修订，形成2×5的结构框架，其中：纵向结构包括领域特殊性和领域一般性2个类别；横向结构包括学生背景，学生信念、态度、感受与行为，教学实践与学习机会，学校实践、政策与基础设施，以及管理、系统层面的政策与实践5个重点领域。同时，5个领域与学生或学校等具体测查对象紧密结合，通过交叉组合，形成20个问卷测查模块^[2]。

 2

PISA问卷框架持续平衡新旧测评工具之间的关系

　　作为已经实施了多轮的项目，新问卷的研发必然面临着如何处理与已有问卷关系的问题。为了能在国家层面对重要背景因素进行追踪，评估者需要一套稳定的问卷来保证PISA各测试轮次之间的可比性，包括3年一循环的比较和主测学科9年一循环的比较。基于对已有问卷的大量细致分析，如每个指标所对应的题量、每一道题目的选项数量以及选项方向的设计等，PISA总结有益经验，并为新问卷的编制提供建设性意见。
　　PISA2021在问卷预试时，针对已有的工具，设立了相应的筛选原则，如：保留能够最大化解释国家内部和国家之间学业成就差异的指标，保留与政策密切相关的指标，以建立基线或扩大趋势比较的范围；尽可能保持结构的完整性，以提高测量精确度；精简冗余指标，删除过时的、没有达到心理测量学标准的指标以及不能满足所有参与国特定需求的题目。对于新编工具，PISA2021要求加入教育研究关注的核心问题和PGB优先关注的问题；增加与PISA2021测试密切相关的问题（如数学推理、创造性思维）；完善题目，以便能更准确地描述学生生活和学习情况；替换旧工具中不符合心理测量学标准的题目^[2]。

 3

PISA持续推进问卷技术的研发，提升问卷质量

　　在问卷研发过程中：一方面，PISA积极应用测评领域中的成熟技术，充分借鉴其他大型测评项目的成功经验。例如，国家教育进步评估（National Assessment of Educational Progress，NAEP）对矩阵型问题的研究发现，该题型能够有效减少被试作答的时间和认知负担，过长的矩阵会影响作答质量。基于时间效益和作答质量间的平衡，PISA2021的预试把每个矩阵型问题的题量限定在5~10题^[2]，并根据预试的结果确定是否在正式测试中采纳该规则。另一方面，通过对已有多轮测评数据的深入比较与分析，PISA不断积累经验，持续完善测评工具，以更好地反映教育系统的效率和公平状况，为国际比较提供基准。PISA2021首次设立明确的研发原则，对问卷工具的题型、措辞、选项设计等方面都提出了明确要求。
　　在题型设计方面，PISA2021要求少尝试新题型，少用开放式填空题，以提高作答的准确性，节约作答时间。PISA2012在问卷中尝试了虚拟情境锚定（anchoring vignettes）、情境判断（situational judgment）、过度宣称（overclaiming）和迫选（forced choice）等多种新题型，除过度宣称题型表现相对较好外，其他题型均有不足，故PISA2021提出此要求。

　　在语言措辞方面，PISA2021要求避免在一道题上融合多个观点或多重内容，减少矩阵型问题中各题目之间表述的相似性。在例子使用的数量方面，建议使用2~5个例子，太少容易造成误解，而例子太多则会增加认知负担。关于反向题的使用，目前仍存在争议。有观点指出，同时使用正向和反向表述在理论上保证了结构的完整性，在实践中能够减少被试“直线作答”的风险，提高问卷有效性；但正反向混合的表述可能会对低阅读水平的被试产生干扰，增加潜在的认知负担。到目前为止，如何平衡正反向的表述方式，PISA尚无定论。
　　在选项设计方面，相关研究显示，5个选项的设计能够更好地区分被试的回答以及选项间的差别；因此PISA2021将把选项从4个改为5 个，且尽可能简洁。为改善测试者的阅读体验，PISA建议尽量保持选项方向的一致性。此外，PISA发现频率选项的效果优于同意程度选项。在PISA2021的预试中，将对这个问题继续研究，为正式测试是否采纳该规则提供依据^[2]。

 4

PISA2021考虑使用改进的矩阵抽样技术进行问卷组卷，与计算机技术进行更好的结合

　　PISA2012将矩阵抽样设计用于问卷，将问卷题目分为3册^[1]，每个学生仅需完成其中1个题册即可。这种方式能在不增加学生作答负担的前提下，多收集33%的信息。PISA2012采用的是基于测评结构的矩阵抽样，每个学生仅回答整个问卷结构的一部分，不需要学生完整回答问卷所涉及的所有结构。虽然这对整体层面的测量影响不大，但对基于结构水平的分析，可能会产生负面影响。因此，PISA2015和PISA2018恢复使用单一问卷，并将问卷回答时间从30分钟延长至35分钟。经过研究，在PISA2021的预试中将采用改良的问卷矩阵抽样设计——在同一结构内部进行矩阵抽样。如果预试结果理想，这一抽样设计将在正式测试中使用。
　　随着科技和现代信息技术的进步，PISA2009开始引入和利用计算机技术优化问卷测评。PISA2015首次启用电子传输平台，尝试为被试提供个性化的作答体验。针对问卷中某一结构内题量过大，且不适用于所有被试的情况，线上平台将基于被试的先前回答，为他们提供不同的题目。以涉及社会经济文化地位的题目为例，随着发展中国家的不断加入，该结构中有大量的问题并不适合所有学生作答，因此每个学生只需要回答与其情况相符的那部分问题即可。PISA2021将通过逻辑判断以跳题的形式向学生提供适合其回答的题目，以提高作答效率，节省测试时间。同时，PISA2021还将考虑使用线上的电子平台完成问卷的作答和管理。

链接