PISA2021创造性思维测试述评
✦张羽，男，宁波大学教师教育学院硕士研究生；
✦王存宽，男，宁波大学教师教育学院教授、继续教育学院院长。
随着经济和技术的飞速发展，学生在课堂上获得的知识不足以使其适应多变的未来。国际学生评估项目（Program for International Student Assessment，PISA）一直关注15周岁学生应对未来挑战所需的核心能力，自2003年起，PISA相继完成对问题解决能力、财经素养、数字阅读能力、协作问题解决能力和全球素养的评估，在国际上产生了巨大影响，并决定于2021年在世界范围内开展大规模创造性思维（creative thinking）测评。PISA一直都不鼓励学生重复课堂上学到的知识内容，而是希望学生有能力拓展所知、跨越不同学科进行思考，创造性地将知识运用到全新情境中解决实际问题。[1]早在2010年经济合作与发展组织（Organization for Economic Co-operation and Development，OECD）颁布的《OECD创新战略：从明日起抢占先机》中就指出当下社会迫切需要创造性思维以应对新的挑战。[2]目前心理学界普遍认为创造性思维可以提升许多个人能力，如元认知能力、人际关系能力等，还将促进个人发展和职业成功。大量的研究都表明具有创造性的想法和见解推动了科学、技术、哲学、艺术等领域的发展[3]，因此创造性思维不是灵光乍现的想法，而是一种具体的能力，它以知识和实践为基础，是人类的一种普遍现象，这也让大规模测评创造性思维成为可能。过去几年间OECD教育研究与创新中心（Centre for Educational Research and Innovation, CERI）在11个国家范围内研究如何培养和评价创造性思维，取得了较好的早期成果，并于2019年4月发布《PISA2021创造性思维框架草案（第三版）》，提出有效、可靠、操作性强且适用于15周岁学生的测试框架。该框架涵盖对创造性思维定义、影响因素、表现形式、素养模型、测试工具开发和背景问卷设计的详细说明。[4]PISA力求通过本次测试推动创造性思维评价的发展，结合测试结果研究创造性思维的课堂培养路径和模式，并为相关教育政策制定和教学方法转变提供帮助。
一、PISA2021创造性思维测试理论建构
（一）提出凸显能力属性的创造性思维定义
国际上开始重视对创造性进行系统而科学的研究始于1950年著名心理学家乔伊·保罗·吉尔福特（Joy Paul Guilford ）在美国心理学大会上的讲话，现在对创造性的研究已经深入至心理表征和习得过程层面。因创造性存在于文学、艺术、音乐、科学和数学等诸多领域，定义较为多样。学界多认同创造性是指个体产生新观点、发现和创造新产品的能力，也可称为创造力（creativity）[5]；而创造性思维是参与创造活动的思维过程，也属能力范畴。创造性二分理论将创造力分为“Big-C”（Big-Creativity）和“Little-C”（Little-Creativity）两类，Big-C要求个体具备高水平的创造性思维、深厚的专业知识、在特定领域具有才能以及创造产物得到社会的高度认可。拥有Big-C的人往往能在相关领域取得成功且能推动领域发展，但其只在极少数人身上有所体现，如音乐界的贝多芬。Little-C指的是解决日常问题及适应变化的能力，如在工作中找到方案解决复杂问题、重新利用废品做出有用的生活用品等，几乎所有能进行思考的人都具有Little-C潜能。[6]显然Little-C型任务更能体现15周岁学生的创造性思维，满足测评需求，文献也认同Little-C可以通过实践发展和教育培养。故PISA2021创造性思维认知测试将设置与Little-C相关的任务，最大限度地降低天赋影响，进而有效评估学生的创造性思维。
基于已有文献和对世界各地15周岁学生的调研结果，PISA2021中创造性思维被定义为：有效地参与想法产生、评价和改进，从而形成原创且有效的解决方案、促使知识提升和想象力有效表达的能力。[7]这个定义凸显了创造性思维的能力属性，确定创造性思维属于可测、可培养的具体能力，并明确其表征形式；同时强调了创造性思维培养的目标，即各级各类教育都应该让学生学会如何创造性地产生想法、审视想法的合理性并且针对具体情境不断改进想法直至有效。
（二）构建系统的影响因素和表现形式关系模型
创造性思维是一种多维能力[8]， 受个人因素（如知识、技能、自我效能感等）和社会因素的影响与推动[9][10]，具有不同的表现形式（表现形式为可见的成就或某方面的进展）。图1展示了15周岁学生课堂中个人因素、社会因素和创造性表现形式的关系模型。
图1.课堂中创造性思维影响因素和表现形式关系模型
其中，个人因素包含六个方面：一是领域基础，在特定领域具备一定知识和经验；二是目标导向和信念，为目标坚持不懈、具备自我效能感和信念；三是协作参与，团队合作更容易产生创新型方案，协作是知识创造的重要驱动力；四是认知技能，创造性思考需要的认知技能，如发散思维、聚合思维等；五是开放性，对新颖思想的接受，对经验和智慧的开放；六是任务动机，潜力和能力需要动机来实现，内在和外在动机都会让个体付出努力。
社会因素包含三个方面：一是文化规范和期望，这些能影响社会环境，进而影响个人价值观与发展意愿等；二是教育方法，问责制、考试会降低个体创造性；三是学校和课堂气氛，问题有标准答案、对权威恐惧服从、好奇心磨灭、学习兴趣缺失等会降低创造性，学校鼓励创造性教学和团队活动等将提升学生创造性。
表现形式包含三个方面：一是创造性表达，将内心世界的想象力展示给他人，分为语言表达和非语言表达；二是知识创造，指知识发展或知识重构，而非习得，如为了解释某个理论而重新理解知识；三是创造性地解决问题，问题解决未必需要创造性思维，但学生面临陌生情境时，需要新颖非常规的方法，创造性思维至关重要。
图1关系模型建立在OECD创造性思维战略咨询专家组的研究基础上，箭头指向表示社会因素影响着个人因素和创造性思维的表现形式，个人因素与创造性思维的表现形式相互影响。该模型为PISA2021创造性思维素养模型构建、测试领域选择、试题及评分标准的研制提供较大帮助。
二、PISA2021创造性思维测试模型建构
（一）创造性思维测试的重点和目标
PISA2021创造性思维测试的重点在于合理预期15周岁学生的创造性思维过程，通过学生在具体任务上的表现，生成创造性的相关数据，从而确定真实的创造性思维过程，而并非通过测试寻找极具创造力的个体。[11]因为国际上对该年龄段学生在创造活动中的思维过程研究较少，PISA期望在世界范围内得到普遍性结论。其核心目标是提供有关15周岁学生创造性思维的国际参照数据，从而对教育政策制定和教学方法改进产生影响。[12]此次测试的重点和目标与以往不同，PISA希望通过测试将创造性思维与教学方法、学校活动和教育系统内其他影响因素建立关联，得到有用结论；帮助学校明确如何培养和评价创造性思维、如何将创造性思维与基础教育阶段教授的科目联系起来，而不强调国家层面的横向比较和高水平创造性学生的占比。
（二）创造性思维的测试领域
PISA2021首次对素养进行了领域划分，因为已有研究发现各领域的创造性思维不尽相同，事实上研究者就“所有领域的创造性思维是否相同”这一问题争论许久。第一代测试认为创造性思维在所有领域中具有普适性，可以迁移，即在某领域表现出创造性的人也一定能在其他领域表现出创造性。最近的研究反对该观点，因为研究者已经发现在数学、科学相关活动中体现的创造性思维与艺术、文学等领域截然不同[13]，创造性思维具有领域特异性。
从创造性思维的表现形式可知，测试应围绕创造性表达、知识创造和问题解决展开。知识创造的含义是“为了解释某个理论而重新理解知识、对概念重新理解来解释现象或结论”，可与问题解决归为同一范畴，所以PISA2021将围绕“创造性表达”和“问题解决”两个广泛领域进行测评。创造性表达指向语言、艺术、文学等，可通过创意、美学、想象力、情感等表征；问题解决指向科学、数学、日常经验等，可通过生成原创有效的问题解决方案来表征。为构建更明晰的素养模型和指导测评工具开发，PISA拟定将两个广泛领域细化为四个子领域，其中创造性表达包括“文字表达”和“视觉表达”两个子领域；问题解决包括“社会问题解决”和“科学问题解决”两个子领域。
这四个子领域涉及的任务属于Little-C的覆盖范围。虽然仅通过这四个领域不能彰显世界各地15周岁学生全部的创造性思维过程，但PISA能提供足够多样化的测试结果，合理报告学生创造性思维水平。鉴于各国学生的社会因素可能存在差异，通过多个领域进行测试，还可以揭示国家层面的教育理念和方法对哪些领域的创造性作用更大，这将对学校如何培养不同领域的创造性思维具有重要意义。
（三）创造性思维素养模型
OECD专家组将创造性思维解构为三维度能力，分别为“产生不同想法”“产生创造性想法”“评价和改进想法”，从而建构了“四领域三维度”素养模型（见图2）。
图2.创造性思维的素养模型
第一个维度是产生不同想法。在任意领域，创造性思维评价的一个共同指标就是产生想法的数量，心理学将其称作概念流畅性，能反映个体思维的灵活性。这个维度侧重评价学生灵活思考的能力，如要求学生举例一张纸的用途，回答“写作、折纸、绝缘”要比“写作、打印、涂鸦”获得更高的评价，因为后者只体现纸张书写载体的功能。
第二个维度是产生创造性想法。创造性思维始于意愿，结束于产品，相关研究成果认同产品新颖且有意义即代表学生确实产生了创造性想法，但已有研究都用卓越、与众不同和社会作用来衡量“新颖且有意义”，这并不适用于15周岁学生。所以PISA在该维度上侧重学生产生“合适且原创”想法的能力，学生只要基于任务得出符合要求、合适、原创的想法即可。
第三个维度是评价和改进想法。高质量的创造性活动不仅是产生新想法，而且能使为预期目标而开展的活动更符合社会需求，这需要对想法进行评价和改进。实质上不断地改进想法才是创造性思维的核心过程，在个人活动中审视自己的想法，在团队活动中分析他人想法并进行反馈的能力都极为重要。该维度测试将给学生提供开放场景，学生要对给定想法的局限性进行评价和改进，其评价和改进是否合适是该维度的评价指标。
结合创造性思维的三维度能力，将创造性思维测试的四领域进行具体说明（见表1）。
表1.文字、视觉表达与社会、科学问题解决说明
广泛领域 | 子领域 | 说明 |
创造性 表达 | 文字表达 | 创造性写作需要逻辑一致性和想象力；学生需要以文字形式表达想象，尊重规则和惯例，让文字能被人理解，并能对其他人的文字进行改进 |
视觉表达 | 该领域的实用性随技术发展不断增加，学生需要使用数字绘图工具参与开放的视觉设计任务(如海报)；根据给定的场景形成思路，对给定不同形式的视觉材料进行原创性改进 | |
问题解决 | 社会问题解决 | 在学生的日常生活中，使用创造性思维解决社会问题很常见；学生需要（单独或协作）在社会场景中提出方案、想法，并对给定的方案进行原创性改进 |
科学问题解决 | 科学中的创造性思维有多种表现方式，比如理解概念（知识创造）、得出假设、设计实验、发明创造、设计工程活动计划等，还与科学探究能力密切相关；测试以开放式问题考察想法的创新性，学生需要基于给定情境提出想法，对给定的实验方案进行原创性改进、针对一个问题提出多个方案、在模拟实验室环境下发明创造等 |
三、PISA2021创造性思维测试内容
（一）创造性思维认知测试
首先，认知测试分配。PISA、国际数学与科学趋势研究（Trends in International Mathematics and Science Study，TIMSS）、国家教育进展评估（National Assessment of Educational Progress，NAEP）等大规模评估项目需要在保证测试全面性的同时减小国家/区域间误差，一般都采用矩阵抽样设计将全部任务分配在不同试题集中，再结合PV值（plausible value）报告分数。这样无须学生完成过多试题，也可大致得到每个学生完成所有试题的数据。[14]PISA2021创造性思维认知测试时长为1小时，学生虽只能完成3～5个认知测试单元，但PISA也能在国家层面获得较为准确的数据；考虑到领域间测试的均衡，四领域各设置25%的任务；在创造性思维三维度分配上，“产生不同想法”测试占比40%，“产生创造性想法”占比30%，“评价和改进想法”占比30%。
然后，认知测试样题。基于创造性思维的表现形式和素养模型，PISA2021需要针对不同领域分别设置不同类型、不同主题的认知测试单元，每个单元基本都涉及三个维度的考查。各个领域样题主题分别为：文字表达领域是“根据图案创作短篇小说”；视觉表达领域是“使用虚拟绘图工具设计当地美食节徽标”；社会问题解决领域是“节约用水的社会问题”；科学问题解决领域是“对标准自行车进行创新改进”。以科学问题解决样题为例，任务一提供了一幅标准自行车图片，让学生试想在未来，标准自行车可能出现的三种改变，考查“产生不同的想法”；任务二给出一种想法，认为未来高科技自行车一定很昂贵，应该加装面部识别摄像头防盗，同时提供面部识别摄像头和将其固定在车把手上的夹子图片，让学生评价并改进该想法，考查“评价和改进想法”；任务三假设未来自行车是自动的，脚踏板不是必需品，要求学生提出一个让脚踏板重新利用的建议，也可以是其他传统标准自行车可能被淘汰的部件，考查“产生创造性想法”。
（二）创造性思维背景调查
PISA每轮测试都进行系统的背景调查，作用一是调查教育系统中影响学生成绩的所有因素，了解个人因素和社会因素对创造性思维的影响及学生的基本情况（如家庭、性别等），用于后续分析；作用二是PISA使用PV值法报告分数，PV值是学生能力后验分布中的随机数，由学生试卷表现结合先验分布生成，先验分布来源于背景变量数据，系统全面的背景调查能在一定程度上预测学生成绩，辅助生成更准确的PV值，减小测试误差。
PISA2021创造性思维测试背景调查问卷包括学生问卷、教师问卷和校长问卷三类，共含五个主题。主题一为好奇心和探索倾向（学生问卷），设置有关个人好奇心、开放性以及学生探索倾向的问题，问题来源于国际研究文献和心理人格测量量表。主题二为创造性的自我效能感（学生问卷），调查学生的自信程度，来自创造性自我效能感测量量表。主题三为创造性信念（学生问卷），调查年轻人对创造性的看法，如创造性是否可以被训练、是否为天赋特征、是否仅存在于艺术、是否存在于所有情境以及是否有动机去完成创造性活动。主题四为课堂和学校的创造性活动（学生、教师问卷），学生问卷中调查学生是否具备了充分的领域知识和技能、是否经历过类似的活动（课内和课外）；教师问卷调查创造性活动是否纳入课程、是否布置课外相关活动等。主题五为社会环境（学生、教师和校长问卷），用以搜集学生、教师和学校间的交互信息。包括学生和教师是否认为课堂中的自由表达得到了鼓励、学生自己的想法和建议是否被认真对待等；还将调查教师和校长获取学校环境对学生的影响程度以及有关家庭和同伴的问题。
四、PISA2021创造性思维测试特点
（一）沿用PISA测试研制的框架，保证测试的科学性和系统性
PISA2021定义了15周岁学生创造性思维，明确其能力属性，将创造性思维从测量角度视作与科学、阅读、数学类似的素养，认为素养水平可由学生在任务上的反应推断出来。这种观点与罗伯特·米斯列维 （Robert Mislevy）等人在1999年提出的“以证据为中心的设计”（Evidence-centred Design，ECD）评价理念相契合[15]，随着心理测量学发展和实践经验的不断丰富，“以证据为中心的设计”已经形成完善的理论体系，被视为大规模素养测试开发的最优框架。历届PISA测试研制均在此框架下进行，本次创造性思维测试沿用该框架，将已有研究和测量技术在同一框架下纳入测试，保证测试的科学性和系统性。
该观点也符合项目反应理论（Item Response Theory，IRT）对被测能力的要求，可以继续在项目反应理论框架下进行试题质量分析和试题难度标定；PISA2021基于影响因素设置了背景问卷调查，最大限度地降低PV值赋分法的误差。项目反应理论下的试题处理和PV值分数报告是大规模测试中的成熟测量技术，将会沿用至本次测试。虽然国际上未开展过大规模创造性思维测试，但参照PISA2018全球素养的成功经验，沿用原框架研制测试可以达到预期目的并确保实施效果。
（二）建构清晰简化的素养模型，解决素养多维复杂的问题
创造性思维测试是一个新兴的研究领域，但创造性思维定义抽象，广泛存在于不同领域，是一种多维、复杂、难测量的能力。OECD专家组通过大量的文献研究和实证研究将15周岁学生的创造性思维解构为三维度能力，同时基于表现形式将测试内容锁定在四个子领域，建构了清晰简化的素养模型。这种方法不能实现对所有领域的创造性思维评估，却能帮助相关专家命制指向素养的认知测试工具、制定评价参考和评分标准，真正实现对复杂多维素养的科学测试。鉴于国际上缺乏相关经验，这种清晰简化的素养模型具有较强的指向性，让试题指向想法生成、创造和改进，极大程度地减小学生对认知技能的依赖，提升试题合理性。
（三）针对创造性思维的特征表现，制定操作性强的指标体系
《创造性思维测评框架草案（第三版）》只展现了影响因素和表现形式，未提及创造性思维的认知过程和习得过程。这与2018全球素养测试不同，全球素养四维度框架中有对应的四个认知过程，从而使试题和评分标准研制方向相对明确。[16]较之于全球素养，创造性思维试题研制更困难。PISA针对创造性思维的特征表现，在框架中对素养模型各要素进行细致阐释，给出各领域素养测试的可行方法，如前文表1所示，指导试题命制；基于测试重点和目标给出评价标准，共同构成操作性强的评价指标体系，如“产生不同想法”这一维度需要评分者判断想法是否“完全不同”，评分标准提供尽可能多的示例，并不给出标准答案。测试还将引入评分者信度（scorer reliability）指标进一步确保评分的合理性，该指标能反映多个评分者给同一群体学生评分的一致性程度，避免评分者之间的误差。
（四）开发特定思维的测评新范式，提供核心素养测评经验
创造性思维的大规模跨国比较在教育测量领域是开创性的，创造性思维是一种没有专业培养课程、并非课程体系核心目标、超越课堂知识但以知识和经验为基础的能力。今日的教育系统提倡关注学生应对未来社会的必备能力，对创造性思维、批判性思维等特定思维的科学测试是教育评价领域将面临的问题。这类思维具有定义多样、多维复杂的特点，属较难量化的能力。PISA2021创造性思维测试开发了一种特定思维测评的新范式，可分为四个步骤，首先通过文献研究和实证研究确定特定群体的思维表现形式与影响因素，完成测试前期开发，经专家组充分讨论给出基于该群体的明确定义；接着拟定测试重点和目标，围绕该群体制定指向性强、清晰的素养模型；然后技术层面沿用已经得到实证检验的测试研制框架和测量方法，确保科学性；最后针对特定思维的具体特征表现，制定操作性强的评价指标体系指导命题人和评分者，完成测试开发和测评工作。
自PISA项目启动至今，每轮PISA技术报告（PISA Technical Report）都在测量技术细节上进行优化，至今国际上已形成了素养测试开发的科学范式。该范式可以迁移至我国核心素养测试中，如数学学科核心素养中的直观想象、化学的创新意识、生物的理性思维、语文的审美鉴赏与创造等从测量角度看均与创造性思维同型，本次测试能为解构维度、建立模型、编制工具、制定评价指标体系、报告分数等方面提供启示。
五、结语
可以预期，PISA2021创造性思维测试在世界范围内会产生巨大影响，具有较大的实践意义。创造性思维在各大报告中都被视作21世纪人类必备素养之一，也是人类应对未来多变世界的必备能力，社会意义重大。明确15周岁学生创造性思维的属性和定义在国际上是开创性的工作，进行大规模的科学测评更是测量与评价历史上划时代的事件。PISA2021将提供科学有效的创造性思维测评方法，验证创造性思维是一种有形的、以知识和实践为基础的且能在课堂中形成与发展的能力，进一步体现教育对创造性思维的重要作用。同时，本次测试也将作为超越课堂知识、复杂多维能力测试的成功经验，与之相似，如批判性思维、学会学习、终身学习等必备能力均可能在未来实现科学有效测评，届时课程改革会有翔实的数据资料和清晰的方向。OECD已经确定在PISA2024开启对学生在数字世界的学习能力的评估（The ability of students to learn in a digital world），对这些必备能力深入研究并开展测评是未来评价工作的趋势。
参考文献：
[1]施莱歇尔.超越PISA：如何构建21世纪学校体系[M].上海：上海教育出版社，2018:11-12.
[2]OECD.The OECD Innovation Strategy: Getting a Head Start on Tomorrow[EB/OL]. (2010-5)[2019-08-14].https://doi.org/10.1787/9789264083479-en.
[3]Hennessey B A， Amabile T M. Creativity[J]. Annual Review of Psychology, 2010 (61):569-598.
[4][7][11][12]OECD.PISA2021 Creative Thinking Framework (THIRD DRAFT) ,OECD [EB/OL].（2019-04）[2019-08-14].http://www.oecd.org/pisa/sitedocument/PISA-2021-Frameworks.zip/PISA 2021 Creative Thinking Framework.pdf.
[5]Sternberg R J, Lubart T I. Investing in Creativity[J]. American psychologist, 1996, 51(7): 677.
[6]Kaufman J C, Beghetto R A. Beyond Big and Little: The Four C Model of Creativity[J]. Review of general General Psychology, 2009, 13(1): 1-12.
[8]Lucas B. A Five-dimensional Model of Creativity and Its Assessment in Schools[J]. Applied Measurement in Education, 2016, 29(4): 278-290.
[9]Amabile T, Pratt M.The Dynamic Componential Model of Creativity and Innovation in Organizations: Making Progress, Making Meaning[EB/OL].(2016-10)[2019-08-14]. http://dx.doi.org/10.1016/j.riob.2016.10.001.
[10]Sternberg R J. The Nature of Creativity[J].Creativity Research Journal, 2006（18）：87-98.
[13]Julmi C, Scherm E. Measuring the Domain-specificity of Creativity[EB/OL]. (2016)[2019-08-14]. https://www.fernunihagen.de/imperia/md/images/fakultaetwirtschaftswissenschaft/db-502.pdf.
[14]Mislevy R J , Muraki J E . Special Issue: National Assessment of Educational Progress || Scaling Procedures in NAEP[J]. Journal of Educational Statistics, 1992, 17(2):131-154.
[15]Mislevy R J, Haertel G, Riconscente M, et al. Evidence-Centered Assessment Design[R]. Educational Testing Service，1999.
[16]占小红,温培娴.PISA2018全球素养测试述评[J].比较教育研究,2018,40(09):95-102.
▼往期精彩回顾▼构建新的学习生态系统 ——OECD学习框架2030述评与反思
21世纪课程的重新概念化与定位：全球性的范式转变
本文刊登于《比较教育研究》2020年1期，若转载请注明出处。
总发行处：北京报刊发行局
订购：全国各地邮局
邮发代号：2-466
海外发行：中国国际图书贸易总公司（北京399信箱）
海外发行代码：ZW023
编辑部地址：北京市新街口外大街19号
邮政编码：100875
电话：010-58808310
Email：bjb@bnu.edu.cn
扫码关注最新动态