查看原文
其他

王蕾:国家题库服务中国式考试现代化的探索

王蕾 中国考试 2023-06-27


原文刊载于《中国考试》2022年第12期第27—33页。

作者

王蕾,教育部教育考试院研究员。


摘要

  教育考试国家题库建设经历了仓库式的题目和试卷集合、对题目的全生命周期管理,目前正向智慧考试超级节点方向发展。国家级和省级考试机构正通过体制机制创新,使国家题库成为服务中国式考试现代化的重要基础设施。国家题库2.0服务于命题能力提升的技术突破体现在规范资源库的共建共享,题目的全生命周期全流程联动,以及涉密和非涉密系统的严格区分。国家题库2.0建设以人工智能和大数据技术赋能,从资源、服务、生态3个维度构建以数据驱动为核心的智慧考试新业态,以推动考试业务数字化转型和智能化升级。

关键词

考试;考试现代化;智慧考试;数字化考试;国家题库2.0


正文


  大规模教育考试作为人才选拔的重要途径,是党和国家治国理政的重要举措,它促进人力资源的合理分配和正向流动,是经济社会发展的重要基础。同时,考试又是教育教学的重要组成部分,既评价教育教学成果,又影响教育教学方式,“教”与“考”之间有着紧密的衔接。随着我国教育考试评价制度改革、考试内容和形式改革的不断深入,作为考试重要基础设施之一的题库建设具有重要意义。








 1 题库的缘起及国家题库建设总体回顾


1.1 题库的缘起
  考试在中国古代就是国之大事。那时,考试的题目主要出自经典,主管考试的官员不但具有极高的官阶,更需在学界具有广泛的才名,是“学而优则仕”的具体体现。进入现代社会后,这一传统得以传承,参加国家和地方考试命题的人员无不为学界翘楚。为确保公平公正,命题必须在高度保密的状况下进行,命题教师的身份涉密,少则数周多则数月的集中命题必须和外界完全隔绝,称为“入闱”。由于命题入闱人员均为考试机构临时聘请,入闱命题的可持续性面临越来越大的挑战。
  考试从中国传入西方大约起自英国的文官考试制度。1854年,英国当时的国会议员诺斯科特(Stanfford Northcote)和杜威廉(Charles Trevelyan)合著的《诺斯科特-杜威廉报告》(Northcote-Trevelyan Report),被认为是文官考试的起点。在工业化兴起的背景下,源自中国的考试也不可避免地越来越具有工业化产品的特征,朝着有利于大批量生产和社会化操作的方向发展。特别是第二次世界大战以后,美国大批老兵退伍进入大学学习,需要对他们的基本知识和能力进行考查,由此,一种对现代教育影响极为深远的考试试题形式——多项选择题开始出现并逐渐占据重要地位。随着美国文化在全球的影响不断扩大,选择题现在几乎已经充斥世界各国,出现在各个教育阶段。
  与中国古代考试相比,以选择题为主的考试需要大量的题目,依靠个人命题无法满足需求。20世纪下半叶,西方有人开始提出“item bank”[1](题库)的概念。题库,顾名思义,就是将大量的题目像仓库一样分门别类地存储起来,然后根据考试的需要在特定的时间点抽取出来组成试卷,技术上需要借助新出现的计算机进行题库的建设和管理[2]
  题库的概念传入中国是20世纪80年代初,由于当时我国计算机应用水平落后,早期的题库像传统图书馆书目一样采用纸质卡片存储试题。后来,伴随计算机的广泛应用,研究重点集中在文字和各种学科特殊符号的输入输出和排版打印。随着教育测量理论在我国的推广和应用,如何通过教育测量理论为试题建立一套科学、高效、便于使用的统计学指标索引,并利用其组成难度适宜的试卷成为另一个研究热点[3]
1.2 国家题库建设总体回顾
  1987年,国家教委考试管理中心(现教育部教育考试院)成立。这是新中国成立后第一个国家级考试的专门管理和研究机构,拉开了我国教育考试内容和形式改革的大幕。实事求是地说,这时我国在生产力和社会管理水平上全方位落后于西方,每一个人都在用一种时不我待的急迫心情追赶世界发达国家,最普遍的思想方法就是“拿来主义”。在这种背景下,被认为是现代考试技术最重要特征之一的题库,其建设的起步几乎与国家教育考试机构的成立同步。此后30余年,题库建设可以分成以下3个阶段。
1.2.1 理论研究阶段
  题库建设的第一阶段以理论研究为主,主要学习西方的教育测量理论,通过“请进来走出去”,与美国、英国的非营利性社会考试机构建立了常态化的业务联系。在这一阶段的交流中,双方使用的关键词就是常见于一般书籍和专业杂志的“item bank”,目标和理想就是要“一键成卷”。对于任何一个考试机构来说,题库都是核心机密,不可轻易示人。虽然这些专业机构也显示了极高的职业素养和态度,尽可能给予帮助,但双方都忽视了中国考试和西方考试在本质上的巨大不同。美英等西方国家的教育考试往往是大学招生的一种辅助手段,其社会文化对考试的重视远远不如我国。因此,它们的考试多在一种社会非常宽容的常态下运行,表现为:考试题目多是面向社会向相关学科的教师甚至公众征集获得,从无入闱一说;大规模社会化的考试题目往往事先在社会上找一些学生样本试用;题库中的试题可以重复使用;考试结束后,对于一些明显有错或统计性能不理想的题目简单地从试卷中剔除了事。这些在我国都是不可思议的。同时,西方的考试几乎多是选择题,数据的收集和处理十分方便;而我国的考试以主观题为主,一张试卷能容纳的题目总量有限。再加上我国社会发展水平一日千里,在几十年的时间里走过了西方几百年的路,体现在教育上,学生水平提升日新月异,考试内容为此要根据学生实际水平作出适时调整。在种种因素约束下,我国国家考试的题库建设很难取得实质性进展。
1.2.2 国家题库1.0
  2006年,教育部考试中心(现教育部教育考试院)正式启动“国家教育考试题库建设工程”暨国家题库1.0[4]。题库从理论研究走向实践,表现在:建设了满足保密要求的题库硬件平台,开发了我国自己的题库管理系统,形成了相关规章制度;在高风险的国家教育考试中实现了多套试卷储备,在多次重大灾情下的考试试卷供应方面发挥了关键作用,最大限度地保障了考试的顺利进行,维护了社会稳定。此外,国家题库1.0在一些相对低风险的考试中,实现了题目试测、一键成卷、从原始分数到量表分数的统计调整和等值转换。
  在这一阶段,我国考试工作者逐步认识到考试文化是我国古老但极具生命力的文化体系的重要组成部分,它传承着人民对美好生活的向往和国家对构建公平社会的追求,国家教育考试体现政府的意志和权威,在老百姓的心中是神圣和不可替代的。这一固有的国情和考情决定我国国家考试的试题试卷是考试功能、考试目的、考试内容、考试形式等诸多矛盾的集中体现,这些矛盾是不断变化的,不可能存在一蹴而就或者一劳永逸的解决方案。因此,基于西方教育测量理论和模型,题目可重复使用的存储式题库很难完全替代我国的入闱式命题。在我国,题库只能是命题人员的工具和助手,而不可能取代命题人员,题库在命题中的作用只能是锦上添花而不是越俎代庖。这一阶段,西方国家用更强调过程的item banking取代了仅强调结果的item bank,这一转变也成为我国国家题库建设第二阶段转向的关键词。
1.2.3 国家题库2.0
  党的十八大后,中国特色社会主义建设进入新时代。党的十八届三中全会提出推进国家治理体系和治理能力现代化,国家教育考试作为我国国家治理体系的重要组成部分,在考试的传统评价功能外,其育人作用不断被强化。作为“指挥棒”,国家教育考试的题目逐步由考试评价工具转变为全面育人的载体,国家题库的作用也逐渐从考试研发中的纯技术环节改变为增强考试治理能力的重要手段。2014年,国务院发布的《关于深化考试招生制度改革的实施意见》明确要求加强国家题库建设,国家题库2.0建设随之启动。在习近平新时代中国特色社会主义思想引领下,国家题库2.0建设立足新发展阶段,深入贯彻新发展理念,确立“中国特色、世界领先、行业标杆”的基本定位,不再局限于作为题目和试卷成品的管理系统,而是包含试题素材的收集和管理、题目新题型原型的研发、题目的研磨审校、试题查重避重、试卷的组成与调整、试测、编码评分[5]及统计分析等多功能、全流程的信息化考试研发工作平台。
  从数字化视角看,题库建设从原始素材出发,流出考试的试题试卷数据,流入与考生反应相关的考试结果数据,是一个数据中枢和超级节点。为此,我们将国家题库第三阶段的关键词发展为智慧题库(smarter item banking)。这里所说的国家题库,已经逐渐脱离“库”的基本含义,甚至关注的对象也不再完全是“题”和“卷”,而是包括了多模态的考试数据,涵盖试题试卷的产生、试题试卷的呈现方式、对考生反应的编码及统计分析等,是构建未来智慧考试,充分发挥其在考试服务于选拔、服务于教育、服务于国家治理中的关键作用。








 2 国家题库2.0概况


  国家题库1.0解决了信息化命题有没有的问题,国家题库2.0则聚焦信息化命题管不管用、好不好用的问题。国家题库2.0立足用户视角,覆盖了考试命题、磨题、组卷、查重、编码和数据分析等全流程,能满足学科秘书、命题教师及统计分析人员的各种应用需求。
2.1 国家题库2.0的功能定位与系统组成
  概括来说,国家题库2.0的功能定位是高效辅助命题人员工作,包括:追溯和管理每一道题目从创作到高光亮相,再到退役后用于命题能力建设的全生命周期;存储和归档所有伴随数据;产生和管理符合密级要求的试题和试卷。国家题库2.0目前包含4个软硬件集成系统,其中2个是严格按照保密法规和保密纪律建设的涉密场景应用系统,另外2个是非涉密场景下的应用系统。在2个非涉密场景应用系统中:一个是非涉密流通库,在非涉密状态下实现国家题库的主要功能,主要用于日常非涉密条件下对新题型原型的研发、试测、编码评分和统计分析等;另一个是征题系统,主要面向外围征集素材。
2.2 国家题库2.0助力命题能力提升的关键突破
2.2.1 规范资源库的共建共享
  大数据和人工智能时代,高质量的规范资源库已经成为教学和考试机构的实力象征,规整后的海量题目资源也是数字化教育和数字化考试的必要条件。国家题库2.0首要攻克的研究课题就是建立一个自动化、精准化、个性化和智能化程度高的、数据驱动模式的规范资源库。这个资源库需要在教育考试行业内具有高度权威性及多种功能,能够依托大数据和人工智能技术不断优化相关算法。不断优化的规范资源库,既是考试命题的基础参考平台,也是数字化考试的基础研发平台。规范资源库共建共享的主要目标是从资源和数据入手,摸清底数,确定标准,探索共建共享的数据联通机制。在具体实施层面,借助国家题库2.0重点突破的技术环节,研究试题及考生反馈数据资源共享共建机制,探索国家端和省端在数据对接和流转中的方案,为搭建底层数据资源、促进数据畅通流转打下坚实基础。规范资源库底层标准及配套的共建共享机制,将使教育考试战线形成合力,建立起既有数据沉淀、又能不断更新的高水平的规范资源库,助力命题能力提升。
2.2.2 题目的全生命周期全流程联动
  站在教育考试的全流程来看,打通考试各个环节,让数据顺畅流通,为提升命题能力开辟了新领域新赛道。只有形成考试全流程的数字化联动,才能为实现考试现代化打下基础,从而提高考试服务于教育的效能。作为支持征题、命题、审题、测试、编码评分和统计分析等的考试全流程信息系统,国家题库2.0经过多年探索,在功能设计和框架建构阶段已将记录试题全生命周期信息作为系统的重要功能。国家题库2.0建立和管理起了每个题目从原始素材、考查创意、研磨轨迹、实用效果、编码评分和统计分析等的全生命周期联动,使题目的演变过程可追踪、可回溯。对于每个题目的编码和统计指标采用“立交桥”机制,兼顾不同教育测量理论和模型的需要,研发建立高效实用的题目索引机制和试卷组成算法。国家题库2.0根据国家考试的不同特点,宜卷则卷,宜题则题,避免了题库建设到底是“题库”还是“卷库”的无谓争论。
2.2.3 严格区分涉密和非涉密系统
  我国对于国家秘密有严格的法律法规,每一个公民都有责任和义务保守国家秘密。考试命题涉及很多纯技术细节,需要通过多种渠道收集和交换信息、多种人员参与讨论和承担不同角色。为此,国家题库2.0采用涉密系统和非涉密系统严格分离的平行架构:对涉密线,坚持“最小化”原则,但坚决防止使用人员怕麻烦的心理,根据不同密级要求设置足够的保密屏障;对非涉密线,严格按照网络安全保障体系规定,打破数据孤岛,鼓励数据流通。疫情期间,涉疫地区国家教育考试延考,对试题试卷的需求呈指数型增加,相关命题部门借助国家题库2.0非涉密系统远程处理非涉密工作,把疫情防控常态下助力命题能力提升落在实处。








 3 国家题库2.0服务中国式考试现代化全新探索


  党的二十大提出建设“中国式现代化”[6],具体到教育考试而言,我们必须深刻认识到我国教育考试以考生为中心、以青少年健康成长为目标的制度优势。考试改革要以人民的呼声和国家的竞争力为方向指引,遵循教育基本规律,为促进教育公平、提高教育质量服务。既要打破西方考试在工业化、标准化过程中形成的束缚学生个性、忽视教育自身规律的标准化考试模式的限制,又不为西方某些社会群体过分追求政治正确形成的“去考试化”歧路所影响;既要突出考试在选拔国家科技创新领军人物的“国之大者”的重要地位,又要通过考试评价引导教育成为基础民生的重要组成部分,凸显公平公正的制度取向,更好地诠释中国国情和时代特色,实现中国式的考试现代化。
3.1 智慧考试的全新探索
  国家教育考试题库建设要进一步解放思想,彻底从对西方的教育测量教科书,以及西方一些在世界处于垄断地位、商业化特征非常明显的商业考试的模仿中解放出来,要瞄准我国考试现代化道路上的新问题和真问题,发挥制度优势,不仅要弯道超车,还要开辟新的赛道,助力实现我国“有教无类”的千年梦想。

  2022年1月,国务院印发《“十四五”数字经济发展规划》,提出深入推进智慧教育[7];2022年全国教育工作会议提出实施国家教育数字化战略行动[8-9],其重中之重是提出“智慧教育”的理念,建设“智慧教育”的全国体系。与之承接和对应的是,针对国家题库数字化升级,提出“智慧考试”概念。
  智慧考试以“海量题库”“个性试卷”“科学评价”为核心特征。“海量题库”汇集优质试题,承载数据资源,确保试题对教育教学目标的有效覆盖。“个性试卷”使试卷难度与考生群体水平更加匹配,提高考试信效度,减轻超量刷题带来的学习负担和偏题怪题带来的心理压力。“科学评价”提供合理有效的结果报告及使用方法,既发挥考试和评价结果在改进教育管理、提高教育质量中的作用,又采取切实措施,防止“唯分数论”。
  智慧考试可以看作为跨越广阔未知海域、驶向中国式考试现代化彼岸而打造出的一艘巨轮。智慧考试是对中国式考试现代化的探索,对未知领域的尝试,它所肩负的是我们对未来的期待,即在重塑考试业务流程的基础上,聚焦国家教育考试核心功能,以数字化思维重构业务流程,目标和理想是从资源、服务、生态全方位打造智慧考试,服务智慧教育。
3.2 国家题库2.0助力智慧考试的实证研究
  毋庸讳言,安全问题是国家考试面临的最大挑战,也是考试维护社会公平、确保社会稳定的底线。国家教育考试的最终目标是服务于建设教育强国,为建设社会主义现代化国家提供人才支撑。智慧考试的基本架构始终瞄准传统考试形式下长期累积的缺陷和弊端,致力于完成考试形式和内容改革长期以来想做、但受条件和环境限制很难做到的事情。为此,智慧考试的设计瞄准以下3个重点目标:一是破“五唯”,发挥考试的正面反馈作用。这是党和政府多次会议和文件早就确定了的方向,但是一直缺乏操作性的突破。二是鼓励学生创新,保护学生个性。国家间的竞争归根结底是人才竞争,创新人才最显著的特征是求异思维,而传统的纸笔考试出于操作需要只能“万人一卷”,抹杀了学生的个性。三是推进考试内容改革,加大考能力、考素养的力度。这是考试改革永恒的话题,数字化将提供全新的机遇和可能。国家题库2.0建设要抓住机遇,完成从信息化到数字化的转型,即从题库(item banking)到智慧题库(smarter item banking)的转型。
  国家题库2.0助力智慧考试,其最大特点就是从建设之初就立足数字化战略发展全局,定位服务国家智慧教育,从资源、服务和生态3个方面进行了创新和探索。国家题库2.0已经通过体制机制创新汇集了海量试题资源和命题素材,同时通过非涉密系统进行了多次从命题、磨题、组卷、机考测试、编码评分到结果报告的全过程试测研究,实现了对考生无感作答信息和实时作答数据的收集和分析。基于数据分析结果,题库能够为学生提供更详细的过程性评价和反馈,为教学提供数据支撑,以及为教育改革提供政策咨询。国家题库2.0在保障和服务考试全流程方面,正在发挥着类似于数据中台的关键作用。
3.3 国家题库2.0服务中国式考试现代化的具体举措
  考试改革,试题是龙头。考试题目之所以被称为考试的指挥棒,主要是因为其对教学的影响。纸笔考试下,以“四选一”为主要特征的选择题显示了很大的成本优势;而在数字化环境下,考生的答题模式会发生很大的改变,可以多次尝试直到获得正确的结果,可以在无计可施时获得提示等。数字化必然带来个性化,也就会给每一位考生以出彩的机会,让他们充分施展自己的才能。
  我国的考试管理体制是从中央到地方分级负责,这种体制的巨大优势是西方商业化考试机构完全不可比拟的。一个鲜明的例证就是新冠肺炎疫情3年来我们多次成功组织了千万人级别的国家考试,而西方考试机构则纷纷取消考试。我国考试在向数字化发展的过程中要坚持和强化这种制度优势。为此,国家题库2.0的未来将形成国家端和省端有机联动、共建共享的体制机制,以适应新高考改革“两依据、一参考”的多元录取新格局。
  以规范资源库为例,资源的收集解析需要多渠道和长时间积累,任何一个考试机构都无力独自承担,即使尝试也容易造成效率低下。特别是由于我国教培和信息行业高度发达,一些商业机构借助资本力量在较短时间内就能形成数千万甚至上亿道题目的积累。政府运营的公益考试不可能和资本比烧钱,只有借助体制机制的创新,通过国家级和省级考试机构的协作分工形成共建共享的格局,才能建成不仅用于考试命题,而且在行业内具有高度权威和影响力的规范资源库,以应对资本的无序扩张,彰显中国特色和时代特征。
  数字化的精髓在于数据的流动,以数据驱动物理资源响应用户的业务需求。信息化长期以来是考试招生战线改革的主线,形成了一大批成熟的信息系统,如国家考试的指挥平台、报名系统、网上评卷系统等。这些系统多是针对具体的业务环节,不同环节之间数据缺乏流动和交换。为打破数据孤岛,形成适应数字化需求的新格局,国家题库2.0建设将以人工智能和大数据技术赋能,从资源、服务、生态3个维度,构建以数据驱动为核心的发展新模式,服务考试业务数字化转型和智能化升级。
  国家题库2.0建设包括3方面内容:一是以规范资源库共享共建作为考试数字化的“攻防演训”,实现数据在国家端和省端的畅通流转,形成考试命题的基础参考平台和数字化考试的基础研发平台。二是以国家题库2.0非涉密流通库“搭桥过河”,帮助省级考试机构改进题库基础设施,加强命题能力建设。基于国家题库2.0非涉密系统试点服务考试全流程,覆盖征题、命题、审题、组卷、测试、编码、数据分析和结果报告等多个重要考试环节,完整验证考试数据的全闭环数字化联动。三是以智慧考试为目标“造船出海”,实现我国考试的数字化战略转型。在重塑考试业务流程的基础上,打造可为育人选才定制化服务的智慧考试新业态,实现与智慧教育的深度嵌套和全面融合。
  我国是考试的发源地,曾长期在考试制度、理论和技术上领先全世界,工业化后我们开始落后,直到新中国成立尤其是改革开放后我们开始从“跟着跑”到“并排跑”的追赶过程。党的二十大规划了中华民族伟大复兴最新的宏伟蓝图,数字化将给我们插上早日实现中国式现代化的翅膀,我国从考试大国成为考试强国的目标指日可待。


参考文献


“《中国考试》杂志”

学习强国号



需要本期杂志可长按二维码识别购买


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存