质性研究方法在教育评估中的应用探索
作者 | 张建新，云南大学高等教育研究院；刘康宁，云南省高等教育评估中心
来源 | 上海教育评估研究
“质量是各级各类学校的生命与灵魂”。这是全球教育界都越来越共同认可的一个基本观点。从系统思维视角看，教育评估系统必须有三个基本部分：一是“为何评估”，二是“评估什么”，三是“怎么评估”。今天，中国的第二轮评估（始于2009年）已接近尾声，走以质量提升为核心的内涵式发展道路，健全质量保障体系是教育评估界的共识。由此，“为何评估”与“评估什么”应该不是问题，最重要的是“如何评估”这个方法性问题。可以说，评估方法是评估研究的生命线，评估方法规范与否直接影响到评估结果的信度与效度。
凡是讨论评估方法的文献资料都会提及“定量”与“质性”（或“定性”）两种比较成熟的科学方法。两者的优势都非常明显，其互补性也必不可少。在定量方法应用方面，可以看到层次分析法、直方图法、加权平均法、假设检验法、调查表法等。然而我们却很难找到对质性评估这种科学评估方法的进一步阐释，其运用过程的探讨也寥寥无几，研究的深度与广度不够，更难看到质性评估的具体应用案例。本文基于云南省高等教育评估中心9年来对38所高职院校开展院校评估的实践，探索质性评估方法，期望进一步完善与改进教育质量保障的评估方法。
“
一、教育评估方法之背景
通过梳理国际教育评估理论，我们看到，从19世纪末开始到21世纪初的发展历程中，教育评估理论先后经历了“测验与测量—描述—判断—共同建构”4个阶段的4代演变。从某种意义上说，与其说这个演变是“评价理念的变化”，我们更愿意说，这是一个“评价方法的变化”。
评估，顾名思义，“评”就是评价，“估”就是估量，本身就是一种定量与定性结合的、对教育过程、教育结果进行价值判定的过程。要进行价值判断，必须制定评价标准。评价标准是“对所评价对象功效的数量和质量进行价值判断的准则和尺度……按性质分为两类：数量指标和质量指标”。早在40多年前，美国学者格朗兰德就给出了著名的评价公式，即“评价=6测量（量的记述）或非测量（质性记述）+价值判断”。由此可见，数量与质量就像一体两面的硬币，既没有离开数量的质量，也没有离开质量的数量。
从辩证唯物主义视角看，任何一个事物都是由“质”和“量”构成的统一体。质，是对事物进行定性描述；量，是对事物进行数量表达。数量仅是质量的表现形式之一，评估质量的本质特点是学生发展。质性评估方法既是定量测评方法的前提，同时更是评估的归宿。质性评估方法的核心是还原事物的本质，以己之心度别人之行，而定量评估方法则强调数据背后的“事实客观性”，突出对象的规律性特点，缺少人文要素。评估技术和手段具有一定的局限性，任何单独一种评估方法都不是打开所有评估的“万能钥匙”。由于以培养人为主要目标的教育活动具有人文性、复杂性、多变性，因此，评估工作中，只看数量行不通，只看质量也行不通，必须把数量与质量统一起来分析，遵循“质性—定量—质性”的方法规程，两种方法相辅相成、互相补充，才能做到评估结果的可靠性、有效性与公信力。
20世纪80年代，美国可口可乐公司面对竞争对手百事可乐市场占有率攀升到11%的现实，出动2000名市场调查员在10个城市开展问卷调查，结果表明88％～90%的顾客喜欢新口味可口可乐。为确保万无一失，公司斥资400万美元对19万名顾客进行规模更大的口味测试，结果仍然是新可乐口味胜过传统配方。公司最终决定改造自己沿用了99年的老产品，推出新一代可口可乐。然而，“新可乐”上市后一个月，公司每天接到5000多个抗议电话以及数不清的抗议信，公众的抗议愈演愈烈，公司遭受了巨额损失，决定恢复传统配方，把经过“无数人群试验和严格指标评价下败得一塌糊涂”的新产品撤出货架。这个故事告诉我们，所谓“科学的指标及严格的问卷结果”并非是万能的。在当今“追求卓越与品牌”的社会中，各行各业都在做同一件事：制定科学的指标体系来评价业绩、控制质量。我们的教育评估也一直在设法用各种指标来准确地评价一所院校的办学水平。这种方法在评估“合格”与“不合格”等建立基本规范的初期起到了积极的作用，但是在满足“良好”、“优秀”等较高或最高要求时却显得无能为力。
高校人才培养工作、学校办学水平等教育评价很难通过简单的定量标准就能进行“价值判断”，就像可口可乐公司“品尝饮料”调查问卷的味道是一个道理：各种指标算出来的排名和水平，跟现实是有一定距离的，社会也不一定买账。教育评估中最为突出的一个例子是武书连“2011中国大学综合实力100强”。浙江大学以207.91分夺得全国高校综合实力冠军，北京大学以200.34分蝉联亚军，曾经连续14年冠军的清华大学以190.25分屈居季军。此排名结果与人们的普遍感觉出现偏差的榜单引起的是公众哗然：“能信吗？”“真实吗？”“公正吗？”……我国第一轮教学评估工作中，颇受诟病的就是“一把尺子量天下”，即按照一个评估指标体系来评估所有的高校。
既然高等教育人才培养的功能发挥具有很强的滞后性，高等教育对于文化的传承作用具有无法估量性，由此，高等教育质量是很难评估的。因为“不是所有的大学教育的结果、不是所有发生在我们教室或演播室里的重要事情、不是所有的师生互动中珍贵的东西、不是所有能让学院增值的力量都可以或应该以数字和测量来加以评定。”有研究者甚至认为，没有一个指标体系能够囊括高等教育功能的发挥，质量评估“会因外界的介入对教育机构产生破坏作用”。
毫无疑问，教育质量评估具有一定的工具价值，但评估的真正意义并不在于“工具价值”，而在于注重评估的有效性，其目的是“把脉诊断”，是“开药方”，而不是“鉴定”，重在发展变化，看办学特色的“环境差异、个性差异、目标差异”。在即将到来的第三轮评估工作中，我们想要达到这一目的，就需要在贯彻“以评促建，以评促改，以评促管，评建结合，重在建设”20字评估方针中，突出连续重复三次的“促”字，强调“评软不评硬，评动不评静，定性不定量”。新一轮评估的主要目的及重点，就是引导学校“抓内涵”、“抓核心竞争能力”，在规范的基础上实现“创新”。创新是不可能在基本要求的底线上实现的，而必须淡化新一轮评估方案的指标体系中定量方法的“刚性”，强化质性方法的“柔性”，才能达到“发现问题、分析问题，共同探讨问题的解决方法”的目标。为此，未来教育评估方法改革的取向，就是把定量测评与质性考察紧密相结合，特别强调加强质性评估方法的应用。
“
二、质性研究方法在教育评估中的应用
作为一种与定量研究（quantitative"research）有着明显区别的研究范式，今天越来越多的人承认和应用质性研究方法（qualitative3research），其中北京大学陈向明教授的质性研究最系统。质性研究方法，是以“研究者本人作为研究工具”，通过在“自然情境下采用多种资料收集方法对社会现象进行整体性探究，使用归纳法分析资料和形成理论，通过与研究对象互动对其行为和意义建构获得解释性理解的一种活动。”质性研究的方法“就像一棵参天大树，下面掩荫着各色各样的方法分支”（见图1）。采用质性研究方法，对于促进高等教育“内涵发展”具有重要的意义。
截至2013年底，云南省高等教育评估中心已完成了全省38所高职院校的人才培养评估工作。作为半官方的高等教育学术评估中介机构，云南省高等教育评估中心一直坚持对政府“依靠”不“依赖”，以“规范化、专业化”作为自身发展要求，在评估制度保障、理论研究、方法探讨等方面形成了自己的特色。2013年12月，评估专家进入云南大学滇池学院（独立学院）开展评估。本文以此实地考察为例，探讨质性研究方法在院校评估中的具体应用情况（见表1）。
实地评估主要尝试通过文本分析、比较研究、问题查找、实地考察、焦点团体、深度访谈、倾听、扎根理论等多种质性研究方法，像中医样“望、闻、问、切”，充分调动一切感观，用历史的、发展的、比较的质性评估方法，多维度、多角度、多层面地考察学院的实际办学状况，从而发现真正存在的问题以及产生问题的深层次原因。
★★1.《"学校自评报告》、《学校人才培养工作状态数据采集平台》采用文本分析法
文本分析法是指一个从文本表层“深入”到文本深层、透过文字发现深层意义的过程。
为现场考察明确方向和重点，专家进入被评学校现场考察前15天，每位专家都必须阅读《学校自评报告》、《学校人才培养工作状态数据采集平台》、《学校发展规划》、《特色专业剖析》等文本，了解信息，进行文本分析，提出预审问题点，初步确定考察重点。其中《学校人才培养工作状态数据采集平台》由8方面构成：①基本信息；②师资队伍；③专业建设；④课程教学；⑤实践教学；⑥教学管理；⑦人才培养质量；⑧特殊情况。专家通过描述、解构、相互交换意见等方法，采用归纳总结性文本分析，寻找出问题所在。专家的现场考察要基于文本的预审，带着问题进入学校，才能避免判断偏差、诊断不准、开方不对等问题。
★★2.《全省同类院校比较分析报告》采用比较法
比较法（comparison）是找出研究对象的相同点与不同点的一种认识事物的基本方法。比较是认识自己、了解别人的重要方法。有比较才能鉴别，有比较才能见优劣，有比较才能辨方向。
为明确被评学校在评估总体对象中处于何种位置，预审的一个重要内容就是由一位专家负责对全省
同类院校进行比较，这位专家制定的《云南省独立学院发展基本情况分析报告》提供了全省7所独立学院学生规模、占地面积、固定资产、图书、招生、就业、专任教师、专业结构、投资等25个比较图表，直观地展示了“云南省独立学院对云南省普通高等教育的贡献”、“云南省独立学院发展中存在的突出问题”以及“云南独立学院的发展取向”。
★★3.“校内、外实地考察”采用观察法
观察法（observational3survey）是观察者为了认识事物的本质和规律，通过感觉器官或辅助工具，有目的、有计划地对自然条件下的现象进行考察的一种方法。
现场评估第一天上午“人才培养工作评估交流会”后，由被评院校组织的“专家组校园考察”就是一个考察学校办学条件比较直观的方法。在一个多小时的考察过程 47 32445 47 15534 0 0 2922 0 0:00:11 0:00:05 0:00:06 3057中，专家组走访了多媒体教室、模拟法庭、艺术学院展室、ERP综合实验室、剪裁工作室、金河社区、六甲一小、海埂训练基地等18个校内外实验、实训点。此外，专家还走访多个教学单位及管理部门、两天中午都在学生食堂就餐。开展这些活动就是采用参与型或非参与型观察法。专家或与师生一起工作、就餐，或直接倾听和观看师生的言行，了解学校的办学理念、措施；或置身于学校与师生活动之外，作为旁观者了解学生开展教学活动的发展动态。
★★4.小型座谈会采用焦点团体法
焦点团体（focus3group）是一种参与者具有同质性的特殊类型的团体，通常由10位左右参与人在一位主持人的引导下对某一主题进行深入讨论。
在专业带头人、用人单位、学生及教师4个小型座谈会上，评估专家带领参会人围绕着一个既定的话题展开讨论，深入地了解专业建设、课程教学、毕业生质量、教学管理等问题。比如，在“毕业生座谈会”上，专家从以下几个方面开展座谈：①你认为学院的课程设置在哪些方面适应社会及工作岗位的需要？②学院提供的学习资源（包括课程、网络、媒体）还有哪些方面不能满足你学习的需要？③通过几年学习，你的思想道德素质及工作态度有哪些提高，并体现在哪些方面？④你对学院的发展有什么期望？在同一个维度的问题上，专家听取了毕业生、在校生的不同建议和看法，能够较好地对学院提出改进意见。
★★5“访谈教学单位及管理部门”采用深度访谈法
深度访谈法（in-depth.interview），是一种无结构的、直接的、个人的访问，以揭示对某一问题的潜在动机、信念、态度和感情。
“从生活到话语已经存在一层‘遮蔽’，从话语到文本产生了又一层‘遮蔽’……相对于统计分析的强有力工具，口述史和个案‘深描’的永恒魅力，也许就在于它的‘去蔽能力’。”评估中的深度访谈与小型座谈会一样，是评估专家寻访“被评估对象”，通过面对面的“交谈”，收集资料，理解其理念，体会其动机，把握其整体含义的活动。在3天评估时间内，专家先后和30余人进行了深度访谈，对象主要有3种类型：
①访谈学校领导、中层领导，旨在深入了解学校的办学思想、办学特色、教育教学改革、人才培养模式改革等问题；
②访谈学生，旨在了解师生对教学管理、后勤经营、实验实训等方面的感受；
③访谈教师、学术带头人，旨在了解专业教师“双师”素质培养、教师专业发展举措、教学质量、职业技能等。在访谈现场，专家可进行全方位的观察，关注细节，比如被访者的衣着、神情、语速和语调等都被专家赋予鲜活的意义；
访谈过程中，双方不断交换信息，以不断询问的方式促使访谈对象持续回答，并追问和探求表面陈述中隐含的深刻意义。通过对访谈对象作启发式的交谈与询问，专家一方面在交流中发现问题及问题成因，了解问题的实质，另一方面，通过循循善诱的语言表述方式，引发访谈对象积极思考，共同探讨解决问题的良方。
质性评估，是通过评估者与被评估者之间互动，对评估对象进行深入、细致、长期的体验，然后对事物的“本质”或“特性”得到一个比较全面的解释性、理解性的评估。质性研究的特点是“注重对研究现象作后实证的、经验主义的考察与分析，强调的是自然主义的传统，注重对研究结果的‘真实性’和‘可靠性’进行探究”。同样，质性评估也能够较好体现这一特点。
结语
1998年首届世界高等教育会议所通过的《21世纪高等教育宣言：展望和行动》指出：“高等教育的质量是一个多维的概念……要考虑多样性，避免用一个统一的尺度来衡量。”世界各国质量保障机构均以探索多样化的评估方法为发展方向，并在实践中不断改进与完善。
我国早期采用的评估方法主要是“合格评估”、“水平评估”和“选优评估”三种，主要采用量化测评方法，注重“标准”和“结果”的达成，对评估过程有相当程度的忽视。我国第三轮评估的目标重心应该注重三点：一是发现问题，二是不断改进过程，三是不断发展。评估目标必须与教育、教学目标紧密联系，同时评估方法也必须随着评估目标的变化而不断变化。由此，文本分析法、比较法、观察法、焦点团体法以及深度访谈法等质性研究方法是最能够达成此种手段的重要载体，需要给予充分的重视。在未来教育评估中，需要采取遵循“质性－量化－质性”的方法规程，取长补短，把两种方法有机结合起来，不断增强教育评估的有效性和公信力。
本文版权归原作者及原出处所有，内容为作者观点，并不代表本公众号赞同其观点和对其真实性负责。如涉及版权等问题，请及时与我们联系，我们将立即更正或删除相关内容。本公众号拥有对此声明的最终解释权。
长按二维码可关注