陈燕 铁晓锐 | 中国学科国际声誉评价的困境与策略研究

DOI:10.16298/j.cnki.1004-3667.2020.02.05

摘要

从专家遴选与问卷发放、评价实施、问卷回收、数据处理和结果计算分析了当前对中国学科进行国际声誉评价的现状。发现存在西方主导评价、学科标准差异明显、人文社科领域评价面临挑战、评价实施存在不足等问题与困境。提出秉持开放、平衡的中国学科国际声誉评价理念，建立适应中国国情的学科国际声誉评价体系，改进学科国际声誉评价实施体系，构建中国学科国际声誉评价的长效机制等评价中国学科国际声誉的策略选择，以期为构建学科声誉评价中国标准、合理评价学科国际声誉提供新思路。

关键词

学科；中国学科；国际声誉；声誉评价

作为高等教育质量保障的重要手段，学科评价有利于促进学科建设的健康发展。在现有的学科评价体系中，声誉是衡量学术机构影响力和可信度的一项重要标准。声誉评价是伴随着同行评议理念的盛行而兴起的。哥伦比亚大学教授保罗·瑟曼（Paul Thurman）认为，客观测量固然重要，但了解学者和雇主对大学的看法同样至关重要，当大量有识之士看法高度一致时，这些见解不仅反映了客观测量难以捕捉的质量差异，结果也更令人信服。

国务院2015年印发的《统筹推进世界一流大学和一流学科建设总体方案》提出，要坚持以中国特色、世界一流为核心，建成一批世界一流大学和一流学科，提升我国高等教育综合实力和国际竞争力。基于“世界一流”和“提升国际竞争力”的目标，学科评价的国际化以及面向国际开展学科声誉评价成为必然的发展趋势。在习近平总书记强调“要扭转不科学的教育评价导向”的背景下，如何建立学科国际声誉评价的中国标准，真实反映中国学科建设成就和世界影响，切实发挥声誉评价正确导向作用已成为高等教育战线越来越关注的问题。当前，我国学科国际声誉评价主要由国外评估机构进行评估，而我国自主开展的学科国际声誉评价刚刚起步，尚处于试点摸索阶段。鉴于此，本研究重点就国外评估机构对我国学科进行国际声誉评价中存在的问题及现实困境进行研究，提出中国学科国际声誉评价的策略选择，以期为构建学科声誉评价的中国标准、合理评价学科国际声誉提供新思路。

一、关键概念解析

提及高等教育及其评价领域中的声誉，一般会指涉大学声誉、大学社会声誉、学术声誉、学科声誉等概念。为方便后续研究，将几个概念简要分析。

“大学声誉”的核心是社会对大学组织的反馈和评价，因此“大学声誉”与“大学社会声誉”的概念内涵基本一致，这里将其统称为“大学声誉”。对于“大学声誉”这一概念，研究者分别从认知和情感反应、知名度与美誉度、综合印象、影响力等不同角度来界定。虽然到目前为止“大学声誉”还没有一个公认的、权威的定义，但研究者对“大学声誉”核心要素是“组织、综合实力、感知”的认识基本一致，即大学声誉是大学作为一种社会组织以其综合实力在大众心目产生的主观认知，这种主观认知可以表达为“知名度和美誉度”，也可以表达为“综合印象”或“影响力”。

“学术声誉”的概念当前讨论不多，有学者认为学术声誉是一所大学以科研水平为核心的办学实力在社会上尤其是学术界影响的深度与广度，也有学者从教师角度出发，认为学术声誉是学术共同体对大学教师在增进和发展知识方面所做出的贡献给予的承认和尊敬。与大学声誉强调综合实力不同，教师群体是大学知识生产和学术创新的主体，学术声誉更突出教师群体在知识生产能力和水平方面给大众心目中留下的主观印象。

关于“学科声誉”，有研究者认为学科声誉是大学声誉在学科这个大学组织细胞上的重要呈现，它是大学声誉的一部分，是外界对于大学各学科的综合实力的感知；也有研究者认为学科声誉就是学科的学术声誉，是外界对大学各学科科研实力和影响力的感知。本研究认为，“学科声誉”与“学术声誉”不能简单划等号。与学术声誉相比，它还包括学科范式、师资力量、教学水平、优秀学生培养以及社会服务功能的发挥等影响，这些都是影响学科声誉形成的重要内在要素。因此，“学科声誉评价”是指利益相关者通过自身对大学学科组织（如精神、成果、行为等方面）的直接经验或人际交往、媒介扩散等产生认知印象和情感态度，进而对大学学科综合实力进行的概念性评价。与传统评价不同，“学科声誉评价”并不依赖于任何定量或定性评价材料，而是基于评价主体对评价对象积累的主观认知进行的直接评价。不同的利益相关者对“学科声誉评价”中综合实力的评价侧重点可能不同。如对于用人单位而言，考虑更多的可能是学科培养学生的职业胜任力、发展潜力以及为企业提供的价值；对于学校管理者而言，考虑更多的可能是学科组织的代表性事件、影响以及其治理体系反馈等。需要注意的是，对于学科的认知程度受限于感知范围和能力，如本文的关注领域为学科的国际声誉，对于国际范围的同行而言，对大学学科组织最深刻的印象可能仍然来源于其学术成就。因此，在同行声誉评价领域，国际“学术声誉评价”与国际“学科声誉评价”粗略视为等同概念。

二、中国学科国际声誉评价的现状分析

国内对我国学科开展国际声誉评价尚处于起步阶段，很多教育评价中并未设置国际声誉这一指标，实践经验较少。2017年，上海软科教育信息咨询有限公司启动了“学术卓越调查”计划，邀请了世界百强大学的院长、系主任和团队负责人列出各自学科领域代表卓越的标准，如权威奖项和顶尖期刊。这一举动可以看作是软科“世界一流学科排名”开展国际同行评议的初步尝试，但仍然不是真正的学科国际声誉评价。国内真正开展中国学科国际声誉评价只有教育部学位与研究生教育发展中心组织的全国第四轮学科评估，但也仅在数学、物理、化学、机械工程、计算机科学与技术、材料科学与工程等6个学科进行了试点。

当前，对中国学科开展国际声誉评价主要集中在国外几大知名的世界排名，具体为泰晤士高等教育（THE）世界大学学科领域排名设置的学科“学术声誉”和“教学声誉”指标、英国教育组织（QS）世界大学学科排名设置的学科“学术声誉”和“雇主声誉”指标、《美国新闻与世界报道》（U.S. News）世界大学学科排名设置的学科“全球学术声誉”指标。如前文所述，尽管指标名称不尽相同，但本质上都是由不同利益相关者（这里主要是同行和雇主）对学科的国际声誉进行评价。中国学科国际声誉评价结果是决定中国学科世界排名的重要因素。以下重点就3家世界排名对中国学科国际声誉评价现状进行分析，为后续发现问题困境及寻求破解之道提供基础。

总体而言，3家世界排名机构对中国学科进行国际声誉评价的程序基本一致，都是通过设计问卷、选择专家、发放问卷、专家填写问卷、回收问卷、处理和计算数据等环节最终得出评价结果。这一系列环节共同构成了一个系统的同行评价体系。评价方法、指标等关键因素都渗透在这些环节中。基本流程总结如图1所示（其中，问卷设计的主体内容在评价实施过程均有体现，因此归于评价实施环节）。下面对四个主要环节进行分析。

（一）专家遴选与问卷发放

学科国际声誉评价因其本身具有的全球性特征，需邀请大量国际专家、学者、雇主参与。专家如何选取，以及遴选出专家的地域和学科领域分布对评价结果有着至关重要的影响。由于自身专家资源有限，这些世界排名机构大都采取了与第三方数据机构合作的方式来遴选专家并发放问卷。主要合作机构为科睿唯安与爱思唯尔公司，它们旗下的论文数据平台存储所有论文作者的联系方式、所在地域及研究领域等信息，能够很好地解决上述问题。THE、U.S. News学科国际声誉调查就采用了这种方式，请第三方机构实施调查并进行过程管理。QS公司独立开展调查，但在选择受访专家时同样使用了Mardev-DM2数据库、世界科技出版公司订阅数据库、学术注册程序、学术机构提供的专家名单等其他数据资源。具体见表1。

（二）评价实施

所邀请同行专家通过回答调查问卷中的各个问题逐步完成声誉评价。3家调查问卷基本都包括语言选择、背景信息、地域选择、学科选择、声誉评价和附加信息等几部分内容。专家选择自己熟悉的语言、地区对本学科领域声誉进行评价。THE、QS、U.S. News调查问卷内容详见表2（因雇主评价与专家评价体系基本一致，所以本研究只分析专家评价的调查问卷）。

 专家对学科国际声誉评价的方法基本一致，就是根据自己熟悉的学科和地域范围对若干顶尖大学进行提名。其中不同的是：一是地域划分。THE和U.S. News将全球分为美洲、非洲、亚洲与中东、太平洋、欧洲5个区域，专家选择熟悉的地区，在区域内选择15所最好的大学，然后在全球范围内（包括熟悉区域）选择15所最好的大学；QS按美洲、亚洲和澳大利亚和新西兰、欧洲和中东和非洲3个区域分组，每个区域下又分若干次级区域，包括美国西岸及西南、美国东岸及中州、加欧盟（英国及爱尔兰以外）、欧洲其它地区、中东、非洲、亚洲等13个地区，然后选择10所国内大学和30所熟悉地区的国外大学；二是学科领域划分。THE、QS、U.S. News都是定位于学术领域，分为艺术和人文、自然科学、工程和技术、社会科学、生命科学和医学（THE、U.S. News中为临床和健康、生命科学两个领域），囊括了所有学科领域。但QS在学术领域基础上又下设52个小学科。THE、U.S. News在调查中没有提供细化的学科选择，因此只能根据其合作平台Scopus和Web of Science的学科划分（分别为27个和22个学科）进行学科声誉排名，排名时能涵盖的学科偏少，分别为11个和22个，而其中学科国际声誉评价的结果是基于学术领域的评价结果。

（三）问卷回收

学科国际声誉评价除对遴选的同行专家的科学性要求较高外，问卷的回收情况也直接影响了评价结果的可靠性。在问卷回收过程中，这些机构会利用第三方合作机构平台多次进行问卷催评。据2012年的统计，THE共回收16639份有效问卷，同年QS为46079份；2018年，THE为10162份，QS增加到了75 015份。U.S. News调查2016和2017年回收样本分别为7382和3945份。QS样本远超其他两家是因为这项数据并非一年的回收量，而是最近几年有效反馈的累积。尽管THE和U.S. News年度报告中的样本量是本年数据，但计算评价结果时同样采用了累积方式。

（四）数据处理和结果计算

专家评价数据的处理和计算方式直接影响到最终学科国际声誉评价结果的准确性。每个评价机构都努力通过优化自己的计算方法来争取提高结果的可信度。其中，QS的做法是：一是综合考虑近5年的专家评价数据；二是根据受访者熟悉的地区来设计权重，排除国际和国内调查对象自我推荐的情况；三是对国际和国内调查得分按直接缩放的方式转化成百分制；四是国际和国内按7∶3的比例设置权重，以保证排名的全球性；五是对结果求平方根，争取将异常值缩至最低；六是将每一学术领域平方根后的结果赋百分制；七是将5个学术领域得分按相同权重相加，并进行标准化。THE的做法是：一是为了更好地反映来自各个学科的学者的意见，并与去年的排名进行直接比较，根据去年调查中每个学科的投票比例对回答进行了加权，并在各地区保持了调查结果的公平分配；二是在计算中使用指数分布的累积分布函数；三是对于学科整体国际声誉，研究和教学声誉这两个分数以2∶1的比例组合在一起，给了研究更多的权重，因为评价专家认为自己对研究质量做出的判断更准确。U.S. News的做法是：一是按一定比例遴选各地区专家，发送调查邀请，但会根据实际回复的专家地理分布重新平衡调查结果，以克服偏差太大的评价率；二是累积最近2年的评价结果，同一调查对象在几年内的重复受访以最新评价为准。

三、中国学科国际声誉评价存在的问题与困境

尽管世界几大排名机构在学科国际声誉评价方面进行了积极探索，但在上述分析中也发现这些机构对中国学科声誉的评价存在一些问题与困境，主要如下：

（一）西方主导的评价存在局限

目前，世界几大排名机构开展学科国际声誉评价均是作为其学科整体评价的一部分。有学者指出，这些评价体系建立在学术卓越的价值标准上，这样的价值标准突出了以英语为教学语言的综合性“精英”大学的优势。不仅如此，在学科国际声誉评价实施过程中，评价专家的来源与结构对英语国家也存在明显倾斜。以2018年THE开展的国际声誉评价为例，实际评价专家中北美占47%，亚洲只有15%，这明显不利于真实反映中国大学学科国际声誉水平。此外，这些机构实施评价主要通过与科睿唯安、爱思唯尔等公司合作，而这些机构专家库建立是基于其旗下的学术论文数据库所积累的作者信息，它们以欧美学者为主，中国学者天然不足。同时，在遴选专家时，未对专家自身的国际化程度、本学科领域的熟悉程度等进行限定，西方大学在评价中优势进一步凸显。

（二）学科标准存在明显差异

我国的学科分类主要依据是教育部公布的《学位授予和人才培养学科目录》（包含111个一级学科），它是国家进行学位授权审核与学科管理、高校进行学科建设与人才培养工作的基本依据。世界各地学科领域分类标准不同，导致各国的学科无法一一对应。学科分类的差异对于以学科为基础的国际声誉评价而言是一个困境与障碍。从现有的学科国际声誉评价来看，THE与U.S. News划分为艺术和人文、临床和健康、生命科学等6个领域并依据合作数据公司细分学科，QS划分为艺术和人文、工程和技术、生命科学和医学、自然科学等5个领域52个学科，不同学科领域的内涵又不一致。而基于这些不同内涵的学科领域来评价中国学科建设的国际声誉情况，存在两方面的困境：一是由于学科不对应，评价专家遴选困难；二是评价方式与中国学科建设实际不匹配，导致结果的可靠度和可信度存疑，难以反映中国学科建设声誉的真实水平。

（三）人文社科领域评价面临挑战

与自然科学领域重视国际接轨不同，人文社会科学领域具有阶级性、利益立场、意识形态、政治差别等。中国人文社会科学学科必须反映中国社会科学领域的规律，体现其中国特色、中国气派、中国风格。现有的学科国际声誉评价存在两方面的问题：一是人文社会科学评价专家参与度低。以2018年THE开展的学科国际声誉评价为例，在所有评价反馈中，工程和技术学科占比最多为18.1％，物理科学、临床和健康、生命科学、计算机科学等学科都超过了10%，但教育学和心理学学科不足3%，法律学科仅占1%。学科声誉评价作为一种间接反映大学质量的评价方法，其假设基础是参与评价的学者、管理者或雇主等对大学学科的质量评价是广博的、最新的和公平的。而这种假设实现的前提是要有一定量的评价者参与评价，反馈率低的人文社会科学学科也导致评价的可靠性大打折扣。二是评价难以强调人文社会科学学科学术性与政治性相统一的特性，体现中国人文社会科学建设成效与特色。由于世界各国政治形态的客观差异性，使得科学评价中国人文社会科学学科的国际声誉面临挑战。

（四）评价实施存在不足

评价实施过程不仅影响中国学科的国际声誉评价结果，对全部学科评价结果的可靠性均会产生较大影响。主要表现在：一是专家评价回收率不高。以QS为例，2012年有效回收问卷46079份，2018年为75015份。表面上看，问卷回收率显著提升，但其实2018年的回收量为最近几年有效反馈的累积，且分学科回收率并不高。二是统计方法有待改进。在评价结果计算时，这些机构都利用历史数据积累保证样本的规模和稳定性，但问题是往年专家的评价不具备时效性，尤其是以往数据保留过多的情况下，会影响结果的准确度；并且计算时也未剔除同一评价专家每年参与的情况，存在重复计算问题。从现象来看，表现为评价结果一定程度的固化。以THE在2016—2018年3年世界声誉排名结果为例，前8所大学完全一致，除了2017年剑桥大学和牛津大学并列第四，而其他两年分列第四、第五外，位次也完全一致。前50名的大学完全一致，位次上各年有局部变动。欧美国家大学长期占据较大比重，基本都在80%以上。而QS国际声誉评价结果的前10名最近连续3年没发生变化，U.S. News情况也类似。当然，这与声誉评价本身评价的是大学积累表现有关，但与评价方法也有着直接关系。此外，对于50名以后的机构，包括中国的大学，专家会出现无法准确定位的问题，只能进行“模糊评价”，这就需要尽可能保证专家的国际化程度，确保评价的区分度和可靠度。

四、中国学科国际声誉评价的策略思考

根据产品地位信号理论，由于包括高深知识在内的大学产品专业属性强，其质量比普通产品更难以测量，因此，声誉就成为人们判断大学质量好坏的相对廉价的信号。有研究显示，“常青藤”院校的学生在选择院校时并未将“学术专业”作为首选考虑，而是将“大学声誉”放在首位。鉴于声誉的重要作用，为破解上述难题，以下重点围绕评价理念、评价体系、评价实施、评价机制四个方面，探讨合理评价中国学科国际声誉的实施路径与策略，以期为大众呈现相对准确的中国大学学科建设的“声誉信号”。

（一）秉持开放、平衡的中国学科国际声誉评价理念

中共中央办公厅、国务院办公厅联合印发的《加快推进教育现代化实施方案（2018—2022年）》明确提出，加快推进教育现代化的总体目标之一为“实现教育总体实力和国际影响力大幅提升”。中国学科较高的国际声誉是教育实力与国际影响力的重要表现之一，而合理的国际声誉评价是前提。从上文分析可以看出，当前国外评价机构对中国学科实施的国际声誉评价，在科学性、公平性和可靠性等方面都存在较大问题，短期内难以改进。因此，积极探索“以我为主”的中国学科国际声誉评价有其必要性和重要性。首先要在评价理念上应秉持开放与平衡。学科的国际声誉是学科在世界范围内影响的深度和广度，必须经过一个“意义系统”的解释才能产生意义（如文化传统等），“意义系统”有较大差异则会导致声誉偏差。因此，开放是指学科声誉评价既要寻求国际范围内的广泛与可比，也要注重不同“意义系统”的相对统一性。平衡则是指学科国际声誉评价要重视全球大学学科的地理分布与多样性，以分布广泛且相对均衡的专家群体来帮助确定学科声誉的卓越表现，力争克服因为各个地区、各个学科反馈数量的差异带来结果的偏差。

（二）建立适应中国国情的学科国际声誉评价体系

学科国际声誉作为检验我们国家建设世界一流学科成效的重要参考指标之一，应建立既与世界接轨，又适应中国国情的学科国际声誉评价体系。在方法论上，声誉评价基于利益相关者的认同得以确立，是基于主观认知的直接评价。因此，目前通行的学科国际声誉评价采用专家提名的方法具有普适性。但在“学科”的评价上应适应中国国情，具体体现在两个维度。一是对于与国际学科内涵一致的学科（如化学、物理等学科），可以采用现行做法直接开展学科国际声誉评价；二是对于与国际学科内涵差异较大的学科，可以按照大学科领域实施评价。针对由于不同国家学科标准差异导致评价专家遴选困难的问题，探索借助智能语义分析、代码匹配等大数据分析方法，将专家每篇论文研究领域与评价学科进行对应，以实现统一学科口径的国际声誉比较。对于人文社会学科也应分类对待，对于意识形态不是特别强的学科（如音乐、工商管理等学科），可以推进学科国际声誉评价的实施；而对于意识形态较强的学科（如马克思主义理论、政治经济学等学科），应强调扩大其思想、理论的国际影响，不能片面强调国际同行的认同。

（三）改进学科国际声誉评价实施体系

评价实施体系的科学有效是保证学科国际声誉评价结果可靠的基础。现有学科国际声誉评价体系有其可取性，但仍需从以下几方面重点进行改进：一是设置专家遴选标准。学科国际声誉评价对专家的学科领域熟悉程度及国际化水平有着较高要求，因此，应设置合理的专家遴选标准以选取合适的专家，如近几年学者的活跃度、学科表现突出的国家或地区学者、学者的学术影响力、学者的国际合作情况等。二是创新问卷发放模式。专家参与率比较低，样本规模较小是影响评价效果的重要因素。可尝试学习国际主流做法，以机构领导的名义发出调查邀请；同时辅以更人性化的问卷设计，如页面的颜色变化以及开放性问题的设置等，增加调查本身的吸引力和影响力，从而扩大调查样本规模。三是问卷回收引入技术处理。利用信息手段进行多流程监控，筛选影响专家评价的任何操作，并摈弃相关来源的评价结果；同时利用信息系统的实时交互，提高专家评价反馈率。四是进一步完善结果统计方法。在计算结果时利用标准化和各指标赋不同权重的方式来降低不同学科、地区的差异；合理确定往年评价结果的累积比例，保证调查结果的真实性、有效性和可信度。

（四）构建中国学科国际声誉评价的长效机制

构建中国学科国际声誉评价的长效机制主要体现在两方面。一方面，建立实时更新的专家共享信息库。学科国际声誉调查由于受访专家地域分布广、遴选要求高、调查样本需求量大等原因离不开传输、过滤、处理能力强的数据库以及资源丰富的专家库的支撑。一是借鉴国际评价机构，与较专业的数据服务平台合作；二是挖掘高校国际交流资源，建立并不断更新与中国学科相适应、熟悉中国学科建设的国际专家信息库；三是加大与商界、社会团体等的国际专家信息共享程度。另一方面，建立中国学科国际声誉评价的动态监测机制。利用积累的中国学科国际声誉评价结果，结合其他学科发展监测信息，挖掘学科声誉变化规律，为提升中国学科国际声誉、推动学科内涵建设提供决策参考。

作者

陈燕，北京工业大学高等教育研究院助理研究员，北京　100124

铁晓锐，教育部学位与研究生教育发展中心质量监测与专业学位处项目主管，北京　100083

原文刊载于《中国高教研究》2020年第2期第23-28页

栏目

学科建设研究

中国高教研究

微信ID：zggjyj1985

投稿平台 : http://editor.hie.edu.cn/gj/article/add