曲瑛德 赵勇 | 欧盟“地平线2020计划”的监测与评价：理论、方法及启示

DOI:10.16298/j.cnki.1004-3667.2020.01.03

摘要

“地平线2020计划”基于项目理论方法和最新的信息技术手段，构建了有效的监测与评价体系，从而创新了计划评价的理论与实践，同时满足了欧洲议会和欧盟理事会的政策需求。以“地平线2020计划”年度监测和中期评价的相关资料为线索，剖析了其监测和评价体系的内部原理、基本特征及相互关系，进而从评价思路、评价内容、评价方法、评价组织等多个维度总结经验和启示，旨在为我国“双一流”建设成效评价的体系设计与组织实施提供参考。

关键词

地平线2020计划；项目理论；监测和评价体系；“双一流”建设；成效评价

一、引言

“地平线2020计划”于2014年开始实施，是欧盟历史上规模最大的研发创新计划，其前身可追溯至1984年欧盟提出的“研究、技术开发及示范框架计划”（简称“框架计划”），该计划旨在通过欧盟层面的资源整合，加强研发和创新能力，提升全球科技竞争力，从而确保其在全球市场中的优势地位。至2013年，欧盟框架计划共实施了7轮，累计预算1110.27亿欧元。2011年，为消除欧洲债务危机的影响，提高科技创新效率，欧盟提出整合框架计划（FP）、竞争与创新计划（CIP）和创新与技术研究院（EIT）三大科技创新计划，决定在第7框架计划（FP7）结束后实施“地平线2020计划”，总预算将近800亿欧元。2013年，欧洲议会和欧盟理事会联合发布《实施地平线2020：研究与创新框架计划（2014—2020年）》（第1291/2013号）规章，制定了“地平线2020计划”监测与评价的相关条款，要求欧盟委员会基于定量和定性证据对计划执行情况进行年度动态监测，并开展中期评价（2017年底完成）和事后评价（2023年底完成）。

计划评价（Project Evaluation）是针对计划实施的效果、效率和影响等方面开展的以证据为基础的评测与研判过程。然而，如何评价计划实施所产生的科技、经济、社会等影响一直是本领域的方法论难点，例如影响的时滞、归因、贡献、不确定性、风险等都是计划评价中的复杂性问题。“地平线2020计划”基于项目理论（Programme Theory）方法和最新的信息技术手段，开发了一整套的指标系统，构建了有效的监测与评价体系，从而创新了计划评价的理论与实践，同时满足了欧洲议会和欧盟理事会的政策需求。从计划实施的目标和举措上看，我国正在开展的“双一流”建设项目与欧盟“地平线2020计划”存在一定的相似性。“双一流”建设成效评价本质上也属于计划评价的范畴。因此，本研究以欧盟“地平线2020计划”为研究对象，重点对年度监测报告、中期评价报告等相关资料进行系统调研，揭示其监测和评价体系的内部原理、基本特征及相互关系，进而从评价思路、评价内容、评价方法、评价组织等多个维度总结经验和启示，为我国“双一流”建设成效评价的体系设计与组织实施提供参考。

二、文献综述

（一）计划评价的挑战与应对

由于知识生产和传播过程的复杂性，针对研发创新计划的评价面临诸多方法论上的挑战。首先，计划评价需要基于证据对计划实施的效果和效率进行评测，也需要对计划成果的影响做出判断，尤其是还应立足更广阔、更深远的视角，对计划成果的长远影响和可能影响作出研判。其次，计划评价不仅是评测计划实施带来的变化程度，还要考虑变化背后的因果关系（Why），其超越了动态监测与合规审计的范畴。动态监测重点关注的是计划实施的状况是什么（What），如发生了什么变化、计划产出了什么结果等。合规审计则重点关注计划如何运行（How），如内部机制如何运作、资源如何被使用等。此外，研发创新计划自身就是一个复杂系统，涉及目标、组织方式、干预手段、参与群体等多要素和全流程，这也给评价带来了诸多难题。

国际上，部分研发资助和管理机构建立了一些监测和评价体系用于洞察计划项目实施所产生的综合影响。Guthrie等曾对全球14个科研评价体系进行了系统调研，并根据评价目标将体系划分为宣导型、问责型、学习型和资源分配型四类，发现问责和分配型评价体系的方法选择并不适用于学习型评价体系。前者主要基于定量方法路径，强调透明性和可比性，而后者主要基于定性方法路径，注重综合性和灵活性，并不需要比较。目前，研发创新计划的监测与评价体系仍以问责型和资源分配型为主，主要依据计划干预的逻辑，将计划的相关信息表征为投入、产出、结果、影响的相关指标，以定量分析为主展开评价活动。传统的定量评价方法主要是基于文献计量数据（如论文、专利、奖励等），利用产出和引用指标来测度计划干预对科技创新的影响。这种方法基于“卓越科研促进社会发展”的前提假设，因此其反映的只是研发计划对科学发现和技术发明的影响。

近年来，随着研发计划投入力度的不断加大，对其经济和社会影响评价的需求也越来越凸显。在经济影响评价上，企业的就业和经营数据已经被用于生产力和经济增长的影响估算模型中。但是，对研发创新产出的统计分析却仍局限于专利，并没有拓展至其他知识产权类型，如商标或标准等，同时也缺少对科技成果市场转化的数据跟踪。目前，芬兰国家商务促进局在其监测系统建设中对研发的经济影响测度开展了指标设计的积极探索。在社会影响评价上，学界提出基于社会媒体和政策文本等数据，利用替代计量方法（Altmetrics）对研发计划的社会影响进行评价，但也有学者认为替代计量方法测度的是研发产出的传播情况而非社会影响。另外，也有一些其他的方法路径尝试，如在欧盟第七框架资助下，荷兰皇家艺术和科学学院主导的SIAMPI项目通过分析科学与社会之间的互动关系，从社会影响的关键因素指标切入，对研发资助计划的社会影响评价方法进行了研究。整体上看，定量和定性方法相结合是研发创新计划评价的发展趋势。然而，数据仍然是当前计划评价面临的最大挑战。尤其是在大数据环境下，单维度数据不利于计划评价的高质量实施，只有在开放和互操作的数据基础平台上，评价指标方能实现其潜力。

（二）以理论为基础的计划评价

项目理论是指通过多种途径构建因果模型，将计划的投入、干预活动与已有或预期结果相链接，并基于该模型开展评价。项目理论的核心方法论包括两个部分，一是变革理论（Theory of Change）方法，重点分析计划通过哪些活动来实现短期、中期或长期目标，以及计划背后可检验或可衡量的关键性假设；二是行动理论（Theory of Action）方法，重点阐释计划干预的机制，即计划如何来“激活”变革。项目理论也有其他近似的术语表述，如理论驱动评价、项目逻辑、干预逻辑、项目理论驱动的评价科学等。单线性因果模型是项目理论的常用逻辑模型，主要包括投入、行动、产出、结果和影响五类变量。也有学者探究了利用非线性模型来指导计划评价，并将“复杂性”的概念尝试引入到模型的构建中。目前，欧盟委员会在《良好规章制度准则》中已经将项目理论作为计划评价的基本准则，并广泛地应用于其主导的研发创新计划评价之中。

计划评价从项目理论到指标系统还需要一系列的具体方法支撑。首先，影响路径分析（Impact Pathways Analysis）是在项目理论指导下构建指标系统的首要环节，其目标是确定不同阶段（短期、中期、长期）计划结果产生综合影响的具体路径。Rogers认为在复杂背景下基于项目理论开展计划评价时，需要尽可能覆盖计划干预的所有影响路径，在没有深入定性分析和参与式评估的基础上，不能基于量化指标体系利用逻辑模型开展评价。其次，在定性分析之后，评价的另一个难点是确定计划的附加值，也就是阐释影响的产生是计划实施的结果，而非其他因素所致。计划评价一般采用反事实分析（Counterfactual Analysis）方法来解决这一问题，其目标是确定在没有计划干预下的可能情况，并将其与实际情况进行比较。反事实分析需要微观经济学研究方法和细粒度数据的支撑。再次，将计划的实际效果与预期目标进行比较时，需要设定好基线（Baseline）。因此，具体指标的选择还需要考虑到数据的完整性、连贯性与一致性。最后，在大数据时代，人们可获取的数据在不断增多，海量、多源、异质数据的融合与利用需求也在不断催生新的技术手段。因此，吸纳最新的大数据分析技术，不断提高指标数据采集和分析的智能化程度也是计划评价方法的发展趋势。

三、“地平线2020计划”监测体系的主体框架与核心内容

监测（Monitoring）是对计划活动及其影响随时间推移所产生的代表性（指标）数据进行连续和系统地测定，其有助于识别和解决计划实施过程中出现的问题，同时为后续评价和影响评估提供事实数据。根据第1291/2013号规章要求，欧盟委员会对“地平线2020计划”的具体监测对象包括：三大战略优先领域（卓越科学、产业引导和社会挑战）及其子计划、四个单列资助计划（倡导卓越和扩大参与、社会参与科学和科学服务社会、创新与技术研究院、欧洲原子能共同体研究与培训），以及14个交叉问题。［实现欧洲研究区域、扩大参与、中小企业参与、社会科学与人文科学、科学与社会（负责任的研究与创新）、性别、国际合作、可持续发展与气候变化、科学发现与市场应用的衔接、数字化议程、私营部门参与、PPP和P2P资助、交流与传播、独立专家的参与方式］“地平线2020计划”监测体系主要包括利益相关者年度调查、“地平线2020计划”指标系统、信息技术支持系统、年度监测报告四个方面，其核心思想是在信息技术的支撑下，通过对定量证据（以指标数值结果呈现）和定性证据（以利益相关者调查结果呈现）的采集与分析，形成年度动态监测报告制度，以保证计划的有序开展和良性运行。

（一）利益相关者年度调查

利益相关者年度调查是动态监测体系的一项重要支撑内容，也为“地平线2020计划”中期评价结果解读提供了语境化的定性辅助资料。该调查由欧洲研究委员会的国家联络点（NCPs）负责实施，其目的是针对计划的参与和实施情况广泛搜集意见、评论和建议，重点聚焦计划对利益相关者的吸引力、计划目标与研究创新需求及欧洲2020战略的相关性、计划与欧盟其他资助的一致性、计划实施的附加值。调查问卷通过邮件方式发送至联络点覆盖的欧盟成员国和计划参与国。根据计划实施的进度，历年利益相关者调查问卷的问题设置有所不同。2015年首次调查设计了30项多选题和1项开放性问题，集中在以下4个方面：一是“地平线2020计划”的政策工具作用，涉及区域和国家层面的一般性政治话题，以及与其他欧盟计划活动的互补性；二是开放科学，涉及科学对整个社会的促进作用，包括企业、性别和伦理议题；三是开放创新，涉及私营部门的贡献，包括公私合作，以及创造就业和增长方面面临的艰巨挑战；四是向世界开放，涉及国际化维度，包括欧洲的全球角色。2016年第二次调查则设计了34项多选题和1项开放题，主要集中在：一是吸引力，涉及计划项目的立项、科学与市场的衔接、第三方国家参与、中小企业参与；二是交叉问题，涉及欧洲研究区域、性别、社会科学和人文科学、负责任的研究、可持续性；三是欧盟框架计划的附加值，涉及单一欧共体成员国难以有效实施的目标和行动。

（二）“地平线2020计划”指标系统

应用指标来洞察“地平线2020计划”的结果和影响是动态监测体系的一个核心内容。指标系统的建立也为评价体系的有效运行奠定了坚实的数据基础。欧盟“地平线2020计划”确定了五项原则用于开发目标明确的指标系统。一是靠近原则（Proximity），采用VAT税号、研究人员ID，资助者ID等唯一标识符来确定计划评价中涉及的具体研究人员和企业。二是归因原则（Attribution），超越出版物、专利等传统指标，全面反映因计划实施而产生的科学、经济和社会影响。三是可追溯原则（Traceability），基于外部公共与私营数据库开发标准化数据；使用项目官员、评价者、审核者的其他相关数据源。四是整体原则（Holism），将计划进展作为一个整体来体现，关注不同计划行动的长期共同目标和相互联系。五是稳定性原则（Stability），建立信息系统，确保与早期框架计划的延续性和可比性；增强数据质量，在监测体系中尝试不同的数据收集和分析方法。“地平线2020计划”关键绩效指标系统主要涉及卓越科学、产业引导和社会挑战三大战略优先领域，倡导卓越和扩大参与、社会参与科学和科学服务社会、创新与技术研究院、欧洲原子能共同体研究与培训4个单列资助计划，以及14个交叉问题。指标数据主要来自公共研究数据库（CORDA），其收集了从欧盟第五框架计划到“地平线2020计划”所有研发创新项目的相关数据，但仅限于欧盟委员会内部使用。

（三）信息技术支持系统

在前几轮框架计划实施过程中，欧盟委员会陆续建立了一系列的信息系统平台，用于支撑研发创新项目信息的管理与利用。“地平线2020计划”将已有信息系统资源进行了关联，实现了数据之间的融通，为其监测体系的有效运转提供了坚实的信息技术系统保障。目前在运行的主要信息系统包括：计划书提交和评价系统（SEP）、合同与计划管理系统（CPM）、资助管理系统（SYGMA）、科研绩效与影响报告工具（RESPIR/SESAM）等。公共研究数据库（CORDA）就是在已有信息系统基础上对数据进行了结构化处理，为“地平线2020计划”指标系统提供了数据支持。此外，针对特定用途，欧盟委员会还设立3个信息平台建设项目。一是研究与发展信息服务平台（CORDIS），其收集了欧盟第四框架计划以来所有研发创新项目的基本信息，进展、阶段性成果和总结报告等，并将项目信息与项目产出的出版物和专利信息进行了数据关联。二是开放获取基础设施（OpenAIRE），其为计划项目的研究成果提供了开放获取服务，促进了欧洲开放科学发展。三是欧盟开放数据门户（The EU Open Data Portal），提供了大量欧盟委员会及其他欧盟机构的开放数据资源。

（四）年度监测报告

“地平线2020计划”的年度监测报告由欧盟委员会的研究与创新总署负责发布，是对计划监测结果的整体呈现，也是“地平线2020计划”中期评价的主要参考资料。年度监测报告主要涉及以下5个部分。一是计划立项情况，包括立项数量、资助金额、申报数量、成功率、申报与立项机构类型、欧盟成员国的参与和绩效。二是计划整体运行情况，包括新获批项目者、项目时间、精简程序、与其他资助计划的协同、计划书评审的质量评价、纠正、伦理、安全审查程序。三是具体计划运行情况，基于“地平线2020计划”关键绩效指标系统，重点监测三大战略优先领域、四个单列计划和14个交叉问题领域的指标变化。四是资助计划的案例分析，涉及开放创新、开放科学和向世界开放三个领域案例。五是利益相关群体年度调查结果。

四、“地平线2020计划”评价体系的逻辑模型与分析方法

评价（Evaluation）是立足更广的视角对计划实施的成效进行审视，重点关注计划实施是否带来变化，是否向既定目标迈进。具体来说，在政策目标实现过程中，计划实施带来什么变化，变化的原因是什么，变化的程度如何。欧盟“地平线2020计划”的评价体系主要依据项目理论而构建，包括逻辑模型、影响路径分析和评价方法3个核心部分。其评价数据来源不仅包括年度监测报告的指标内容，还包括欧盟统计局（Eurostat）和经合组织（OECD）数据，欧盟委员会的专题评价结果（如交叉问题）、专项研究结果（如基于Scopus数据的出版物和网络分析、欧盟框架计划附加值和经济影响评价），以及欧盟其他机构提供的数据。

（一）逻辑模型

“地平线2020计划”评价采用了项目理论中的单线性因果关系逻辑模型，即将计划项目信息结构化为“目标-投入-行动-产出-结果-影响”六大要素，同时提出相关性（relevance）、效果（effectiveness）、效率（efficiency）、一致性（coherent）和附加值（added value）五个评价问题。（见图1）其中，相关性评价的是“地平线2020计划”与既定目标的符合程度，需要回答计划行动是否满足现实的需求。效果评价的是“地平线2020计划”是否达到或推进了其既定目标，需要回答现实发生的变化多大程度是计划实施的结果。效率评价的是资源投入与计划项目产出之间的关系，重点关注计划项目的成本与效益，需要回答计划的成本投入在多大程度上是有效的。一致性评价的是“地平线2020计划”内部项目之间、以及与欧盟其他资助计划之间的协调性。附加值评价的是“地平线2020计划”在区域或国家层面实施的干预活动所产生的价值。

（二）影响路径分析

“地平线2020计划”评价体系按照关键影响路径分析结果将年度监测内容进行了重新归置。关键影响路径分析主要关注计划实施产生的短期、中期和长期的最典型变化，并不局限于“地平线2020计划”管理和运行的监测数据。通过计划干预的影响路径分析，“地平线2020计划”的影响被具体划分为科学影响、创新/经济影响和社会影响三大类。其中，科学影响的关键路径包括：欧盟世界一流的卓越科学、更好的跨界和跨部门合作及研发工作整合、欧盟科学新领域的兴起。创新/经济影响的关键路径包括：更好的欧洲企业创新能力、欧盟技术引领和竞争力增强（包括中小企业、初创企业和大型企业）、经济创新的扩散（包括中小企业）创造就业、增长和投资。社会影响的关键路径包括：研发更好地应对社会挑战、增强欧盟在应对社会挑战上的全球示范作用、更适用于社会的科学与创新方案。

（三）评价方法

“地平线2020计划”中期评价主要是以欧盟第七框架计划事后评价结果为基线，针对相关性、效率、效果、一致性和附加值5个方面问题开展整体评价，其评价方法综合采用了文献计量学、经济学、统计学、管理学等多学科的研究方法，同时吸纳了文本挖掘等新的大数据分析技术手段。

1. 相关性评价方法。相关性评价主要采用文本挖掘和词云可视化方法对“地平线2020计划”信息抽取的关键词与政策文件、社会媒体、专利和出版物抽取的关键词进行匹配度比较分析，进而评价“地平线2020计划”与宏观战略需求和现实问题之间的符合度。在“地平线2020计划”中期评价中，文本挖掘的计划信息包括：欧盟委员会实施“地平线2020计划”的决议（第2013/743/EU号）、历年工作计划等；政策文件信息包括：欧洲2020战略、欧盟理事会“巴黎协议书”、联合国2030可持续发展议程、世界健康组织报告（2015）、G7领导人宣言（2016）等；社会媒体信息包括：推特、脸书、维基百科等；出版物信息主要来自谷歌学术。

2. 效率评价方法。效率评价主要基于成本效益分析方法，重点考察计划投入（如资源、预算、计划书评选）与产出之间的关系。“地平线2020计划”中期评价主要关注了项目管理和执行过程中的效率，包括计划的行政成本、精简程序的受益（如计划书撰写成本）、欧盟委员会的服务（如计划的行政和运行成本），以及资助分配可能产生的目标偏差（如计划参与国家的类型是否符合向世界开放的目标）。其中，计划书撰写成本是欧盟委员会在已有相关研究基础上进行的估算。计划参与国的合作模式则采用了计划参与的网络分析和计划产出的出版物分析（文献计量学的共现分析方法）两种方法。

3. 效果评价方法。效果评价重点考察“地平线2020计划”的目标实现情况。“地平线2020计划”中期评价在效果评价中主要分析了计划产生的科学影响、创新/经济影响和社会影响。在科学影响评价上，中期评价重点关注了“加强研发能力、声誉、卓越性”和“整合研发工作”两个子路径的8个具体策略。（见图2）多数具体策略的评价都挑选了关键绩效指标系统中的具体指标数据，如人力资本发展的测度指标包括：“玛丽居里”行动中跨国流通研究人员的数量、学界与非学界之间流动研究人员数量、欧洲科研人员网络（EURAXESS）发布的年度研究职位数量。此外，跨学科性评价主要是基于期刊论文的引文数据，将论文引用的外学科文献比例作为其跨学科程度的判断依据。

在创新和经济影响评价上，“地平线2020计划”中期评价重点关注了“知识、知识产权和知识转让的发展”“加强研发的框架条件”“产品、服务和流程创新的扩散”三条子路径的8个具体策略。（见图3）除将年度监测报告中的指标内容按照具体策略重新归置外，经济影响评价还采用了宏观联接计量经济模型（NEMESIS）。

在社会影响评价上，“地平线2020计划”中期评价重点关注了7个社会挑战，以及“加强科学与社会之间联系”和“加强研发作为政策制定的基础”子路径下的7个具体策略。（见图4）在7个社会挑战方面，社会影响评价挑选的关键绩效指标有：同行评议期刊出版物，专利申请和授权，投放市场的新产品、新工艺和新方法等。此外，中期评价还采用了“地平线2020计划”合作者调查（PPMI）结果数据作为支撑，并对典型计划项目的社会影响进行案例分析。

4. 一致性评价方法。一致性评价主要是在计划的影响评价基础上进行，重点考察“地平线2020计划”内部项目之间、以及与欧盟其他政策或干预措施之间的协同性。“地平线2020计划”中期评价中，内部项目间的协同性评价主要采用了主题评价的交叉分析方法，将计划与服务的目标群体相互对应，对不同计划项目之间的研究人员数量和年龄、项目数量和预算等指标进行比较。同时，以利益相关者调查结果为定性辅助资料展开分析。与其他政策或计划间的协同性评价则重点关注了“地平线2020计划”与欧盟结构与投资基金（ESIF）、共同农业政策（CAP）、大型和中小型企业竞争力计划（COSME），以及欧盟伊拉斯莫斯计划和生命计划之间的相互关系。

5. 附加值评价方法。“地平线2020计划”中期评价对附加值的评价主要采用了“欧盟框架计划附加值和经济影响评价”专项研究结果，其以欧盟第七框架计划事后评价结果为基线，利用了经济学的断点回归和倾向匹配方法，对“地平线2020计划”进行了反事实分析。同时，也采用了案例分析方法研究了典型计划项目的附加值情况。

五、对我国“双一流”建设成效评价的启示

欧盟“地平线2020计划”监测与评价体系是对现有计划评价的理论与实践创新，其评价思路由计划项目个体评价向整体计划评价转变，将静态评价与动态监测相结合，注重计划“制定-实施-效果”全过程的分析；评价内容由政策和项目实施效果、效率评价，拓展到计划实施对科学、经济和社会发展的影响；评价方法向定量与定性相结合、指标细化评价方向发展，加强了对文本挖掘、文献计量、专利分析、社会网络分析等新技术的吸收；评价组织呈现多元化，强调政府、学界和业界之间的对话与合作。当前，我国高校评价体系存在诸多问题，如评价理论薄弱分散，将高校从其依存的社会情境中抽离，未能聚焦我国的经济社会发展和国家重大战略发展的现实需求；评价方法相对简单，多以统计方法为主；评价内容过于单一，未能全面反映高校在人才培养、社会服务等方面的贡献。因此，从方法论层面总结欧盟“地平线2020计划”监测与评价体系的经验，将对我国即将开展的“双一流”建设成效评价具有重要的参考价值。

（一）采用系统性思维，形成整体性项目评价思路

创建世界一流大学和一流学科是一项长期性和系统性的建设任务，涉及加强党对高校的领导、完善内部治理结构、建设一流师资队伍、培养拔尖创新人才、提升科学研究水平、传承创新优秀文化、推进成果转化等多项建设任务和改革任务，任务之间存在相互关联和相互作用。系统性思维强调整体性，强调从系统的结构去认识系统的整体功能，并从中寻找系统最优结构，获得最佳系统功能。因此，“双一流”建设应立足项目的整体评价思路，借鉴项目理论提出的逻辑模型，确定评价的核心问题（如达成度、贡献度、引领度、支撑度和满意度），构建政府管理部门、“双一流”建设高校、专家委员会、第三方评价机构、其他利益相关群体多方参与的评价网络，同时将“双一流”建设的年度进展报告、中期评估报告、动态监测报告等内容作为成效评价的主要数据来源。

（二）超越传统文献计量标准，构建多维度指标体系

欧盟“地平线2020计划”评价超越了传统的文献计量学范式，利用多维度指标考察了研发计划在科学进步、经济发展和社会影响方面的贡献。当前，我国高校的评价体系存在唯论文、唯帽子、唯职称、唯学历、唯奖项的顽瘴痼疾。从根本上解决评价的指挥棒问题，就要求“双一流”建设摒弃以论文、奖项为主要评价标准的做法，构建创新、多元、综合的评价维度来反映建设成效。在指标体系设计时，需要考虑学科的差异性，按照自然科学、工程科学、人文科学、社会科学大类进行构建。同时，综合定量指标与定性指标，推行“代表作”制度，更多地选择标志性成果的表征指标，强调成果的“特色、服务、贡献、引领”特征。此外，加强对交叉学科建设情况的指标监测，适当引入当前较为成熟的交叉学科测量指标。

（三）面向国家重大战略需求，突出综合影响评价导向

“双一流”建设是全球知识经济背景下，国家提升科技竞争力和综合实力的重大战略部署，其要求“双一流”建设高校要面向国家重大战略需求，面向经济社会主战场，面向世界科技发展前沿，突出建设的质量效益、社会贡献度和国际影响力。因此，我国“双一流”建设可以在项目理论指导下，以综合影响评价为导向，对关键影响路径开展分析，在教育、科技、经济、社会等方面确定影响的主路径和子路径。同时，关键影响路径的确定可以吸收欧盟经验和理念，立足中国特色，具备全球视野。在此基础上，合理使用动态监测指标数据、官方权威统计数据、第三方评估数据作为成效评价的综合数据来源。此外，综合影响评价中也应突出体现学科的建设特色、高校的区域特色对国家重大战略需求的贡献，引导高校把握自身特色，实现差异化发展，更好地服务于国家、行业、区域发展。

（四）吸收多学科方法与技术，提高评价精准化水平

综合定量和定性方法是当前计划评价的发展趋势。“双一流”建设成效评价方法应吸收多学科方法的特色，针对不同评价对象采用多样性的评价方法。同时，将数据挖掘、自然语言处理、可视化图谱等大数据分析方法和技术应用于评价之中，增强评价结果的深度和准确性，也减轻被评价方在评价过程中的负担。为此，“双一流”建设主管部门需要成立专项研究课题组，针对评价中的方法论难点展开研究，形成科学化的评价方法指南，指导“双一流”建设高校开展终期的成效评价活动。

（五）加强信息系统平台建设，打造智能化评价体系

智能化的评价系统平台要以信息科学的方法为基础，计算机科学的技术为保障，为管理部门和受评高校和学科提供互动的平台，同时也要以“节约成本、减轻负担”为原则，提高系统平台的运行效率。另外，数据是“双一流”建设成效评价的基础，数据的质量决定着评价结果的准确性。所以，“双一流”建设成效评价也应加强对数据的组织和管理工作，利用系统平台完善评价数据的收集、整理与再利用工作，通过关联数据等最新技术提高评价数据的语义化程度，为“双一流”建设的科学化评价体系建设提供支撑。

作者

曲瑛德，中国农业大学发展规划处处长，北京　100193

赵勇，中国农业大学情报研究中心研究馆员，发展规划处副处长，北京　100193

原文刊载于《中国高教研究》2020年第1期第12-19页

栏目

“双一流”建设研究

微信ID：zggjyj1985

投稿平台（推荐）：http://editor.hie.edu.cn/

投稿邮箱：[e-mail]

▇ 扫码关注我们