转发收藏丨基金委如何开展“智能化评审”？
经过33年的发展，国家自然科学基金得到了很好的发展和壮大，已构建了一套覆盖整个基础研究的资助体系。
国家财政拨款从1986年刚成立时的0.8亿元人民币增加至2018年的280亿元人民币，项目受理数量不断增加，特别是在2008至2018的10年间，项目的申请数量呈现快速增长，由83513项增加至225352项，由此带来的工作负荷已给项目管理者巨大的压力，在人员编制没有得到增加的情况下，完成如此繁重的项目受理、评审和管理任务，令人难以想象。
特别是项目的评审，在有限的时间内完成并获取高质量的同行评议，已成为亟待解决的迫切问题。
1.国家自然科学金项目同行评议的新要求
1.1 需要更公正的同行评议
国家自然科学基金项目受理数量的持续增加而资助规模的相对稳定导致资助率严重偏低[1]，比如面上、青年、地区、杰青、优青等5类项目的资助率在逐年下降（表1），杰青和优青的资助率低于10%。
未获资助的申请者不仅需要令人信服的未获资助理由，而且还通过与获资助的申请者比较去寻找可能的原因或差距，这既是对同行评议提出的更高要求，也是对国家自然科学基金委员会提出的更高要求。
不可否认的是，国家自然科学基金项目的申请水平在逐年提高，获得参与同行评审专家一致或多数认可的项目所占百分率不断增加（表2），有限的资助率使得申请者之间竞争更加激烈，这进一步要求对申请项目的评审必须更公正、更科学。
1.2 需要更高效率的同行评议
尽管实施了多项限项措施，国家自然科学基金委员会每年的项目受理数仍在不断攀升。
2008年至2018年的10年间，申请项目数由83513项增加至225352项，高速增长的申请项目数使得项目管理者的工作量已是原来的近3倍，这既反映出我国科研队伍的不断扩大，也反映出广大科研人员对申请基金项目的积极性。
唯有通过增加更多流动项目主任编制和兼聘人员才能完成繁重的项目评审任务，但也因此带来办公拥挤，流动项目主任和兼聘人员生活受到影响等诸多问题，甚至因为经常加班已影响到项目管理者的身体健康，所有这些也必然影响到同行评议的完成质量，直至影响项目评审的公正性。
2018年底，国家自然科学基金委员会又与四川省、湖南省、安徽省、吉林省等4省签署区域创新发展联合基金，与中国电子科技集团有限公司、中国海洋石油集团有限公司、中国石油化工股份有限公司等签署企业创新发展联合基金，并将对港澳高校开放部分项目类别的申请，无疑将促使国家自然科学项目的受理数量进一步增加。
而且随着科学研究的发展以及国内科学家们的要求，国家自然科学基金一年内多次受理项目的呼声在逐步增加。
在可以预见的时间内，国家自然科学基金委员会的人员编制不太可能得到增加，因此，不断增加的工作负荷与难以增加的人员编制之间矛盾需要我们提出新的工作思路，以适应科学基金不断发展和壮大的需要。
针对上述问题，国家自然科学基金委员会在其酝酿的改革规划中，明确指出要将人工智能技术（Artificial Intelligence，AI）引入同行评议中[2]，即实现同行评议中的智能化指派专家。
实际上，国家自然科学基金委员会是最早开展同行评议智能化探索的机构，2012年计划局组织并支持来自地球科学部、信息科学部和医学科学部的三个学科探索同行评议的智能化指派。通过两年的探索，取得了良好的进展，并得到相关领导的肯定。
国家自然科学基金委员会在2015年的《简报》中明确指出，通过推广评审专家智能辅助指派系统等举措，实现最大限度减少非科学因素的干扰，保证项目评审工作的科学性与公正性[3]。
科技部在2016年也进行了相似的探索，但从实际使用后的效果看，智能指派的专家与申请项目之间的专业匹配性依然不理想。
因此，探讨同行评审专家的智能化指派，为高效率评议申请书找到真正同行的高水平专家，已成为国家自然科学基金项目同行评议中的一项重要任务。
2. 国家自然科学基金项目同行评议的智能化探索
2.1 国家自然科学基金项目的同行评议现状
国家自然科学基金项目的同行评议是基金项目管理者所有工作中最重要的工作，具有高标准严要求时间紧的特点。
在同行评议过程中，项目分组、项目指派和项目遴选是工作量最繁重和紧迫的3项内容。确保高质量地完成这些工作需要项目管理者具备相关的专业知识和对本学科领域研究现状的把握。
但是，每一个项目管理者均有各自的专业范围，如何使项目分组和项目指派更科学、更合理，其中仍有较大的完善空间。
随着受理项目数量的增加、时间紧迫和科学研究的不断发展等多重因素影响下，科学、合理地完成项目分组和项目指派已变得越来越不容易。
众所周知，确保申请项目获得高质量同行评议的前提就是项目的分组和指派必须科学、合理。
面对大量需要指派的申请项目，使得项目管理者的指派过程变得既专业又复杂，难免对部分评议专家产生依赖，并由此带来人为因素干扰的质疑。
因此，随着项目申请数量的不断增加与项目管理者人员不足之间的矛盾越来越严重的情况下，同行评议质量下降是必然的，而且，项目管理者用于开展学科战略调研的时间也越来越少，反过来也影响完成同行评议的质量。
2.2 同行评议的智能化尝试
探讨同行评议智能化目的不仅是为了提高效率，消除同行评议过程中可能存在的人为因素质疑，也是为了使项目分组、项目指派更科学更合理进而提高同行评议质量的一种探讨。
在计划局的软课题支持下，我们选择申请代码H1601—H1614范围内2012—2013年受理的面上、青年和地区等3类基金项目进行了同行评议智能化探讨，所有项目的同行评议专家均通过计算机智能指派完成，现针对智能指派效率、智能指派的专业准确性以及指派的同行专家评审态度等3个指标做如下统计分析。
● 2.2.1 项目指派效率大幅提升
计算机智能化完成项目分组和项目指派顺序依次是地区基金、青年基金和面上项目，并对所用时间进行了统计（表3），完成3340份申请书项目分组时间约2分钟，项目指派时间约80分钟。
值得说明的是，完成1847份面上项目同行专家指派所需时间约为60分钟，而完成1207份青年基金项目指派所需时间约为15分钟，指派面上项目时间明显多于青年基金的原因可能正如人工指派一样，随着每一位专家被指派的项目数增加，计算机找到合适专家的难度也在增加，因此计算机完成指派所需要时间相应延长。
若按当时学科的工作进度，人工完成3340份面上、青年、地区三类项目的项目分组和同行专家指派约需要两周左右的时间（尚不考虑多次加班加点），总的工作时间约为400小时（5人×10天×8小时）。
而通过计算机智能指派完成上述工作所需时间约1.4小时，智能指派效率是人工指派的约285倍。
相信随着专家库数量和质量的提升，通过改进指派算法，工作效率还将有进一步的提高。
● 2.2.2 项目指派专业准确性好
计算机智能化指派的专业准确性，即申请项目与所指派的同行专家之间的专业匹配性，是最令人担忧的问题，同行评议表格中“专家熟悉程度”是反映指派专业准确高低的重要指标。
对智能指派的所有同行专家反馈信息统计发现，智能指派的专业准确性甚至好于人工指派（表4），2013年的智能指派同行专家“熟悉”百分率比2011年人工指派高6.5个百分点，“部分熟悉”的百分率则下降了近一倍。
我们还发现，均为智能指派的2013年专业准确性较2012年提升了2个百分点，原因在于对专家库的完善所致。
实际上当初对2012年专家库只进行了简单的完善，但在专业准确性方面却有了较好的体现，说明只要进一步完善专家库，“熟悉”百分率还将进一步提高，这也说明，智能指派的专业准确性主要与专家库建设质量密切相关。
而且因为指派的专业准确性得到提高，评议专家拒评率明显下降。
● 2.2.3 评议人评审的认真程度得到提高
评议专家能否认真评审是实现高质量同行评议的重要组成部分，通过统计评议专家给出的评议意见字数，基本反映出评议人对待评审的认真程度。
从表5中可以看出，智能指派的评议专家评审的认真程度比人工指派的评审专家高，已有不少评议专家的评议意见字数达到1000字以上，其原因在于智能指派可以预先设定每一位评议人所评审的项目数的上限，且能将项目指派给所有符合条件的专家，评审任务的减轻提高了评审专家对项目评审的认真程度。
2011年通过人工指派参与评审的函评专家数为898位，而2012年通过智能指派参与评审的函评专家数达到1587位，约90%的智能指派评议专家所评议的项目数在10项以内，因此大大减少了评审专家的评审任务。
从表5中还可以看出，2013年专家评议的认真程度比2012年更好，其原因还是与对专家库的完善有关。
人工指派容易导致评审专家超负荷评审，其原因在于人工指派不能充分利用所有符合条件的评议专家，也不能精准地实施回避，并因此常常简单地回避许多优秀的评审专家，而且过多的评审任务也促生了代评现象的产生。
也就是说，人工指派不能尽可能发挥本领域优秀专家的评审智慧，被指派的往往只是该领域被管理者熟悉的部分专家，因而也容易给外界产生人为因素干扰的质疑。
因此，通过智能指派将项目指派给所有符合条件的专家，可以有效减轻评审专家的评审任务，从而提高评审专家的认真程度和评审质量。
3. 同行评议管理者角色的转变
通过第三方专业评审机构完成科研项目评审是我国科研体制的一项重要改革，但要建立真正的第三方专业评审机构仍处在摸索之中[4]。
对于国家自然科学基金委员会来说，或许可以考虑在现有机构内实施智能指派作为今后建立第三方评审部门之前的一种过渡，显然这将对项目管理者目前的作用产生一些影响。
3.1 同行评议的辅助者
计算机的优势在于速度，以及实施同行评议过程的规范和不受或少受人为因素干扰，不足之处在于缺少专业性。
因此，要实现高度依靠专业知识的同行评议的智能化，最为重要的是在学术专业性方面应为计算机做好充足的准备。
需要管理者做好的是前期准备工作，特别是专家库的建设，既要做到及时将本领域优秀专家入库，且确保入库专家应具有较高的学术能力，也要确保入库专家的专业信息的准确性。
这意味着同行评议管理者的相关工作也将从前台转到后台，即管理者由同行评议指派的完成者转变为智能指派的辅助者。
3.2 同行评议的监督者
在确保专家库质量的条件下，我们的试验结果表明智能指派的专业准确性比人工指派好，但是智能指派过程中不排除存在预料不到的问题的发生，尤其在试行的过程中，因此完全实施智能指派之前需要一段时间的过渡是必须的。
比如，专家库建设过程中难免存在评审专家的专业信息有变或有误，依托单位有变动，指派的专家与申请者之间存在新的或特殊关系，甚至发生评议专家出国、生病或去世等情况。
因此项目管理者对计算机智能指派结果进行审核也是必要的，甚至要对少数指派结果做必要的调整，从这一角度看，管理者便成为了智能指派的监督者。
根据我们的体会，随着专家库质量的提高，智能指派出错的几率将越来越少。
智能指派使同行评议过程更加规范化，排除了指派过程中的人为因素干扰，真正实现《国家自然科学基金条例》中所要求的那样为申请项目随机指派专家，而且，由于参与同行指派管理者将减少，同行评议的保密性将得到进一步加强。
4. 对智能指派的展望
我们对国家自然科学基金项目同行评议的智能指派探讨仍处在初步阶段，需要进一步摸索和完善。
智能指派的重要基础首先是专家库，或者说是具有准确专业信息且具有较高学术水平的专家群体。
显然建设高质量的同行专家库并及时地予以更新和维护，对智能指派十分重要。
智能指派的另一重要基础是指派算法的设计，其目的就是充分利用评审专家资源，为申请项目遴选出最合适的评审专家。
此外，算法设计应体现出不同项目类别的要求。相信随着人工智能大数据等相关技术的发展，指派算法将朝着更加科学、更加人性、更加高效的方向发展。
只有更公正、更科学的同行评议才能保持并提高国家自然科学基金委的信誉，维护广大科技工作者对它的信任，塑造科技界公平、公正的竞争氛围，促进我国科学研究健康发展。
同行评议的智能化指派探索，不仅是国家自然科学基金项目同行评议的需要，也是同行评议走向规范、科学的必然趋势，希望通过同行评议的智能化使同行评议达到更加公正、科学、合理、高效之目的。
来源丨《中国科学基金》2019年 第2期
转自丨科学网
作者 | 江虎军 郝艳妮 徐岩英 孙瑞，均来自国家自然科学基金委员会
本文内容及未标注图片版权归原作者所有，仅供分享之用，如果侵权请留言通知我们删除。
延伸阅读
李克强：要把科学家从繁琐的科研评比中解放出来
中国农大校外同行评审专家高端人才占比90%以上