关于科研评估框架，英国提出十点问题和九条建议【中国科讯】
“中国科讯”APP文献移动获取第一平台
汇聚中科院海量文献，
让你随时随地查文献、阅期刊、读报告。
点击文末二维码，下载“中国科讯APP”。
◆ ◆ ◆ ◆ ◆
本文“135编辑器”提供技术支
（图片来自网络）
REF (Research Excellence Framework)是英国政府从2012年开始运行的科研评估框架，每5-6年进行一轮评估，每年会依据新的数据对评估结果进行微调。
REF评估主要按照各大学和研究机构提交的研究论文列表及工作影响报告进行评估，评估结果作为政府每年进行科研资金分配的依据。
报告分析目前的REF评估框架主要存在的问题包括：
（图片来自网络）
01
成本问题。
2014年这一轮的REF评估总成本为2.46亿英镑，超出2008年评估成本的133%，且其中绝大部分为大学和研究机构自己承担。
2
评估内容。
目前的评估参考数据过于注重短期内容，并不支持培养长期稳定的高质量关键研发人员。
3
样本选择。
目前采集评估问卷回答的科研人员占全部的29.2%，比2008年的12.2%大为提高，但仍集中在最优秀的科研人员中，在平等和多样性方面仍然不够，一些受访者呼吁不要将研究质量评估与未来的资源分配联系在一起。
4
同行评议。
同行评议虽然必不可少但并不完美，同行评议委员会需要更广泛的专业参与和足够的时间。
5
对研究影响的评估。
目前基于高质量出版物的评估仍然难以清晰评估研究的效果与影响，需要建立新的评估方法，否则会影响对长期高风险研究项目的资助。
6
跨学科与合作研究的评估。
文献计量分析显示，目前英国有8.4%的论文属于跨学科研究，但其中只有6.4%在REF评估中得到认可，表明REF评估中存在着系统性偏差。
7
对职业生涯的影响。
过于注重对出版物的评估，而忽视了每个研究人员的个体情况，可能会扭曲他们的未来职业选择。
8
研究环境评估。
研究是一个长期的过程，需要研究环境支持。许多受访者认为有必要重新设立和简化研究环境评估指标，如每个单位的研究生数量、研究收入，每个研究项目的引文量等。
9
科研影响案例研究。
REF评估对科研影响的案例研究过于强调科研，忽视了大学科研与教学的相互影响，同时增加了被评估机构的负担。
10
评估的周期性和动态性。
过于频繁的评估会提高成本，扭曲研究方向的选择，因此每5-7年进行一轮评估，期间为大学和研究机构提供稳定的经费支持，是合理的。
基于以上分析，报告提出九大改进建议：
（图片来自网络）
1所有对科研项目负有重大责任的活跃研究人员和常见的文献数据在评估中都应该进入REF评估范围，以便准确描述大学和研究机构的科研与教学活动。2对不同的研究单元使用统一的数据但要保持灵活性，对教师的评估要不同于科研人员。3评估结果不能简单地划分等级。4为同行评议小组提供评估指标体系，保证评估的透明性。5各大学和机构应灵活展示跨学科研究项目的影响与效果，积极提交“机构”级的影响案例分析。6影响案例分析应能够证明研究的质量，也可以是跨机构的研究成果。7
要制定REF指南，明确指导影响案例分析报告如何撰写，包括：
社会经济影响、对政府政策的影响、对公众参与和理解的影响、对文化生活的影响、在学术以外和教学的影响。
8建立新的研究环境评估机制，包括机构的未来研究战略，支持高质量研究和跨学科、跨机构研究的举措等。9对于机构下的具体学术研究单元也要通过关键指标简要评估其研究环境与机制水平。[1] 即原英国商业、创新与技能部（BIS），7月14日特雷莎·梅新首相就任后改为现名。
[2] Building on Success and Learning from Experience.https://www.gov.uk/government/uploads/system/uploads/attachment_data/file/541338/ind-16-9-ref-stern-review.pdf
本文选自 国家高端智库 中国科学院 《科技政策与咨询快报》, 2016年, 第9期
↓↓↓点击标题即可查看
1. 汤森路透为何一定要卖掉SCI，“接盘侠”看好中国业务？
2. 它比影响因子更重要！
3. 是时候知道一些“国家机密”了——全球首颗量子通信卫星即将升空
8. LinkedIn最新榜单：全球21家“员工来了就不想走”的科技企业
本文由“135编辑器”提供技术支持
中国科讯 APP
长按，识别二维码，下载 App
中科院文献情报中心 | 微信ID：Sci-think
推荐文章或反馈意见可直接在公众号内留言投稿或法律相关事宜请通过邮件联系我们
邮箱： linan@mail.las.ac.cn
see you tomorrow
更多精彩，点击下方“阅读原文”查看。