面向全文计量分析的学术评价创新

■   要构建科学合理的学术评价体系，完善同行评议是根本、改进代表作制度是基础、落实分类评价是关键、结合定量与定性方法是核心。

来源 | 中国人民大学评价研究中心

杨思洛：武汉大学信息管理学院教授

一、新时期学术计量评价背景

近年来，教育部、科技部等部委陆续出台政策，落实“除四唯”、“破五唯”，如《关于破除科技评价中“唯论文”不良导向的若干措施(试行)》《关于破除高校哲学社会科学研究评价中“唯论文”不良导向的若干意见》等。明确提出“在人员聘用中，学校不把SCI论文相关指标作为前置条件”、“不宜以发表SCI论文数量和影响因子等指标作为学生毕业和学位授予的限制性条件”、“要取消直接依据SCI论文相关指标对个人和院系的奖励”等。

要构建科学合理的学术评价体系，完善同行评议是根本、改进代表作制度是基础、落实分类评价是关键、结合定量与定性方法是核心。定量与定性评价是紧密联系在一起的，定量指标本质上是同行评价；同行评价也离不开计量分析辅助；数据智能时代计量评价新发展，计量与定性深度融合是趋势。例如，教育部《第五轮学科评估工作方案》也指出：充分运用基于定量数据和客观证据的专家融合评价方法，坚持代表性成果专家评价与高水平成果定量评价相结合。

二、学术计量评价体系

目前学术计量评价已形成了较完整的体系，包括：理论、模型、方法、指标、数据与应用等。

图1 我们团队出版的计量评价相关著作

01基于简单数量的学术评价

学术计量评价最基本的形式，是通过简单的频次统计分析。其中又包括不同级别（如权威、核心、一般等）、类型（如图书、论文、报告、网络新形式等）、计算方式，也包括被引量、发文量等数量统计。基本的频次统计虽然简单易行，但是一直受到争议和批判。

02基于复合指标的学术评价

复合计量指标结合了多个方面的内容，常见的影响因子、 CiteScore等都在广泛应用。上世纪80年代，南大率先将SCI引入考核体系。但是“影响因子”并不是论文水平的直接评价指标。影响因子并不能很好反映论文的情况，期刊中论文的被引量呈偏态分布，有研究对来自Science、Nature、eLife和PLoS的11种期刊分析。结果表明，大多数论文的引用次数都低于所在期刊的影响因子，其中Nature有74.8%，Science有75.5%。

此外，还有H指数、特征因子等计量指标较为流行。在h指数的基础上修正，提出了几十种衍生指数：指数、m指数、g指数、hw指数、R指数、hw指数、χ指数、π指数、χ指数、m指数、A指数、hw指数、e指数等。但是，也存在系列问题，H指数发明者说它被用错了，必须谨慎使用H-指数。

03基于综合指标的学术评价

评价不能仅依赖于发表量和被引量，已成为学界的共识，多源、多维计量指标的综合评价是大势所趋。例如，《中文核心期刊要目总览》研究方法是定量和定性相结合的分学科评价方法，核心期刊定量评价采用被摘量(全文、摘要)、被摘率(全文、摘要)、被引量、他引量(期刊、博士论文、会议)、影响因子、他引影响因子、5年影响因子、5年他引影响因子、特征因子、论文影响分值、论文被引指数、互引指数、获奖或被重要检索工具收录、基金论文比(国家级、省部级)、Web下载量、Web下载率等评价指标；在定量评价的基础上，再进行专家定性评审。

三、新时期学术计量评价趋势

从广度方面，多源、多维计量指标的全面性综合评价是大势所趋；从深度方面，简单的频次统计也将由结合语义的全文计量指标所取代，学术计量评价将向过程自动化、结果精准化、指标语义化的智能化方向发展。

传统计量评价利用文献题录信息、基于简单频次指标的传统计量评价体系，虽被广泛应用，但存在精度不高、较片面等诸多不足，受到质疑批评。

随着开放科学的兴起与人工智能技术的发展，文献计量迈向全文计量分析的新阶段。实现题录元数据—>全文；外部特征—>内容特征；句法特征—>语义特征；宏观特征—>微观特征等转变。全文计量分析是以文献全文为研究对象，采用数学、统计学等计量方法，结合自然语言处理和文本挖掘等技术，研究文献内部知识单元的分布结构、数量关系、变化规律和定量评价等。

全文计量分析目前主要包括以下几个方面。引文内容分析：对引用与被引用的位置、强度和语境分析；“引用次数-位置- 功能-情感–主题”。知识单元计量：从语词层面、语句层面和语篇层面展开；通过全文本深入知识实体计量：术语、理论、方法、工具、研究问题、图表、公式、数据、亮点、贡献、局限、展望、语言等抽取。全文计量指标：结合全文本特征、语义与传统计量指标间关系，基于全文的结构类指标，基于全文的主题情感类指标，基于语义关联类复合指标，综合性指标。

四、案例分析

结合作者贡献声明及引文内容分析的合著者贡献评价研究。随着科学合作规模和形式的发展，合著者贡献评价成为重要的问题。我们提出一种基于全文计量分析的作者贡献(context-based author credit, CAC)模型来测度合作者的贡献。主要结合了作者署名顺序、作者贡献列表、引文内容分析三个方面的内容。

通过对施引文献引文内容的具体分析，判断其引用的是被引文献的哪一部分（如方法、数据、结论等），利用被引文献文末的作者贡献声明，相互对应，使每一条引用对应到具体的贡献者，进行较精确的评价。

图2  基于全文计量分析的作者贡献模型

本研究选择PLOS Medicine作为数据源。从三个角度进行对比分析：单篇论文的CAC、研究团队的CAC、特定作者的CAC。

我们发现：

• CAC 模型，允许合作者的学术贡献分配由作者实际参与的贡献要素产生的影响决定，而不是仅基于作者署名顺序的简单计算。CAC模型将作者的学术贡献测度深入到引用语境层面。

• 由于CAC模型是按照作者贡献要素及具体引文内容进行学术贡献评价，避免了贡献较大的通讯作者在作者署名中排名靠后的问题，也解决了共同第一作者和共同通讯作者之间的作者贡献分配问题。

• CAC 模型使用引用强度而不是施引文献的数量来评价学术贡献，这使得学术贡献得分更加精确。

（本文根据武汉大学信息管理学院杨思洛教授2021年10月31日在“第五届中国学术评价高峰论坛”上的报告摘编）

版权归原作者所有，仅供分享之用，如果侵权请留言通知我们删除。

延伸阅读