「观点」评价社会科学研究影响力的新趋势新方法

本文原载于《中国社会科学报》2023年7月5日 第A03版，作者为《中国社会科学报》记者练志闲。

◉ 定量指标难以全面评价研究影响力

玛拉认为价值归属可以塑造研究实践本身，与晋升、获得终身职位、获得研究资助等有关的激励政策会影响学者的行为方式，因此需要以更加全面多元的方式来评估研究的影响力。

◉评价方法应符合社会科学特性

对社会科学领域来说，玛拉认为，首先，社会科学学者研究的问题无法由一个统一的定义来概括。其次，社会科学深入研究人类行为，关注社会和文化的复杂性，研究对象往往为无形内容，社会关系、文化习俗和历史背景等涉及错综复杂且无形的多种因素，很难简化为可量化的指标。最后，社会科学研究的影响具有复杂、微妙、分散、长期、多层次等特点，很难被传统的衡量标准捕捉。此外，社会科学的跨学科性质意味着一个领域的见解可能有助于另一个领域的思想发展，使得仅通过引用情况来衡量相关成果的影响变得更加困难。

◉建立负责可靠的评价标准

替代计量学通过综合各类数据来评估科研影响力，包括来自各种能够传播学术知识、进行学术交流的平台的数据，如传统媒体、社交媒体、博客、政策文件等。在替代计量学的语境下，人们在进行评估时，不仅需要分析研究成果的引用量，而且还会将下载量、阅读次数、分享次数等指标列入考量，是传统文献计量方法的有力补充。

◉多方合作与跨学科对话解决难题

玛拉表示，期刊、高校和学术团体在社会科学领域的角色比在其他学科领域更为重要，他们支持探索创新研究方法，鼓励研究人员与决策者和公众等利益相关者接触和交流，其创建的专家团队能在极具争议的领域积累知识。

拥有影响力是现代学术界的追求之一。在学术论文或研究报告中，学者往往会以各种方式介绍其研究工作可能产生的影响，包括带来理论观点上的改变，产生新的研究模式，乃至影响或改变客观世界和社会生活等。因而，应当如何评价这些影响也是学术界热议的话题，尤其是在难以对研究成果及其影响进行量化评价的社会科学领域，许多学者围绕如何评价社会科学研究的影响力展开了讨论。围绕社会科学影响力评价的新趋势新方法，本报记者梳理了有关专家学者的观点，采访了独立学术及专业出版集团世哲出版社（SAGE Publishing）全球出版部主席齐亚德·玛拉（Ziyad Marar）。

定量指标难以全面评价研究影响力

在谈到学者为什么会关注研究的影响力时，哥伦比亚大学哥伦比亚世界项目高级顾问罗恩·卡西米尔（Ron Kassimir）提出这其中可能有多种原因。首先，如果研究具有较强的影响力，自然能提高学者的地位与声望，并使学者在聘用、薪资、晋升以及获取经费等方面处于相对有利的位置。随着社会科学研究获得更为广泛的关注，声誉经济或许也会在社会科学界部分领域出现。其次，社会科学研究的资助方对研究影响力的期待日益增加，尤其希望有关研究成果能够在学术领域之外产生较大影响，这样的趋势会使学者更加关注研究的影响力。最后，社会科学界的许多学者将“影响力”视作一种道德追求，尤其是许多青年社会科学学者正努力在职业发展和对世界产生更广泛的影响之间取得平衡，期望在学术领域和公共领域都具备影响力。

学者越来越关注研究影响力的同时，也有许多人注意到影响力评估方式的不足，并从各个角度展开论证。传统的科研影响力评价标准一般是以研究成果的被引用情况为基础的，世哲出版社于2019年发布题为《关于社会科学研究影响力评估的最新思考》（The Latest Thinking About Metrics for Research Impact in the Social Sciences）的研究报告表示，传统的评估方法已经不能满足现代学术需求，在其他学术著作中的引用情况无法全面展示社会科学研究成果在学术界之外的价值，因而需要寻找新的影响力评估方法。

英国密德萨斯大学国际管理学教授安妮-威尔·哈辛（Anne-Wil Harzing）从影响的多样性展开论述，认为在讨论研究的影响力时，学者们往往对影响力的概念有不同理解，可以分为不同情况开展有针对性的讨论。根据学者的学术角色不同，她将影响力分为三个不同层面。作为研究者时，学者的工作目标受众为其他学者，以他人的研究成果为基础实现进一步发展或突破。学者共同致力于为学术知识体系添砖加瓦，推进科学的发展。在这种情况下，学术研究成果的被引用量便可以用来衡量其学术影响力。作为教学者时，学者的工作目标受众是学生，其研究成果将作为阅读材料进入课堂，辅助学生学习并培养批判性思维。在这一层面，研究的影响力可以从是否在教科书、教学大纲中出现来衡量。前两个角度涉及的都是研究成果在学术界内部的影响力，而学术研究成果在学术界外也发挥着重要作用，能够对经济、社会、文化、公共政策等诸多领域产生影响。在学术界外，学者的最终目标是解决社会问题。综合来看，哈辛认为，仅靠某个单独的定量指标无法全面准确衡量研究成果的学术与非学术影响力，因此需要综合运用定量指标、定性证据和个人陈述等方式来衡量和证明研究的影响力。

玛拉在《关于衡量社会科学的影响》（On Measuring Social Science Impact）一文中也提出了类似的观点。他认为，在衡量社会科学研究的影响时，如果只关注被引用情况，如期刊影响因子和H指数等，不仅会影响评估的准确性，而且会带来意想不到的后果。随着这些指标在学者遴聘与晋升方面的权重日益增加，还可能带来新的风险。正如古德哈特定律所说，当一个政策变成目标，它将不再是一个好政策。人们将重点从做研究转移到提高影响力数值上，开始采用自我引用和“互引俱乐部”等办法提高数值。价值归属可以塑造研究实践本身，与晋升、获得终身职位、获得研究资助等有关的激励政策会影响学者的行为方式，因此需要以更加全面多元的方式来评估研究的影响力。

围绕以引文为基础的评估方法的争论不仅存在于社会科学界，其他领域也在讨论应当如何衡量研究成果的影响力。早在2012年，一些学者、学术组织、资助机构、期刊等就共同签署了《旧金山科研评估宣言》，呼吁不再使用影响因子来评估个体科学家的学术成果，大学和研究机构也不再将其作为教授聘用、晋升或科研资助分配的决策要素，并呼吁改进资助机构、学术机构和其他相关方评估科研成果的方式。在此之后，这样的呼声日益强烈。英国伦敦大学学院科学、技术、工程和公共政策系教授詹姆斯·威尔斯登（James Wilsdon）牵头开展的一项关于评估指标作用的调查显示，如果没有同行评议等定性判断作为补充与支撑，单纯靠指标并非负责可靠的评估方式。

评价方法应符合社会科学特性

瑞典布罗斯大学图书馆与信息科学学院高级讲师比约恩·哈马费尔特（Bjørn Hammarfelt）曾就文献计量方法使用情况采访了社会科学领域的学者，受访过程中，许多学者流露出对现行文献计量方法的不满，并表示需要将自己的价值观传达给只想看定量数据的人。也有学者直言有关评估方法不适合社会科学领域，其中涉及的指标无法反映学者的研究成果，但他们不得不继续使用这些指标以满足评估要求。

玛拉告诉本报记者，社会科学与自然科学研究的问题是不同的，在研究方法上也有差异。在自然科学或科学、技术、工程、数学（Science、Technology、Engineering、Mathematics，以下简称“STEM”）领域，研究人员能够通过定量的方法，使用明确的数据概括出具有统一性的普适性结论，研究成果的影响往往也更易衡量，如取得技术突破、获得专利、研究结果可直接应用于生产等。而且自然科学或STEM领域的研究发展也倾向于遵循线性轨迹，因此更容易使用基于引用的评估标准来衡量其影响。

而对社会科学领域来说，玛拉认为，首先，社会科学学者研究的问题无法由一个统一的定义来概括。社会科学为公共政策提供信息，指导社会发展，帮助我们理解社会趋势和社会问题，进而理解我们的世界。同时社会科学也有助于培养人们的同理心，提升其批判性思维能力，增强其自我意识。从本质上讲，社会科学能够帮助人们理解、驾驭和改善我们生活的世界。

其次，社会科学深入研究人类行为，关注社会和文化的复杂性，研究对象往往为无形内容，社会关系、文化习俗和历史背景等涉及错综复杂且无形的多种因素，很难简化为可量化的指标。研究人员难以分离变量，建立因果关系，并得出普遍适用的理论。

最后，社会科学研究的影响具有复杂、微妙、分散、长期、多层次等特点，很难被传统的衡量标准捕捉。社会科学研究的影响通常具有时间上的滞后性，因此难以衡量和评估，尽管社会利益相关者期望从研究中获得立竿见影的好处。此外，社会科学的跨学科性质意味着一个领域的见解可能有助于另一个领域的思想发展，使得仅通过引用情况来衡量相关成果的影响变得更加困难。

由于社会科学研究和自然科学研究之间存在较大的差异，因而在确定社会科学领域的影响力评估方法时，难以借鉴自然科学或STEM领域的标准。在玛拉看来，发表于1973年的社会心理学论文如今依旧是社会心理学家的辩论主题，克利福德·格尔茨（Clifford Geertz）于1973年出版的《文化的解释》（The Interpretation of Cultures）和约翰·罗尔斯（John Rawls）于1971年出版的《正义论》（A Theory of Justice），对人类学和政治学理论作出了持久的贡献。可见，社会科学研究成果所产生的影响在时间层面上是长远的，而且这种影响往往会随着时间的推移变得更加广泛。另外，学术产出形式多样也是社会科学的特征。

意大利国家研究委员会经济可持续发展研究所主任伊曼纽拉·雷亚尔（Emanuela Reale）及其同事在相关文献综述中回顾了关于社会科学和人文科学研究影响力的文献，他们发现直接套用自然科学领域的影响力衡量方式，会导致社会科学和人文科学研究的价值被低估，因为目前主流的自然科学影响力评估方法没有考虑到社会科学和人文科学研究区别于自然科学的独特特征。例如，比起致力于发现新理论和新物种等，社会科学和人文科学学者更希望探索新的研究方法。另外，尽管社会科学和人文科学研究也致力于推动社会发展，但学者们的兴趣并非以“结果可用”为导向，而是努力影响和引导社会维护文化遗产，以及增进人们在不同背景下的自我理解和相互理解的能力。因而，我们需要找到更加适合并能够反映社会科学特质的评估方法。

建立负责可靠的评价标准

美国经济学家赫伯特·西蒙（Herbert Simon）指出，随着爆炸性信息时代的到来，注意力成为稀缺资源。因此，学术界更加需要具有指导意义、全面准确的衡量指标，筛选出真正具有影响力的研究成果。然而，尽管确定了问题所在，但对于什么样的方式才是证明社会科学影响的最佳方式，学界依然没有达成共识。

新技术迅速发展为探索新的评估方法打开大门，目前学术界也试图确立替代指标，替代计量学（Altmetrics）可能是其中最为知名的一次尝试。单篇论文评价、科研成果计量、科研发现计量、科学计量学2.0等众多研究的合流，以及网络化科学交流的不断发展，促成了替代计量学的兴起。目前，替代计量学仍是一个含义较为宽泛的术语，它涵盖了与学术成果有关的多种数字化指标，这些指标有的源于学术生态系统，有的则源于社会公共空间中利益相关者与学术成果的互动。替代计量学通过综合各类数据来评估科研影响力，包括来自各种能够传播学术知识、进行学术交流的平台的数据，如传统媒体、社交媒体、博客、政策文件等。在替代计量学的语境下，人们在进行评估时，不仅需要分析研究成果的引用量，而且还会将下载量、阅读次数、分享次数等指标列入考量，是传统文献计量方法的有力补充。

玛拉认为，替代计量学是一种可以呈现研究成果社会影响力的衡量方式，它在以引文为基础的学术领域内影响力评估模式之外，为人们提供了另一种选择。替代计量学通过考虑社交媒体参与度、新闻报道和政策文件引用等诸多因素，更全面地反映了一项研究成果的影响力。然而，他补充道，替代计量学也有局限性，虽然它呈现了更广阔的视角，但它提供的数据可能容易带有偏见或受到人为操纵，并且可能无法完全捕捉研究的长期影响。此外，关注实时反馈可能会模糊对研究本身的关注，带来重点偏移的风险。

玛拉表示，有学者成立了新的机构，专门追踪学术研究在政策制定中的应用情况，他认为这或许会比替代计量学更加有助于评估社会科学研究的影响。世哲出版社作为社会科学出版商，也常就社会科学研究影响评价相关问题展开讨论，并探索自己能发挥的作用。过去几年中，玛拉等人试图采用别的方式来衡量研究影响力，例如，公布5年影响因子、为10年内发表的被引用次数最多的文章设立年度奖。玛拉认为，在未来很长一段时间内要衡量研究的质量和影响，仍离不开统计被引用数量，但不能局限于此。哈辛提到了Overton政策文件数据库，她表示使用这个数据库能捕捉政策文件引用的研究成果和论文，相关引用情况可以为影响力评估提供支撑。

威尔斯登在研究报告中指出，一个负责可靠的衡量标准应当具有以下特性：第一，稳健性，将指标建立在尽可能准确和广泛的数据基础上；第二，谦逊性，即认识到定量评估发挥的作用应当是进一步支撑专家的定性评价，而非取而代之；第三，透明性，即保证数据收集和分析过程公开透明；第四，多样性，即将各领域的差异考虑在内，并能使用一系列指标反映和支持研究人员学术生涯发展的多样性；第五，反思性，即认识和预测指标的系统性及潜在影响，并根据实际情况进行更新。

多方合作与跨学科对话解决难题

谈及应当如何为解决相关问题作出贡献，玛拉表示，这是一个系统性的问题，期刊、高校和学术团体在社会科学领域的角色比在其他学科领域更为重要，他们支持探索创新研究方法，鼓励研究人员与决策者和公众等利益相关者接触和交流，其创建的专家团队能在极具争议的领域积累知识。这些学术组织通过各种方法促进形成具有包容性的研究文化，有助于探索以更准确、更有意义的方法评估社会科学研究的影响。

世哲出版社也在召集更多组织共同探讨这一问题。2019年，来自谷歌、美国社会科学研究委员会、纽约大学、华盛顿大学等诸多机构的影响力研究专家参加了世哲出版社主办的研讨会，共同探讨社会科学研究的影响衡量方式。通过梳理会议要点形成了《关于社会科学研究影响力评估的最新思考》报告，该报告分析了影响力评估的利益相关方、定义了关键术语、明确了问题，还列出了45种资源和数据库，提出了4种可供参考的评估模型。第一种是学术产出模式，这也是评估社会科学研究影响的最常见方法，即通过引用情况进行评估。第二种是以人为本模式，提议将研究影响力的重点从文本转到研究者本身，因为人是思想的化身，文本只是研究者的输出形式，探索研究的影响力也是在追踪思想的传播和影响力。这种模式下的评估方法包括追踪学者就职单位及其参与的创新项目等，可以探究研究者学术思想的现实转换情况及其对世界产生的影响。第三种是四大象限模式，将影响分为四个部分，分别为：“学术”，即该研究是否增进了人们对世界的认识；“业界”，即该研究是否提升了研究人员开展工作的能力，如开发了新的研究方法、创建了新的数据集等；“社会”，即该研究是否为社会带来变化，如学术性建议是否与政策、法规等的变化相关联，是否影响生产率或国内生产总值变化等；“公众”，即该研究是否改变公众理解，这一点可以从公共参与、公共讨论、网络传播等角度观察。第四种为实用主义模式，即从实用角度出发，研究人员应该考虑如何才能让资助方相信自己的投资得到充分利用，且能够产生较大的学术影响。

玛拉认为，除了这些努力之外，单独某家出版商或期刊所能做的十分有限。据他了解，目前采用的以引文为基础的评估方式依然是学术生态系统中学者建立声望的核心机制，也是学者获得资助、晋升、终身职位等的主要考评依据，因此高等教育机构和学术协会等组织面临的挑战实际上是改变建立声望的机制。各个领域可以根据自身需要探索新的评估标准。

玛拉告诉记者，他们将继续致力于开发更加全面、细致、可靠的方法以衡量社会科学研究的影响力。要做到这一点，需要认识到当前方法的局限性、社会科学研究的特点和重要性，并推动跨学科对话，促进更多创新尝试。他还表示十分期待开放获取和数字技术在这一进程中发挥关键作用，让研究成果能在更大范围内传播，并为更多人创造参与进来的机会。

往期推荐

观点

方圆

刊界

书简

撷英

数迹

智汇

中国人文社会科学综合评价研究院编辑部出品

● 声明

推文基于更好更多传递信息之目的，限于视野和能力，可能会有疏漏及不足之处，请随时指正。若有来源标注错误或侵犯了您的合法权益，请致信[e-mail]，我们将及时更正、删除！

如需转载，请保持图文完整，并标注版权及本公众号ID、二维码、作者，谢谢！

长按二维码即可关注，第一时间获得我国人文社会科学学术动态与研究资讯。

觉得“好看”请点赞或在看