计算机界论资排位的老字号CSRankings，为何被密歇根大学教授“嫌弃”？

图片来源：密西根大学

作者：Mark Guzdial（密歇根大学工程学院电气工程和计算机科学教授）

译者：青苹果

原文：Why I Don't Recommend CSRankings.org: Know the Values You are Ranking On

编者按：CSRankings 是一个备受关注的全球计算机界高校排名榜单网站。但它可能还称不上“享誉全球”。比如，此前一次在细分榜单的 AI 综合排名中，清华大学和北京大学力压了 CMU，分别排名第一和第二。在更宏观的层面，密歇根大学教授 Mark Guzdial 则指出，CSRankings有着3大“bugs”。

又到了讨论升职加薪和终身任用的季节，如何决定招聘的优先级显然成为了人们谈论的焦点。

就在上周，我在一天之中，曾两次听到有人使用 CSRankings.org 来做决定。

其中一个案例是，据 CSRankings.org 网站显示，该候选人因为在两场会议上发表文章而深受赞赏。在另一个案例中，有人说雇用某个具备特定才能的人可能会提高部门在整个 CSRankings.org 中的职位，因为他们在所有适当的位置上发表了文章。

然而，就我个人而言，我并不推荐使用 CSRankings.org 来替代个人决策，甚至对引用了 CSRankings.org 的相关信件也不予考虑。

CSRankings (Computer Science Rankings) 是一个基于指标的全球顶级计算机科学机构排名（译者注：它的更新也承包许多 AI 媒体的头条）。

它主要依据于全球高校和研究机构在计算机领域的顶级学术会议上发表论文的数量，在一定程度上反映了全球高校和研究机构在计算机学科和相关方向上的学术影响力和国际活跃度。而 CSRankings.org 网站则旨在成为世界顶级计算机科学部门的 “GOTO 排名”。具体来说，GOTO 排名需满足以下四个条件：

 l 良好的数据（Good data）：数据已经被清洗和整理；

 l 开放（Open）：数据公开，所有人都可以使用；

 l 透明（Transparent）：过程和方法完全透明；

 l 客观（Objective）：排名基于可度量的属性；

更重要的是，CSRankings 也在 FAQ 中明确的描述了所使用的标准（参阅链接：http://csrankings.org/faq.html），甚至免费提供进行计算的源代码。然而，我却认为这并非 “Objective”，而恰恰体现的是 “Subjective”，因为它受个人感觉、品味或观点的影响。这个评判标准仅仅是那些对 CS 机构进行排名贡献源代码的人所持有的观点。当然，如果你同意这些价值观的话，CSRankings.org 会是一个很棒的网站。我也可以充分理解为什么许多计算机科学家如此青睐于它。

坦白来说，我不同意 CSRankings 的价值观。主要原因总结为以下三点：

首先，它是美国优先（America-first）的。要使研究领域包含在排名中，必须满足在过去的 10 年里，有 50 所美国的顶尖 R1 机构在该领域的顶级会议上发表过论文或刊物。虽然非美机构也在榜单之列，但哪些场所和研究领域均由美国机构的发布地决定。

其次，它是反进步的（anti-progressive）。它所包括的研究领域和会议，是被顶级机构中的顶级研究员所重视的存在。显然，这些都是既定的会议。那么，新的领域和有前途的会议则不得不再等上 10 年，然后静观其变，看能否摆脱困境。由此可见，这始终是相对保守的排名。当然，如果你同意计算机科学中的价值观，这便是合理的选择。反之，如果你认为计算机科学可能出了问题，那么你可能也没错。

译者注：该书副标题是 “打破硅谷男性联盟”。这本书将科技领域男性占主导地位的真实写照详细地刻画了出来。书中不仅描述了女性被排除在这场科技盛宴之中的原因，而且还展示了这种现象对产品质量所带来的负面影响。对此，作者还从社会的角度，提供了一些值得让人反思的可行性建议和解决方案。

我最近读了 Emily Chang 的《兄弟乌托邦》（Brotopia）。因此，受此书的启发，我特别倾向于后者，也就是坚持自己的价值观。

第三，它是反跨学科的（anti-interdisciplinarity）。如果你与科学家和工程师合作，那么唯一出现在部门排名中的出版物就是那些出现在最传统的 CS 场所中的出版物。在其他学科上发表的任何文章都不会计入你所在的机构质量和排名。

显然，CSRankings 的这些特质都与我的价值观背道而驰。我非常重视诸如国际计算教育研究会议（ICER, International Computing Education Research conference）、Koli Calling 和中小学计算教育研讨会（WIPSCE, the Workshop in Primary and Secondary Computing Education）等国际会议，并在上面发表论文。

这上面其中的一些场合中，会议室里甚至都没有 50 个美国人，更不用说 10 年内 50 个 R1 机构了。再者，我在与合作者相关的场合中发表了文章，这些场合可能从教育心理学到历史教育都不尽相同。

我坚持我的观点，我们应该提拔那些敢于冒险、探索新领域、善于（与其他学科的人）合作并在这些学科专业场合中发表文章、以及能够与世界其他地区互动的计算机科学教授。因为这些人所取得的成绩既有个人的努力，也象征着部门的荣誉，因此我个人对包含这些人的部门给予高度评价。

教育作为新兴研究领域，就是一个受到该系统 “严重打击” 的例子。国际计算机教育研究（ICER, International Computing Education Research）成立于 2005 年，且美国并不是计算机教育研究中心。教育本质上是跨学科的。

作为计算应用程序，CSRankings.org 仍称得上非常炫酷。之所以这么说，是因为面对某些困难的工作时，它能够完全依靠计算完成，包括对学术部门和机构排名的任务。而我个人的价值观却很难包含在完全基于可计算数据的排名系统中。再次强调，这并不意味着是我错了。

计算机科学中常见的一种思维错误，是把容易计算的答案当作困难问题的正确答案。我们开发了一项新技术，不禁思索 : “也许这项 X 技术可以解决 Y 问题。”

然而，我们经常考虑得不够全面的问题是：这是解决该问题的好方法吗？使用技术解决方案后，我们是否有什么损失？

毋庸置疑，给学术部门 / 机构排名确实是一项相当艰巨的挑战。

1988 年，Denning 等人所做的报告 —《计算作为一门学科》（Computing as a discipline），将计算的基本研究问题定义为 “哪些事情可以有效地进行自动化？”（What can be (efficiently) automated?）这个问题微妙地暗示着，并未所有的事情都可以有效地进行自动化。

在某种程度上，通过计算对学术质量进行排名可能无法契合我们的价值观。可计算的解决方案并不是解决难题的唯一方法。

Joy Buolamwini 和其他人的工作也告诉我们，简单地让某物变得可计算，并不能使其赋予价值或保证没有任何的偏见。只要涉及人工的干预，就必然带有一定的政治色彩。

不过，请放心，我不会阻止你继续使用 CSRankings.org 网站。如果这个网站完全符合你的价值观的话，很可能会为你提供了非常优质、有价值的服务。在此，我强烈要求你保持理性的衡量，首先考虑好自己的价值观，然后询问你将要使用的任何排名背后的价值观，最后对比两者，做出合理的决策。鉴于发现 CSRankings.org 并没有按照我的价值观对部门进行排名，所以我不推荐使用它。

* 点击 “阅读原文” 可浏览英文报道

 往期推荐 

丨巧借 “他山之石”，生成信息量大、可读性强且稳定的摘要

丨华为 AI 水军被推特封禁的背后，谁应为 AI 应用的边界负责？

丨果蝇能学会 Word Embedding 吗？丨麻省理工联合团队 ICLR 2021 论文

丨发明现代概率的男人：他如何发现 “不可能” 对人类事务的影响？

丨 Hinton 最新访谈丨他如何看待谷歌胶囊网络专利、神经科学以及下一代 AI？

关于数据实战派

数据实战派希望用真实数据和行业实战案例，帮助读者提升业务能力，共建有趣的大数据社区。