查看原文
其他

排行榜正在改变全世界的教育 | 从USNEWS到真榜

真榜君 爸爸真棒 2021-04-08


时间回到1983年。里根,首任,第三个年头。美国人民心里是很纠结的,但不是因为总统是否靠谱。教育部的一篇报告,把美国人民充值了30多年的自豪感摔到谷底——

这篇题为 《国家危机》的报告,一开头就列举13项危机标志,指明美国正处于一场前所未有的教育危机之中。简而言之,那些含苞待放的和正在开放的花朵们的教育水平达到战后三十多年来的最低。一场教育改革看来是必然的了。

▲《国家危机》(A Nation at Risk)报告。

三十年过去了,美国基础教育的学生水平并没有多大改观。但这根本不妨碍美国巩固并扩大自己在全球教育市场上的统治地位。这一切,得益于三十年教育改革的一个副产品——学校排行榜。手里有榜,全世界都得向美国学习。

“江湖老大”USNEWS:问卷调查和权重算法

做学校榜最早和最有名的,是《美国新闻和世界报道》(简称美国新闻USNEWS)。世界上有大学文凭的人,可以没看过美国新闻杂志,但不可能没听说USNEWS的排行榜。当年,想到这个主意的是Mel Elfin,时任Washington Bureau社长。手里有数据的Elfin跟美国新闻杂志社一拍即合。第一期大学榜就这么出来了。

当时的Elfin,还不知道什么算法。他靠向1300多个高校校长发出调查问卷,搞得像《我是歌手》的选手内投一样。校长们在问卷中在课程、教授、学生和学术综合等四个方面对其他大学打分评价。Elfin再从中算出各大学的平均得分。这期排名,确定了问卷调查模式在榜江湖的正统地位。

▲第一次想到“排榜”这个主意的Mel Elfin,时任Washington Bureau社长

第一期问卷调查号称1300个学校,但实际回复率并不高。杜克、纽大、布朗、霍普金斯和宾大等都没有理会Elfin。

但榜单一出,他们就都明白自己错了。

在榜单出炉的三年之内,所有后来雄霸此榜的前20的大学,都纷纷投向Elfin了。如果谁在1986年还没有决定填写这份调查问卷的话,那他就永远没可能挤进榜单的Top 20了。事实上,那些1986年的时候还坚持忽视Elfin的大学,他们在后来榜单上的最高排名是第29名(这是大名鼎鼎的威廉玛丽学院,它长期徘徊在榜单的31-34名之间)。

时间进入1987年。Elfin刚忙活完第三期大学榜。前两期榜单上,哈斯普耶霸占前四。除了让哈耶并列一回第二之外,没什么变化。斯坦福连续三期为首。Elfin自己后来透露说,榜首不是哈耶普,他会不爽。

Elfin这时候对自己创造的这个排榜方式有点小罪恶感——文科生嘛,明明是主观上想作,但客观上却需要找个理由。于是,他找来了统计学家Robert Morse。由Morse主笔,对问卷所产生的越来越多的数据信息分类整理,再设置权重,最后产生一份综合榜。Elfin给Morse的自由度很大,但是唯一不放的就是榜首必须是“哈耶普。于是,斯坦福再也没有登上过榜首了。

▲统计学家Robert Morse。

一个文科生,一个理科生,一个问卷调查搞定数据,一个权重算法给出理由,这合作没法不愉快。权重算法在榜界的江湖地位也就愉快地敲定了。尽管美国新闻榜单后来经历风风雨雨,但其江湖老大的地位却一直没人能撼动。其他的榜单,都只能从市场细分的角度入手,走差异化的战略。其中几个比较有影响的大学榜有英国泰晤士(Times),商业内参(Business Insider)、经济学人(Economist)和财富杂志。

  • Elfin有了Morse,算法逐渐去专家化;

  • 但Business Insider站出来坚持原始方法,仍以专家意见为唯一排榜依据;

  • 而Times榜单选择在两点上进行差异化:一是国际视野,二是侧重教、研。Times对教学和科研两项分别给出30%超高权重;

  • Economist的选择更加新奇,它寄望用学费、财政资助、和学生毕业后收入这些主要的经济指标,评价一个大学作为一项投入了金钱和四年时间的投资价值。

除了这些,还有很多。众多差异化榜单的存在,给日益离不开榜的人们以更多的选择。

“小清新”Niche:用户评论和分层算法

时间先快进到2002年。榜江湖迎来一个小清新。一个源自卡耐基梅隆商学院的创业课程项目College Prowler,脱离调查问卷,以互联网为基础产生榜单。2004年创始人Luke Skurman把这个项目从学校课堂独立出来,成立了Niche.com。

▲大名鼎鼎的Niche脱胎于一个创业课程项目:College Prowler。

Niche的数据采集是典型的互联网UGC(用户产生内容)模式。浏览Niche网站的互联网用户,给网站留下大量的学校评论。评论中包含学校的学术、专业、体育、生活、文化、地理和经济等等方面的一手信息。

可以说调查问卷所涉及的内容,几乎被UGC的评论都覆盖了。而评论中还有很多校方和专家们不了解的学生直观感受。更加丰富的信息,使得Niche的榜单从数据角度比USNEWS更加客观全面。这是Niche和USNEWS榜的本质不同。

Niche的革命性不限于数据生产的UGC模式,还引入了分层算法。分层尽管不是Niche的创造,但却是Niche最先运用到大学榜的,而且用的是统计分层。

  • 单项评分和综合评分分别进行两层统计归一,这从算法的角度看更具科学性;

  • 靠UGC评论和分层算法,Niche的评分相对美国新闻更具有客观属性。

Niche的排行榜因此很快上位,成为很多互联网用户,尤其是学生和家长选校择校的必要依据之一。

说到分层算法,美国新闻其实最早在它和教育部门合作的高中榜算法中先采用了分层。不同的是,这个高中榜采用分层逻辑筛选,而不是统计归一。前两层筛,考察学校的平均成绩,第三层筛考察学校的毕业率。过筛之后,第四步,只以AP或IB考试的通过率作为排名依据。

Niche的算法更具有客观性,并不能掩盖这种排名先天的主观缺陷。

● 事实上,Niche排名的先天缺点,正是在于它的UGC属性。评论在用户个人来说一定是非常主观片面的,只有大量独立用户评论的存在可以帮助消除这些主观片面性。不过,互联网舆论往往存在羊群效应,和主流不一致的评论就会被压制,导致评论中出现一边倒的现象。在Niche的评论页面考察一下就会发现这种情况很突出,而且不是偶然现象。

● 另外,还有一种更糟糕的主观性,就是网络运营者的主观利益驱动。2008年就又一次被管饭媒体报道的Facebookgate事件。一名Niche员工在未经授权的情况下,在Facebook上建立了大量高校主页,并以此为渠道推广Niche。这件事被Butler University的招生主管发现后,跟踪了一年,最后迫使Facebook关闭了这些网页。(Facebook水军泛滥的例证可不只这一件,最近的一次是2016年美国大选的假新闻)。

制榜和看榜,都要客观、全面

到此为止,我们把榜江湖的故事回忆了个大概。读者马上就会产生这样的问题:

我们应该如何看榜,才是最合适的?

我从分析比较的角度,看一下榜江湖的世界观。

榜单的制作,分为“数据收集”和“评分算法”这两个步骤。

  • 数据上,一端是专家调查问卷的传统媒体模式,另一端是UGC用户评论的互联网模式。可以认为后者信息量更大更全面。当然,也有居于中间的用户调查问卷的模式。

  • 算法上,一端是各项分数依权重合成,另一端是用统计归一得出分数。可以认为统计比权重在算法上更加客观。

这样比较下来,可以用下面一个简单的2 x 2空间来描述我们现在看到的各类榜单:

但是,制榜者天生就带有主观性。1996年,美国新闻由于算法调整,分离出新类指标Financial Resources,引发一轮大学不满。斯坦佛大学校长著文批评说:

我们什么也没做,没有减少什么投入,其他学校也没有变化…结果却看见我们的名次掉了。我只能推断,他们把公式改了”。

这句话点出了制榜的矛盾——唯一榜单不可能满足多数人的愿望。排在高处的人不愿意变化,排在低处的人又不愿意没变化。

人们一直都在批评美国新闻的名气因素令排名相对固定的不合理性。1999年,美国新闻曾因此换掉Morse而换上的统计学家 Graham,从纯科学意义上调整算法,造成加州理工突然冲上榜首(2000版美国新闻大学榜)。这个提高客观性的改革,结果是Graham迅速离职。

▲2000年,从纯科学意义上调整算法后,导致加州理工突然冲上榜首。

榜单天生的主观性,要用更多的客观性因素来弥补。

  • 2007年,美国文理学院组织Annapolis Group发起一场运动,号召校长们不要在理会美国新闻的问卷调查。

  • 2011年,身为藤校的康奈尔大学也研究得出结论,美国新闻榜的排名因素有明显的非理性的噪音含量。

质疑存在,Morse也不得不应时而变,在调查问卷则加入更多的用户成分,诸如高中升学顾问和学生的意见。

另一方面,看榜,更是一个主观的过程。任何用户看榜的目的,只能是自身选择的合理化和利益的最大化。这本质上是个性化的需求。所以,从看榜人的立场出发,完全客观性的榜是毫无意义的。制榜者可以在数据和算法上加入更多客观性,甚至形成最客观的榜单。我们作为榜的使用者,必须明白一个不变的真理:

  • 在选校的时候,我们是要选择一个最适合我们的学校;

  • 而在选完以后,我们要的就是让这个学校的排名最好地支持我们的满足感。

从这看来,我们一定要全面的看任何一个榜单,还要尽量看全所有有意义的榜单。这样做了,我们的选校决策空间就最全面;而决策后,我们的满足感也就最大化。

▲▲▲直接点击上面的图片,见“真榜2.0版的发榜文”

所以,我可以说:

“真榜”要做最全面、最可观的国际学校榜,但不能说“真榜”就是最有用的榜。

我只能保证“真榜”对您选校择校非常有用。

至于有多大用,需要靠您自己来判断。

美国人是怎么择校的?

距离上世纪80年代已经过去了40年,但择校从来没有标准答案。我们不妨看看这40年来一个美国孩子择校时信息量的变化:

▲从1980年到现在,美国人择校时的信息来源比重。

1980年

择校时信息来源只有亲戚朋友及老师顾问,信息量极少。

1990年

美国新闻已经发布了大学排行榜并出版了大学指南,尽管存在局限性,但在信息获取成本极高的90年代依然成为了全美高中的必备资料。

2000年

互联网出现在人们的生活中,人们获取信息的成本开始下降。

2010年

互联网已经成为生活中必不可少的一环,高效的信息检索工具以及互联网社区的兴起令人们能获取的信息量指数增长。

2017年

毫无疑问,互联网社区及信息检索为学生与家长提供了绝大多数信息。

今年被热炒的人工智能引发了很多人对人脑局限性的思考:面对大数据量我们很难凭直觉作出理性决策。爸爸真棒·真榜试图为学生与家长提供一种分析方法,从互联网社区以及学校信息的数据海洋中提取特征,对学校进行比较,真榜小程序,是我们用心做出来的查校、比校、选校的工具,希望能帮助到您,直接点击下面的小程序卡片,马上用起来——

“真榜”发榜后,收到了很多学校和家长的更正信息,对此我们表示最由衷的感谢。


“真榜”的初衷是以“公正”“完整”“真实”的数据结合客观的算法来改变国际化学校信息不透明的现状。我们欢迎质疑,感谢帮助!


在此邀请所有的学校、家长、业内人士一起参与其中,以榜单推动进取,以数据改变教育,以教育改变世界。

后台回复排行看本文引用的英文资料及数据来源,回复“真榜”见真榜的所有技术细节:

如果您对我们的工作还算认可,欢迎直接分享小程序,或者把下面的这张图片与您的朋友共享

欢迎点击下面的文章,见更多“真榜”相关文章:

《魔都高中申本谁最强?42个藤校offer都花落谁家?| 真榜》

《牛津剑桥27个offer花落谁家,世界top30录取魔都哪家最强?| 真榜》

《京城高中申本谁最强?76个藤校offer都花落谁家?| 真榜》

重磅!上海首份国际化学校排行榜来了!帮孩子找到适配教育的GPS系统

    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存