英国超级预测中心“宇宙集市”打败美国IARPA，称可“准确预测”全球关键事件，将情报游戏化推向极致

2021年4月15日，经济学人官网（the economist）发布文章《情报的“游戏化”可为紧迫的全球问题提供答案》（The gamification of intelligence may provide answers to pressing global questions）。
文中介绍了由英国政府创建的情报预测竞赛“宇宙集市”（Cosmic Bazaar）、美国情报机构相关机制，分析其优势与缺点，并提出技术与结构方面的建议。

【关键看点】

1.理论来源：群体智慧，众包模式2运作机制：①英国的宇宙集市（Cosmic Bazaar）41个政府部门+1300名预测者+10000多项预测+200名常规预报员全球重大事件预测；②美国IARPA众包情报模式3.该情报预测模式的优点：明星预测专家已可以“准确预测”关键事件，可确保情报信息平等性，可发现情报分析盲点4.美国情报预测相关警示与解决方案：问题（困于资金和主流接受度问题），解决方案（贝叶斯网络先进统计技术）5.未来发展：①英国计划将该情报工作模式将扩大至整个欧盟，②应用于反恐与疫情预测分析中（拜登发话），③必须结合预测的可解释性构成完整情报 

编译作者：西山的东山月

文章主要编译自外文网站

欢迎批评指正！不吝赐教！

1.理论来源

1.1 理论基础：群体智慧

统计学家弗朗西斯·高尔顿在1907年首次阐明“群体智慧”（wisdom of crowds）这一概念。他观察到，在一次县集市上估算公牛体重的比赛中，近800人的猜测中值与真实数字的误差在1%以内。

1.2 “众包”模式（Crowdsourcing）——绝不仅仅是外包的极致！

众包指的是一个公司或机构把过去由员工执行的工作任务，以自由自愿的形式外包给非特定的（而且通常是大型的）大众志愿者的做法。众包的任务通常是由个人来承担，但如果涉及到需要多人协作完成的任务，也有可能以依靠开源的个体生产的形式出现。在美国《连线》杂志2006年的6月刊上，该杂志的记者Jeff Howe首次推出了众包的概念，不过，从提出时间看美国人提出的众包比2005年在中国诞生的威客晚了一年。

众包这一概念，已经在最近的决策研究中有所加强。宾夕法尼亚大学的菲利普·泰洛克和其他人的实验表明，专家的预测往往是偶然。然而，一些被称为“超级预测者”的人经常做出准确的预测，主要是因为他们已经形成一些有效的判断方式，包含如承诺根据新数据修改预测，并意识到典型的人类偏见等方面因素。去年，时任英国首相鲍里斯·约翰逊顾问的多米尼克·卡明斯(Dominic Cummings)也公开支持并推进了这一观点。

2.运作情景机制与现状

2.1 英国的宇宙集市

在过去的一年里的每天早上，一群英国公务员、外交官、警官和间谍一早醒来，都会登录这个“宇宙集市”这个网站，对全球各领域重大事件进行预测，包括：亚洲某大国是否会对谋岛屿发动武力、北极海冰是否会缩减一定数量、新冠肺炎感染率会下降多少……这仅仅是宇宙集市的一部分，旨在改善其情报分析。 

Cosmic Bazaar网站2020年4月推出，至今已有来自41个政府部门和几个盟国的1300名预测者做出多达10000多项预测。该网站有约200名常规预报员，他们只用开源信息回答网站实时直播的30-40个问题。Cosmic Bazaar代表着情报的“游戏化”模式。用户的排名机制简单粗暴：预测的准确性。 

2.2 美国 IARPA：美国情报机构“众包”情报模式发展现状

美国情报机构是第一个应用这些原则的机构。在过去的十年里，已经实施了十几个预测项目，包括人们可以在结果上下注的预测市场，以及像宇宙集市这样的预测投票。

最著名的赛事是由美国iarpa在2010年至2015年间开展的综合特遣队评估(ace)项目。由泰洛克博士领导的“超级预测者”组成的团队比其他研究团队的预测准确度高了至少三分之一。

3.众包情报模式的优点

3.1明星预测专家，及激励方式

ace和类似的项目启发了英国创建宇宙集市。其目的之一是确定一群持续成功的预测者，进而可以危机中回答困难的问题。

培训英国情报分析师的查理·爱德华兹表示，前20名左右“选手”的预测已经“非常准确”。他们痴迷于Brier评分，Brier评分是衡量一段时间内准确性的标准，与好的判断项目的发现一样，他们热情地分享数据和新闻来源。而该赛事唯一的奖励是虚拟徽章和品牌笔记本。但爱德华兹表示，对于习惯于与秘密情报部门合作的分析师来说，这里的高分——以及证明这一点的商品——是一种“荣誉徽章”。

对于高层决策者来说，这确实是一种“性价比”极高的一种情报影响决策的模式。 

3.2.情报人才多样性，与匿名机制情报信息平等客观性

然而，该赛事与机制的重点不仅仅是挑选明星“情报选手”而也是为鼓励“认知多样性”，确保情报部门从英国人数不多的全职分析师队伍中吸收人才。

宇宙集市还有一个重要的特点，即“匿名性”。这种匿名机制创造了一个平等的背景:一个初级数据科学家可以质疑一个资深大使的预测，以及它们背后的推理，而没有等级的限制和顾虑。该网站鼓励辩论和讨论。用户可以“投票”他人有洞察力的评论，问题由专家研讨会补充。此外，由于该系统是非机密的(与大多数美国政府的系统不同)，官员们可从国内或国外进行登录。

3.3 可抓出情报分析盲点

该方案还旨在找出分析中的盲点。官员们表示，政府对新冠肺炎的关注如此之多，以至于人们往往忽略了发展较慢或距离较远的问题。例如，2021年10月份，宇宙集市向用户提出了一个关于莫桑比克的问题，用户的回答表明，圣战活动的风险比想象的要大(这一点后来被证明是正确的)，这促使其他人更加关注此事。

4. 美国情报预测警示与解决方案

4.1美国情报预测警示

美国的情报预测经验却是个反面的警示。尽管ace吸引了不少关注，但美国情报预测赛事及其市场一直在为金钱和主流接受度而纠结挣扎。直到如今，美国情报机构也没有活跃的预测竞赛，只有五角大楼和其他地方仍有少量活动。

对此，宾夕法尼亚大学研究小组Perry World House最近发表论文《保持分数:地缘政治预测的新方法》指出，这种情报预测平台不仅会选出明星“情报分析师”，更有可能暴露出糟糕的分析师，并抬高现有的等级制度。论文作者写道，“老员工可能会看到一种机制带来的潜在破坏，这种机制比许多传统分析师更有末日将至的感觉，就像工厂工人可能会看到一种新的组装机器人一样。”

然而，这种模式更大的问题是，虽然实现了精确预测，但同时也限制了情报预测的吸引力。因为问题一旦证伪，对错一目了然。失去了心理学上所谓的“透视力/洞察力”的空间（clairvoyance属于超心理学范畴），就算一个先前模糊的预测确实实现了，也缺乏事后的回顾/闭环。

对政策制定者来说，则更容易被更大、更模糊的问题所吸引，比如:“俄罗斯想要什么？”或者“中国会变得更aggressive吗？”泰特洛克博士称之为“严格相关性权衡”。

4.2 解决方案：贝叶斯网络先进统计技术

美国iarpa的预测管理负责人的史蒂文·里伯说，解决这个问题的一种方法是利用一种被称为贝叶斯网络的先进统计技术，该技术使用条件概率。例如，可以要求预测者判断，如果中国变得更aggressive，将在某个特定日期夺取某个岛屿的概率，以及相反事件的概率。从而将一个大而难以捉摸的问题可以分解成几个更小、更容易处理的问题，称为“贝叶斯问题簇”。

由乔治城大学安全与新兴技术中心(cset)运营的项目Foretell也使用了culture平台，它采用这种方法来预测中美之间的技术竞争过程。然而，目前尚不清楚这种方法是否会成功。

5.未来发展趋势

5.1 英国计划将该情报工作模式将扩大至整个欧盟

目前，宇宙集市是欧洲最大的预测锦标赛。但是其他人开始感兴趣了。英国希望吸引欧洲盟友参与竞争。为《宇宙集市》编写软件的公司Cultivate Labs的联合创始人亚当·西格尔(Adam Siegel)说，捷克正在使用该公司的平台进行涉及几个政府机构的公共锦标赛，另一个欧洲政府已经运行了一个分类版本。咨询公司锡伯林克的雷吉娜·约瑟夫曾为荷兰政府和欧洲安全与合作组织举办比赛。

5.2 应用于反恐与疫情预测分析中（拜登）

目前，英国“宇宙集市”的见解正慢慢渗透到从事新冠肺炎和反恐工作的政策团队中。在拜登就职一天后宣布建立一个国家疫情预测和疫情分析中心。今年3月，政府聘请了iarpa前首席执行官、cset创始人杰森·马西尼(Jason Matheny)担任技术和国家安全顾问。

5.3 结合预测的可解释性才完整

然而，预测的长期可行性不仅取决于准确性，还取决于可解释性。伯博士表示“了解到两个国家在未来一年爆发战争的可能性有70%，仅靠想象的30%是不够的”，此外还需要理解是什么导致了这种更高的概率判断。

一份评估报告加上对中国领导人丰富多彩的心理描述，才更有可能引起总理或总统的共鸣，而不全都是数字。西格尔表示:“你必须与这些决策者建立信任关系，需要把一个故事和数字放在一起。”

唯有江上清风与山间明月

取之无尽，用之不竭

吾与子之所共适

文章主要编译自外文网站

请您批评指正！不吝赐教！