大数据和人工智能时代的社会情景 | 你怎么存活于大数据和人工智能结合的时代？
点击图片上方蓝色字体“慧天地”即可订阅
（更多精彩请留意文末推荐)
大数据和人工智能时代的社会情景
来源：世界科学（ID:World-Science）
编译： 思 羽
● 我们正处在一场技术剧变之中，这场剧变将会改造社会的组织方式。我们必须现在就做出正确的决定。
数字化革命如火如荼。它会怎样改变我们的世界？我们产生的数据量每年都会翻番。用另一种说法：2016年我们产生的数据量和人类直至2015年的整段历史的数据量相同。每一分钟，我们都会制造出几十万次的谷歌搜索和脸谱网帖文。这些数据中包含的信息能揭示我们的思考方式和感受方式。不久后，我们周遭的事物——甚至可能包括我们的衣服——也会和互联网相连。根据预测，10年之后，全球会有1500亿只联网的测量传感器，比地球上的人类总数还要多20倍。接着，每过12小时，数据总量就会翻番。许多公司早已试图将这些大数据转化成大财富。所有一切都将变得智慧化，我们不仅会有智能电话，还会有智能房屋、智能工厂和智能城市。我们是不是应该预期这些发展会促成智能国家和更智能的星球？
人工智能领域确实正在取得激动人心的进展。尤其是人工智能对数据分析自动化的贡献。人工智能如今不是一行行写代码，而是能够学习知识，从而不断发展自身。近期，谷歌公司的DeepMind算法教会自己在49款雅达利公司的游戏中获胜。算法如今几乎像人类一样能辨识出手写语言和模式，甚至比人类更出色地完成某些任务。算法能够描述出照片和视频的内容。如今，有70%的金融交易是由算法完成的；部分新闻内容是自动生成的。所有这些都有激进的经济后果：未来10到20年之内，现今的工作中大约有一半会受到算法的威胁。当今的全球500强公司中，有40%的公司会在10年内消失。
可以预料，超级电脑不久就会在几乎所有领域超越人类能力——大约2020到2060年之间。专家开始敲响警钟。特斯拉汽车公司的埃隆•马斯克、微软的比尔•盖茨和苹果公司共同创立人斯蒂夫•沃兹尼亚克等技术预言家纷纷发出警告，超级智能对于人类来说是个严重的威胁，或许比核武器更加危险。这是不是杞人忧天呢？
有一件事很清楚：我们组织经济和社会的方式会彻底改变。我们正在经历二战结束以来最大规模的变化；在生产自动化和自动驾驶汽车问世之后，社会的自动化就是下一个目标。社会处于十字路口，社会自动化有望带来更多机遇，也可能带来相当多的风险。假如我们做出错误的决定，就可能会威胁到人类历史上最了不起的成就。
20世纪40年代，美国数学家诺伯特•维纳创立了控制论。根据他的说法，系统的行为可以由合适的反馈方式来控制。不久后，一些研究者设想按照这条基本原理来控制经济和社会，但那时还无法获得必要的技术。
目前，新加坡被视为用数据控制社会的完美榜样。最初是想用一个程序来保护新加坡免于恐怖袭击，结果却影响了经济政策、移民政策、房地产市场和学校课程。在西方国家，消费者面临越来越频繁的信用核查，有些网上商店还试验了“个性化定价”。越来越显而易见的是，我们所有人都处在制度性监视之下。2015年，英国情报机关的“因果警察”（Karma Police）程序内幕公之于众，报道表明每个英国人的互联网使用情况都受到了全面的筛查。是不是“老大哥”在如今变成了现实？
程式化的社会和公民
一切在一开始都显得相当无害。搜索引擎与推荐平台开始向我们提供关于产品和服务的个性化建议。这些信息是基于之前的搜索、购买、旅行和社交互动中收集到的个人数据和元数据而得出的。尽管根据官方的说法，用户的身份受到保护，但实际上能相当容易地推断出用户的身份。今时今日，算法相当清楚地知道我们做了什么事，我们在想些什么，我们有什么感受——可能比我们的朋友和家人更加清楚，甚至比我们自己还清楚。所提供的建议往往正好合适，做出的决定感觉就像是自己做出来的一样。实际上，我们以这种方式受到更加成功的远程控制。它们对我们了解得更多，我们选择的自由程度随之降低，愈加可能是被其他人预先决定好的。但这种情况不会停下来。一些软件平台正在向着“诱导计算”进发。在未来，这些软件平台使用精密复杂的操纵技术，将引导我们历经整个行为过程，可能是执行复杂的工作程序，或者是为互联网平台生成免费内容，让那些商业公司从中赚取几十亿金钱。趋势是从为电脑编程转变至为人类编程。
这些技术在政治圈内也正变得越来越流行。在“助推”的标签下，政府正在企图大规模地引导公民转向那些更为健康或更加环境友善的行为，他们采用的方法就是“助推”——一种家长式管治的当代形式。这种新型的“关怀型政府”不仅对我们做什么感兴趣，还想确保我们会做出那些被认为是正确的事情。这儿的魔力术语是“大数据助推”，也就是大数据和助推的结合体。对于许多人而言，这似乎是一种数字化权杖，允许统治者以高效的方式管治大众，而又不必让公民走民主程序。这种做法能不能战胜既得利益，让全世界的发展路径最优化呢？假如能够如此，那么公民将被一位数据授权的“睿智国王”统治，这位“睿智国王”能够制造出民众想要的经济成果和社会成果，几乎就像挥舞“数字魔棒”一般。
但是，只要稍微读一下相关的科学文献，就能看到，那些控制民意的企图尽管想达到“最优化”，却注定要失败，原因在于问题的复杂性。民意的形成是个动态过程，充满意外情况。没人知道如何挥舞那根“数字魔棒”——也就是操纵助推的技术——才能达到最佳效果。什么是正确手段，什么是错误手段，常常要到事后才清楚。比如说，2009年德国猪流感大流行，所有人都被鼓励去接种疫苗。然而，我们现在知道有一定比例接种疫苗的人患上了一种罕见疾病——发作性嗜睡病。幸运的是，不再有人选择去接受疫苗接种！
另一个例子是近期医疗保险提供商试图通过分发小型健身手环，鼓励客户增加锻炼，目标是降低人群中心血管疾病患者的数量，结果却是出现了更多的髋关节置换手术。在社会之类的复杂系统中，一个领域的改进几乎必然会导致另一个领域的恶化。因此，事实表明，大规模干预有时能演变成大范围错误。
尽管如此，罪犯、恐怖分子和极端主义者迟早会尝试去控制那根“数字魔棒”——甚至可能是在我们未曾注意到的情况下。几乎所有公司和机构都被黑客侵入过，甚至连五角大楼、白宫和美国国家安全局也没幸免。
当缺乏充足的透明度和民主控制时，另一个问题就会出现：系统从内部受到腐蚀。搜索算法和建议系统可能受到影响。一些公司可能对某些词汇组合进行出价，攫取更有利的搜索结果。政府大概也能影响搜索结果。在大选时期，他们也许会助推中间选民，诱导选民支持他们——这种对选民的操纵难以察觉到。因而，谁控制了这项技术，谁就能赢得选举——通过“助推”的方法让他们攫取权力。
在许多国家，某个搜索引擎或社交媒体平台拥有占主导地位的市场份额。这使得以上难题愈加严重。该搜索引擎或社交媒体平台可以决定性地影响公众，远程干预这些国家。即使欧洲法院在2015年10月6日做出的判决限制了欧洲数据的过度输出，但潜在的问题在欧洲内部也依然未得到解决，遑论其他地区了。
我们能预料到什么样的让人讨厌的副作用呢？为了让操纵不为人注意，需要所谓的“共鸣效应”——即给出的建议是针对每个个体充分定制化的。这么做的话，局部趋势因重复而逐渐强化，从而导致“过滤气泡”或“回声室效应”：到了最后，或许你所能获得的只是你自身的意见经过反射回到你面前。这会引起社会两极化，结果形成各自不同的社会群体，彼此间不再能相互理解，而且发现彼此间的冲突愈演愈烈。个性化信息能够以这种方式在无意间摧毁社会凝聚力。目前能够在美国政治中观察到这种现象，民主党人与共和党人游离得越来越远，政治妥协变得几乎不可能，结果就是社会的碎片化，甚至可能是社会的瓦解。由于共鸣效应，社会民意的大规模变化只能缓慢和逐步形成。效应的发生有时间延迟，但也无法轻易地撤销。譬如说，针对少数族裔或外来移民的愤恨可能会失去控制；民族主义情绪过度的话，可能引发歧视、极端主义和矛盾冲突。
或许，更为意味深远的事实在于操纵方法改变了我们做决定的方式。它们压制了其他相关文化和社会线索，起码是暂时的压制。归纳来说，操纵方法的大规模应用可能引发严重的社会损害，包括在数位世界中的行为残忍化。谁应该为此承担责任？
法律问题
鉴于过去数年里对烟草公司、银行、IT公司和汽车公司的巨额罚金，其间产生的法律问题不应该被忽略。但是，假如操纵技术违法的话，违反了哪部法律呢？首先，操纵技术显然限制了选择的自由。假如对我们的行为的远程控制完美运转的话，我们本质上会成为数字时代的奴隶，因为我们只会执行那些实际上早已由其他人做好的决定。当然，操纵技术只会在部分程度上有效。尽管如此，我们的自由确实正在缓慢消失——实际上，正因为足够缓慢，才至今未曾受到公众的一丁点抵制。
伟大的启蒙思想家伊曼努尔•康德的见解似乎与这儿的问题密切相关。康德说过，一个企图决定其公民幸福与否的国家是个专制国家。然而，个体自我发展的权利只能由那些掌控自身人生的人来践行，这样也就预先假定了“信息自我决定权”。这大概是我们最为重要的宪法权利。除非这些权利得到尊重，否则民主政治无法良好地运行。假若这些权利遭到限制，那就会削弱宪政、社会与国家。
大数据助推之类的操纵技术的运转方式类似于个性化广告，因此其他法律也受到了影响。广告必须明确标明，不可误导他人，也不允许利用某些心理学花招，譬如知觉阈限下刺激。这正是严禁在一部电影的某个瞬间显示出软性饮料画面的原因，因为那样的广告并非意识可察觉的，但可能仍然具有潜意识效应。此外，当前对个人数据的广泛收集和处理肯定不符合在欧洲国家和世界其他角落实施的数据保护方面的法律条文。
最后，个性化定价的合法性值得质疑，因为它可能滥用内幕信息。其他相关方面包括可能破坏平等原则、无歧视原则和竞争法，因为自由市场准入和价格透明不再有保障。这种情况可以比拟为某些公司在其他国家以低价销售它们的产品，但又要试图避免消费者通过这些国家来购买产品。在过去，这类案例的结果往往是高额罚金。
个性化广告和定价无法与经典广告或折扣优惠券相比，因为后者是非特定的，不会以利用我们的心理弱点和破坏我们的批判性思考为目标而侵犯我们的隐私。此外，让我们不要忘记，在学术圈里，就算是毫无危害的决策实验也被认为是以人为对象的实验，这样就得获得伦理委员会的批准。在每一个案例中，相关人士被要求给予知情同意。相比之下，鼠标一点，就确认我们赞同1份100页厚的“使用条款”协议（如今的许多资讯平台都是这样的做法）显得非常不足。
然而，助推这样的操纵技术正在数百万人身上做着实验，没有告知那些人，没有透明公开，更没有伦理约束。即便是脸谱网这样的大型社交网站或者OkCupid这样的线上约会平台，都已经公开承认做过这类社会实验。假如我们希望避免对人类和社会的不负责任的研究（想想近期的拷问丑闻中心理学家们的卷入程度），那么我们迫切地需要实行高标准，尤其是科研质量标准和类似于希波克拉底誓词的行为准则。
思考、自由和民主有没有遭到侵蚀？
让我们假设有一台超智能的机器，它拥有神一般的知识和超过人类的能力：我们会遵循它的指示吗？看起来有可能。但假如我们这么做了，那么埃隆•马斯克、比尔•盖茨、斯蒂夫•沃兹尼亚克、斯蒂芬•霍金和其他人之前表达过的警告就会成真：计算机会控制这个世界。我们必须清楚地认识到，超级智能也可能犯错、撒谎、追求自我利益或者受到操纵。尤其在于它不能与整个人类的分布式集体智能相提并论。
用一个计算机集群替代所有公民思考的想法是荒谬的，因为那样会大大降低所达成的解决方案的多样性与质量。尽管近期数据大批涌现，对个人化信息的使用也大为增加，但全球的问题并未减少，反而有所增加，这点早已经清清楚楚。世界的和平是脆弱的。气候的长期变化将会导致物种数量自恐龙灭绝以来的最大损失。我们也远远还没有克服金融危机和它对经济的影响。网络犯罪预计将会引起每年3万亿美元的损失。一些国家和恐怖分子们正在准备发动网络战争。
在一个迅速改变的世界里，超级智能永远无法做出完美的决策（见图1）：系统复杂性增加得比数据量更快，数据量又增加得比数据处理能力更快，而数据迁移速度是有限的。最终结果就是忽视局部知识和事实，而局部知识和事实对于得出好的解决方案是至关重要的。分布式、局部控制的方法经常优于集中式方法，尤其是在行为多变、几乎无法预测和不能进行实时最优化的复杂系统中。这个结论对于城市中的交通控制早已经是正确结论，对于高度网络化、全球化的社会和经济系统来说更是如此。
此外还存在一种危险，用强大的算法对决策进行操纵，这样会削弱“集体智能”的基础。而集体智能能够灵活地适应我们复杂世界的各种挑战。要让集体智能发挥作用的话，个人的信息搜寻和决策必须独立进行。假如我们的判断和决策由算法预先决定，这确实会导致对人们的洗脑。智能生物被降格为纯粹的指令接收者，只会自动对刺激做出反应。
换言之：个性化信息在我们周围制造了“过滤气泡”，一种禁锢我们思想的数字化监狱。在这种情形下，怎么可能进行创造性思考，怎么可能“跳出箱子”思考？最终，一个使用超智能信息系统进行社会控制、技术统治的中央集权体制会导致新形式的独裁体制。从而，下行控制的社会（打着“自由家长制”的旗号）与被光明外表掩盖的极权主义政权并无不同。
事实上，大数据助推的目标是让许多人的行动一致化，操纵他们的看法和决定。此举让它置于宣传之境，通过行为控制对公民处以有的放矢的隔离措施。我们预计从长远来看后果是毁灭性的，尤其是考虑到上面提到过的削弱基础的影响。
图1 数字化的增长趋势
更好的数字化社会
尽管有着激烈的全球竞争，民主政体仍然会保持审慎和睿智，不会把数百年以来的成就完全摒弃。与其他政权不同，西方民主国家有一个优点，它们早已经学会与多元文化论和社会的多样性打交道。现在，它们只用再去学习如何进一步利用它们的优势。
未来，那些民主国家会起到领导作用，在企业、政府和公民之间达成健康的平衡。这就要求有网状思维，并建立起一个信息、创新、制造和服务共存的“生态系统”。为了让这个机制良好运转，重要的不仅仅是要创造出参与的机会，而且要支持多样性。因为实际上无法决定最佳的目标职能：我们应该让人均国民生产总值最大化，还是注重可持续发展？是选择权力还是和平？是选择幸福还是预期寿命？常常，哪种选择会更好只有在木已成舟后才知道。多元社会允许个体追求各种不同的目标，能更好地应付各种意外出现的挑战。
图2 数字化的十字路口
中央集权、下行控制是属于过去的解决方案，只适合低复杂性的系统。因此，联邦制和多数决定是当前的解决方案。随着经济和文化进化，社会复杂性会继续上升。所以，面向未来的解决方案是集体智能。这意味着对于获得更多知识、想法和资源来说，公众科学、众包和线上讨论平台是极其重要的新方式。
集体智能要求有高度的多样性。然而，今时今日的个性化信息系统强化了趋势，减少了多样性。
社会的多样性与生物多样性一样重要。它不仅激发集体智能和创新，也刺激出社会的弹性——我们的社会应付突如其来的打击的能力。降低社会多样性常常也就降低了经济体与社会的功能性。这就是极权主义政权往往最终会与邻国发生战争的原因。典型的长期后果是政治不稳定和战争，正如人类历史中反复发生的那样。因此，多元化和大众参与不应该被视为对公民的让步，而是应当看成是促成繁荣兴旺的、复杂的现代社会的功能先决条件。
总的来说，可以说人类目前处在十字路口（见图2）。大数据、人工智能、控制论和行为经济学正在重塑我们的社会——重塑得更好或更坏。假如这些广泛传播的技术与我们社会的核心价值不相容的话，它们迟早会导致大范围的损害。它们可能导向一个具备极权主义特征的自动化社会。在最糟糕的情况下，一个中央集权的人工智能会控制我们的所知、所想和行为。我们处在历史性的重大时刻，必须决定好正确的路径——那条路径将允许人类全体从数字化革命中获益。因此，我们强烈要求遵守下列基本准则：让信息系统的运转进一步去中心化；支持信息的自我决定和参与；改善透明度，实现更高的信任；减少信息扭曲和信息污染；让用户控制的信息过滤器变成可能；支持社会和经济层面的多样性；改善互操作性和合作机会；创造数字助手和协调工具；支持集体智能；通过数位素养和启蒙，推动公民在数字化世界的负责任行为。
遵循这套数字化议程的话，我们所有人都会从数字化革命的成果中获益：无论是经济体，政府，还是公民都一样能获益。我们在等待什么呢？
数字化时代的战略
毫无疑问，大数据和人工智能是重要的创新。它们具备巨大的潜能，能够催化经济价值和社会进步，从个性化的医疗护理直至可持续城市。然而，使用这些技术来让公民失去行为能力是完全无法接受的。大数据助推和公民评分的滥用主要收集个人数据用于行为控制，这样的做法本质上属于极权主义。这不仅与人权原则和民主原则无法相容，也不适合用来管理当代的创新社会。为了解决这个世界的真正难题，在信息和风险管理的领域需要有更好的方法。应该如何为了社会福祉而使用大数据和人工智能，负责任创新研究领域和“人类的数据”倡议对此提供了指引。
我们现在能做什么？首先，即便在数字化革命的时代，公民的基本权利应当受到保护，因为它们是现代机能的民主社会存在的基础性先决条件。这要求创造出全新的、基于信任与合作的社会契约，不会将公民和客户视为障碍或者可以利用的资源，而是视为合作伙伴。为了这个目标，国家得要提供合适的监管框架，确保技术的设计和使用都在与民主相容的方式下进行。这样就要求必须确保信息的自我决定，不仅是理论上，而是要在实际中确保，因为这是我们以自我决定和负责任的方式生活的前提条件。
对于那些有关方面收集到的关于我们的个人数据，我们也应该有权获得一份副本。应该用法律来规定好这些信息必须以标准格式自动发送一份副本到一处个人数据仓库，个人借助这些仓库能够对这些数据的使用进行管理（可能在专门的基于人工智能的数字助手支持下）。为了更好的隐私保护和避免歧视，未经授权使用数据的行为必须受到法律的严惩。个人能决定谁能为了什么目的而使用他们的信息，并且要使用多久。更进一步地，应当采取适当的措施来确保信息的安全存放和流通。
此外，我们需要为公民准备高效的投诉程序以及违反规定时的有效处罚措施。最终，为了创造出充分的透明度和信任，领先的科研机构应当担任数据和算法的保管者，这些数据和算法在目前规避了民主的管理。这也要求建立一套合适的行为准则，最起码任何一位能接触到敏感数据与算法的人都必须遵守这套准则——这就像是为IT界专业人士准备的希波克拉底誓词。
更进一步地，我们会要求建立一套数字化议程，为新类型的工作和数字社会的未来打下基础。每年，我们都投资数十亿美元在农业领域、公共基础设施、学校和高等院校——让工业和服务业获益。
我们需要用哪种公共系统来确保数字化社会能够成功？
第一，需要有全新的教育概念，应当更加聚焦在批判性思考、创造力、发明创新和创业精神上，而不是制造标准化的工人。
教育应当让教育对象明白如何负责任和审慎地使用数字化技术，因为公民必须清楚地知道数字化世界如何与现实世界纠缠在一起。为了有效和负责任地行使他们的权利，公民必须对这些技术有所了解，也应该对那些非法的使用有所涉猎。这便是进一步需要科学、产业、政治和教育机构确保这些知识广泛地传播出去的原因。
第二，需要有一个参与平台让人们更容易成为自雇人士，建立自身的项目，寻找合作伙伴，为产品和服务在全球做营销，管理资源，支付税收和社保缴款。
作为补充，城镇甚至村庄都可以为新兴的数字化社群设立中心（类似开放创新实验室），各种想法可以在那儿被共同开发和免费测试。由于在这些中心可以找到开放和革新的工作方式，应该能推动大规模的合作创新。政府和产业公司致力于开放数据战略，进一步让数据可供科学和公众使用，为高效的、与世界所面临的挑战同步的信息和创新生态系统创造出适合的条件。
第三，构建由公民运营的“数字神经系统”，能够为所有人开启物联网的新机遇，能向所有人提供实时数据测量。
假如我们想以更加可持续性的方式利用资源，减缓气候变化，我们需要度量我们与其他人和环境互动的正面和负面的影响。通过使用合适的反馈环，可以特定方式影响系统，通过自组织的方式让系统实现想要的结果。
为了更好地应付未来世界的复杂性和多样性，将其转化成优势，我们会需要个人数字助手。这些数字助手也会从人工智能领域的发展中获益。可以预期，在未来会有无数网络连接人类和人工智能，这些网络会按照需要而灵活地建造和重新配置。然而，为了让我们保留对我们人生的控制权，这些网络应该以分布式方式来控制。尤其在于用户必须能够依照意愿登录和退出。
你怎么存活于大数据和
人工智能结合的时代？
来源：社论前沿（ID:shelunqianyan）
编者按
这篇文章最初以“Digitale Demokratie statt Datendiktatur”的名字出现在Spektrum der Wissenschaft（科学美国人的姊妹出版物）。作者是Dirk Helbing、Bruno S. Frey、Gerd Gigerenzer等9位著名教授（文后附作者介绍），主要论述了大数据与人工智能对未来社会经济、政治、安全、法律等相关问题的影响，讨论了数字革命和数字时代策略，并对成功实现数字社会给出具体的建议。
发展背景：大数据与人工智能
数字革命正如火如荼地进行着。每年我们产生的数据量都在翻倍，每分钟我们在Google搜索、在Facebook上发帖，不久我们周围的事物都将与互联网相连。据估计，在10年的时间内，将有1500亿个网络测量传感器，比人类总数多20倍，而且，数据量将每隔一段时间翻一番。许多公司已经在努力把“大数据”变成“大商机”。这将如何改变我们的世界？一切都将变得智能，我们将不仅拥有智能手机，还有智能家居，智能工厂和智能城市，甚至于出现智能国家和更智能的地球。
事实上，人工智能取得了惊人的进步，它不再是逐行编程，而是能够自主学习、从而不断发展自己。但这一切都伴随着严重的经济后果：在未来的10到20年间，大约一半的工作将受到算法的威胁。
许多专业人士，包括特斯拉汽车的埃隆·马斯克、微软的比尔·盖茨和苹果公司联合创始人斯蒂夫·沃兹尼亚克，都警告说超级智能对于人类是危险的，甚至比核武器都危险。这是危言耸听吗？
经济与社会的根本性变化
有一点很清楚：我们经济和社会的组织方式会发生根本性变化。我们正在经历二战后最大的变革，生产自动化、驾驶自动化之后，下一步将是社会自动化。社会站在了十字路口，这是一个很大的机会，也有很大的风险，一旦作出错误的决定，就会威胁人类一切已有的成就。
美国数学家诺伯特·维纳发明控制论之后，许多研究者设想过运用此原理控制经济和社会，但当时的技术并不足够。
而今天，新加坡便被视为“数据控制型社会”的完美示范。一个最初是为了保护公民免受恐怖主义威胁的计划逐渐影响了经济、移民政策、房地产市场和学校课程。中国也在走向相似的道路。最近，百度邀请军方加入中国脑计划（China Brain Project），这个计划涉及到在从用户处收集的搜索引擎数据上运行所谓的深度学习算法。除此之外，社会控制也在酝酿之中。据报道，能够影响贷款、求知、签证的“公民评分（Citizen Score）”将会包括人们的网络行为和社交行为。（见Spotlight on China）
西方也走在一条相似的路上，我们都在机构监督（institutional surveillance）的关注之下。2015年，英国“命运警察（Karma Police）”项目被公开，揭露了对每个人的互联网使用情况的全面监视。“老大哥”真的要成为现实了吗？
一切都以相当无害的形式开始。一开始是产品和服务的个性化建议，这些信息来自于每个人过去的搜索、购买、社交互动。理论上，用户的身份是受到保护的，但实际上，用户身份可以被轻而易举地推测出来。算法知道我们怎么做、怎么想、怎么感受，它们提供的建议合适到就像我们自己的决定一样。这实际上让我们更容易地被远程控制，我们被看透地越多，我们的选择就越不可能是自由的、不被他人事先决定的。
但它不会就此停止，许多平台正在向一种“说服计算（persuasive computing）”迈进。未来，通过复杂的操纵技术，这些平台将能够引导我们完成整个行动过程，无论是执行复杂的流程还是为互联网生产免费内容，而他们都可以从中赚取亿万美元。
对政治和安全的巨大影响
（一）大轻推与数据控制
这些技术在政治世界中也越来越受欢迎。政府正在大规模地试图通过“轻推（nudging）”——一种现代形式的家长制，来引导公民作出更健康或更环保的行为。新的照料型的政府不仅对我们所做的事情感兴趣，而且还要确保我们做出它认为是正确的事情。它的关键是“大轻推（big nudging）”，即“轻推”和大数据的结合。这可以有效地管理群众，而不必让公民参与民主程序。但这可以实现公平公正和建设美好世界吗？如果是这样，那么公民将被数据授权（data-empowered）的能够设计出理想的经济和社会成果的“明君”管理。
但没有人知道如何最好地运用“数据的魔力”。比如医疗保险公司尝试通过发放智能健康手环来鼓励增加运动、减少心血管疾病的数量，但这最终可能导致更多的髋关节手术。在社会这样的复杂的体系中，一个领域的改善几乎不可避免地导致另一个领域的恶化。因此，大规模的干预措施有时会被证明是巨大的错误。
无论如何，犯罪分子，恐怖分子和极端主义分子都在试图控制数据，包括五角大楼，白宫的几乎所有的公司和机构都曾被黑客入侵。
（二）内部侵蚀
在缺乏透明度和民主控制时，又出现了一个问题：系统的内部侵蚀。由于搜索算法和推荐系统可以被影响，因此公司可以对词的某些组合进行竞标，以获得更有利的结果，在选举中，政府可能会影响未决选民支持他们。如果有人控制这项技术，他会更轻易赢得选举。
现实情况可能更为严峻，在许多国家，单个搜索引擎或社交媒体平台拥有主导市场份额。这意味着，它可以影响公众并远程干预这些国家。
（三）共鸣效应
我们还能发现什么副作用呢？为了使操纵不被察觉，它需要所谓的共鸣效应（resonance effect）——针对每个人的充分个性化的建议。这样，个人倾向不断被重现，最后，你所能得到的一切都来自你自身。这导致了社会的极化，形成了难以相互理解的分裂团体，美国政治中不断分裂、无法妥协的民主党和共和党就是一例。个性化信息以这种方式破坏社会凝聚力，结果是社会分裂，甚至可能是崩溃。
同时，由于共鸣效应，社会上大规模的意见变化只能是缓慢的，这导致了滞后性、不易消除性。例如对少数族裔或移民失控的不满，以及由此导致的歧视、极端主义和冲突。
法律与合法性问题
更重要的是，操纵改变了我们做出决定的方式，大规模使用操纵手段可能会造成严重的社会破坏，包括在数字世界中的暴力行为。谁应该对此负责？但是这些公司违反了哪条法律呢？
首先，显然操纵技术限制了选择的自由。如果能对我们的行为进行完美地操作，我们就会是数字奴隶，因为我们只会执行别人已经做出的决定。尽管操纵技术只是部分有效，但我们的自由正在缓慢地消失，缓慢到引起不了人们的反抗。康德指出，试图决定其公民的幸福的国家是专制的。然而，自我发展的权利只能由那些掌控着自己生命的人行使，而这是以信息自决为前提的。这是我们最重要的权利，除非尊重这些权利，否则民主就无法正常运作，而如果它们受到限制，就会破坏我们的宪法、社会和国家。
另一项可能被违反的法律是关于广告的，广告必须进行标识而且不能误导，它们也不允许利用某些心理学技巧，如潜意识刺激。此外，目前广泛的收集和处理个人资料的行为当然不符合欧洲国家和其他地方的数据保护法。
最后，个性化定价的合法性是有问题的，因为它可能是对内幕信息的滥用。 其他可能被破坏的方面包括平等原则、不歧视原则以及竞争法——因为无法再保证市场准入的自由和价格透明度。
此外，在学术界，甚至决策实验（decision experiments）也必须由伦理委员会批准。在每一次实验中，有关人员都必须事先知情同意。相比之下，仅单击确认一百页的“使用条款”协议的内容是非常不恰当的做法。
尽管如此，使用轻推之类的操纵技术的实验已在数百万人身上进行，没有通知他们、没有透明度、没有伦理限制。即使是Facebook这样的大型社交网络，或是OkCupid这样的在线约会平台，也已经公开承认进行这些社会实验。如果我们想避免对人类和社会的不负责任的研究，那么我们迫切需要实施高标准，特别是科学质量标准，以及类似于希波克拉底誓言的执行准则。
超级智能与集体智慧
假设有一个超级智能，它具有上帝般的知识和超人的能力，那么我们会遵循它的指示吗？这似乎是可能的，但是如果我们这样做，那么埃隆·马斯克、比尔·盖茨、斯蒂夫·沃兹尼亚克和史蒂芬·霍金等人的警告就会成真：电脑会控制世界。我们必须明白，超级智能也可能犯错、撒谎、追求私益或被操纵。最重要的是，它不能与全体人类的集体智慧相提并论。
用计算机组（computer cluster）取代全体人类的思想是荒谬的，因为这会大大降低解决方案的多样性和质量。显然，尽管近来海量数据和个性化信息风行，但世界的问题不降反增！世界和平是脆弱的，气候、金融、网络环境都是脆弱的。
在快速变化的世界中，超级智能永远无法做出完美的决策（参见图1）：系统复杂性要比数据量增长得快，而数据量的增长速度要比处理能力的速度更快，而且数据传输速度也是有限的。这导致对本地实际和信息的忽视，而它对形成好的解决方案是十分重要的。分布式的本地控制方法往往优于集中式方法，特别是在行为——这种高度可变、难以预测、不能实时优化的复杂系统中。对于高度网络化、全球化的社会和经济体系来说，这一点更是如此。
而且，算法操纵决策还可能会破坏“集体智慧”的基础。集体智慧的发生要求个体的信息搜索和决策独立发生。但如果我们的判断和决定是通过算法预先确定的，这就会导致人们被洗脑，变为简单的接受刺激和响应刺激。
换句话说，个性化信息在我们周围建立了一个“过滤器泡沫（filter bubble）”，这是思维的数字监狱。在这种情况下，我们如何“跳出思维定式（out of the box）”？ 最终，运用超级智能信息系统（super-intelligent information system）的集中体制将导致一种新的独裁统治。由此，以自由主义家长式制度（liberal paternalism）为名的自上而下控制型社会实际不过是一个披着玫瑰色外衣的极权主义政权。
事实上，大轻推的目标是把许多个体的行动一致化、操纵他们的观点和决策。将大轻推应用于宣传阵地，通过行为控制有针对性的使公民丧失某些能力，长期来看，其后果将是致命的。
但建设出更好的数字社会是存在可能的。尽管全球竞争激烈，西方国家的优势在于他们已经学会了处理多元化和多样化的问题。现在他们只需要学习如何更好地利用他们。
未来，这些西方国家将达到商业、政府和公民间的平衡。这就需要互联网思维，建立信息、创新、产品和服务“生态系统”。为了顺利发展，不仅要创造参与机会，还要支持多样化。因为我们没有办法确定优化的目标：我们应该最大化人均GDP还是可持续发展？是权力还是和平？是幸福还是寿命？通过允许追求不同的目标，多元社会可以更好地应付未来的挑战。
集中化的、自上而下的控制仅适用于低复杂度的系统，随着经济和文化的发展，社会复杂性将继续上升，因此未来的解决方案是集体智慧（collective intelligence）。而公民科学（citizen science）、众包和在线讨论平台是提供更多知识、思想和资源的重要的新途径。
集体智慧需要高度的多样性，而现在，这种集体智慧正在被个性化信息系统不断减少。
社会多样性与生物多样性一样重要。它不仅有助于提高集体智慧和创新，还有助于促进恢复力——应对意外冲击的能力。减少社会多样性会影响经济和社会的功能和表现，因此，多元化和广泛参与根本上不应被视为对公民的让步，而应被视为繁荣、复杂、现代社会的功能先决条件。
数字时代的策略
总而言之，可以说我们现在正处于十字路口（参见图2）。
大数据、人工智能、控制论和行为经济学正在塑造我们的社会，不管是向好的方向还是坏的方向。如果这种技术与我们社会的核心价值相悖，那它迟早会造成巨大的损失，可能会导致一个具有极权主义特征的自动化社会 在最坏的情况下，人工智能将控制我们的所知、所想、所做。我们正处于一个历史时刻，必须选择一条正确的路径——这一路径让我们大家都能从数字革命中获益。
所以我们在此强烈倡议所有人坚持以下基本原则：
1.将信息系统的功能去中心化；
2.支持信息自决与参与；
3.提高透明度，以实现更高的信任；
4.减少信息失真和污染；
5.启用用户控制的信息过滤器；
6.支持社会和经济多样性；
7.提高协同工作能力和合作机会；
8.创建数字助手和协调工具；
9.支持集体智慧；
10.提高公众数据素养和进行数据启蒙，以促进数据世界中公民做出更多负责任的行为。
按照这个数字议程，我们都将受益于数字革命的成果：经济，政府和公民。 我们还在等什么？
数字革命到数字社会
大数据和人工智能无疑是重要的创新。他们具有巨大的潜力来刺激经济发展和促进社会进步，然而，使用这些技术来剥夺公民权利是完全不可接受的。将大轻推和公民评分以极权主义的方式进行行为控制，不仅不符合人权和民主原则，也不适合于管理现代创新型社会。要真正解决世界问题，需要更好的信息和风险管理方法。有关负责任的创新（responsible innovation）和“有人文关怀的数据（Data for Humanity）”的研究可以为大数据和人工智能在改善社会方面提供指导。
我们现在可以做什么？首先，即使在这个数字革命的时代，公民的基本权利也应该得到保护。这就要求建立一个基于信任和合作的新的社会契约，使公民和消费者不会成为被剥削者或资源，而是成为合作伙伴。为此，国家必须提供适当的监管框架，确保技术的设计和使用方式与民主相适应。
人们还应该有权利获得从自己这里收集的数据的拷贝。对数据的未经授权的使用必须受到法律的惩罚。那么个人就可以决定使用他们的信息的对象、目的和时长。此外，应采取适当措施确保数据安全存储和交换。
考虑到多重标准的复杂信誉评价体系有助于提高我们决策所依据的信息的质量。如果数据过滤器、推荐平台和搜索算法可以由用户选择和配置，那么我们就可以从多个角度来看待问题，我们就不太容易被扭曲的信息操纵。
此外，我们需要给予公民有效的投诉程序，并对违规行为实行有效的制裁。 最后，为了创造足够的透明度和信任度，领先的科学机构应当作为数据和算法的担保人，这也需要一个适当的行为守则，一种IT专业人士的希波克拉底誓言。
我们还将需要一个数字议程（digital agenda），来为新的就业机会和数字社会的未来奠定基础。
如何确保数字社会成功
那么，我们需要哪些公共系统才能确保数字社会取得成功？首先，需要全新的教育理念。这应该更多地关注批判性思维、创造力、创新性和创业精神，而不是制造标准化的工作者。同时教育也应该使公民了解数字技术的哪些用途是非法的、如何是负责任地使用数字技术。
其次，需要一个参与式的平台，使人们更容易成为个体经营者、建立自己的项目、寻找合作伙伴、在全球范围内销售产品和服务、管理资源、缴税和社保。作为补充，城镇和村庄可以建立新兴数字社区中心，来共同开发和测试创意，以此推动协同创新。
特殊类型的比赛可以为创新提供额外的激励，有助于提高民众知晓度，并为参与式数字社会带来动力。它们可能特别有助于动员民间力量来对帮助解决全球问题。
第三，建立由公民运营的“数字神经系统”，为大家开辟物联网的新机会，为所有人提供实时数据。如果我们想以更可持续的方式利用资源，就需要衡量我们和他人与环境互动的积极影响和消极影响。通过使用适当的反馈回路，系统可以利用自组织（self-organization）实现期望的结果。
为了取得成功，我们需要各种激励和交换制度，供所有经济、政治和社会创新者使用，这可能创造出全新的市场。
为了更好地应对未来世界的复杂性和多样性，并将其变为优势，我们将需要个人数字助手（personal digital assistants）。可以预期，未来将可以根据需要灵活地构建人和人工智能的网络。但这些网络应该以分散的方式进行控制，还必须能够根据需要登录和注销。
跨国公司早就认识到，文化多元化和多学科的团队比同质化团队更成功。然而，在许多地方，仍然缺少有效整合多人知识和想法以创造集体智慧所需的框架。为了改变这一点，提供在线评议平台将非常重要。他们还可以创造实现升级的数据民主，为公民提供参与所需的框架。
由于大数据，我们现在可以进行更好的、基于证据的决策。然而，进行自上而下的控制的想法却不断失败，这是因为社会的复杂性正经历爆炸式的发展。 而分布式控制方法（Distributed control approaches）变得越来越重要。只有通过集体智慧，才有可能找到适合我们世界复杂性的解决方案。
参考文献（略）
来源：战略前沿技术（版权归原作者及刊载媒体所有）
荐读
点击下文标题即可阅读
编辑：陈 晨 | 审核：卞艺潼
指导：万剑华教授(微信号wjh18266613129)