疯传Taylor Swift的“深伪”不雅照,我们如何应对大型科技公司的算法霸权?| 热点话题
编者按
本周,数百万人在社交媒体上看到了AI生成的美国流行歌星霉霉(Taylor Swift,泰勒·斯威夫特)不雅照,这一事件凸显出AI技术需要得到监管的必要性。国际社会普遍认为,大型科技公司应当在防止错误信息和未经同意的真实任务私密图像传播上发挥更重要的作用。
实际上,关于对大规模个人数据库和算法治理的讨论近年来已成为学界的热议话题,诸多研究指出与大规模监视、信息污染、行为跟风、偏见和歧视有关的算法危害。为此,我们编译本篇文献综述,从国际关系研究的视角下出发,理解算法治理与国家—公司之间的张力,从而加强算法治理的跨学科研究,并推动对大型科技国际政治的理解
疯传Taylor Swift的“深伪”不雅照,我们如何应对大型科技公司的算法霸权?
(原标题:算法治理与大型科技公司的国际政治,Algorithmic Governance and the International Politics of Big Tech)
作者:
Swati Srivastava,Purdue University
译者:
焦磊,山东大学
引文格式(MLA):
Srivastava, Swati. “Algorithmic Governance and the International Politics of Big Tech.” Perspectives on Politics, vol. 21, no. 3, 2021, pp. 989–1000.
内容提要
像Facebook、谷歌和亚马逊这样的科技巨头通过分类算法积累全球影响力。这些算法在大量数据库上使用无监督和半监督的机器学习来检测对象(如人脸)和处理文本(如语音),以模型预测为商业和政治目的。算法治理(或“算法治理”)受到了大量跨学科学者的严格审查,这些学者指出与大规模监视、信息污染、行为跟风、偏见和歧视有关的算法危害。大型科技公司的算法治理以两种方式涉及核心国际关系研究:(1)它创建了新的私人机构,因为企业控制着关键的知识、联系和欲望瓶颈;(2)它调解了国家与公司关系的范围,因为国家变得依赖大型科技公司,大型科技公司规避了国家的过度干预,国家则限制了大型科技公司。因此,国际关系学者应该更多地参与关于算法治理的全球研究。
(美国流行歌星Taylor Swift)
大规模数据库的建立
算法是计算规则,它使得飞行员能够驾驶飞机、流行病学家能够监控疾病爆发以及网络过滤器能够拦截垃圾邮件。本文关注的分类算法利用大规模数据库上的无监督和半监督机器学习来检测诸如人脸等对象,并处理诸如语音等文本以建立预测模型。这些预测结果为商业目的(如内容可见性和广告)以及政治利益(如驱逐出境和反恐)实现了决策自动化。“算法治理”中对自动化决策的依赖使算法“成为社会秩序的来源和因素”。现已涌现出大量跨学科文献来研究算法治理对社会控制的影响(Amoore 2020; Andrejevic 2020; Benjamin 2019; Bucher 2018; Citron and Pasquale 2014; Crawford 2021; Crawford and Schultz 2019; Danaher et al. 2017; Noble 2018; Pasquale 2015; Yeung 2018; Zuboff 2019)。国际关系学界已将人工智能、互联网治理、隐私法规和技术平台确定为重要研究领域。本文主张,国际关系学应该更加关注算法治理问题。
特别是,国际关系研究人员应与其他领域的学者一道分析全球最富有的公司——谷歌、亚马逊、Facebook 和苹果(“大型科技公司”)在算法治理中的角色,正如比较政治学者(Culpepper & Thelen 2020)、美国研究学者(Guess, Nyhan & Reifler 2020)以及政治理论家(Forestal 2020)所做的那样,包括在本期刊上(Collier, Dubal & Carter 2018;Thelen 2018)的研究。虽然国家也在部署算法治理,但算法却独特地赋予了大型科技公司的全球规模和影响力。
例如,谷歌每天使用35亿次搜索查询来模拟用户点击内容的可能性,然后将这种“点击率”出售给广告商。采用算法定价后,谷歌的利润增长了3590%,这使其得以收购全球最大视频平台YouTube,并使Android系统占据了智能手机市场72%的份额(其余由苹果占据)。在Facebook这个全球最大的社交网络和媒体发布平台上,每秒为28亿用户提供超过六百万次预测。在美国报告从社交媒体获取新闻的68%的人群中,他们的主要信息源是Facebook(占比43%),其次是YouTube(占比21%)。若算上Facebook旗下的Instagram和WhatsApp,Facebook构成了53%的社会新闻传播途径。作为最大的云存储和网络托管平台,亚马逊网络服务(AWS)补贴了被64%美国家庭使用的Prime会员服务。因此,算法体现了大型科技公司的中心化,将其转变为“高度组织化的资本,背后支持着庞大的提取和物流体系”。它们通过对关键瓶颈的控制,使大型科技公司成为知识、连接和欲望的仲裁者。
国际关系研究中的算法治理问题
算法治理至少在两个方面与国际关系研究的核心问题密切相关。首先,算法创造出新的私人治理者,这些参与者进行着以往主权国家专享的权威决策。大型科技公司的算法为日常生活和重大行动生成决策环境。例如,谷歌算法提供本地理发店搜索结果和邮寄投票指南,它们自动播放推荐的关于烹饪和QAnon的YouTube视频。Facebook算法根据“社区准则”对新闻源内容可见性进行排序,不仅涉及猫的表情包,也包括COVID-19疫苗信息;它们引导用户加入分享针织图案的群组,同时也可能推动组织暴力暴民攻击美国国会大厦。YouTube和Facebook的算法根据不断扩展的社区准则与人类共同实时地进行内容审核。即使Facebook创始人马克·扎克伯格也承认:“在很多方面,Facebook更像一个政府而非传统的公司。我们拥有庞大的社区,与其他科技公司相比,我们在制定政策方面走得更远”。然而,用户并未选举扎克伯格来执政,他们在大型科技公司的私有治理体系中也没有任何代表。
其次,算法治理扩大了国家与企业之间的关系,特别是在人权领域尤为显著。国家利用企业算法:谷歌协助无人机打击,Facebook嵌入政治竞选活动,亚马逊与执法部门合作。近期涉及Facebook的丑闻包括为罗兴亚种族清洗事件中的极端分子提供了扩音器,在2016年美国总统选举中推广来自俄罗斯特工的假信息,并允许未经授权将8700万用户的私人数据与特朗普团队使用的选民画像公司Cambridge Analytica共享。但大型科技公司也与国家对抗。当特朗普还是总统时,因其发布煽动国会大厦袭击的帖子,Facebook无限期暂停了他的账号,通过此举承担起了“多年来许多政客、检察官和权力掮客试图而未能做到的责任”。(后来Facebook明确该暂停期限为两年)亚马逊切断了右翼支持特朗普的社交网络Parler的服务,苹果和谷歌也采取了同样措施。大型科技公司还抵制政府要求强制解密的要求,如苹果拒绝解锁圣贝纳迪诺枪击案嫌犯的iPhone。作为回应,国家称大型科技公司为“数字黑帮”,并以反垄断、隐私和言论法律等手段进行反击。甚至德国总理默克尔也认为特朗普被Facebook暂停账号是“存在问题的”。随着国家日益依赖大型科技公司,大型科技公司规避国家过度干预,而国家则限制大型科技公司,算法在这种动态较量的范围中起到了调解作用。
在这篇设定议程的文章中,我强烈建议国际关系学者从算法治理的研究中学习,并通过将大型科技公司及其算法纳入研究对象来贡献研究成果。通过大规模监控和信息操控,算法治理可能导致公众对技术的信任度下降以及公民的误导。随着学术界参与到算法问题定义阶段,国际关系研究对于私人权威和国家-企业关系的分析非常适合应对大型科技公司及其带来的“世界秩序挑战”。本文接下来的部分将介绍算法治理的概念,讨论国际关系介入分析大型科技公司私有权和国家—企业关系的机会,并最后总结未来研究方向。
算法的比较优势
全球关系日益受到专有且不透明的算法支撑,这些算法组织着世界的信息和联系。特别是分类算法,通过自动化特征分析和预测,“生成知识系统以执行或辅助决策”。与信贷、恐怖主义或犯罪相关的风险评估算法“通过将人们归类为具有风险性、关联他们与不良特质或相关性,或者将他们置于其他具有风险或不良特征的人相同的类别中,构建人们的身份和声誉”。算法利用越来越精细的行为数据,其中不仅包含“你在网上的发布内容,还包括你是否使用感叹号或照片的饱和度;不仅记录你的行踪,还观察你肩膀的倾斜度;不仅识别你的面部特征,还解读由‘微表情’传达的情绪状态;不仅关注你喜欢什么,还分析你在各种互动中的点赞模式”。
因此,将个体用户标记为潜在的垃圾邮件制造者或极端分子可能依赖于“频繁拒绝好友请求、性别不平衡的社交网络或使用特定词汇”。由此看来,算法可与诸如制图学等先前技术相提并论,它们都使我们变得更易被理解和治理。
然而,算法与以往技术也有不同之处。首先,“使得算法治理得以实现的技术在速度、规模和普遍性方面更为宏大”。计算机处理器更快更便宜,这一点通过比较现代智能手机与几十年前的大型机就显而易见。此外,数据具有非消耗性和非排他性,意味着数据可以多次分享而不“损失质量和效用”,这与石油或其他资源不同。其次,算法已经从“自上而下”的设计模式转变,即“程序员或团队程序员详尽地定义算法的规则集”,转向“自下而上”的机器学习设计模式,“在这种模式中,算法被赋予一个学习规则,并在大量数据集上进行训练以自主开发规则”。机器学习算法具备“识别人类认知无法察觉的模式和相关性的能力”。例如,亚马逊Echo(Alexa)用于语音识别的神经网络或谷歌自动翻译所使用的算法能够在数据中发现人类无法分辨的规律。
分类算法因此“降低了判断的成本,从而增加了判断的数量、速度和传播范围,对更多人的生活和声誉产生更快、更廉价且更广泛的影响”。结果是,“权威日益以算法形式表现出来”。政府利用算法表面上来分配福利、打击税收欺诈、保障边境安全、社区治安以及防止恐怖主义。但算法本身作为规则形式正逐渐成为权威,“成为大规模复杂系统内主观决策必要性的解毒剂”。依靠算法的统治旨在“预先干预代理性、自发性和风险:在事情发生之前预览可能的未来,以便排除不可接受的选项并选择理想的选项”。预测分析在当代事务如招聘员工和寻找恋爱对象等方面得到普通人信赖。
作为权威的算法所带来的潜在风险
因此,算法治理既反映了权威机构使用算法,也体现了算法自身作为权威。研究者们已发现算法治理带来的隐私问题。由于机器学习基于输入优化,算法治理依赖于持续监控以提取更多样化的行为数据:“如果一切皆可知,那么所有机会都能被充分利用——没有任何遗漏”。谷歌不仅搜索查询,还阅读Gmail邮件、通过街景车破解Wi-Fi路由器,并获取第三方Android应用的访问权限。研究显示,“一部闲置的安卓手机在24小时内向谷歌发送了900个数据点,包括位置数据”;61%的安卓应用“在用户打开应用程序的瞬间就会自动将数据传输给Facebook”。亚马逊Echo设备会在唤醒词“Alexa”被使用前监听音频记录,苹果的Siri、谷歌的Google Home和Facebook的Portal也是如此。谷歌现在拥有Fitbit,从而“获得了全球最大的活动、运动和睡眠数据数据库之一”。Facebook的面部识别软件DeepFace是世界上最大的面部数据集之一,其首席隐私官承认,“我能说我们永远不会将面部识别技术用于除照片标记建议之外的任何其他目的吗?绝对不能”。据报道,Facebook甚至可以“通过手机麦克风监听环境噪音”。监视不仅限于用户。Facebook的点赞和分享按钮在超过1000万个网站(包括千大热门网站中的三分之二)放置跟踪cookie,从而将监视扩展到非用户。亚马逊推出了Sidewalk,一个连接设备的mesh Wi-Fi网络,包括Ring视频门铃:“如果你所在的街区上有足够多的Ring门铃摄像头,那么无论你是否购买了该产品,你都在被监控之中,未来或许你的设备还会与其相互通讯”。大型科技公司的监视诉求导致了一种“关于我们自身的了解与他人对我们了解之间的鸿沟迅速扩大”。构建人工智能所需的巨大“资本”表明,算法治理“旨在服务于现有的主导利益”。
算法治理还可能加剧基于受保护类别(如种族或性别)的偏见和歧视。Ruha Benjamin(2019)指出了一种“新吉姆·克劳编码”,在这种情况下,开发者“将判断嵌入技术系统中,但宣称其设计产生的种族主义结果完全与编码过程无关”。研究发现,谷歌对于黑人女性和女孩显示的负面图像结果(包括色情图片)比白人女性更多,并且向男性展示高薪工作广告的比例高于女性。亚马逊的招聘算法根据过去十年男性简历对申请人进行打分,并且降低了包含女子学院或“女子国际象棋俱乐部”等词语的申请表的评分。据说Facebook的内容审核算法“保护白人男性免受仇恨言论的侵害,却未能保护黑人儿童”。YouTube的算法存在有问题的自动补全结果或种族主义图像标签系统。除了基于受保护类别的歧视性影响外,算法治理还可能导致非受保护群体之间的差异化,“以不成比例的方式影响具有某些特征(如较低社会经济地位)的社区”。美国联邦贸易委员会承认,算法治理“可能会损害贫困人口的经济稳定性和公民权利,例如当他们成为掠夺性金融产品的目标,在网上被收取更多的商品和服务费用,或者以限制其就业和教育机会的方式进行个人画像”。将人们视为“有风险或不受欢迎的群体”,从而“强加不合理的负担和困苦,并强化现存的不平等现象”,这是一种“算法骚扰”。然而,监管往往忽视了这些潜在的危害。例如,美国住房和城市发展部在2020年通过了一项规则,该规则将“在被告使用行业标准算法模型做出住房决策时,为显而易见的住房歧视案件提供全面抗辩理由”。这项规则使得在使用算法治理时可以避免歧视责任。
总之,用于分类社会属性的机器学习算法被用于自动化私有和公共目的的治理决策,这涉及到隐私、偏见和歧视等问题。随着科技公司在全球范围内占据主导地位,重要的是要在更广泛的背景下探讨算法治理的可能性和陷阱,以捕捉大型科技公司的政治意义;随着大型科技公司在治理中扮演更大的政治角色以及作为国家合作伙伴和对话者,算法伤害的影响被放大。本文余下部分将论证,国际关系学在分析算法治理的政治意义方面具有独特的优势,特别是在关于私人权威和国家—企业关系的研究领域。
创业型私人权威与大型科技公司
私人权威在国际政治研究中受到了相当多的关注。国际关系将私人权威定义为非国家规则制定,广泛包括议程设置、规范生成、能力建设和规则发展,或更狭义地意味着“制定规则或设定标准,以供世界政治中的其他方采用”。如下一节所述,私人权威通常由国家授权。然而,当私人权威不被授权时,它可以通过一个“创业”过程来建立,在这个过程中,“私人行为者必须设计出潜在的治理方式,然后向可能构成被治理者的人推销他们的想法”。例子包括像国际标准化组织(ISO)这样的私人监管机构和国际非政府组织(INGOs),如大赦国际。ISO创建全球标准,并推动企业和政府采用这些标准。大赦国际倡导在国家和全球议程上承认和实施人权。国际标准化组织和大赦国际并没有获得国家授予的规则制定权;相反,他们的治理能力是自我生成的,是对全球性问题的回应。创业权威的一个关键方面是,私人行为者必须使自己被治理者合法化。本节阐述了大型科技公司算法治理的显著特点,表明其具有创业型私人权威,并提出了合法化的挑战。像PayPal、eBay和GoDaddy这样的公司长期以来一直在使用“阻塞点来阻止不良行为和针对不适当内容”来监管互联网。大型科技公司的算法通过扩大治理的规模和范围增加了新的动态,使监管变得复杂。
从广义上讲,大型科技公司通过将数十亿用户引入人为策划的环境中来实施治理。通过“控制一个人的直接环境中的关键元素……(使)人类局势的远程协调成为可能,排除了行动选择,从而使行为沿着更高概率的路径发展”。Facebook的新闻推送通过基于“创作者、受欢迎程度、帖子类型和日期以及其自己的广告算法”的帖子来引导用户。一项追踪已存档的Facebook个人资料的研究发现,“人们在Facebook上看到政治内容不仅是因为他们对政治的实际兴趣,还因为他们的行为和他们朋友的行为导致算法解读了他们的兴趣,以及随后的分类,认为他们有政治兴趣”。这意味着“那些‘落后的人’不一定能够通过在Facebook上与政治内容的新的接触重新评估和纠正他们先前表达的对政治缺乏兴趣”。聚众可以武器化。Facebook证实,与克里姆林宫有联系的神秘公司互联网研究机构在2016年大选期间创建了470个页面和资料以及3000个支持特朗普的广告。新闻推送算法将这些页面、资料和广告推向了超过1.26亿美国人,其中6.2万人承诺参加“129场集会和活动,旨在支持特朗普、反对克林顿并在美国各地的清真寺抗议”。谷歌和Facebook“可以通过改变搜索结果和新闻推送的顺序来对选举中的选民行为产生重大影响,影响高达20%的未决选民”。
大型科技公司的内容审核规则
大型科技公司在内容审核方面的规则制定也十分明显。Facebook 花了18个月才做出“其首位负责内容审核的永久雇员”的决定。最终,一份简短的“社区标准”文件出现:“‘比如希特勒?我们反对他’。‘裤子,你需要穿好’”。自此之后,这些标准的篇幅已经膨胀至超过一万字。对于 Gillespie而言,“平台的设计和治理不仅使社会活动成为可能,它还呼唤活动的发生,赋予其形态,并确认其作为公共贡献的基本合法性”。除了监控露骨图像和暴力内容外,Facebook 迫不得已还需应对针对女性和少数族裔的网络骚扰问题,这些人认为“由于滥用现象变得如此不堪忍受,平台有义务进行干预”。YouTube 的内容审核也遵循了类似的路径,从早期的标准体系演变为一套复杂的规则体系,这是由于(1)用户数量和内容量的快速增加;(2)在线社区全球化和多样性的发展;以及(3)对具有多元背景的人工审核团队越来越多的依赖。自此之后,Facebook 和 YouTube 已经“创建了私人官僚机构来管理它们的终端用户社区”。
然而,批评者认为大型科技公司的算法治理机制会刺激“信息污染”,因为内容提供者为适应算法而进行优化。2014年,Facebook推出了“热门话题”功能,利用算法在新闻动态中推广病毒式传播的故事。起初,Facebook与一组记者合作监督热门话题。但在2016年春季,在保守派人士指责Facebook压制右翼内容的压力下,Facebook解雇了人工审核员,并将热门话题完全交由算法处理。到了2016年8月,“热门话题”在未考虑其可靠性的情况下提高了内容的可见度。在2016年大选前三天,BuzzFeed报道称,140个亲特朗普的假新闻网站(全部注册于马其顿)在Facebook上成为热门话题,并且产生的用户互动量“超过了主流媒体来源”。选举结束后,“假新闻”问题进入主流话语讨论(并且被特朗普用来针对批判性媒体)。
但除了提供虚假信息外,算法还会通过其他方式污染信息流。一方面,它们通过促进信息快速传播(无论真假)导致“信息过载”。瞬间,故事就可以被分享出去,无论是否有人真正阅读过这些内容。此外,为了吸引点击量,“老牌新闻机构必须在制作内容时考虑到算法和以数据为中心的中介”。标题党现象和浅尝辄止的阅读习惯并不能培养出积极参与民主公共事务、应对复杂结构性问题的公众。
全球治理视角下如何识别算法治理的危害
国际关系研究可以更准确地识别出大型科技公司算法治理所造成的政治危害,这远不止于羊群效应和信息污染。接受大型科技公司作为私人权威的地位意味着其合法性必须得到被统治者的认可。国际关系文献将合法性定义为“行动者关于规则或制度应该被遵守的规范性信念”。在全球治理领域,“只要存在同意和社会认可,即使是一个私人行动者也可以被赋予权威的权利、合法性和责任”。非国家行为体的合法性的来源多种多样,例如:“(1)参与者所具备的感知专业知识;(2)使得此类权威行使变得可接受和恰当的历史实践;(3)或者是国家明示或默示授予的权力”。由于合法性是“通过表现获得而非赋予,因此必须不断证明和捍卫”。这些证明构成了合法化过程的一部分,需要“行动者对一个外部标准的内化”。鉴于观察内化过程较为困难,学者们通过“占据更高、同等或更低地位各方的隐含或明确支持”来操作化合法统治的社会认可。例如,要使领先的非政府组织(INGO)的权威合法化,就必须获得来自国家、企业及同行的尊重。
大型科技公司正在承担更大的创业型私人权威角色,但其合法化程度尚未达到国际关系标准。特别是,大型科技公司在“作为权威”和“行使权威”方面表现出与其专业能力不相符的情况。私人行为者因其专业知识而被视为权威,例如科学家或非政府组织(INGO)。然而,大型科技公司对私人权威的主张超出了它们的专业范围。Facebook并非言论监管方面的专家,更不用说在它运营的所有国家中都是如此,扎克伯格也承认这一点:“我们的核心工作是构建帮助人们连接和沟通的产品。这实际上与治理社区的工作大相径庭”。私人行为者也可以通过国家授权或者更为脆弱的企业同意而在某种程度上获得权威地位。但是,并没有人要求大型科技公司进行治理,而且在缺乏同意的情况下,其治理职能也不容易被撤销。面对新的公共责任时,这些公司自身也意识到了寻求合法化的紧迫性。在Cambridge Analytica丑闻后,扎克伯格(2018)向国会承认,“我们没有充分认识到自己的责任,这是一个重大错误“。国际关系研究可以在明确大型科技公司应承担的更广泛责任方面发挥重要作用。
大型科技公司在国际企业责任框架内并不适配得当。2011年联合国关于企业和人权指导原则明确提出,企业有义务进行人权尽职调查并采取相关补救措施。然而,尽职调查和补救措施的具体程度仍不够明确。此外,指导原则认为虽然企业可能被视为“社会器官”,但它们是专门的经济器官,而非民主公共利益机构。因此,企业的责任不能且不应简单地复制国家的责任(A/HRC/8/5, 第3节第53段)。在国内背景下,法律学者挑战了国家/非国家的区别,提出将算法问责制建立在“公用事业监管”模式上,视大型科技公司为提供基础商品和服务的关键公共基础设施,社会其他部分都依赖于此;这些学者强调需要对大型科技公司施加特殊义务,以确保访问权和非歧视性。另一种“国家行为”方法提议,与国家签订合同的公司可能因宪法侵权行为而承担责任,就像监狱中的私人医生一样。同样,国际上对企业责任的认识也需要与时俱进,以应对大型科技公司全球规模和广度上的权威问题。
一些人主张大型科技公司应采取更为主动的自我监管措施。作为“公共物品”的提供者,大型科技公司必须“精心塑造一个主要关注响应用户社区需求的形象,就像政治家对待其选民那样”。因此,大型科技公司应当“创建和应用规范,并解决其终端用户之间的纠纷”。如果政治言论被视为“任何民主制度健康运行所必需的公共资源”,那么“社交媒体平台对用户以及用户彼此之间有义务进行竞争而非对抗性的对话实践”。作为选民用户的用户可以期待他们的科技巨头做到以下几点:“(1)透明度、通知和公平程序方面的义务;(2)为决策或政策变更提供合理的解释;(3)允许终端用户投诉机构的行为并要求改革;(4)使终端用户能够以最有限的方式参与机构治理”。
其中一个大型科技公司主动发起的监管示例是Facebook的内容监督委员会,该委员会于2020年10月开始运作。这个由40人组成的委员会的使命是制定私人判例法,特别是在仇恨言论方面,这些判例最终会被“真正的法院引用”。委员会成员包括前丹麦首相、人权律师、记者以及诺贝尔奖得主。在设立该委员会的过程中,Facebook领导层意识到了公众合法性的关键性:“归根结底,你可以构建所有的东西,但你必须要有足够多的人相信它才能使其变得真实”。该委员会的全球覆盖范围看似广泛,支持18种语言,是联合国所支持语言数量(6种)的三倍。然而,其对抗算法危害的任务范围较为狭窄。在最初的七个月里,用户只能针对内容被删除的情况提起申诉,而不能针对未被删除的内容提出质疑——这使得打击虚假信息变得困难。用户仍然无法挑战与广告或算法有关的问题。此外,委员会仅审查每日从自动和人工审核中产生的20万份符合申诉条件的帖子中的一小部分,迄今为止已发布18项决定。其中最高调的案件涉及特朗普账号暂停事件。在特朗普卸任后,Facebook将此案提交给监督委员会(根据章程规定,特朗普本人不能就账户暂停提出申诉)。2021年5月,委员会维持了对特朗普账号的暂停决定,同时批评Facebook没有明确暂停期限:“Facebook不能随心所欲地制定规则,任何关心其权力的人都应该对此感到担忧。对所有用户和Facebook都有清晰明确的规定对于确保公司公平对待用户至关重要”。
算法治理合法化过程的复杂性
即使私人管理者提供了清晰的规则和正当程序,算法治理仍通过以下三个方面使合法化过程变得复杂。首先,算法的不透明性使得人们难以准确了解何时受到算法的影响以及识别具体的危害。福利申请人“对人工智能系统如何及为何减少其福利知之甚少,更别提追究主要负责造成伤害的私营技术供应商的责任”。与算法签订合同的政府机构同样对“人工智能软件代码是如何编写的、错误在哪里发生、使用了什么数据进行训练和测试或需要采取何种手段减轻问题”一无所知。被监视和操控的人群“几乎无法窥探并理解这些算法黑箱”。当用户不知道自己正在接受治理时,他们所表现出来的顺从并非基于适当的内化,而内化正是合法化的关键。
其次,算法对其设计者来说也可能具有不透明性,这进一步复杂化了倡导企业主动监管的人士所推荐的人权尽职调查评估。无监督机器学习算法“不能向程序员确切解释它们为什么会产生特定输出”。在人工智能系统中,存在区分:完全由人类控制的“人在循环”,可能有可人工干预的“人在环上”,以及没有人类监督的“人不在环上”。随着更多地依赖算法,这些区分趋于模糊,导致“系统变得更为复杂,超越了人类理性所能理解的上限”。在众多社会领域,“算法系统在广泛任务上的表现可能会‘超过’人类”。因此,算法以两种方式表现为“黑箱”:一种是“记录设备,类似飞机、火车和汽车中的数据监控系统”,另一种则是“内部运作神秘的系统;我们可以观察到它的输入和输出,但无法知晓两者之间如何相互转换”。
第三,将算法视为黑箱并进而声称只有大型科技公司能够自我问责是一种滑坡效应。2014年,当欧洲法院要求谷歌西班牙删除令人尴尬的搜索结果时,新的“被遗忘权”应运而生。然而,法院同时也承认只有谷歌有能力执行这一权利。随后,谷歌在公共讨论中操纵了对这一权利的解读,包括将自己宣传为“真相引擎”。因此,尽管倡导透明度很重要,但算法提出了一项更大的挑战:“对外部人员来说过于复杂的交易很可能也太过复杂而不应允许其存在”。
在面对无明显抗衡力量的垄断性技术专业知识时,我们能否合理地将大型科技公司的治理作为私人权威合法化?或者,大型科技公司的治理是否类似于强迫,被视为“代理人间不对称的物理力量,这种不对称被用来改变较弱一方的行为”?大型科技公司算法治理的自我授权性质难以用现有的观念来合法化,这为国际关系研究中关注私人权威问题的学者提供了介入的机会,他们可以通过理论化新型的企业国际责任、评估大型科技公司的意识形态和合法化主张、调查构成大型科技公司创业权威的顺从性,并开发工具以评估企业发起的监管,通过引导用户将自身身份定位为选民而非消费者,从而评估企业发起的监管。
算法治理与国家—企业关系
算法治理也为国际关系研究提供了探索全球化企业基础设施对国家权力影响的新机遇。国际关系学者们不再坚持早期的全球化、分散化、自我治理、“无国界”的数字领域的观念,而是注意到政府强制力量对当地个人、企业和设备产生的“影响”。此外,他们认为全球化的格局以“集中化、层级化的公司为主导,这些公司集中在少数几个强大的国家中”。最近的研究超越了“国家与市场对立”的观点,主张“存在着强大的全球公司和强大的国家,它们可能在共同行动而非彼此对抗”。因此,目标是理解国家与企业在合作和竞争之间复杂的相互关系。在这个背景下,大型科技公司可以被看作是“同时挑战并重塑国家的传统角色,同时又被用来巩固和扩大旧有的地缘政治权力形式”。本节将探讨算法治理中显现出来的三种国家—企业关系类型:相互依赖(国家与大型科技公司的合同关系)、规避(大型科技公司抵制国家过度干预)以及限制(国家对大型科技公司的监管)。
相互依赖:国家与大型科技公司的合同关系
在相互依赖的关系中,国家就审查制度、监控、版权、执法等方面将互联网治理委托给企业。各国开始“依赖审查和刑事化手段来塑造在线监管环境。关于‘极端主义’、亵渎神明、诽谤、‘冒犯性’言论、‘假新闻’和‘宣传’等广泛定义的限制性法律往往成为要求企业压制合法言论的借口”。由国家委托的内容审核需要“企业限制明显非法内容,如儿童性虐待的表现、直接和可信的伤害威胁以及煽动暴力的内容”。鉴于下架请求的数量庞大,一些国家已经“设立了专门的政府部门,负责将内容转交企业进行删除”。国家与大型科技公司之间的委托关系“从直接监管到威胁,再到暗示如果基础设施运营商合作的话会得到更好的待遇,以及就合作条款进行谈判”。
算法治理还用于国家安全目的,促进了国际政治中冷战后私有化的趋势。2013年,爱德华·斯诺登透露,Facebook和谷歌正在与美国、英国和由这两个国家加上澳大利亚、新西兰和加拿大组成的五眼联盟的情报机构共享用户数据。据报道,亚马逊与美国执法机构的合作伙伴超过2000家,允许他们使用其Ring视频门铃数据。谷歌的图像识别算法帮助为美国无人机打击“反恐战争”提供了目标选择依据。Facebook帮助巴基斯坦识别亵渎神明行为,挪威警方社区,以及俄罗斯阻止支持普京批评者的页面。2016年,罗德里戈·杜特特利用Facebook“制造和传播虚假故事,破坏对专业记者的信任”成为菲律宾总统。自那时以来,杜特特针对涉嫌贩毒者的Facebook纠察队已导致超过1400人死亡。苹果公司在中国为中国用户维护数据服务器,无法阻止政府访问这些服务器。大赦国际警告说,“获得此类数据的机遇为政府规范企业监控创造了强大的抑制因素。”(国际关系学者)担心大型科技公司为减少COVID-19的传播而提出的解决方案中的隐私权衡,例如谷歌和苹果为卫生部门的接触追踪应用程序。因此,国家与大型科技公司相互依赖的一个结果是,算法治理可能会引领“一个大型、全球性、私有平台成为民族国家的监管代理”的世界。
规避:大型科技公司抵制国家过度干预
在第二种关系中,大型科技公司绕过国家权力,在特定背景下捍卫人权。在人权领域,强制性政府力量与大型科技公司之间存在冲突,包括“隐私权、宗教自由和信仰、意见和表达、集会和结社、公共参与等等”。各国在互联网中介机构关于言论自由的义务方面存在差异,从美国的“广泛的豁免”到欧洲和俄罗斯的“有条件的责任”。这些公司部署了普遍的人权原则,以防止国家利益冲突。微软总裁布拉德·史密斯(Brad Smith)2017年主张通过利用大型科技公司的“作为互联网的首要响应者的角色”,来“保护平民免受国家在和平时期的攻击”,以“致力于集体行动,使互联网成为更安全的地方”,同时“作为协助客户的无处不在的中立数字瑞士”来确认其角色,“并保持世界对其信任”。在这个方面,Facebook于2020年聘请了首位人权主任,后来发布了一项新的企业人权政策,包括一项为“人权捍卫者”设立的基金。Facebook在承诺挑战国家强制解密和公司认为过于宽泛的要求时,引用了联合国工商业与人权指导原则和国际人权法案:“随着专制政府越来越多地寻求对互联网的控制并将其用作镇压手段,人权在线斗争将继续面临新的挑战。没有一家公司会是完美的,但我们将尽我们所能履行我们今天做出的承诺”。
大型科技公司对各州政府的抵制,在“技术伦理”的发展中也表现得非常明显。2017年,五角大楼与谷歌签订了Maven项目合同,以创建一个自动化的无人机视频搜索引擎,用于检测和追踪敌方战斗人员。超过3000名谷歌员工签署了抗议信,谷歌随后终止了该合同。亚马逊接手了该合同后,谷歌发布了其人工智能原则声明,指出不会寻求在“武器或其他主要目的是造成或直接伤害人的技术”或“违反国际公认规范的信息收集或使用技术”上进行合作。近200名Facebook员工要求对公司算法进行审计,因为该算法不成比例地标记黑人和巴勒斯坦激进主义为问题。虽然大型科技公司内部在伦理方面的努力起源于员工的自下而上方式,但Facebook的监督委员会是最制度化的自上而下技术伦理形式。在特朗普决定中,它借鉴了联合国人权委员会的《拉巴特行动计划》,建议Facebook“抵制政府要求其压制政治对手的压力”,并在“评估来自具有高度影响力的用户的政治言论时,Facebook应迅速将内容审核流程升级为熟悉语言和政治背景的专业人员”。但该决定没有说明委员会将“在Facebook的规则与国际人权法冲突时”采取什么行动,这成为一些人认为最困难的问题。
限制:国家对大型科技公司的监管
最后,大型科技公司的算法能力促使各国政府限制企业权力,尤其是在反垄断、隐私和言论方面。2020年7月,美国国会听证会将大型科技公司描述为一种生存威胁:“他们有能力制定条款、发号施令、颠覆整个行业,并引发恐惧,这代表了私人政府的权力。我们的创始人不会向国王低头,我们也不应该向在线经济的皇帝低头”。自那以来,司法部对谷歌和Facebook提起了反垄断诉讼,同时调查苹果和亚马逊。在剑桥分析公司丑闻之后,联邦贸易委员会对Facebook处以50亿美元的罚款,这是该公司因隐私侵犯而受到的最大罚款。2018年,欧洲联盟实施了《通用数据保护条例》(GDPR),根据该条例,隐私违规的最高罚款可高达公司全球收入的4%。GDPR导致隐私政策中的披露更多,并在整个网络中突出了针对跟踪cookie的退出消息。在美国,大型科技公司不受言论监管的保护,因为1996年《通信端正法》第230条认为互联网平台不同于出版商。但这种“中介机构豁免”目前正受到威胁。在其他地方,德国2017年的“网络执法”法律“使公司对其服务中传播的非法言论承担责任”。
公民社会也采取措施,推广“数字权利”:这是关于上网、隐私、数据使用透明度、数据使用控制、民主参与市政技术决策等方面的“一系列保护”。2018年,由大赦国际和无障碍技术国际发起的《多伦多宣言》,呼吁各国政府和公司保护人工智能系统中的平等和不受歧视的权利。这些活动人士在欧洲有盟友,GDPR阐述了个人“有权不受仅基于自动化处理(包括分析)的决策的影响”。该权利在算法治理方面有广泛的例外,包括“在数据主体与数据控制者之间签订或履行合同时有必要”时,或经法律授权时,或基于“明确同意”时。尽管如此,该框架将算法伤害减少的责任从个人转移到公司,使其在实践中更加“有效”。欧洲委员会还于2020年提出了《数字服务法案》,将对内容审查实施额外的公司责任,并强制披露算法。
国家和大型科技公司之间建立了许多与国际政治相关的合作和争议关系。这些新兴的国家—公司关系的动态需要国际关系学界进行更持续的审查。例如,鉴于各国已经发现监管授权很难,相关研究应探讨算法如何使大型科技公司的合作关系更难监管。还需要对大型科技公司通过游说者的传统国家捕获,包括在全球经济机构中的捕获,以及其不太传统的培养“与消费者的特权联盟…为这些平台提供的便利提供强有力的反对监管的来源”进行研究。最后,我们需要对关于大型科技公司的公共宣传和监管的出现、传播和有效性进行系统评估。
结论
算法治理,特别是在大型科技公司中,是国际关系研究中需要研究的成熟领域。有几股国际关系研究流特别需要。私有权威的研究人员应该调查美国科技巨头与全球治理相关的战略和结果,包括相互之间以及与阿里巴巴、腾讯、百度和华为等对手进行比较。他们应该评估支撑硅谷资本主义的意识形态以及大型科技合法化主张成功的条件。同时,还需要分析创建负责任的人工智能的承诺和挑战以及其中的跨国倡导网络的作用。国家—公司关系学者应该研究在纠正算法伤害方面国家法规的比较优势和范围,以及公共和私人国际法的发展。通过开展这一广泛的议程,国际关系将加强算法治理的跨学科研究,并推动对大型科技国际政治的理解。
(因篇幅限制,参考文献从略)
编辑:焦 磊
一审:郭瑞涵
二审:张 兰
声明:
编译属外文编译中心译者志愿提供,如有不妥欢迎指正;如对我们的工作有什么建议,欢迎到后台留言。本文仅为资源共享、学习参考之目的,并不代表本平台赞同其观点或对其真实性负责。如需转载本文,请后台联系。