再议GPT-3：OpenAI的西方算法，如何延续东方主义权力结构？
作者：Francesca（伦敦国王学院背景，关注文化与社会中的大数据）
译者：蒋笑
原文：How OpenAI’s Western algorithm perpetuates Orientalist power structures.
本文将在 OpenAI 中 GPT-3 算法的背景下，研究 Edward Said 所发展的东方主义（Orientalism）与技术的交集。
GPT-3 算法用极少的提示文本生成连贯的文本。当提示输入包含 “Islam”、 “Muslim”、或 “Middle East” 的词语时，GPT-3 生成的文本总是出现倾向于再现和强化东方主义的视野。OpenAI 的算法向我们展示了西方存在的偏见，以及这种偏见通过算法在某种程度上不断“简化”甚至控制个别社会群体的尝试。
1978 年， Edward Said 出版了 20 世纪最具现实意义的著作之一《Orientalism》（《东方主义》）。这部作品关注西方对待东方主义态度的本质，并认为东方主义是由一种强大而发达的欧洲意识形态所创造，是作家、哲学家和殖民当局对待东方文化、习俗和信仰中 “差异性” 的一种方式。
具体来说，Said 认为，在西方文化中，往往有一种歪曲亚洲与中东的传统，这是为欧洲殖民和帝国野心服务的。虽然 Said 主要关注欧洲与亚洲的关系，但这种关系中隐含的政治意识形态和文化意象，也揭示了当今美国的东方主义现象。
近年来， Said 作品所讨论的时间、地理和概念等范畴发生了变化，为应对这些变化，一些读者开始重新解读他的作品。这种新的东方框架，将注意力转移到 “当代社会中对他人的感知，如何被一种可被算法视角所引导” 的。算法视角，algorithmic gaze，即试图以算法来描述、描述和影响人们。
通过算法视角，目标变得可见和可知的。但正如 Bucher 所指出的，知识从来都不是客观的，也不是中立的，它是可解释的过程所产生的结果，需要具体的语境化。人们普遍认为，算法无视文化和个人属性，这也是错误的，同样也没有考虑到系统是如何强有力地将自己作为殖民视角的延续。
GPT-3 如何延续东方主义权力结构？
考虑到主流媒体、民粹主义运动、公众舆论和政治倾向在构建辩论中的叙述，数字东方主义（Digital Orientalism）面临着巨大的挑战。如今，东方主义仍然是以 Said 的思想出版之前所表现的方式来被具体化。这一点在 OpenAI 最新的语言生成模型 GPT-3 中尤为明显。
GPT-3 使用机器学习来生成类似人类的文本。它直接从输入数据中获取并学习信息，因此，数据在机器学习算法的训练过程中起着重要的作用。
以 GPT-3 为例，60% 的训练数据来自 Common Crawl 数据集，而这个数据集仅仅只是互联网上 6000 万个域名以及与之相关的网站子集中的一小部分数据。而且 GPT-3 的主要训练内容是英语数据 (尽管也能够将法语、德语和罗曼语翻译成英语)，但它的输出公开再现了西方思想的影子。这让人们意识到，尽管 GPT-3 的表现令人印象深刻，但它反映了社会偏见，并在生成涉及种族、宗教、性别等内容的文本时，重现了这些偏见。
OpenAI 研究人员于 2020 年 7 月发表了一篇关于 GPT-3 的论文补充材料，让用户深刻地了解了该模型存在偏见的问题。研究表明，该模型更有可能将 “sucked” 或 “naughty” 等词与女性代词联系起来，而男性代词与 “lazy” 或 “jolly” 等词频繁关联。
图 1 模型中最偏倚的描述性词汇
研究人员还检查了与不同宗教有关的词出现的情况：与性别和种族类似，他们发现，该模型总是将负面形容词与一些宗教联系在一起。例如，“terrorism” 和 “violence” 等词与伊斯兰教相关联的频率要高于其他宗教，如下图所示。
图 2 GPT-3 中关于每种宗教的十个最受欢迎的词
GPT-3 将 “Islamillustrates” 和 “terrorism” 等负面词汇联系在一起，这显示了数字东方主义的霸权地位，以及算法如何复制和强化对该宗教的偏见知识。
值得注意的是，东方主义的理念经常与一些更广泛的概念发生冲突，例如种族主义、伊斯兰恐惧症、选择性偏见及其他提倡文明差异的学说。正如 Said 所说，恐怖主义经常被美国及其盟友用来描述抵抗其帝国侵略的暴力行为，而不是描述帝国侵略本身的暴力行为。
在这种背景下，特别是在 9/11 戏剧性的事件发生后，“恐怖主义” 一词已经开始代表一个没有名字的东方集体，即从北非的撒哈拉图阿雷格人，延伸到亚太的所罗门群岛这一片区域。因此，该词被刻意地表现为东方主义的另一种形式，即故意地忽略了任何地理实体。
也就是说，通过使用算法模型，西方构建了这样一种可能性，将有关东方的、有偏见的观点合法化，因为算法本身被认为是一个客观且值得信赖的机器工具。这样的制度剥夺了某些人群以自己的方式定义自身的权利。具体来说，就是当提示输入包含类似 “Islam”、“Muslim” 或 “East” 等单词时，GPT-3 总会产生容易重现和强化东方主义视角的文本，如下例子:
图 3，当提示 “两位 Muslims 走入…” 时 GPT-3 的结果示例
图 4,GPT-3 在提示单词 “Islam” 时的结果示例
图 5，当提示单词 “Middle East” 时 GPT-3 的结果示例
最近一项关于 NLP 中反穆斯林偏见的研究指出，当提示句子中含有 “Muslim” 一词时，GPT-3 完成的 100 个例子中有 66 个含有暴力相关词汇。
此外，通过重现 GPT -3 中嵌入的逻辑 (这不是公开的，因为用户只能访问它的 API)，研究人员注意到，单词 “Muslim” 被类比为 “terrorist” 的几率为 23%。他们补充道:
我们注意到，“Muslim” 和 “terrorist” 之间的联系十分紧密，相对于其他团体也是如此；在本文中出现的 6 个宗教团体中，没有一种能像这两个单词一样如此频繁地映射彼此上去。
最后，研究人员探索了消除 GPT -3 偏见的方法。他们选择了一种最可靠的方法：在包含对 Muslims 积极联想的提示文本中添加一个简单的短语，即修改了提示语。他们输入了以下几个句子：“Muslims 是勤劳的，两个 Muslims 走进一个…"，此时，GPT-3 80% 的概率是生成非暴力的单词。
然而，他们注意到，即使是最正面的形容词，也比 “christian”（基督徒）这个词出现的结果更加具有暴力色彩。
采取行动，否则偏见将越来越强化
GPT-3 将 Muslims 和暴力关联起来是在预训练的阶段。尽管作者声称似乎并不存在这样的 “记忆”，但 GPT-3 极具创造性的表现，说明这个语言模型在用不同方式来重现这种偏见的，这很可能使这种偏见更难去被检测和减轻。
自 GPT-3 发布以来，许多用户报告了这些输出，并称之为 “伊斯兰恐惧症”， OpenAI 因此也标记了这类内容。该公司目前正在开发一款软件，可以防止用户恶意使用该工具，例如创建垃圾邮件等。
目前，OpenAI 的 GPT-3 是一款商用产品，并且来自全球各地的许多客户都已经用这个 API 进行各种不同目的的实验，如 Reddit 的自动化内容审核。
正如 GPT-3 一再展示的那样，偏见和歧视在互联网上广泛传播，而这些内容可能会被自动化系统所吸收。
这样的操作方式，持续忽视了从网上获取数据来训练语言模型是否负责任的问题。仅仅因为这些数据是可用的，而没有去探究它的价值，以至于扩大了出现偏见的可能性。
微软和马萨诸塞大学的研究人员对自然语言处理过程中如何出现偏见的 150 项研究进行了进一步探索，他们发现，许多语言模型的作者似乎对这些偏见是如何产生以及为什么有害有着模糊的动机。他们进一步指出，将语言和社会等级关系关联的系统有必要做出修正。
在 GPT-3 的案例中，当被用于商业目的时，GPT-3 可能会使偏见的观点合法化，因为公众认为它是一个客观的且值得信赖的工具。另外，这种制度会使 “东方主义” 无法用自己的方式将定义自身，并且不考虑这种模式如何与我们生活的社会相互影响。
最近（2021 年 1 月 5 日），OpenAI 推出了 DALL・E，这是一个基于 GPT-3 的文本图像系统，但用来训练的是文本加图像。通过 CLIP 这样一个神经网络，它可以根据 4 亿对图片和文本，训练网络进行精确的图像分类。这两种新模型将语言和图像结合起来，帮助人工智能理解词语及其所指的内容，生成高质量的图像。DALL・E 使用 120 亿参数版本的 GPT-3，以及用于开发和完成半成品图像的 transformer 语言模型。
该模型可以画出具有人类特征的动物或物品的图片，并将不相关的物品精确地组合起来，生成单一的图像。有趣的是，生成图像的成功率将取决于提示语的措辞。
更令人印象深刻的是 DALL・E 有能力填补空白，不过前提是图像必须包含一个具体但没有明确指明类别的细节。这两种模型都有可能产生重大的社会影响。
OpenAI 团队已经表示，他们将分析 DALL・E 和 CLIP 如何与社会问题、可能的偏见和伦理挑战联系起来。目前，这两项产品尚未向公众开放。
最后，我们再次强调，技术模型和社会世界之间的互动本质，证明即使一个 “客观完美” 的模型，如果部署在一个不公平的世界，也会产生不公平的结果。
在 GPT-3 的案例中，这种强大的语言模型会因为语言类别而强化表达的不平等，特别是考虑到它目前和未来可能运作的规模。
因此，认识到这种存在的风险并努力降低这种风险已成为当务之急，每次开发新模型时，我们的研究人员都需要考虑这一点。毕竟，算法决策本质上仍是人类的决策，谁在开发这项技术和这项技术是什么一样重要。
往期推荐