【Deep Dive: AI Webinar】自由与开源软件和人工智能的意识形态：“开放”对于平台和黑盒子系统意味着什么?

【深入探讨人工智能】网络研讨系列总共有 17 个视频。我们按照视频内容，大致上分成了 3 个大类：

1. 人工智能的开放、风险与挑战（4 篇）

2. 人工智能的治理（总共 12 篇），其中分成了几个子类：

a. 人工智能的治理框架（3 篇）

b. 人工智能的数据治理（4 篇）

c. 人工智能的许可证（4 篇）

d. 人工智能的法案（1 篇）

3. 炉边对谈-谁在构建开源人工智能? 

今天发布的是第一个类别“人工智能的开放、风险与挑战”里的第二个视频：【自由与开源软件和人工智能的意识形态：“开放”对于平台和黑盒子系统意味着什么?】。

我们期盼如此分类，对读者的易读性有帮助，也欢迎读者们的反馈和指正。

                   --- 开源社.国际接轨组 ---

大家好，欢迎回到由开源促进会主办的深入探讨人工智能的网络研讨会系列。今天，我们将听到迈克·诺兰的演讲关于自由开源软件和人工智能的思想：关于平台和黑盒系统，开放意味着什么？最后我们会回答大家的问题。所以，请全程尽情享受。

大家好。我叫迈克·诺兰。我头衔挺多的。我主要在罗切斯特理工学院工作，我是 Open@RIT 的副主任，这是学校的开放项目办公室，我在这所大学里做了很多关于开源软件、开放数据、开放科学等方面的工作。

我也是人道主义技术专家联盟的现任执行董事和创始成员，这是一家英国非营利组织，主要帮助人道主义援助部门开发开源软件。我是伦理源组织的董事会成员。

最后，我认为自己是政治经济学、科学和技术方面的学者。之所以这样说是因为，我对开源领域以及我们今天要讨论的话题都非常感兴趣。

所以在这次演讲中，我想谈谈自由和开源软件的意识形态，以及它如何应用于人工智能。我还想谈谈数字平台，谈谈自由和开源软件的历史，支撑它的意识形态和最初的概念，软件是如何变化的，以及探索我们今天所处的位置，以及我们是否有任何真正的意识形态基础可以帮助我们想象这类概念如何应用于人工智能等新技术的发展。

但在我开始之前，大约一个月前，当我开始为这次演讲整理幻灯片时，一篇非常出色的论文发布了，名字叫做《开放(商业)：巨型科技公司、权力集中和开放人工智能的政治经济》。

这篇论文中讨论了 Open AI 作为开源人工智能，而不是同名的商业组织，虽然该组织在这篇论文中有所提及，但这篇由大卫·格雷·维特、梅雷迪斯·惠特克和萨拉米耶·韦斯特共同撰写的论文对我今天的演讲产生了很大的影响。

事实上，当我读到这篇论文时，我感到有点泄气。真的，如果有一件事我认为每个听这个演讲的人都应该做的话，那就是去下载这篇论文，它是开放获取的，你可以去读一下。因为我认为这可能是我所见过的关于这个话题的最好的研究。而且它在一个非常及时的时机发布。所以我要总结一下这篇论文的一些方面，尽我所能。很明显，我不是这篇论文的作者，也没有参与撰写。如果你看到里面引用了我的名字，那其实不是我，这是一个比较大众的名字。所以，我将谈谈这篇论文的一些部分，并引用其中的一些章节。

我的演讲将分为以下四个主要部分。

第一，我想提供一个简短的开放、开源和自由软件的历史，提供一些背景。然后我想谈谈过去50年来软件形式的变化可能会如何影响我们对开放的看法，开放性在我们如何与软件系统联系，以及我们如何影响它们方面发挥着重要作用。然后，我想谈谈这篇论文中关于人们如何看待开源人工智能的各个方面的一些内容，比如，有哪些不同层次的开放性？然后我想从物质的角度谈谈开放人工智能的利弊。我想谈谈人们提出的诸多主张，特别是欧洲对人工智能开源的新规定。最后，我想把这些都带回起点，看看我们是否真的处于一个良好的地位。因为人们投资于开放，我想开源社区是在过去的50年里围绕着开放合作模式和意识形态建立起来的。

那么，我们是如何走到今天的呢？

我相信很多人，甚至大多数人，都非常熟悉开源的历史。我会试着简单地过一遍。我将尝试以一种我认为对设定这次演讲的背景有用的方式，重新构建它的几个方面。大约从20世纪70年代开始，软件商品化开始迅速发展。

在此之前，当你买计算机的时候，软件基本上是预装的。软件是为在硬件平台上运行而构建的，很难迁移到其他平台但在某种程度上，硬件平台开始变得标准化。个人电脑开始普及。除此之外，软件生产作为一种商品变得极其流行。你可以看到一些大型企业，尤其是像微软这样的企业，从本质上讲，就是利用这个巨大的增长市场为自己赢得声誉。这些公司是这样运作的，他们会开发软件，然后并使用许可证来将软件销售出去。与此同时，我们称之为自由或开源软件的早期阶段的发展也是如此，有了社区，草根社区构建软件，互相分享，通过点对点的共享方式进行开发。因此，我们开始看到围绕自由和开源软件的一些最初的思想意识形态支柱开始成型。

我认为最好的例子之一是由理查德·斯托曼等人提出的“四种自由”。他们认为人与软件的关系需要这些基本权利，以便为人们提供对他们使用的软件的自主性和控制权。

这四种自由是：能够自由运行软件，能够按照自己的意愿改写软件，能够进行软件的再次开发，能够修改并自由传播、分发修改版本。这几点可视为围绕人们如何需要、应当如何与所使用的软件互动的基本信念。

我认为这很重要，因为当时我们想到软件概念时，主要是这些离散的程序，你可以把它们放在软盘或其他什么东西上，然后插入计算机中运行，它基本上是在你的计算机上运行，对吧？所以控制是存在的。你能够控制那一盒你可以访问的软件。所以，这种意识形态在当时并不是所有人都认同的。

事实上，在这个时期，存在着很多对抗，一方是提倡围绕用户自主权和对软件的控制权建立新理念的人，另一方是企业，试图用投资的方式来构建软件产品，并以一种能够维持他们业务的方式销售出去。因此，在那个时候，存在着很多的冲突和对抗。

我想双方都有很多营销和宣传。我认为自由软件或开源倡导者被认为类似于共产主义者或无政府主义者并不罕见。开源软件被软件行业的一些人形容为毒瘤，所以这两个群体之间存在着很多对立。这并不是说很多人没有尝试在这两个群体之间找到妥协，并表明开源软件在政治上不像共产主义那样激进。事实上，就其开发方法而言，它可以为这些公司提供很多好处。

所以，在这段时间里，特别是在开源这个词的普及期间，我们开始看到新的定义出现了，关于什么是开放的新概念，特别是，我想在座的每个人都很熟悉与软件许可相关的开源的法律定义。这与我们对待与软件相关的基于人权的方法相去甚远。这是一种非常法律化，几乎是基于合同的对开源的理解。这是 OSI 定义的基础，它的概念从开始就一直保持不变。因此，关于开源软件生产作为方法论可能带来的好处的这种妥协和争论，在许多方面确实产生了积极的作用。

我相信你们很多人都看过这个图表或类似的图表。它展示了开源软件在我们的数字基础设施中的普及程度，它几乎是当今构建任何数字基础设施或服务的基石。基于这个图表，很多人认为开源已经得到了广泛的应用取得了胜利。很多人都在投资开源。它太重要了。我们确信这是一条正确的道路。我们把所有人聚集在一起，我们组成了这个由不同组织组成的惊人联盟，一起解决了这个问题。所以，这在某种程度上是大家共同的历史，但我认为在理解这一切发生的过程时，也要记住软件形式的变化。

正如我提到的，在软件商品化的早期，软件是非常离散的。它们主要是终端用户产品或独立运行的应用程序。你可以下载它们。在考虑软件市场时，需要注意的是，在免费和开源软件应用程序和专有应用程序之间，他们在大多数情况下直接竞争。你有火狐和IE浏览器，有 Linux 和 Windows，有 GIMP 和 Photoshop。

当时许多最重要的自由和开源软件应用程序，都直接与拥有巨大市场份额的大型专有应用程序进行竞争。这真正能让人们能够理解为什么许多公司感到受到开源软件的威胁，同时也能够看清楚它们对此做出的反应，无论这种反应是否合理，是否合乎道德。

这当然也是开源软件早期的情况。但是现在，如果我们考虑当今25个最重要的自由和开源软件应用程序，我们会看到一些非常不同的东西，对吧?

首先，我们看到公司在开发这些免费开源软件应用程序方面投入了大量的精力。我们也看到这些不再是真正的终端用户产品了。这些软件开发人员专业范畴的东西，人们不需要真正了解或以熟悉的方式去进行交互。

显然，其中许多都是我们与之交互的软件应用程序的依赖项，但它们不像我们直接下载到电脑上进行安装运行和配置置的东西。我想说的是，在这段时间里，随着这些软件产品被越来越多地采用，软件的使用已经转向我称之为 “平台” 的东西。

平台通常是内涵丰富的术语，有很多不同的定义。所以我要用的定义很大程度上类似于经济领域的定义。它是由蒂罗尔的学者创造的，他们是两位诺贝尔经济学奖得主。我鼓励你们去查一下，如果你们对这个概念感兴趣的话。但是，他们对平台的描述方式是，它是介于多个网络或市场之间的东西，并垄断了这两者之间的联系。

我认为最好的描述方式可能是提供例子。例如，Facebook 是一个平台，它一方面管理者终端用户访问媒体社区的权限，另一方面愿意为广告商提供数据和广告定位。在这个平台之前，在这两件事上，很难找到这种联系。通过 Facebook，也就是现在的 Meta，就可以做到。另一个例子是亚马逊，它是一个平台，可以帮助生产商进入分销网络和全球市场，而在另一方面为消费者提供丰富的商品和服务网络。

最后，类似谷歌，谷歌搜索是一个平台。它为终端用户提供获取信息和数字服务的便利。它还为这些商品和服务的生产者提供了信息的生产和可发现性。同时也为数字服务提供商和广告商提供了有关用户关注度和用户网络的信息。因此，平台的性质使得它们的创造者能够利用这些多边市场，充当各种参与者和各种站点之间的中介和门卫。所以，作为控制平台的人，你不一定要像我们通常理解的那样把软件当成一种产品来提供，你的软件是一个必要的系统，人们需要通过它才能访问其他商品、货物、资源和信息，以便实现它们想要做的事情。

回到这张非常重要的开源软件列表，我认为很容易就能看出这些开源软件不仅仅是对这些平台的生产和维护非常有用，它们也是专门为它们而建造的。无论我们看到的是服务器编排软件、分布式计算、高度可扩展的搜索产品，这些软件是专门为拥有数百万或数十亿用户的大规模分布式计算系统而构建的，并且需要一种特定类型的架构来管理这么多访问的人，这么多的商品和服务，这么多的市场。所以我认为理解这种转变很重要，因为有了平台，软件不再是离散的。它设计范围广泛。它所扮演的角色不再是为特定的人提供工具。相反，它是通往其他事物的门卫。

我不想把平台和人工智能混为一谈，但我认为这种想法转变了我们与之互动的许多计算系统。在考虑人工智能开源时，这种目的的转变非常重要。因此，让我们来谈谈开放人工智能，或者说是开源人工智能。这是我要从这篇论文中摘引大部分内容的地方。如果你感兴趣，可以上网看幻灯片。我鼓励你们去看一看，这里有链接，或者你可以在网上搜索标题，它可能排在搜索结果中的第一项。这一部分主要是从这篇论文中摘取的，所以我鼓励你们，如果你们有兴趣的话，去读读这篇论文，不要只偏信我所说的。

所以在定义开放人工智能时，我认为人们通常会想到四个主要组成部分，比如，这些材料是公开发布的，还是我们认为是开放人工智能的一部分。

首先显然是用于训练和评估任何一种人工智能模型的数据，该数据的是否可用及其可访问性等。第二件事是源代码，它定义了模型的架构、超参数设置、发布的数据，或者在典型的开源许可下发布的代码。第三是人工智能模型本身。这些权重是通过训练过程确定的，通常是非常昂贵的，所以模型是一种可以分发的产品，而且通常也是如此。最后是所谓的文档，它以很多不同的形式存在。但是，我认为这个文档的一个普遍概念不仅仅是文档化的代码，还包括随着时间的推移而变得非常流行的模型卡或数据表等内容。所以我认为这四个方面会是人们经常讨论的四个组成部分，比如，当考虑到开源 AI 应该是什么样子时。这是许多人认为的对人工智能至关重要的四个方面。

但我认为还有其他一些事情在人工智能的创造和传播中非常重要而需要被考虑到。这并不一定是有效的产品，但是严重影响了我们对最终产品的看法。

首先是开发框架。我想说有两个非常流行的开发框架：PyTorch 和 TensorFlow，它们都是开源的。PyTorch 是由 Facebook 或 Meta 公司创建的，TensorFlow 是由谷歌创建的。这两个框架的绝大多数贡献者都是其创建公司的员工。所以这些开发框架，虽然是开源的，但确实影响了其他人工智能系统的开发。因为它们是人们用来定义模型和确定如何与其他系统集成的基础组件。所以，这些指导框架，这些开发框架，标准化了人工智能的构建，使其与它们自己公司的平台兼容。就像乐高积木一样确保了这框架能够引导下游的开发者去创造人工智能系统，可以在这个框架的创造者的公司系统中迅速融合。我认为在考虑人工智能的利弊和开放人工智能系统的影响时，这一点非常重要。

接下来是计算。正如我们都知道的，尤其是在创建和训练大型模型时，需要大量的计算机算力。这种计算能力是罕见的，基本上个人难以获得，只有那些财力雄厚的私有企业才能获得。数据也是一样，收集、存储和注入数据是非常昂贵的。通常情况下，对这些数据的访问，尤其是在涉及版权法的情况下，在很大程度上处于灰色地带，我想说，这是一个很大的因素。这也是为什么对于许多的大型基础模型，比如 GPT-4、Bard、PaLM-2，我们对这些数据到底是什么知之甚少。我想说获取信息的合法性可能是其中一个很大的原因。

最后，劳动力在人工智能创造的各个方面都很重要。但我认为，特别是在管理、数据标注、分类、内容审核方面，这是人工智能创造过程中劳动密集型的一个方面，经常被忽视，其结构往往非常殖民化，许多西方科技公司将大规模利用来自南半球的“廉价劳动力”来完成这项工作，通常要通过一些分包商来完成为了让自己远离可能发生在员工身上的任何潜在伤害。

这些劳动力对这些系统的发展至关重要。事实上它是最基本的组成部分最后，在考虑人工智能的创造时，理解人工智能模型的发展脉络，我们有基本模型，然后我们有在此基础上建立并以某种形式进行调整的模型，值得注意的是，随着人工智能系统的发展，这种脉络对于决定可以有什么样的创新是极其重要的。基础模型的开发提供了一个非常狭隘的概念，即可以从中实际进化出什么，特别是与那些创建基础模型的人相比，尤其是当那些资源有限的人进行开发时。所以对于这五件事，我认为已经有相当多的研究确定了我们如何评估各种类型的人工智能的开放性。

Solaiman 这篇论文提到了一个非常酷的，对大型语言模型进行评估的开放性谱系。这实际上也在我之前引用的那篇论文中提到过。这是一个很好的想法，当我们考虑到一个极度开放的人工智能模型，一个极度封闭的人工智能模型，然后介于两者之间的是什么？我认为这是可能存在的不同阶段的一个很好的例子。

正如你可能看到的，在这些不同的阶段，有各种各样的优缺点，更开放的模式，更以社区为中心，更容易进行审计。但是它们对风险的控制较少，也缺乏集中化的控制等等。因此，我想谈谈开放的利弊。

我认为，这是我们开始探索围绕 AI 的新法规的话题的地方，以及我在开源社区中看到的大量游说，尤其是公司的代表。但某些法案肯定会像我说的那样，讨论或使用类似的观点。所以总的来说，这里从论文中提取了主要观点。但我认为他很好地总结了关于开源人工智能的讨论，以及我看到很多人提出的一些主张，因此我认为值得在这里分享。

我猜很多人提出的第一个论点是，开放的人工智能通过透明度来确保安全。这有点像对开源软件现有主张的修改，所谓：群众的眼睛是雪亮的因为它是透明的，更多的人可以检查它是如何工作的。更多的人可以审核代码。特别是这些最大限度开放的人工智能系统，我们不仅可以访问代码，还可以访问数据和文档。越来越多的人可以做这种评估，因此安全就产生了。

但重要的是要明白，这种公开并不能保证审计。在我们现有的开源数字基础设施中，这一点非常明显，在关键的数字基础设施中，我们看到这些漏洞在被发现之前已经存在了很长时间，通常发现漏洞时的代价都已经很高了这种审计需要专门的资源，当你有分布式责任体系时，组织起来非常困难所以这是有安全隐患的。但特别是，由于许多人工智能法规要求开源行业内的许多人进行这种审计有点反对这种监管。在我所见过的一些论述中有一点矛盾，不偏袒一方或另一方。

我看到的另一个论断是，开放人工智能增加了不安全性，从某种意义上说，这是真的。发布基本模型的本质，或者任何人们可以将其应用于新环境的方法，而新的应用方向可能是有害的，另一方面，这并不一定是维护纯专有AI系统的好理由。我们已经看到行业集中在人工智能公司之间造成了恶性竞争，引导他们发布商业模型在他们真正准备好之前，在他们经历任何必要的审查或风险缓解之前。

因此开放还是封闭，并不一定保证有任何审计系统有效的存在。所以重要的是要明白，无论是开放的还是封闭的，无论是开放的还是专有的，我们都需要考虑其他类型的保障措施。

这些责任体系中的保障措施，在很大程度上是我所看到的大部分拟议法规试图做的无论是在欧洲，还是在其他国家，比如中国，几年来，它一直在监管人工智能，制定了许多不同的法律。下一个是开放人工智能将降低行业集中度的说法。这是一件很自然的事情，如果你有开源软件，开放产品，对很多人来说，拿现有的软件的部分来用要容易得多开发新的创新，从而在市场上竞争。

这使得人们很难垄断某些技术这通常与监管系统的思考相结合，说更多的监管只会伤害中小组织，因为你需要遵守更多的程序，或者获得更多的融资，以确保你所做的是安全的，并遵守法规，在某种程度上，这是对的，但我们已经看到了很多同质化现象在当前的 AI 环境中，以及当前开放的 AI 环境中，由于严重依赖于少数几款企业生产的机型，这种联系确实影响了我们对人工智能产业竞争的看法。

我鼓励那些对这一点持怀疑态度的人去阅读梅瑞迪斯·惠特克的《捕获的高昂代价》在这里的幻灯片中会有链接，大家可以看一看，我认为他对此提出了一个很好的论点，不是要推翻这个论点，而是为了扩大范围如果你持怀疑态度，我建议你读一读。

最后一点是，开放的人工智能是创新的关键。从本质上讲，竞争加剧，人们越来越容易获得各种不同的资源会让更多的天才脱颖而出，并获得他们创新所需的资源。是的，在某种程度上这可能是正确的，对吧?它当然为人们提供了更多的获取所需材料的途径，并能创造更多创新的解决方案。但当考虑开发这些大型模型的衍生品时，几乎所有这些都是企业为人工智能所能提供的非常狭隘的想法而制作的。这严重影响了这种技术所产生的创新，对吧?在这些东西的衍生品中，总会有一种谱系。

在考虑基础模型和基础基础设施的影响以及谁在创建它时，这影响着可以从中创建什么。这种创新不一定与初始激励结构有关，用于创建额外安全性的系统，或者赋予用户权力等方面。所以我认为，当我们把“创新”这个词用得如此宽泛时，可能会产生误导。

我知道这是对一篇相当长的论文的总结，但我希望这能提供更多的视角来思考开放人工智能的利弊以及我如何理解这个话题。

但是有几点我想回顾一下这段历史，并希望能提供更多的总结，说明我们可以从这里走向何方。第一件事是软件在变化，不，软件已经改变了它极大地改变了我们与它的关系，我们与它互动的方式，以及我们控制它的方式。这些软件系统同时影响许多人。它们不是离散的，对吧?我们对它们没有这种个体控制。而且几乎不可能设想我们能够有这种控制。在很大程度上，我会将其视为对开源社区的一种批评。我们还没有很好地在讨论和设想这一点上做得很好。

我认为，在很多方面，我们都被资金雄厚的软件开发公司所超越。有些人可能认为这是好事，有些人可能认为这是坏事。但如果有一件事我们已经落后了，那就是认识到软件的这种变化形式以及我们与它的关系。正因为如此，开源对于不同的人来说仍然意味着许多不同的东西。

尽管我觉得我们不想这么说，尽管 OSI 定义“开源”这么长时间了，但现在可能比以往任何时候都更加模糊。我认为把矛头指向那些试图借用这个词并重新定义它的人，在某种程度上是公平的。但是我认为开源做为一个围绕软件许可的法律化的定义，同时仍然把它作为一种讨论开发方法论的方式。

对其他人来说，也可以用这个词来描述这个词产生的思想基础。它比以往任何时候都更混乱，这使得我们任何人都很难围绕这些论点进行组织。最后，也许这是我想提出的最重要的观点之一，在讨论和确定开源人工智能的价值时，重要的是要知道，开放的人工智能不是民主化的人工智能。

如果这篇论文中有什么是我想说的，它很清楚地表明开放可以在一定程度上提供透明性、可重用性和可扩展性。即使在最开放的形式下，它也不一定是灵丹妙药，但它没有提供任何形式的民主控制，也没有提供有意义的竞争。

所以当我们想到开源人工智能和这次会议的价值时，我认为我们中的许多人都在尝试围绕这个问题组织起来。开源并没有提供这些东西，至少在我们目前的任何概念中都没有。我认为这非常重要，因为人工智能正在被应用，或已经在应用中。当我们想到这个规定和我们想象的各种影响时，我们甚至不需要运用我们的想象力。

我们看到人工智能系统被一些组织部署，产生了巨大的影响，并造成了巨大的伤害。我们看到人们的生计与这些系统联系在一起一旦系统有任何失败，人们的生计就会被剥夺。受这些影响的人几乎没有什么追索权这造成了巨大的伤害。所以我看到了很多关于开放价值的讨论，我见过很多人用开放来代替道德或善良之类的。

我认为在这个话题上，我们必须对自己严格要求，我认为这是一个退一步思考的好机会。为什么这个话题一开始对我们如此重要，是什么样的意识形态把我们拉进了这个关于我们自己的话题，我们与我们所使用的技术的关系以及为什么它对我们如此重要。

我期待着听到你们所有人的声音。一如既往，如果有兴趣，请随时联系我的邮箱，或者如果你有任何问题没有被本次演讲所涵盖？感谢 OSI 提供演讲机会。

Mike Nolan

Associate Director | Open@RIT

作者丨Mike Nolan

翻译丨李思颖

审校丨刘文涛

视频丨陈玄

策划丨李思颖、罗蕊艳

编辑丨邓子宜

相关阅读 | Related Reading

开源人工智能定义草案

（https://opensource.org/deepdive/drafts/）

开源社简介

开源社（英文名称为“KAIYUANSHE”）成立于 2014 年，是由志愿贡献于开源事业的个人志愿者，依 “贡献、共识、共治” 原则所组成的开源社区。开源社始终维持 “厂商中立、公益、非营利” 的理念，以 “立足中国、贡献全球，推动开源成为新时代的生活方式” 为愿景，以 “开源治理、国际接轨、社区发展、项目孵化” 为使命，旨在共创健康可持续发展的开源生态体系。

开源社积极与支持开源的社区、高校、企业以及政府相关单位紧密合作，同时也是全球开源协议认证组织 - OSI 在中国的首个成员。

自2016年起连续举办中国开源年会（COSCon），持续发布《中国开源年度报告》，联合发起了“中国开源先锋榜”、“中国开源码力榜”等，在海内外产生了广泛的影响力。