生成式人工智能的真正赢家！

今日份知识你摄入了么？

近几个月来，开源（OS）生成式人工智能的进展迅猛（尤其是语言模型，LM）。根据谷歌泄露的内部文件，人们认为它已经成为对谷歌和微软等现有公司以及OpenAI和Anthropic等领先实验室的威胁（https://www.semianalysis.com/p/google-we-have-no-moat-and-neither）。

我认为，当我这么说时，我代表了大多数人。抛开开源人工智能系统可能会加剧风险不谈，我们喜欢这个想法，OS具有很强的积极内涵。并不是人们不喜欢大型科技公司，而是喜欢有机会超越强者。

以下故事讲述了这种预期胜利的感觉是如何产生的，以及为什么这是错误的：OS AI正在蓬勃发展，但仍然无法推翻专有模型的领导地位，并且无法开发资源来在未来实现这一目标。

开源人工智能是一股不可忽视的力量

三月初，Meta’s LLaMA第一个像样的OS LM在网上开源（https://github.com/facebookresearch/llama）。OS开发人员接受了这份礼物，并开始尝试在开放平台上重现OpenAI的成功。在接下来的三个月里，社区经历了 Simon Willison 所说的 LM 的“稳定扩散时刻（https://simonwillison.net/2023/Mar/11/llama/）”，这是一波创新研究和创意开发的浪潮，有望与ChatGPT竞争。

咨询公司Semianalysis分享了一份文件（https://www.semianalysis.com/p/google-we-have-no-moat-and-neither），其中一位谷歌工程师认为，谷歌真正的竞争对手不是OpenAI，而是OS社区。如果没有护城河，他们都无法梦想抵抗“整个地球的劳动力”。例如，社区设法解决了可扩展性问题，现在用一种名为LoRA（https://arxiv.org/abs/2106.09685）的新技术快速且廉价地微调预训练模型变得微不足道。这是“一件大事”，而且“在谷歌内部尚未得到充分利用”。他总结道，避免这种威胁的解决方案是采用OS。

这篇文章很有启发性，让许多人相信OS确实赢得了这场比赛，但我相信结论不能从前提得出。下面，我列出了造成这种情况的三个原因——为什么OS人工智能尽管是一股不可忽视的力量，但远未对现有企业或富裕的初创企业构成威胁。

模仿专有LMs的虚假承诺

第一个原因：算法问题。

如果我们采用最好的OS LM（那些旨在与ChatGPT竞争的语言），我们会遇到一种在Self-Instruct论文中首次提出的巧妙技术（https://arxiv.org/pdf/2212.10560.pdf）：通过微调模型自身的输出（或更好的模型的输出）来改进模型。两个最著名的OS LMs—Alpaca和Vicuna分别使用GPT-3.5和ChatGPT进行自生成指令。

但加州大学伯克利分校的一项新研究分析了这种方法，发现“开放式和封闭式LMs之间存在巨大的能力差距”。要弥合这一差距，最好的机会是使用“更有能力的基础LMs”。通过这种方式微调的模型采用了它们模仿的模型的风格，但在“真实性”方面并没有提高。

Alpaca和Vicuna无法真正与GPT-3.5和ChatGPT竞争，这对OS AI社区来说是一个沉重的打击。为了用功能强大的廉价、可定制的聊天机器人来吸引用户，他们必须接受最先进的LM预培训这一艰巨挑战。我认为这种情况短期内不会发生，Meta模型的泄露是这一切发生的唯一原因——OS社区利用现任者的残羹剩饭做了力所能及的事情。

LMs的设备端推理的局限性

第二个原因：硬件问题。

如果你想在在电脑或智能手机上运行小型廉价的定制LMs，那么构建它们是有意义的。这就是OS对用户的吸引力，但这些技术所能达到的效果是有限的。

Dylan Patel为Semianalysis写了一篇精彩的文章（https://www.semianalysis.com/p/on-device-ai-double-edged-sword），内容是关于内存墙和设备上LM推理的数据重用问题。生成令牌，例如，当ChatGPT输出一个单词时，是一个计算成本很高的过程。服务器托管的LMs可以跨查询并行化，从而最大限度地减少开销。如果你是聊天机器人的唯一用户（想必你就是），则无法利用此快捷方式。对于高质量的LMs来说，成本很快变得难以承受。

由于硬件限制和权衡短期内无法解决，OS AI的最佳资产——私有、廉价、定制模型——有一个硬性上限。他们提供的LMs无法与专有服务器托管的LMs（例如Google或OpenAI）的性能相匹配，无论他们在算法方面有多大的改进。

现有企业的护城河在行动

商业方面还有最后一个原因：如果获胜的关键是覆盖最大数量的用户，那么现有企业根本没有竞争对手。

泄露的文件称，谷歌以及微软没有护城河。这是大错特错的，他们有护城河。不仅仅是钱，不仅仅是天赋，不仅仅是资源、影响力和权力，这些都是，但他们真正的护城河是他们设计、建造、制造和销售我们使用的产品。

他们正在执行一项残酷的战略，以充分利用这一优势。

微软已经推出了Bing和Edge、365以及现在的Windows。谷歌增强了Search和Workspace（包括Gmail和Docs），其他领域的现有企业也在做同样的事情。Adobe Firefly现在为Photoshop上的Generative Fill提供支持，是图像生成方面的一个明显例子。在硬件方面，毫无争议的领导者Nvidia已针对LM推理优化了其一流的 H100 。

The innovator’s dilemma（https://en.wikipedia.org/wiki/The_Innovator%27s_Dilemma）将现有企业描绘成可击败的：具有坚定追求冒险创新意愿的挑战者可以在适当的情况下推翻它们。但让我们坦率地说，我们并没有生活在那些理想的条件下：生成式人工智能恰好与Google、Microsoft、Adobe和Nvidia已经提供的产品套件完美契合。它们创造了生成式人工智能得以实施的基础。

作为挑战者，OpenAI和DeepMind从未有过成功的机会，OS社区就更少了。跟谷歌和微软的产品相比，他们无法提供人们更喜欢使用的东西，这比我说的更有决定意义。即使谷歌和微软将他们最好的人工智能开源，并允许OS社区在自由共享创新的基础上蓬勃发展，他们仍然保留着所有护城河中的护城河：谁创造并销售商品，谁就拥有世界。

生成式人工智能不仅仅是控制我们数字生活的复杂机器中的一个新齿轮，它正在慢慢变成现有霸权的附加组件。

原文作者：Alberto Romero

翻译作者：文杰

美工编辑：过儿

校对审稿：Chuang

原文链接：https://albertoromgar.medium.com/open-source-ai-is-not-winning-incumbents-are-61cd7779366

本周公开课预告

往期精彩回顾

点「在看」的人都变好看了哦

点击“阅读原文”查看数据应用学院核心课程