OpenAI 和 Google 会输给谁？
技术社区的讨论
我认为萨蒂亚·纳德拉（Satya Nadella）在接受采访时说得很好：广告收入，尤其是来自搜索的广告收入，对微软来说是增量的；对谷歌来说，这就是一切。
因此，尽管微软愿意在搜索广告上获得更低的利润率，以赢得谷歌的市场份额，但谷歌必须捍卫他们所有的利润率——否则他们在核心业务中的利润就会大大降低。
LLM 的成本比传统搜索高得多，谷歌不能只是用 LLM 取代现有的产品线：这实际上提高了他们的底线。
微软愿意用基于 OpenAI 技术的「新必应」取代现有的 Bing，因为它们在搜索上赚的钱相对较少，赢得市场份额将弥补市场份额的较小利润。
谷歌正处于一个两难之地：要么他们大幅增加收入成本以捍卫市场份额，要么他们冒着在核心业务上失去市场份额的风险。就像谷歌曾经通过 PageRank 吃掉雅虎一样，它在未来可能会被像 LLM 这样的颠覆性技术所吞噬。任何人让自己达到最先进的最快方法是购买 OpenAI 的服务。OpenAI 的生存风险在于他们是否继续（半）独立，而不是他们是否关闭。
LLM 在搜索（对于开放式问题）方面比谷歌更好，这就是谷歌大部分收入的来源。因此，它实际上给了像 OpenAI 这样的新公司重新定义消费者的目的地的机会。
OpenAI 面临生存风险，而不是谷歌。谷歌会迎头赶上，并将拥有覆盖/补贴优势。这种来自开源的所谓「竞争」将是免费劳动力。任何获胜的想法都会在短时间内移植到谷歌的产品中。
谷歌可以像对 YouTube 一样，对大模型下注。当时，运营 YouTube 的成本令人瞠目结舌，损失了数十亿美元。但谷歌可以看到事情的发展方向：存储成本下降、带宽和传输成本下降的三重趋势。如果有足够的需求，将会出现专门用于 LLM 的专用，低成本硬件。
谷歌不会失败，他们只会为构建 AI 产品的人提供计算基础设施。
当谷歌抱怨没有护城河时，他们抱怨的是没有足够大的护城河来维持像谷歌这样大的公司。 老实说，我看不到谷歌失败的可能。像其他科技巨头一样，他们坐在一个大得离谱的战争箱上。最坏的情况是，他们可以等待空间稳定一点，然后花费数十亿美元购买市场领导者。如果人工智能真的对他们的商业前景构成生存威胁，那么将他们的储备花在这一点上是不费吹灰之力的。 OpenAI 更像是一个实验室，而不是一家公司。从某种意义上说，它们有点像发明计算机鼠标的实验室部门，商业化不属于他们的考虑范畴。 如果 OpenAI 可以通过廉价的 API 访问和更好的产品赢得开发者市场，那么分发就变成了通过第三方，其他人都将成为把训练数据发送回模型的产品。 没有一个「开源」模型是经典意义上的开源。它们是免费的，但它们不是源代码;它们更接近于可自由分发的编译二进制文件，其中编译器和原始输入尚未发布。真正的开源 AI 模型需要指定从训练数据到模型的训练数据和代码。当然，对于其他人来说，获取这些信息，再次构建模型并验证是否获得相同的结果是非常昂贵的，也许我们真的不需要它。
Google 必须开源
封闭不是壁垒
Google 开源势在必行。原因如下：
01.Google 不干，别人也会干
每一个公司都有自己认为最宝贝最核心的东西，不愿意拿出来给大家看，但是这些东西在竞争者那里就不一定那么宝贝了。比如，大模型可能是 Google 的宝贝，但隔壁的 Meta 就不那么有所谓了——反正元宇宙都亏成这样，还不如趁此机会搞大模型开源，所以才有了 LLaMA 的风头尽出。就算 Meta 不干，或者不坚持干下去，一定还有其他虎视眈眈的后入者（比如 Amazon），这是互联网科技的规律，也是宿命。
02.Google 再牛，也抵不过集体智慧
美国的科技是非常多元化的，虽然 Google 等巨头聚集了大量的 AI 人才，但是高校和其它非巨头公司（包括创业公司）也聚集了很多有能力、很聪明的人才。当下现状是大模型吸引了全社会的注意力，不仅 AI 行业，其他各行各业精英人才都涌入大模型产业。这么高的社会关注度、人才密度和强度，结果必然是创新极度繁荣，生态进化极快。如果 Google 不开源，就没法利用更加强大的集体智能来打磨自己的大模型以及建立自己的生态。
03. 开源是后发者必选项
很显然，在大模型这个领域，Google 已经在声势上大幅落后于 OpenAI。在开源生态上，如果 Google 再犹豫不决，后面就算想开源也会大幅度落后于 Meta 的 LLaMA。相反，如果开源，可以把 OpenAI 的壁垒进一步降低，而且会吸引（或留住）很多支持开源的高级人才。如果 Google 开源，必然让 OpenAI 痛苦万分。一方面它靠模型 API 收费的商业模式将会大打折扣，另外一方面它又没有 Google 靠其他商业模式来支撑大模型研发的高强度投入。庸俗点说，敌人的痛苦就是自己的幸福，这样也能让 Google 心态好一点，不要昏招百出。
04. 开源并不意味着，自己无法建立壁垒
有人可能会说，Google 开源不就没有壁垒了吗？首先，Google 资源很丰富，我曾经建议过，可以把内部分成三股力量：内部升级方阵，开源方阵，和探索方阵。所以开源不是 Google 的全部，但是却可以利用开源撬动社会的群体智慧来进攻 OpenAI。
其次，大模型的丰富多彩不在于非常烧钱的预训练模型（这是适合开源的部分），而在于后面为了应用落地的各种模型微调和工程部署优化，谷歌有自己丰富多彩的应用场景，可以在产品层面建立很多壁垒包括数据飞轮。
最后，在技术越来越平民化的时代，最大的壁垒不是靠第一个憋出个大招、然后自我封闭建立的。建立壁垒需要抱着长期主义的想法，在一个难的事情上不停地持续投入和迭代。谷歌其实有开源的传统，而且也是开源的受益者，比如说它的安卓和 Tensorflow 生态，所以 Google 应该保持这个传统，利用自己的优势，在 AGI 时代重放光彩。
下面是刊发泄露文件的 SemiAnalysis 原文，经 AI 翻译，Founder Park 校对。
OpenAI 也不太行
我们一直在密切关注 OpenAI 的动向。谁将迈过下一个里程碑？下一步会是什么？
但令人不安的事实是，我们没有取得领先地位，OpenAI也没有。在我们争吵不休的同时，第三方悄悄地吃掉了我们的午餐。
当然，我指的是开源。坦率地说，他们正在超越我们。我们认为的「重要的开放问题」已经被解决并在某些人手中应用。仅举几例：
手机上的 LLMs： 人们正在 Pixel 6 上运行基础模型，每秒 5 个 token。 可扩展的个人AI： 你可以在一晚上在笔记本电脑上微调个性化 AI。 负责任的发布： 这个不是「解决」，而是「显而易见的」。有的网站充满了没有任何限制的绘画模型，而 LLM 也不远了。 多模态： 目前的多模态 ScienceQA SOTA 在一个小时内训练完成。 尽管我们的模型在质量方面仍然稍占优势，但是差距正在以惊人的速度缩小。开源模型更快，更可定制，更私密，而且实力更强。他们正在用 100 美元和 13B 参数做事情，而我们在用 1000 万美元和 540B 参数时仍然感到困难。而且，他们是在几周内完成的，而不是几个月。这对我们有深远的影响： 我们没有秘密配方。我们最大的希望是从谷歌以外的其他人所做的事情中学习和合作。我们应该优先考虑启用第三方集成。 如果免费、无限制的替代品品质也差不多，人们不会为受限制的模型付费。我们应该考虑我们真正的附加值所在。 巨型大模型正在减慢我们的速度。从长远来看，最好的模型是那些可以快速迭代的模型。我们应该让小型变体成为重点，现在我们知道在小于 20B 参数范围内可能会发生什么。
开源社区发生了什么？
三月初，Meta 的 LLaMA 模型出现在开源社区。它是一个非常强大的基础模型，没有指令或会话调整，也没有 RLHF。尽管如此，开源社区立即意识到这东西的重要性。
随之而来的是一系列的创新，每隔几天就会有重大进展（请参阅时间表以获取完整的细节）。现在，仅仅一个月过去了，就有了具有指令调整、量化、质量改进、人类评估、多模态、RLHF 等变体，其中许多是相互建立的。
最重要的是，他们解决了扩展问题，以至于任何人都可以进行实验。许多新的想法来自普通人。训练和实验的门槛已经从一个主要研究机构的总产出降低到一个人、一个晚上和一台强大的笔记本电脑。
LLM 的 Stable Diffusion 时刻
从很多方面来说，人们都不会感到惊讶。
开源 LLMs 的复兴紧随着图像生成的复兴出现。社区没有忽视这些相似之处，许多人将其称为 LLMs 的「Stable Diffusion 时刻」。
在这两种情况下，公众拥有了用低成本参与的机会，因为有了一种成本大幅降低的微调机制，称为低秩适应（low rank adaptation, LoRA），再加上规模的重大突破（用于图像合成的潜在扩散 Latent Diffusion，用于 LLMs 的 Chinchilla）。在这两种情况下，接触到高质量的模型引发了世界各地个人和机构的想法和迭代。在这两种情况下，这很快超过了大型玩家。
这些贡献在图像生成领域是至关重要的，使 Stable Diffusion 走上了一条与 Dall-E 不同的道路。开放模型导致了产品集成、市场、用户界面和创新，这些都没有发生在 Dall-E 上。
其效果是显而易见的：在文化影响方面的迅速主导地位，相比之下，OpenAI 的解决方案变得越来越无关紧要。LLMs 是否会出现同样的情况还有待观察，但广泛的结构要素是相同的。
Google 错过了什么
开源软件最近的成功离不开引领创新的技术，而这些技术能够直接解决我们仍在苦苦挣扎的问题。更多地关注他们的工作可以帮助我们避免重复造轮子。
LoRA 是一项非常强大的技术，我们应该更加重视。
LoRA 的工作原理是将模型更新表示为低秩分解，从而将更新矩阵的大小降低了几千倍。这使得模型微调的成本和时间大大降低。在消费级硬件上能够在几小时内个性化语言模型是非常重要的，尤其是对于涉及到在几乎实时的情况下融合新的多样化知识的抱负。尽管这项技术直接影响到我们最雄心勃勃的项目，但它在谷歌内部的利用率仍然不高。
从零开始重新训练模型是一条艰难的道路。
LoRA 之所以有效，部分原因在于，就像其他形式的微调一样，它是可堆叠的。像指令微调这样的改进可以应用，然后作为其他贡献者增加对话、推理或工具使用。虽然单个微调是低秩的，但它们的总和不需要是低秩的，从而允许模型的完整秩更新随着时间的推移积累。
这意味着，随着新的和更好的数据集和任务变得可用，模型可以廉价地保持最新状态，而无需支付完整运行的成本。
相比之下，从头开始训练巨型模型不仅丢弃了预训练，还丢弃了在其之上进行的任何迭代改进。在开源世界中，这些改进很快就会占主导地位，从而使完全重新训练的成本极高。
我们应该仔细考虑每个新应用或想法是否真的需要全新的模型。如果我们真的有重大的架构改进，无法直接重用模型权重，那么我们应该投资更激进的蒸馏形式，以尽可能保留上一代的能力。
如果我们能够更快地迭代小型模型，那么在长期内，大模型并没有更具有优势。
对于最流行的模型大小，LoRA 更新的成本非常便宜（约 100 美元）。这意味着几乎任何有想法的人都可以生成并分发一个模型。一天内的培训时间是正常的。在这种节奏下，不久之后，所有这些微调的累积效应就会克服从小的模型开始的劣势。事实上，就工程师的时间而言，这些模型的改进速度远远超过我们使用最大变体所能做的，而最好的模型已经很难与 ChatGPT 区分开来。专注于维护一些全球最大的模型实际上会使我们处于劣势。
数据质量比数据大小更为重要
许多项目通过在小型、高度精选的数据集上进行训练来节省时间。这表明数据缩放定律具有一定的灵活性。这些数据集的存在源于《数据并不像你想象的那样》一书中的思路，并且它们正在迅速成为谷歌以外进行训练的标准方式。这些数据集是使用合成方法构建的（例如，从现有模型中筛选出最佳响应），并从其他项目中进行回收利用，这两种方法在谷歌都没有优势。幸运的是，这些高质量数据集是开源的，因此可以免费使用。
直接与开源竞争注定会失败。
这一最新进展对我们的商业策略有直接、立即的影响。如果有一种没有使用限制的免费高质量替代品，谁会为谷歌产品付费呢？
我们不应该指望能够追赶上去。现代互联网正是由于开源而运行的，这是有原因的。开源拥有一些我们无法复制的显著优势。
我们比开源模型更需要开源
保守我们的技术秘密一直是一个不稳定的命题。谷歌的研究人员经常离开去其他公司，因此我们可以假设他们知道我们所知道的一切，并将继续这样做，只要这个渠道是开放的。
但是，保持技术竞争优势变得更加困难，因为 LLM 的尖端研究现在变得更加负担得起。世界各地的研究机构正在建立彼此的工作，以一种广度优先的方式探索解决方案空间，远远超出我们自己的能力。我们可以试图紧紧抓住我们的秘密，而外部创新会削弱它们的价值，或者我们可以试着互相学习。
个人受到的限制不像企业那样严格
许多创新都是基于泄露的 Meta 模型权重进行的。虽然随着真正开放的模型变得更好，这种情况将不可避免地发生变化，但重点是他们不必等待。由于法律保障了「个人使用」的权利，且起诉个人的难度较大，个人得以在这些技术流行时获得它们。
成为自己的客户，意味着你能理解用户
浏览人们在图像生成领域创建的模型时，有着广泛的创造力，从动漫生成器到 HDR 景观。这些模型由那些深入沉浸在自己特定的子流派中的人使用和创建，他们拥有我们无法匹配的知识深度和共情。
拥有生态系统：让开源为我们工作
然而，唯一的受益者是 Meta 公司。由于泄露的模型属于他们，他们已经有效地获得了全球自由劳动力的价值。由于大多数开源创新都是在他们的架构之上进行，因此他们可以将其直接纳入其产品中，没有任何人可以阻止他们。
拥有生态系统的价值不言而喻。Google 本身已经成功地将这种模式应用到了其开源产品中，如 Chrome 和 Android。通过拥有创新发生的平台，Google 巩固了自己的思想领袖和方向制定者的地位，赢得了塑造大于自身的思想叙事的能力。
我们控制模型的程度越紧，就越容易引起人们选择开源替代品的兴趣。Google 和 OpenAI 都采取了防御性的发布模式，以使他们能够保持对其模型使用方式的严密控制。但是，这种控制是虚构的。任何想要将 LLM 用于未经授权目的的人都可以随意选择免费提供的模型。
Google 应该成为开源社区的领导者，通过合作而不是忽视更广泛的对话来带头。这可能意味着采取一些不舒服的步骤，比如发布小型 ULM 变体的模型权重。这必然意味着放弃对我们的模型的一些控制。但这种妥协是不可避免的。我们不能希望既推动创新又控制它。
结语：对于OpenAI的态度应该是怎样的？
所有这些关于开源的讨论可能会让人感觉很不公平，因为 OpenAI 目前采取的是封闭政策。如果他们不愿意分享，为什么我们要分享呢？但事实是，我们已经通过稳定的高级研究人员流失向他们分享了一切。在我们阻止这种流失之前，保密是没有意义的。
关注 Founder Park，我们将持续推出更全面更深度的大模型相关讨论与报道。
如果你有投身大模型创业的想法，欢迎加入我们的大模型相关领域交流群，来一起探讨大模型时代创业的共识和认知。
针对数据安全问题，微软将推出私有版ChatGPT，价格贵10倍
图灵奖得主、谷歌副总裁 Hinton 离职，对毕生工作感到后悔和恐惧
Ilya 斯坦福访谈：AI意识，开源和 OpenAI 商业化，AI研究的未来
AGI 时代的创业公司新形态：11 人的 Midjourney 不是偶然