“AI版YC”创始人：我们要如何跨越AI Hype Cycle？
作者：Ben Thompson
编译：Lavida，wenli，Gisele
编辑：Siqi
排版：Scout
本文编译自 Stratechery 主编 Ben Thompson 与Nat Friedman、 Daniel Gross 关于 AI 热潮的访谈。
Nat Friedman 和 Daniel Gross 是硅谷著名 AI 投资人，他们在 2017 年搭档成立了“AI 领域的YC” ——AI Grant，也因此在早期就参与投资了Character.ai、Perplexity AI、Weights & Biases、Scale AI 等 AI 领域重要公司。今年 6 月，他们又推出了 Andromeda Cluster 计划，是一个价值 1 亿美元、拥有 10 exaflop 计算能力的 GPU 集群，并将其开放给自己的被投企业，为 AI 领域的早期创企业提供计算资源支持。
在成为投资人之前，Daniel 和 Nat 都是成功连续创业者。Nat 参与创办了开源跨平台 SDK Xamarin，并在 2016 年被微软收购。2018 年，Nat 带领微软收购了 GitHub，并出任 Github 的 CEO。Daniel 曾创建过搜索引擎公司 Cue，后被 Apple 收购。
Nat 和 Daniel 也将 AI 和之前的技术、科技投资周期进行了对比，指出当下的 AI 投资一定存在泡沫，但同时也坚信 AI 一定能带来真正的颠覆式创新。借用英特尔创始人 Andy Grove 的观点，人们在行业转型的过渡期会看不清方向，而 AI 正处于这样一个阶段：现在看起来的 big thing，未必能够长存；相反，一些现在还小的公司，以后可能会成长为有影响力的大公司。
以下为本文目录，建议结合要点进行针对性阅读。
👇
01 LLM 和企业工作流的融合不可逆
02 AI 带来真正的颠覆式创新
03 ChatGPT 被高估了吗？
04 未来需要生成高价值数据
05 Llama 2 与本地模型
06 GPU 供给失衡
07 Andromeda 与 AI Grant
01.
LLM 和企业工作流的融合不可逆
Ben Thompson：上次你们二位来访是去年 10 月，那时距离 ChatGPT 在全球范围内掀起生成式 AI 的热潮只有一个月，可以说我们非常早就预见到了这个重大时刻。现在已经是 2023 年 8 月了，这次你们想做出什么样的预言？
Nat Friedman：去年 10 月的时候 Stable Diffusion 相当火爆，我们都期待人们能对文本和 Chatbot 产生更大的兴趣。后来人们对 ChatGPT 的狂热也证实了我们的观点。现在，我们正处于一个最好的时代，但同时也是最坏的时代：相较半年前，AI 初创公司的数量比以前高出 3 到 5 倍。
Ben Thompson：你们创立 AI Grant 的出发点之一是好奇做 AI 的初创公司都去哪了，毕竟 AI 技术有着巨大潜力，必须快速产业化，目前看这个问题也迅速得到了解决？
AI Grant 是由 Daniel Gross 于 2016 年创立的非营利组织，目的是为那些对人工智能领域有创新想法但缺乏资金支持的个人和团队提供机会。AI Grant 致力于支持和推动 AI 领域的创新和研究，提供小额资金奖励，以资助个人、团队或组织开展各种与人工智能相关的项目。该组织接受来自全球各地的申请，并评估项目的创新性、潜力和社会影响等因素来选择资助项目。
Nat Friedman：没错。不过这也导致了另外一个问题，就是 AI 领域投资人数量激增，并且现在很多人还处于一个上头的状态，可以说目前是这一波 AI 热潮周期的最高点，市场上很多炒作情绪是完全不合理的，只是在毫无价值的项目上烧钱，但这种情况中，也确实诞生了一批极佳的新产品和初创公司。整体来说，当前市场信息噪音很大，泡沫也很多，但只要小心这些新事物的陷阱，目光放长远，仍然可以找到很多有成功潜力的东西，不要把目光局限在 ChatGPT 、 Midjourney 这样已经人尽皆知的大型通用类产品。
Daniel Gross： ChatGPT 背后的技术是在 2020 年 6 月问世的，我查了一下 iPhone 推出三年后 App Store 上流行的免费 App，或许能给我们一些灵感，前十名包括 Facebook、Angry Birds Light、Words with Friends、Skype、Tap Tap Revenge、Paper Toss 等等。这些 App 有很多已经不再为人所知，但在当时 Angry Birds（愤怒的小鸟游戏）就像划时代的发明一样。
Ben Thompson：现在确实很难看出来有哪些项目会成为 AI 时代的 Uber 或者 Instacart ，也有可能在一年后就出现了。你觉得这场浪潮真正的起点是 ChatGPT 还是 GPT-3？如果类比到 App Store 可能我们现在的时间要更早，类似于 2009 年的 App Store ？
Daniel Gross：GPT-3 可能只是面向开发者，而非消费者，而 ChatGPT 则标志着 to C 的 AI 产品的起始。与 iPhone 首先在 C 端流行的情况不同，OpenAI 的情况是相反的。总的来说，我无法确定这样类比正不正确，在这个时间点每个人都很困惑。
英特尔创始人 Andy Grove 的一个观点是，人们在行业转型的过渡期会看不清方向，现在就是这样一个阶段。现在看起来的 big thing，未必能够长存；相反，一些现在还小的公司，以后可能会成长为有影响力的大公司。
Ben Thompson：确实，手机无疑是最直观的类比，但我不确定这样比是否合适，因为手机毕竟是硬件。从历史上来看，新技术常带来新的商机，新的用户界面是新公司涌现的机会，可能会带来新范式或全新的用户体验。
我认为 AI 更重要的一点在于，它对商业模式造成了根本性的转变。互联网时代，我们已经基本实现零消费成本，公司原本的地域限制以及各种影响都一并消失。现在尽管还有推理成本，但 AI 在信息生成方面已经趋近于零成本，我觉得这将比互联网产生更大规模的影响，只是需要时间，就像互联网的影响大于 PC 也需要更长时间才能显现。
PC 在 1982 年问世后很快就成为巨大商机，带动了强劲的销售增长。这也使得 Microsoft 成为一家高盈利公司，几乎不需要 VC 投资。但是，我还并不确定 AI 是否会和 PC 一样很快带来明显的商业价值和销售增长。Netscape 后来成为一段历史，像 Google、Facebook 这些真正有影响力的大公司直到 10 年后才开始崭露头角。
Daniel Gross：是的，我同意。或许我们被 History rhymes， it doesn’t repeat（历史总是相似的，但并不重复）这句话困住了。
Netscape 成立于 1994 年，是早期互联网浏览器的开发者之一，最知名的产品是 Netscape Navigator—— 一款在互联网初期非常受欢迎的网页浏览器，它提供了先进的功能和用户友好的界面，使得普通用户能够轻松地浏览和访问互联网上的网页内容。这款浏览器开创了现代互联网浏览器的先河，为后来的浏览器如 Internet Explorer、Mozilla Firefox 和 Google Chrome 等奠定了基础。
然而，随着时间的推移，竞争加剧以及新一代浏览器的崛起，Netscape 的市场份额逐渐下降。最终，Netscape 公司在 2003 年被美国在线（AOL）收购，Netscape 品牌也逐渐退出了主流市场。
Nat Friedman：最近半年有一个很明显的趋势是大模型和生产力场景的结合。换句话说，这些模型通过自动化，替代或强化了企业内部某些工作流程，它们的竞争对手不是软件，而是一些工作岗位，是“知识型工作者”。
例如，我们最近了解到一家名为 AutogenAI 的公司，它可以自动为政府采购中标企业递交申报材料。这给企业节省了大量时间，取代了许多以前需要顾问来做的重复性智力工作，这家公司未来会有非常广阔的应用前景，让企业有机会去申请更多项目，从而获得更高的中标机会，进而实现收入的提升，这家公司目前增长相当迅速，可以看作是一个成功案例。
个性化虚拟形象视频生成也是个很好的例子，并且这个领域已经形成一个完整的产业，人们可以在平台上定制视频，甚至插入自己的声音，比如“哈喽 Ben，我注意到你对我们的产品感兴趣，我来给你介绍下……”大概流程就是生成文本，输入进虚拟形象平台，然后生成逼真的个性化虚拟形象，将其应用于广告、个人对外沟通、培训等场景。相比过去因成本所限无法制作视频，现在这项技术这样大大降低了门槛。目前比较知名的公司有 Synthesia、D-ID、Hayden 等，它们都在这个领域表现突出，业务增长迅速。
另一个相似的是电商优化（optimizing e-commerce）领域。这个领域已经存在有一个完整的行业生态，业内的顾问、专家和公司专注于围绕产品标题和描述做搜索引擎优化（SEO），还有亚马逊登录页面的转换率优化等。现在这些专业知识正在转化为模型工具，能自动进行测试与优化，用 LLM 就可以运行，为客户带来实质经济效益，很多还能与人力团队竞争，这很有意思，因为六到九个月之前这个市场都是基本空白的。而在我刚才提到的每个细分领域中，几乎都有一家公司正在或即将通过提供产品/服务获得千万级别的收入。
Ben Thompson：突然想到一点，与我刚刚说的恰恰相反，感觉更像是 PC 爆炸式增长的实际情况。我觉得 PC 当时流行的一个重要因素在于它替代了大型计算机，使用更加便捷，导致难以回归到大型机时代，虽然大型机有时候可能是个更好的选择。
过去的会计部门都规模庞大，一大批员工通过手写账本的方式完成工作。后来随着电脑的应用，基本上整个部门都被取代了，因为电脑可以做的更好、更准确，这确实与自动撰写招标申报书的情况很相似。
另一个关于虚拟形象方面的看法是，AI 具有人性化的一面。有人分析推特为什么没能成为主流社交平台，我个人一直觉得是因为推特是文字类平台，而大多数人更喜欢语音和视频交流。过去可能有人不擅长写文案，因此被排除在部分经济活动之外，而虚拟形象技术使得交流更具包容性。
Nat Friedman：是的，目前企业内部存在大量文本类（text-to-text）工作，现在也包括文本到视频（text-to-video）工作。这些工作中有很大一部分可以通过 LLM 实现自动化、效率和产出的提升。还有一些法律科技公司正在利用 LLM 替代或增强律师助理的工作，例如 Harvey、Robin 和 Spellbook 等。他们能完全取代律师吗？当然不能，但在一定程度上，这些工具能快速高效地完成律师需要花大量时间完成的机械性工作。
医疗环境中的临床信息记录也可以和 LLM 结合起来。
企业成功的秘诀一直在于软件和人员的有机组合，但随着 LLM 带来的软件能力的提升，软件可以接手的工作量在增加。这使得企业在朝着一种“cybernetic”方式发展，即人与机器在工作流程中的有机融合，LLM 和企业工作流的融合是不可逆的。
02.
AI 带来真正的
颠覆式创新
Ben Thompson：我一直在思考的一个问题是公司的本质是什么，企业的持续性和意义从何而来。公司要是想要更持续，就不能太依赖于人，因为人过于不可控。公司要想更长久的本质是什么？我的观点是，企业的本质在于数据以及流程，所以我对能够抓住这一机会的公司极感兴趣。虽然 Box 和 Dropbox 至今依旧存在，但却未能成为拥有超级影响力的公司，但另外一方面，AI 的重要性在一定程度上得到了验证。
Microsoft 和 AWS 都在财报会上提到，他们对自己的位置相当乐观，因为数据处理是数据流的下游过程，而他们已经拥有了数据。一个公司变得越来越像计算机、越来越智能化是一种自然进化，这也正是激励体系所推崇的方向，也就是让企业不要过分依赖人。
Nat Friedman：我认为你说得完全正确。这里涉及到一些哲学问题。哲学家尼克·兰德（Nick Land）提出了一个很棒的观点，他认为资本主义和 AI 本质上是相同的，因为资本主义驱动着一种去人化的演化进程（impersonal process improvement），这个很好理解。但他另外一个更有趣的观点是，人们之所以对资本主义感到不适，是因为资本主义从根本上来说是一种基于生物基质运行的程序，对人类来说并非理想环境。
尼克·兰德（Nick Land）是一位英国哲学家，提倡加速主义，即通过加快资本主义和科技的发展速度来推动社会变革。他认为，加速资本主义的进程将产生强大的创新和技术进步，最终可能导致一种超越人类控制的智能存在，还认为人类不应该被视为宇宙的中心或特殊存在。其激进思想在 20 世纪 90 年代末和本世纪初引起了广泛争议。
上文中的生物基质原文为“Biological substrate”，指的是人类作为生物体存在和运作的基础，此处引用 Nick 观点暗示资本主义社会结构与人类的本性、情感和价值观之间存在着不匹配或冲突。
因此，“对于人类而言，所谓资本主义的历史实际上是一场由来自未来的人工智能空间发起的入侵，它必须完全依靠敌人的资源来组装自己。”在一些新的 AI 产品的生产中，我们可以看到这种情况的发生，以前你可能需要雇佣代理机构或团队来做的事，而现在越来越多地可以使用模型来完成。
Ben Thompson：这是否进一步印证 AI 最具价值的应用场景主要在企业场景这个观点？因为企业会以传统理性的方式考虑成本，即大额前期投入将在未来某个时间区间内得到回报。而消费者更注重体验，未必会考虑全生命周期成本。另外，已经拥有数据的企业优势将会相当明显。新公司还有机会进入这个领域吗？
Daniel Gross：我认为 B 端往往是进步的开始，大家通常都会瞄准企业来去做改进，比如早期的电视节目是以广播节目为基础进行转化的，以及 Horseless Carriage（无车马车，即最早期的汽车，以内燃机驱动，但外形上仍旧是马车）的起源等等。所以我认为目前很多 AI 产品还属于 V1 版本，它们的目标仅仅是利用技术可以实现自动化，因为现在可以进行自然语言交互了。
以后的 AI-native 应用案例将更多地面向消费者，这些应用将完全不同，它们不再是取代之前的某个过程，而是创造了以前从未有过的全新功能。就比如现在互联网上消费者能体验到的东西，其实和以往任何事物都不一样。
Ben Thompson：Midjourney 和 Character.AI 似乎就属于在想象力层面提供了全新体验、和以往的任何事物都不相同。
Daniel Gross：是的，之前有观点认为，机器人（Robotics）会非常擅长蓝领工作，但机器在人类心理学方面表现非常糟糕，心理学正是人与人之间联系的最后一个领域。可事实证明，机器人（拾象注：这里主要指对话机器人 chatbot）在心理学方面表现非常出色，在实际劳动中的灵活度几乎为零。
Character.AI 就是一个很好的例子，现在出现了许多这类 AI-native 的行为，比如说在 Character.AI 上，你可以整天和一个 Chatbot 聊天，有个特别好的问题就是“你以前都在做什么？”这样你就可以弄清楚这个 Chatbot 的实际用途，通常他们都花费了大量时间在游戏或社交媒体上。
预测未来是非常困难的，就像当初看到 iPhone 我们无法预见 Uber 的出现，或者看到互联网无法预测到亚马逊一样。现在这些机器人通常是为消费者体验而设计的，它们会成为真正具有颠覆性的事物，而企业也会获得可观的好处。相当于我们以前雇佣的是一个人，现在则是一个能得到机器人协助的人（Person in a co-pilot model）。
我认为如果 AI 技术给企业带来颠覆，那很可能来自于一种全新的原生用户体验。这类颠覆通常属于 Clayton Christense 式的低端市场干扰，但 AI 可能带来的影响规模要大得多。目前很多公司试图利用 AI 完成高端法律工作，但模型在判断和依据方面的不足也需要解决，而低端服务，如支付 500 美元询问律师租赁相关问题，使用 AI 助手有可能更高效。总体来说，AI 很可能通过提供低成本的初级服务，对低端法律市场产生深远影响。
Clayton Christensen（克莱顿·克里斯坦森）是一位著名的管理学家和创新理论家，他提出了“颠覆式创新”（Disruptive Innovation）的概念。克里斯坦森的理论认为，颠覆式创新往往发生在原有市场的边缘，通过低成本、简化的产品或服务满足了原有市场中被忽视或不满足的需求。这种创新在早期可能被高端市场忽视或低估，但随着技术的进步和用户需求的改变，逐渐发展壮大，并最终取代了原有市场的主导地位。
Ben Thompson：Disruption 最初是指从市场底端进入的产品或服务，尽管质量低下，但因为成本结构具有根本性的差异，可以以不同的方式进行规模扩张。典型的反例是连锁经济型酒店和高端豪华酒店，它们之间的区别在于投入的资金数量，所以汉庭相比丽思卡尔顿并不是一种 disruption，只是更便宜罢了。
但像 AI 法律助手这种能够无限扩展、但又可能会比高端律师犯更多错误的法律咨询模式，是非常具有颠覆性的，因为提供高端法律服务的人日常并不会涉及到简单的法律咨询服务，也会顾虑工作数量和交付质量之间的平衡，但 AI 则可以。虽然可能会犯错误，但它的使用量更大，更容易访问，因此反馈和改进的速度也更快，以至于时间久了，未来法律 GPT 可能会超过高端律师，而高端律师仍然会犯错误，但到那时他们已经束手无策，无法做出应对。
Daniel Gross：是的，未来消费者也许可以接受更高的失败率、完全新的范式或者与以前完全不同的事物。然后乐观来说，随着技术成熟，我希望 AI 也能助益传统企业，就像食盐中的碘，自然融入，不易察觉。
目前许多文本密集型的公司可能被低估，因为将文本转化为产品难度比较大，可又无法根据企业处理文本量来进行类似 S&P500 的排序，表明这类公司的重要性未得到充分认识。如果能根据文本处理能力排名企业，可能会发现一些潜在值得投资对象。在一个信息可自由合成的世界里，文本能力实际上是一个重要的相关指标。
Ben Thompson：就像你提到的案例一样。或者我们想象一家建筑公司，如果你能够比同行低成本在全国范围内拿下所有项目，那将相当颠覆。
Nat Friedman：当然，另一方面也需要 LLM，因为那些收到投标的机构从来没有预料到他们现在能得到这么多的申请。
Ben Thompson：未来，这将是 AI 与 AI 的对话。
Nat Friedman：对的，目前我们很多机构都受限于生成高质量文本的难度，而技术进步使我们能够大规模地生成文本，这无疑是一个重大变化。
03.
ChatGPT
被高估了吗？
Ben Thompson：媒体上有传言说 ChatGPT 的使用量下降了。
Nat Friedman：我个人认为这应该不是真的。ChatGPT 目前的使用非常广泛，我们暂时还不知道关于 ChatGPT 的确切数字，有传言说，综合不同的收入来源统计，总共大概有 10 亿美元的收入。
如果从 Similarweb 的统计看，可能会觉得 ChatGPT 使用有所下降，但我认为这里其实忽略了几点：首先，ChatGPT 已经推出了移动 App，这可能分走了部分网页端流量。其次，暑假因为学生没有家庭作业，ChatGPT 也许暂时使用量下降，但这可能只是临时因素。
Ben Thompson：是的。我也认为这是一个大问题。到目前为止，ChatGPT 的第一大用例就是帮助学生解决家庭作业，但孩子们暑假没有那么多作业要做。
Nat Friedman：完全同意。但这种流量衰减没有持续多久也表明 ChatGPT 在商业领域的应用正在增加。尽管学生人群的访问量可能减少，但在这个过程中 ChatGPT 的收入一直在稳步增长，因此可以推测是实际的商业使用在增加，并且这还是在他们推出 Business 和 Enterprise 版本之前。在推出 ChatGPT Enterprise 这一企业级产品后，OpenAI 可能会通过 SSO 和数据安全保障等手段提高价格。
所以，我认为 ChatGPT 有极大可能在明年成为一个价值 30 亿到 50 亿美元的业务，企业应用是必须考虑的一点，我在各行各业都遇到过日常每天使用 ChatGPT 的人，市场营销、法务等等，也许他们使用频率还没到用 Google 那么高，但他们确实已经从中获得了价值。
Daniel Gross：我的观点是 ChatGPT 既被高估了，也被低估了。
高估的原因是看到了使用率正在放缓，虽然学生是 ChatGPT 的早期用户，并且这一代人有可能会一直使用它，但他们还没有太多的购买力。
而我认为它被低估的主要原因是，使用率在实际用途面前并没有那么重要。如果 ChatGPT 只是被用来为网站生成复制营销文本，那就没什么意思了，但它在编写代码方面的应用度也非常高，而且显然能创造的价值也更大。
OpenAI 目前在定价和细分上还不够精细，定价上有些问题，还不能区分用户群和用途价值。如果能看到更详细数据，可能就会注意到 ChatGPT 整体使用曲线可能在放缓，但在某些高价值应用场景使用强度在增长。因此，OpenAI 可能需要完善其 ChatGPT 的货币化模式，我认为这是一件好事。对学生家庭作业等场景是否真正产生商业价值还有待判断。但 AI 产业整体来看仍有潜力，如埃森哲这样的公司就能从软件业务中每年获得数十亿收入，这是一个值得关注的领域。
Ben Thompson：还有一个问题，你刚提到 ChatGPT 存在巨大的商业潜力。虽然公司的决策并不总是出于理性，不过我从理性角度来看认为，微软在 API 和企业方面表现十分出色。在科技行业，打造一个有实际意义的消费者品牌是最为稀有、也是最能获利的机会。尽管 ChatGPT 的使用率有所下滑，但考虑到其庞大的用户基数，其用户留存率实际上令人印象深刻。
OpenAI 完全有潜力转型为一家面向消费者的公司，但我不确定他们是否有这样的企业文化或足够的动力来实现这个转变。这方面有什么最新进展吗？他们现在已经开发了自己的 APP，并加大了 To C 产品人才方面的招聘力度。但在你看来，OpenAI 只是被迫进入，还是说从战略层面发生了变化？
Nat Friedman：我们可以说 OpenAI 无意间推出了一款超级应用，Sam 和 Greg 也都很懂怎么搭建产品，但 OpenAI 从一开始的目标就不是做 to C 市场，显然他们在产品化方面还有很多学习和改进的空间。未来他们会不断改进产品，但是不是已经完全转向这种模式现在还并不明确。产品化的进程也许并不重要，关键在于 OpenAI 能否保持高增长，如果增速足够惊人，到时候没有人会觉得有谁会打败这家公司。
我们显然可以把 ChatGPT 变得更具商业应用潜力，更实用、更吸引人，并带来更多的盈利。尽管如此，考虑到他们所拥有的快速增长的消费者产品，或者说是增长最迅速的 AI 产品，真的很难对他们提出批评。我认为他们有目前最好的模型，没有任何人能超越。Claude 2 也表现得非常不错，但它还是比不上 GPT-4，GPT-4 可以用于编写代码，而 Claude 2 则在这方面有所限制。
Ben Thompson：Anthropic 正在进行哪些项目？他们未来有何打算？我一年前曾预测，苹果有可能会收购他们，但这件事目前还没有任何消息。
Nat Friedman：众所周知 Anthropic 团队是GPT-3 的核心成员创立的。Anthropic 很重视 AI Safety，他们在推进商业化的同时也很在意安全，Anthropic 从业务模式上更 to B，并且到目前为止，只与像 Amazon Bedrock 这样的合作伙伴合作，用户可以通过 AWS 来访问 Anthropic 的模型。
Ben Thompson：既然提到了 Amazon，Apple 同样是科技巨头，所以关于 Apple 可能与 Anthropic 的合作或收购的论点，也同样适用于 Amazon 与 Anthropic 的关系。毕竟，作为 AWS 云的首选托管服务，这种合作是非常合适的。
Nat Friedman：从多个方面来看，他们的表现都非常出色。尽管规模不及 ChatGPT，但增长势头依然很可观。他们未来的优势在于 OpenAI 不太愿意为客户提供 API，利用这点来加速对他们来说也许是可行的。如你所言，OpenAI 更多把自己看作一个研究机构，而我觉得 Anthropic 在某种程度上更为亲近客户、更有支持性，并且更愿意倾听客户的需求。由于他们不是头部公司，所以他们采取了与 Avis 公司“We Try Harder”类似的策略。这种策略有一些效果，所使用的 B2B 策略更为精细且有条理。他们主要是提供 API 租赁服务，而不是像 ChatGPT 那样被众多知识型工作者全天候使用。
Avis 是一家汽车租赁公司，他们在广告宣传中引入了“We Try Harder”（我们更加努力）的口号。这个口号的策略是将 Avis 定位为汽车租赁行业的弱势者，承认他们不是市场领导者，但强调他们致力于提供更好的客户服务，并愿意付出额外努力来满足客户的需求。通过采用这种策略，Avis 旨在与竞争对手区别开来，吸引那些欣赏个性化关注和服务的客户。
Ben Thompson：我听说，越来越多的非科技行业的人士对使用 ChatGPT 时的数据隐私表示担忧，甚至有的公司禁止员工使用 ChatGPT。谁在控制这些数据呢？Microsoft 和他们的 Copilots 是否坐拥有利的位置？这是否也是人们对 Palantir 感到兴奋的原因？
Nat Friedman：Azure 为客户提供 OpenAI 的模型服务，并明确表示不会使用用户的数据进行训练。OpenAI 已经针对这种担忧做了策略上的调整，不再基于 API 的使用情况对模型进行训练。但如果你通过他们的网站或应用与 ChatGPT 互动，他们的确会收集你的使用数据，用于产品的持续优化和训练，我觉得他们在这方面还有提高的空间。未来，专为企业打造的 ChatGPT 版本或许还会提供选择，虽然价格可能会是三倍更高，但他们会承诺不使用、也不保存你的数据进行训练。他们之前有朝着这方面进行调整，且在受到 Anthropic 等竞争对手的压力影响下，会一直持续调整。
Palantir：
Palantir是一家成立于2003年的美国科技公司，专注于开发和提供数据分析软件和服务，主要产品是Palantir Gotham和Palantir Foundry。Palantir以其强大的数据整合和分析能力而闻名，他们的技术能够帮助用户从大量、复杂的数据中提取有价值的信息，并支持决策制定和解决复杂的问题。他们的产品被广泛应用于各个领域，包括政府机构、情报部门、执法机构和企业等，在处理大数据、网络安全、反恐怖主义、犯罪分析、风险评估和企业决策等方面发挥着重要作用。
04.
未来需要生成
高价值数据
Ben Thompson：你之前发过一条关于 StackOverflow 流量下降的推文，认为这一轮 AI 很大程度冲击到了StackOverflow ，并且提到随着 AI 能力不断增强，互联网数据是否会被耗尽？未来是否有可能会形成数据制造业？如何理解这件事。
Nat Friedman：这些已经在发生了，并且我觉得获取数据将成为一个重大的潜在问题。
我们都知道 LLM 的发展中算力很重要，需要很强大的 GPU，与之相关的是 NVIDIA 的供给能力。与此同时，数据作为另一关键资源也越来越受关注。因为网上公开可获取到的 tokens 很快会用完，所以现在顶级 AI 实验室之前都在悄悄竞争获取更有价值的数据，他们会花费大量资金来收购数据、找专家来生成数据，或者和像 Scale AI 这样的公司合作进行数据标注，这也将催生全新从事数据业务的初创公司出现。这将是一个很有趣的领域，值得密切关注。
数据领域的首要问题是训练模型需要非常高质量、高信息价值的数据，从某个随机的网站获取的数据可能无法创造新的价值，因此人们需要额外支付费用来获取真正有价值的训练数据，所以人们正在生成的也是这类数据。
我不了解具体数字，但有传言说 Google 今年为生成新训练数据花费了 10 亿美元。如果人们为了开发 GPU 集群（GPU training clusters）上要投入数十亿美金，那么给数据生成花的钱也算一种合理支出。前几天有人跟我说专家是新的“GPU”，专家将产生有价值的 tokens。
第二个问题则是，模型训练的数据法律制度最终会是什么？目前在美国、英国和欧洲大家普遍会依照公平使用制度（fair use regime）来进行数据获取，只要从公开的网络上抓取文本，并且内容本身是免费的、没有用户访问限制，那么用这些数据来进行模型训练就是合规的。这是目前法律的明文规定，但人们并不会一直满足于这种规定，而法律在未来也有可能发生变化。AI 是否会有类似版权法的规定？它会以何种方式限定？我们目前还不清楚，所以未来几年在获得数据方面可能会有更多形式的竞争。
还有一个重要问题是，现有 AI 模型的文字数据利用效率是否还不够高？是不是即使已经录入了所有书和文本，数据仍然不足？那么我们是否每年只能增加一定百分比的可利用数据量，就像 GDP 增长率那样？
我认为最大问题在于，是否会出现新的数据架构或算法，可以通过生成数据、自我学习等方式更高效利用数据？我们是否能更好地筛选和清洗数据，从而有效降低对数据的需求？这些问题答案未知，我们需要长期观察各种可能出现的变化趋势。
Daniel Gross：通过人类专家阅读互联网获得知识，然后再向模型传授自己获得的知识，这本身就存在一个现实误区：人类专家的知识来源于互联网信息，这个信息已经作为训练数据包含在模型中，而现在人类专家又被支付将这些知识传授给模型，那么模型的能力是否存在根本缺陷？
Nat Friedman：我认为有。目前来看，这类模型尽管读取过 GitHub 上的每一行代码、StackOverflow 上的每一个问题、各种编程书籍以及网络上每一次相关讨论的 transcript，但它们却仍无法像我一样在各种场景下高效编码。所以当我能掌握它们无法处理的情况时，对模型来说就很尴尬了。
在机器学习过程中存在一些无法被记录下来的内容，包括我们头脑中的思考过程，或是在合作编程时的对话。例如，“你觉得错误可能出在这吗？我们应该找一找。”这种来回讨论的过程往往没有被记录，相关的调试过程也很少被公开。尽管如此，对于机器学习模型来说，我们所处的环境需要大量的数据，而且它对数据的需求远远超过我们作为人类的需求。因此，这些模型学习的方式在某种程度上来说是不如我们人类的学习方式的。
Ben Thompson：这里有一个很好的类比就是计算。计算机本质上只能进行基于二进制的 0 和 1 的计算，而它提升能力的路径就是通过加快计算速度，这也是摩尔定律带来的效果。但计算机从未真正变聪明，其本质操作始终是 0 和 1 的运算，之所以能有较好的表现也是依靠内存中的技巧，或是分支预测等。
AI 的数据的数据利用上是否也存在类似于摩尔定律的规律来预测数据的未来发展趋势呢？摩尔定律对于计算机而言是适用的，因为我们可以寄希望于这个过程从物理层面上加速。
Daniel Gross：我不太确定，ChatGPT 在逻辑思维能力上的限制是源于计算机本身工作机制的限制，还是由于 Transformer 机制的原因，导致它不总是能够充分发挥逻辑思维能力？但可以确定的是，如果一步步引导它，效果会更好。
模型在逻辑思维能力方面的限制，可能主要来源于它内部网络结构的其他模式下，以及稀疏网络（Sparse network）其他部分的活跃程度。一些研究表明，当向模型展示代码时，它在其他方面会表现得更好，因为从理论上，代码本身就包含了许多逻辑步骤。
稀疏网络（Sparse network）是指在神经网络中，只有一小部分神经元之间存在连接的网络结构。与稠密网络（Dense network）相对应，稀疏网络中的神经元连接相对较少。
在深度学习中，模型通常由许多层和神经元组成，每个神经元都有其特定的功能和激活模式。当模型进行推理时，不同的输入和任务会激活模型的不同部分，其中包括逻辑思维的部分。然而，作者认为可能是由于训练数据的限制或其他因素，模型在逻辑思维方面的激活模式没有得到充分的训练和表达。
因此，我在思考的是，也许存在某种简单的方法可以激活逻辑思维，因为如果只在互联网上进行训练是不能学会逻辑思考的，互联网只是世上所有信息的一小部分。
Ben Thompson：你说得对。ChatGPT 发布 Plugin 架构时我也分析过这个问题，我认为目前它还在探索实现这一点的最佳方法。但从人类工作模式来看，我理解人脑工作方式与这类大模型广义来说的工作机制没有太大差异。我们在模型运作中同样利用大量预测能力，这也是我们神经元之间自然交互的方式。
我们能做的是，利用计算机来做我们不擅长的事情，比如以极高的速度完成非常困难的数学难题。在某种程度上，LLM 并不是计算机的最终目标，而是它能否以一种有意义的方式组织不同的计算活动。或许，更关键的是如何让 AI 意识到它的局限性。
从这个角度，hallucination 是一种特性，而不是缺陷。创造力才是最吸引人的。最重要的不是修复 hallucination，而是通过确定性计算机训练系统验证，以确保这些东西不会脱轨。
我好奇的是，沿着我们使用计算机的方式，LLM 也能够同样操作计算机吗？
Nat Friedman：如果把机器学习分为 1.0 和 2.0 时代，目前我们正处于后者。ML 1.0 时代着重建立排序和推荐算法。而现在这个生成式 AI 时代，我们已经淡忘了 ML1.0 时代的一些经验教训之一就是：为训练做数据准备工作需要耗费十倍于建模工作的努力，因为数据来源复杂，需要整合和清理。
这些大型 Transformer 架构很擅长去噪和清洗数据。但是普遍来看，我们在数据方面工作还做得太少，比如数据准备和处理等等。像 OpenAI 这样最优秀的公司可能已经做了很多秘密的数据工作，而且数据本身就是一项可持续的资产。数据方面还有很大改进空间，无论是获取更好的数据还是对数据进行清理，显然你不想获取一些低质量的 tokens 用于模型的训练。
那么我们是否可以对数据进行聚类，剔除差劣样本，在数据清理工作上做得更好？此外，是否可以采取分级学习的方法，即顺序和流程是否也很重要？
虽然目前存在很多真实问题，但总体来说，我对未来还持乐观态度。我们可以尝试的方法很多，模型规模将更大，同时还有很多数据来源尚未被充分利用，比如目前视频数量恐怕已经超过 1000 亿，但在训练中使用的程度还不够。如果能找到更好的方法来利用这些资源，可能会有很大帮助。
Nat Friedman：其实 Whisper 就基于一百万小时的 youtube 字幕文本做的训练，但这对海量的 video 内容来说就是杯水车薪。AlphaZero 的自对弈学习（Self-play learning）也是一个值得研究的方法。我们是否可以采取类似于代码解释器的环境实现自我学习？这还需探索，我也不能确定。总体来说， 目前涌现的几百来种想法中，一定会有新的有效思路，我们的技术一定会有长足的提升。
自对弈学习（Self-play learning）是一种机器学习的方法，其中一个智能体或模型通过与自身进行对弈来进行学习和提高性能。在自对弈学习中，一个单一的智能体充当了两个或多个不同角色的扮演者，它们通过相互对弈来进行学习和优化。
自对弈学习通常应用于强化学习领域，其中智能体通过与自身进行对弈来学习策略或价值函数的优化。该方法的核心思想是通过与自己的对手进行对弈，模拟出不同的情况和决策，从而提供了丰富的训练数据和反馈信号。
Daniel Gross：我们已经转换研究方向了，我过去主要研究的是强化学习（RL）和自对弈这两个方向。RL 曾在多个领域都取得很好的进展，如机器手操作、魔方、游戏等，但 2018-2019 年后，研究趋势几乎完全转向不再深入研究 RL 本身。
因为 RL 模型难以控制，就像手指尖上平衡一根非常长的杆子，很小的错误都可能让它失控，所以研究方向转到了 transformer 等模型，因为它们对糟糕的训练数据和错误更为坚固稳定，且擅长组织文本。但是除了预测下一个 token 之外，它没有自我构建和自我学习的能力。所以实验室现在可能会重新采用曾经抛弃的方法。
Ben Thompson：我认为这更像是关于验证层而非生成层的课题。现阶段模型的生成能力已经较强，但如何评估和确保其生成内容的有效性和正确性还是一个重要问题，也许系统性强化学习是解决这个问题的一种方式。
Nat Friedman：从验证层面来看问题，确实提供了一种有效的方法来探索 AI 应用领域。它寻找解决方法的搜索空间很大，但很容易验证解决方法是否可行。
Ben Thompson：这正是代码的美妙之处不是吗？行，或者不行，并没有中间地带，这正是很好的一个 AI 应用场景。
Nat Friedman：对的，因为可以在较短时间内通过测试来评判好坏，但找到正解却非常困难，本质上就是 AI 的完美应用。
05.
Llama 2 与本地模型
Ben Thompson：怎么看 Meta 推出 Llama 2？
Nat Friedman：Meta 这么做很利于初创企业。在我参加的一个 AI 初创企业的 demo day 上，其中 30 家多初创公司进行了 demo 演示，很多公司都把 Llama 2 fine-tunes 作为产品的一部分，很震撼。显然能够自行托管并微调 Llama 是大家的共同追求，这让开发者有了掌控感，而 Llama 2 确实也很强大。我们都听说过 Code Llama 即将推出的传闻，听起来他们将会继续做迭代并定期发布 Llama 的新版本。
欢迎关注海外独角兽视频号
获取最前沿的科技行业资讯
至于 Meta 为什么这么做，我觉得是因为他们已经在 AI 领域做得很深，并且这对于吸引顶尖人才也是一个巨大优势。Meta 现在看起来就像是一个很有活力的 AI 工厂，吸引了优秀的工程师。这个模型对 Meta 来说就像是一种补充产品，开源就像是将其商品化，Meta 借此提供了平台，支持各种不同的 AI 产品的开发，像是 Instagram 上的 AI 滤镜、WhatsApp 上与你互动的 agent。所以发布开源模型可以说有益无害，既加强了 Meta 的竞争力，也让优秀的 AI 工程师更倾向于选择 Facebook。
Ben Thompson：在智能手机时代的最初的七八年中，Apple 和 Google 之战很重要。在一开始，Apple 和 Google 在当时也是完美互补：Google 有 Google Map 这样超级应用，而 Apple 则有优质的硬件。最终，Google 最先意识到，“我们必须确保我们的应用在 iPhone 上的表现就像在 Android 上一样出色”，但这肯定花费很大。例如，Apple Maps 是一个有很多用户的应用程序，如果 Google 没有采取这种方法，它可能不会有今天的地位。
Apple 与 Meta 的竞争是当下 AI 领域的 Apple 与 Google 之战吗？Daniel，你刚提到回顾过去十年的应用变迁，自那时以来有个一直存在的主题就是 Meta 应用程序。Meta 应用是智能手机无限可能性的最重要体现，他们做了很多工作，让用户通过随身携带来做各种事，也构建了如今的 App Store 生态。
Meta 的应用平台和 App Store 是非常互补的组合。当有更多数据产生的时候，通常是在 Meta 平台被消费和发布。而生成这些数据最有效的方式往往是在本地完成，那进行本地数据处理的最佳设备是什么？很可能是 iPhone。Llama 2 应该针对苹果的芯片进行优化，并内置于操作系统中，这应该是一种美妙的合作伙伴关系，但这似乎不太可能发生。
Daniel Gross：是的，这很有意思。开源软件的一大好处是可以合作，而且由开源社区来实现这点也很有意思。我们的其中一家公司，GGML 应该是在边缘设备上运行类似 Llama 2 模型的主要方法。其实 Meta、Apple 和 Google 的许多人都在用，只不过为了避免麻烦都是悄悄的，但如果它们能够联手合作就完美了。
GGML 是一个张量库，专为商用硬件上的高性能机器学习而设计。由 Ilama.cpp 和 whisper.cpp 使用，这个强大的库提供高效和有效的建模功能。GGML.ai 是一家由 GeordiGerganoy 创立的公司，旨在支持 GGML 的持续发展，初始资金由 Nat Friedman 和 Daniel Gross 提供，致力于设备端推理的理念。
在开源领域就没这么麻烦了，我们可以实现更深度的集成。我一直在考虑 Llama 2 的问题，觉得现在的配置可能被夸大其词了。要使其在价格上与 GPT-3.5 相竞争，我认为它应该能在每小时 75 美分的 GPU 上处理每秒 100 个 token。而高性能的 A100，也就是上一代 GPU，现在的成本是每小时 1.5 到 2 美元。我觉得很多人并没有真正以 GPT-3.5 相似成本的方式来运行 Llama 2，二者性能也不尽相同。不过，未来它肯定会得到优化和改进。很多人都喜欢使用和给 Llama 纠错，我真的认为这为 AI 的可解释性提供了一个很好的途径，拥有这样的模型确实是一大优势。
Ben Thompson：如果云端的成本持续降低，本地模型的存在是否还是必要的？
Daniel Gross：本地模型将肯定会成为云端的重要补充，比如，对于一些简单任务，例如自动补全询问“法国的首都是什么”这些问题，完全可以在本地来完成。
即将发布的最新 iOS 版本中已经实现了一个真正有效的自动纠错功能。我相信这是一个亚秒级的 Transformer 模型，它可以实时响应你在 iPhone 上的每一次键盘敲击。这背后其实有一个感人的故事，这是一位苹果公司的工程师倾注心血的成果，你可能永远也不会知道这位工程师是谁，他可能永远不会出现在某个主题演讲中，我们也见不到他。我并不是想把这变成一个苹果的广告，但我认为这就是他们可能会对待人工智能的方式。我觉得将来会有很多本地模型，它们偶尔会连接到云端的父模型，尽管这样做会消耗更多的能源。本地模型会变得更加智能，但云模型也会保持一定的比例，并持续进化。
Ben Thompson：而且更便宜。
Daniel Gross：是的，我有时会思考这样一个抽象的问题：我认为普通人每天大概需要 100 到 200 瓦特的能量，而普通的 iPhone 可能只需要四瓦特。基本上，我作为一个生物计算机，每天消耗的能量大约是 20 台 iPhone，或者说 40 台 iPhone。我可以编程，我认为我和 GPT-4 一样好，有时甚至更好。所以，我确实想知道本地模型能达到多好的性能呢？因为从能量消耗的角度看，我们的智能在某个时候能在 iPhone 上运行并不遥远。我们可能相差两个数量级。我认为，基于 4 瓦特工作的本地智能实际上可以走得很远，我们就是很好的例子。
06.
GPU 供给失衡
Ben Thompson：我一直对商业模式及其产生的影响很感兴趣，其中需要特别点出的是目前 AI 领域中的推理成本问题，这意味着实际的内容生产并非零成本。回到面向消费者的公司，如 Midjourney、Character.AI 和 ChatGPT，它们主要采取的是哪种商业模式？是订阅制吗？像 Microsoft 推出的每月 30 美元的 Copilot ，还有其他的企业级公司提供了各种各样的附加服务，这在有明确成本的背景下都很合理。
再回到网络，遍布全网的是那些免费但充斥广告的大公司。在一个几乎零成本的环境中，这种模式非常有效。如果要运营大数据中心的大公司如 Google 或 Facebook ，你需要大量投资，但对他们来说，这些成本在边际上几乎可以忽略。或许对 AI 而言，最大的问题是，这些公司是否会进入到一个阶段，即推理的边际成本对他们来说几乎可以忽略，从而创造出广大用户所认可的产品？你认为我们已经在这条路上了吗？
Nat Friedman：我觉得我们其实还没有达到那个程度。我预测未来的趋势是，现在被视为前沿技术的东西可能最终会被大众化，但之后我们又会迎来新的前沿技术，它们需要更先进的硬件支持，我们对技术的期望也会随之提高。比如我认为推理能力会是一个重要的发展方向。
我曾与 Daniel 讨论过这个话题。Midjourney 能取得巨大成功，部分原因在于他们能够扩展其推理能力至很多的 GPU 上，利用那些未被充分利用的 GPU 进行大量的推理工作。我觉得他们之所以能够做到这一点，是因为他们是第一个这么做的，如果现在有人想创建一个与 Midjourney 类似的平台，他们需要付出比 Midjourney 更大的努力来获取必要的推理资源。
实际上，我们注意到 Llama 2 正在推高 A100 的需求，那些希望在数据中心中使用 Llama 2 进行推理的公司需要自己寻找 GPU。令人感到奇怪的是，尽管 A100 是三年前的产品，并且如 Daniel 所指出的，它属于上一代技术，但它的需求仍然很高。Nvidia 在六到八周前已经将 A100 的售价提高了 18%。然而现在，H100 已经成为市场上的新宠。
Ben Thompson：一年前 Nvidia 还报废了大量库存，太不可思议了。
这些库存其实是他们过去的积压产品，同时也是 Nvidia 业绩惊人的原因之一。关于 Nvidia 财报值得关注的一大问题是：GPU 市场会有何走势？Nvidia 是否能维持其领导地位？无疑，Nvidia 目前在硬件和 CUDA 两方面都占有优势，但竞争对手都在大力努力缩小这一差距，那么 Nvidia 能否维持领先地位呢？
Nat Friedman：接下来几年将会是 Nvidia 和 Google TPU的天下。
TPU 对 Google 来说是一笔巨大的战略资产。Google 是唯一一个拥有独立的硬件加速器的公司，尽管在制造工厂（fabs）和供应链的其他部分存在一些重叠，但它们不受其他公司（如 NVIDIA 的 CEO Jensen Huang）分配给它们的 H100 GPU 的限制。Google 可以自行分配 TPU 资源，而且据说他们正在以创纪录的数量生产 TPU v5。
Ben Thompson：你的意思是，对付 TSMC 比 Nvidia 更容易。
Nat Friedman：确实，至少没有 Nvidia 的瓶颈问题。现在 Nvidia 有大量需求，但供应却非常有限，因此必须非常精细地分配 GPU 资源。这样的中心化资源分配实在是令人难以置信。所以，即便有人说“AMD 的芯片会和 Nvidia 的一样好”，但明年他们也无法生产出足够的量。在我看来，在接下来的几年里，仅有两家主导公司，而市场将会受到供应短缺的影响，特别是随着更多 AI 应用的崛起和对推理能力的需求增加，以及更多公司想要训练大模型。
Ben Thompson：那么问题是，现在是不是一个过热的阶段，几年后我们回过头来，会发现当时生产和购买了过多的 GPU，导致市场供过于求？就像去年的 Nvidia，但规模可能是那会的 100 倍或 1000 倍。不过这种过剩可能会对 AI 产生巨大推动作用，因为有了 2023、2024 买的已经折旧的 GPU，计算成本会降低很多，利用。一旦市场崩溃，那就好像回到了过去的互联网泡沫，很多公司在大量铺设光纤后迅速宣告破产。
Nat Friedman：那就产生了很多暗光纤（铺设但未被使用的光纤）。所以供应短缺之后到底会不会出现过剩呢？我认为会的，而且对 scaling law 的坚定信仰可能也是一个重要因素。本质上，你投入的训练数据和浮点运算越多，你将得到的模型就会越好，从 GPT-1 到 GPT-4 每次一个数量级的跃升都证明了这点，所以未来在 GPT-5 上我觉得也会看到。
未来可能只有少数实验室有能力承担训练 GPT-5 或 GPT-6 等价模型的成本，而所有的初创公司，除非是做垂类小模型，否则就会被市场淘汰，从而形成“逃逸速度”（escape velocity）的现象。可能将会有三四家公司能够负担得起训练 100 亿美元的模型，而且这实际上是有限数量的 GPU。
Ben Thompson：你描述的基本就是现在 fabs（半导体晶圆厂）的情况，过去所有人都想产自己的芯片，但后来因为成本太高，所以就只剩下一个独苗了。
Nat Friedman：按现在的趋势发展，这可能也是我们的未来，因为成本变得太高了，要推出一个通用模型可能需要 1000 亿美元的投资。我们的实际行动也证明这点了。
07.
Andromeda 与
AI Grant
Ben Thompson：有件我认为是你们做过最疯狂的事情之一，就是你们推出的 Andromeda GPU 集群。你们是如何考虑这件事的？
Nat Friedman：其实并不是每家创业公司都需要自己的 GPU 集群，确实存在不需自己训练模型就能做出好产品的好公司，他们一般都在使用 GPT-4 或 GPT-3。但对于某些 AI 公司，自己做训练才是关键。对于这些初创公司，因为资金有限，是难以长期租用大规模集群的。
Ben Thompson： 90 年代那个需要先买电脑才能创业的时期加速前进。因为在 AWS 出现后，一切都变得唾手可得，门槛降低，所以试用阶段和种子阶段公司的数量增加了，而你是想通过私有和对外租赁的方式来）实现类似的效果？
Nat Friedman：是的，所以这就需要暂时进行一段时间的扩张。现在基本每次刚有 H100 的货，甚至还没卸货就已经被预订了三年的使用权，市场对 H100 的需求太大了。但如果你是一家只筹集了几千万美元的初创公司，只想拥有集群一个月的访问权，没人能给你提供这样的服务，就像没有人能给你提供预订哈勃太空望远镜的时间，什么“我们只需要用几个小时”都不太可能。
我和 Daniel 前几年一直在谈论这个问题，也一直在等待市场来解决这个问题。我联系过 Satya、Google 和 Amazon，跟他们讲这件事和“云”的本质类似，让企业可以租到一台暂时还没有能力购买的计算单元，但没有人真的这么做。我们之前没有公开谈论过这个问题，但大约五六个月前，我们采购了数百个 GPU，我们承担了风险，支付了费用，然后在一个周五晚上把它们提供给了我们投资的初创公司，具体费用大概达到了几百万美元。到了周六下午，这些 GPU 全部被三倍量超额预订一空。
我们当时突然发现我们运营的是一个小型云，所以必须提高这件事的优先级，后来这几百个 A-100 增加到一千多个，大概有六七百个 A-100 时，我们决定要认真起来，建立一个真正有竞争力的集群。因此，我们最终选择与一个可信赖的供应商合作，并通过招标的方式建造了一个名为“Andromeda Cluster”的集群。这个集群由 2512 个 H100 组成，彼此互联，供我们投资的初创公司使用，就像一个封闭的云花园（walled garden cloud）。
Daniel Gross：Andromeda 在 超算 TOP500 排行榜上排名多少？
Nat Friedman：我暂时不知道，可能在两位数之内吧。如果你用 FP8 和 Sparsity 进行训练，那就是大约 10 exoflops（每秒执行十万亿次浮点运算），是一台大型超级计算机。
这些 GPU 的真正的用途是培养特定领域，如视频、生物学或语音等的基础模型，或者说，是产品模型。现在很多人都在使用这些大型基础模型，但他们需要产品模型来整合自己正在开发的产品。这是一个巨大的机会，我们在这方面也有满满的规划。时间会告诉我们答案，但我们真的很想尝试，这会非常有意思。
Daniel Gross：市场还是不够完善，很多初创公司由于没有足够的计算资源而无法开发一个能吸引更多投资的模型，这就造成了不平等。即使你技术过硬，也难以进入这个领域。使用 Andromeda 的公司可能并不把它作为最终目标，但它就像一个披萨烤箱，你把原材料和面团放进去，就能烤出美味的披萨，最终，也许有一天他们会开设自己的披萨店，这就是我们的愿景。
Nat Friedman：对于初创公司，只需要筹集 2000 万美元，就可以像有 2 亿美元那样使用资源一段时间。的进展会更快，资金使用效率也更高。有些公司可能募了数亿美元，但如果他们有这样的资源，我们只需投资其中的 20%-25%，也能得到相同的成果。投资资金也可以更好地利用。
创业企业他们只需为我们提供的服务支付费用，虽然我们并不打算从 Andromeda 上获利，但这件事的发展比我们预期的更复杂和有趣，迄今为止，这算是一个非常成功的尝试。我们希望不仅能帮助与我们合作的企业，还能吸引那些尚未了解我们的初创公司。但遗憾的是，其他 VC 也开始效仿，加剧了对 GPU 的需求。
Ben Thompson：你们第一次推出 AI Grant 时是在主动找到 AI 领域的初创公司，到了第二次整个领域已经大爆炸了，如何保证持续筛出来哪些是真正的好公司？AI Grant 会发生什么变化？
Nat Friedman：是的，好消息是有更多的公司，有更多的高质量的创始人。坏消息是你不得不筛选出很多工作。这次我们有数以千计的申请，所以我们需要对所有申请进行审查。
Daniel Gross：当我和 Nat 在 2017 年首次推出 AI Grant 时，主要是为了给研究者提供资金支持，那时 AI 研究还少，也还没有出现 Transformer。但当我们考虑再次启动 AI Grant 时，情况已经大不相同，AI 研究人员能拿到数百万美元的报酬，并不需要我们提供小额拨款。但确实还有一个问题有待解决，那就是会做 AI 产品的人才还很短缺，这里说的产品不仅仅是给 GPT 加个界面这么简单，而是能真正做一个公司。
因此，我们重新启动了这个计划，形式类似于拨款，我们提供了几乎是无上限的 SAFE 协议，并且提供了一笔数目不小的资金，而得到支持的公司最终也表现不错。到第二轮时，市场再次做出了响应，出现了大量不错的 AI 产品。
Ben Thompson：那么 AI Grant 在今天的意义和作用又是什么？
Daniel Gross：我觉得 AI Grant 依旧是有必要的，因为它让很多创始人有机会实现自己的追求。这个项目一方面和大家预想的一样，可以帮助创始人互相认识，在圈子里建立人脉。而另一方面，我认为只有现在回顾多年来运营这些项目时才能理解，那就是让那些原本觉得自己不适合创业的“圈外人”，也有机会参与进来。这也是 Silicon Valley 的一大优势，不仅仅是 AI Grant，还有 Y Combinator 和其他许多 AI 加速器和创业孵化器的最大价值。
我们更倾向于那些与众不同的、不符合传统标准的人，他们会有不同的想法和视角。而大家都追捧的“红人”其他 VC 也会投，所以并不是我们关注的对象。
延伸阅读
Jan Leike：OpenAI将如何在4年内实现超级对齐？
Luma AI会是3D领域的Midjourney吗？
Alkira：SD-WAN 先驱再创业，多云网络对 GenAI 关键吗？
Anthropic创始人访谈：Scaling与强化学习，可解释性与AGI安全
Netskope：零信任头号领导者，能否颠覆Zscaler？