“AI军火商”英伟达是如何炼成的？

AI最强芯片，为什么又出自英伟达？

我渴望活下去的意志，超过几乎所有人想要杀死我的意志。——黄仁勋

“这不是演唱会，你们是来参加开发者大会的！”今日凌晨4点，黄仁勋出场时，现场爆发出巨大的欢呼声。

当地时间2024年3月18日，黄仁勋在英伟达 GTC 大会发表主题演讲

“通用计算已经失去动力，现在我们需要更大的模型，我们需要更大的 GPU，更需要将 GPU 堆叠在一起”，黄仁勋在英伟达 GTC 大会上说道。大模型参数量正在呈指数级增长，此前 OpenAI 最大的模型已经有 1.8T 参数，需要吞吐数十亿 token。即使是一块 PetaFLOP 级的 GPU，训练这样大的模型也需要 1000 年才能完成。

全球的科技公司争抢 H100 芯片的势头于 2023 年年末开始有所减弱，但新一代“强心剂”已来。 英伟达推出新一代的 AI 芯片 “Blackwell”，“这是块非常非常大的GPU”。英伟达在发布会上表示，相较于之前的 H100 芯片，GB200 超级芯片可以为大语言模型（LLM）推理负载提供 30 倍的性能提升，并将成本和能耗降低 25 倍。

Blackwell的发布意味着，近8年来，AI算力增长了一千倍

人们已经发现：将深度学习应用到许多领域的科技公司，几乎每一个都是在英伟达的平台上构建的。一位华尔街分析师对此表示：“人工智能领域正在进行一场战争，而英伟达是唯一的军火商”。华尔街的追捧在2023年-2024之间上升到极致。短短八九个月，英伟达的市值从万亿美元飙升到两万亿美元。目前，英伟达已经成为全球市值第三大的公司，仅次于微软和苹果。

不过，这家看似新锐的科技公司，已经走过了 30 年历程，几经浮沉。

目前，英伟达的产品仍然处于供不应求状态。在此背景下，英伟达毛利率拉高至 60%以上。在连年寻找新技术突破的大额支出之下，任何一家科技公司，想要保持这样的成绩单，都是难能可贵的。

GPU ，英伟达的代名词

故事要从 20 世纪 90 年代说起。

当时，硅谷已有人提出，可以通过声卡、网卡这些功能指定的芯片，来降低 CPU（中央处理器）的工作负载。所以同理，做一张专门控制电脑图像输出的芯片，即显卡（Graphic Card），也是自然而然的。例如索尼在 1994 年年底推出的游戏机 PlayStation 就运用了显卡。

但显卡的技术路径，在当时有很多，英伟达找到的切入点是通过并行计算，实现 3D 图形加速，特别在游戏领域上进行应用。

1999 年，英伟达推出了一款名为 GeForce 的显卡。

这款被冠以“全球首款 GPU”的图形处理器，采用了 220 纳米制造工艺，如今英伟达 H100 所使用的制造工艺已到了 4 纳米。

GeForce 最大的亮点是“并行计算”，即把一个复杂的任务拆分成小计算，然后同时处理它们。这与中央处理器 CPU（central processing unit）有着显著不同，在标准的计算机架构中，CPU 一次能处理一个问题。如果说把通用的 CPU 比作一辆货车，一次运送一个大包裹到一个目的地；那么 GeForce 则像是在一组摩托车车队，可以同时运送多个小包裹到多个目的地。

彼时，研究 GPU 的公司，不只英伟达一家，但英伟达成功做到了将自己与“GPU 发明者”这个标签深度绑定。

当时，英伟达市场营销负责人 Dan Vivoli 用 “graphics processing unit”（图形处理器）的概念来推广自家的芯片。相比英特尔靠 CPU 来叱咤芯片市场，英伟达需要营销 GPU 来为自己杀出一条血路。只是 Dan Vivoli 认为，英伟达强调自己的 GPU 发明者的身份后，“我们能成为行业领导者”，他完全没有想到，GPU 将在很长一段时间内成为英伟达的代名词，并且在十多年后，成功掀起人工智能行业的风暴。

英伟达死磕“晦涩角落”

时间回到 1999 年，GeForce 显卡很受市场欢迎。当时有一款名为 Quake 的视频游戏，就是应用这款显卡通过并行计算渲染画面——用榴弹射击怪物。PC 玩家为了赢得游戏，升级时都会购买新的 GeForce 显卡。

后来，英伟达启动超级计算平台 CUDA的开发。黄仁勋希望，CUDA 能在每一张 GeForce 显卡运行。CUDA 最终于 2006 年发布，但在当时，英伟达完全没有打动世界，“人们仿佛完全不需要它”，反而因为打造领先于时代的“超级计算”系统，英伟达的利润受到大幅削减，华尔街为此嘘声一片。

一档风靡硅谷的热门播客《Acquired》的主持人 Ben Gilbert 对此评价：“他们当时瞄准的不是一个大市场，而是一个学术和科学计算的晦涩角落，但他们为此花了数十亿美元”。

到 2008 年底，叠加金融危机影响，英伟达股价已下跌 7 成。

来自外界的声音并未太过影响黄仁勋。刚转学到美国时，黄仁勋进入了一所“特殊学校”，“每个学生都抽烟，我觉得我是学校里唯一没有口袋刀的男孩”，校园霸凌也很普遍，黄仁勋每天都会被叫做中国佬。这段经历教会了黄仁勋在复杂、多变环境中如何寻求资源、“存活”下来：“没有心理辅导员可以倾诉，你只能变得坚强，然后继续前行”。彼时，黄仁勋通过教数学、带着同学们树林探险等方式跟当地的同学打成了一片。

况且，黄仁勋仍然对 CUDA 充满信心。他曾分享了这样一段故事：台湾大学物理教授 Ting-Wai Chiu 的办公室地板上，堆满了 GeForce 盒子，办公室开着普通风扇对其进行冷却——Ting-Wai Chiu 为了模拟大爆炸后物质的演化，依靠 GeForce 和 CUDA，建立了一个自制的超级计算机。

但是，像 Ting-Wai Chiu 这样的人并不是大多数，CUDA 的下载量在 2009 年达到峰值后，连续三年下降。董事会担心英伟达持续低迷的股价，会给激进的股东分裂公司的机会。

那么，推广 CUDA 成为眼下必须做的事。

英伟达首先选择了高校路线——从全球顶级研究机构和大学合作，用 CUDA 赋能科研，“从下一代进行普及和培养”。时至今日，在硅谷的普通聚会上，你能发现：许多刚毕业于美国高校、供职于大型科技公司的工程师们都学过 CUDA。 

此外，英伟达还尝试在各行各业中寻找 CUDA 的应用场景，他们尝试在股票交易、石油勘探、分子生物等领域有所作为。甚至为推广 CUDA，英伟达还与通用磨坊 （General Mills）签订协议，模拟冷冻披萨的热物理学过程。

不过，英伟达并未在人工智能领域考虑太多，当时似乎市场需求不大。

游戏显卡商成 AI 军火商

那么问题来了，为什么负责提升游戏画质的显卡，会突然成为 AI 行业的重要基础硬件？要知道，直到 2022 财年，游戏都是英伟达无可置疑的第一大业务。

我们依然要将故事时间回拨，回到二十一世纪初。彼时，人工智能还是一个边缘学科。该学科在图像识别和语音识别方面有所进展，但也时断时续。

在当时，“神经网络”（一种受人脑结构启发来解决问题的计算结构）普遍被认为是过时的、不起作用的。但仍有一些研究团队在这一领域尝试，多伦多大学的教授 Geoffrey Hinton 就是其中之一。

2009 年，Hinton 的团队利用英伟达的 CUDA 平台训练了一个神经网络模型，用来识别人类语音，结果出奇的好。他在同年晚些的一次会议上展示了这些成果，然后 Hinton 发了一封邮件联系英伟达，“看，我刚刚告诉一千名机器学习研究人员他们应该去买英伟达的卡。你们能免费给我寄一张吗？”，英伟达的回答是“不行”。

不过即便没有要到免费的显卡，Hinton 还是鼓励学生使用 CUDA。2012 年，他的学生 Alex Krizhevsky 和 Ilya Sutskever（后者是 OpenAI 的创始人之一），开始在英伟达的 CUDA 平台上训练一个视觉识别神经网络。因为预算有限，他们只在亚马逊上买了两张 GeForce 卡。短短一周，Alex 就向其投喂了数百万张图像。“他的卧室里两个 GPU 飞速运转”，Hinton 说，“实际上，他父母支付了相当可观的电费”。

Krizhevsky 和 Sutskever 对这些显卡的能力感到吃惊。在同年早些时候，谷歌的研究人员训练了一个识别猫视频的神经网络，这需要大约一万六千个 CPU。Krizhevsky 和 Sutskever 只用了两张 GeForce 卡就取得了世界级的成果。Sutskever 对此表示：“GPU 的出现，就像奇迹”。

Krizhevsky 和 Sutskever 将他们训练出的神经网络命名为 AlexNet。这一模型在年度 ImageNet 视觉识别竞赛中大放异彩，以至于比赛组织方怀疑是否存在作弊行为。

这是一个伟大时刻，范式转变了。Krizhevsky 在其对 AlexNet 架构的 9 页描述中指出：与 CPU 比，专用的 GPU 可以将神经网络的训练速度提高 100 倍。

至此，黄仁勋完全调转了公司方向。2023年的一篇文章透露，他在一个周五晚上发送邮件，称“一切都将转向深度学习，我们不再是一家图形公司”，到下周一早上，英伟达已经成了一家名副其实的人工智能公司。

与此同时，黄仁勋找到英伟达最优秀的 AI 研究员 Catanzaro，让其想象现在英伟达的八千员工全数在停车场， Catanzaro 可以挑任何人加入自己的团队。

后来，人工智能领域开始涌入风投资金。人们很快发现：将深度学习应用到许多领域的初创公司，几乎每一个都是在英伟达的平台上构建的。

2016 年，英伟达向 OpenAI 的一个研究小组交付了第一台专用的人工智能超级计算机 DGX-1。黄仁勋本人亲自将这台计算机送到了 OpenAI 的办公室，当时的董事长埃隆·马斯克用开箱刀打开了包裹。

英伟达向 OpenAI 交付了第一台专用的人工智能超级计算机

而后，OpenAI 通过英伟达的超级计算机训练出了风靡全球的 ChatGPT。英伟达后续更新的硬件产品 DGX H100 遭到市场疯抢，供不应求。

从芯片供应商到平台供应商

今天凌晨的这场发布会上，黄仁勋还有一句话值得留意：“Blackwell 不仅是一款芯片，也是一个平台的名称。”

如何理解平台这个词？类似于之前 Geforce 显卡和 CUDA 超级计算平台的搭配，英伟达在此次推出的也是一整个打包方案，英伟达逐渐转型成类似微软或苹果的平台提供商，其他公司可以在这个平台上构建软件。

黄仁勋在发布会上，用了相当多的时间，介绍了英伟达提供的若干个企业级生成式 AI 微服务，并表示“公司们可以借助这些服务制作应用程序，而且拥有其知识产权的完全所有权和控制权”

而英伟达从芯片供应商转向平台供应商的背后，其实和英伟达的竞争对手有关，甚至许多旧日客户也变成了对手。

首先，一些人工智能平台如微软、谷歌、Meta 等，出于规模和成本的考虑，正在考虑自己开发芯片。例如谷歌研发的 TPU 已经更新到第五代，这款芯片为机器学习量身定制，其推理性能提升 2.5 倍，成本降低 50%。

再比如微软于 2013 年 11 月推出两款芯片（Azure Maia 100 人工智能加速器和 Azure Cobalt 100 中央处理器），针对人工智能、生成式人工智能和云计算进行了优化，将在人工智能图形处理部分与英伟达直接竞争。

而这些公司，正是英伟达一直以来的主要 GPU 芯片客户。

其次，一些英伟达的老对手也在发力 AI 芯片。AMD 于 2023 年 12 月，推出 AI 芯片 MI300X，正式与英伟达叫板。与英伟达的 H100 相比，这款芯片在多个维度有 1.3 倍甚至 2 倍的数据提升，Meta、微软、甲骨文等公司也已下单。

除了老对手外，由于美国政府的技术出口禁令，促使中国在人工智能芯片方面走向自力更生，华为已成为英伟达又一个值得注意的对手。在英伟达最新的年报里，这样描述了它眼中的竞争对手。

眼下，黄仁勋已经成为硅谷任职时间最长的 CEO 之一，30 岁创立英伟达，30 年创业历程，他要么为“食物”奔走，要么想办法不被吃掉。

他也不知道自己还能再干多久。黄仁勋选择用一个戏谑的笑话结束了这个问题：

“可能 30 年后，我变成了机器人，那我还能继续 30 年”。 

作者｜ 蒋馨尔 实习生严诺晗

设计｜ 卫瑶

编辑｜ 陈良贤 吕妍

封面图提示词

16K,High-tech chip circuit board, cyber style, background technology sense, chip circuit, inlaid metal and green glowing crystal, Samsung design, 3D, bokeh, light green, soft light, minimalist, CU, octane rendering

参考资料

1. NVIDIA Logo and Brand Guidelines, https://www.nvidia.com/en-in/about-nvidia/legal-info/logo-brand-usage/

2. Let Me Shoyu How It’s Done: Creating the NVIDIA Omniverse Ramen Shop, https://blogs.nvidia.com/blog/making-of-omniverse-ramen-shop/

3. Increasing Throughput and Reducing Costs for AI-Based Computer Vision with CV-CUDA, https://developer.nvidia.com/blog/increasing-throughput-and-reducing-costs-for-computer-vision-with-cv-cuda/

4. ImageNet Classification with Deep Convolutional Neural Networks, https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

5. Nvidia Founder Jensen Huang's Path to Success, https://english.cw.com.tw/article/article.action?id=3442

6. Nvidia Hardware Is Eating the World, https://www.wired.com/story/nvidia-hardware-is-eating-the-world-jensen-huang/

7. How Jensen Huang’s Nvidia Is Powering the A.I. Revolution, https://www.newyorker.com/magazine/2023/12/04/how-jensen-huangs-nvidia-is-powering-the-ai-revolution

8. Acquired: Nvidia Part I: The GPU Company (1993-2006), https://www.acquired.fm/episodes/nvidia-the-gpu-company-1993-2006

9. Acquired: Nvidia Part II: The Machine Learning Company (2006-2022), https://www.acquired.fm/episodes/nvidia-the-machine-learning-company-2006-2022

10. Acquired: Nvidia Part III: The Dawn of the AI Era (2022-2023), https://www.acquired.fm/episodes/nvidia-the-dawn-of-the-ai-era

11. Acquired: NVIDIA CEO Jensen Huang, https://www.acquired.fm/episodes/jensen-huang

往期推荐