英伟达一年一度、今年号称是「#1 AI Conference for Developers」的GTC开发者大会召开在即了。 今年硅星人会在现场参加这场被形容为最重要最受瞩目，甚至在AI发展历史上都会成为关键节点的一届GTC。 今天在圣何塞的主会场，我们看到GTC的相关布置都已经就位。 黄仁勋的名人名言已经高高悬挂在会场的屋顶。根据官网显示，4天的会议+培训的门票价格高达2495美金。 GTC最受瞩目的自然是黄仁勋的开场演讲，他的演讲并不在GTC的主会场，而是在不远处的圣何塞SAP中心，今年的开场将在北京时间3月19日凌晨4点开始。届时可以关注我们第一时间的现场直击。 除了老黄的演讲，英伟达还集齐了Transformer的八位作者。 这些人早已各奔东西，这个panel几乎可以展示英伟达在今天的AI领域有多么如日中天。 我们届时也会在现场直击这场panel。 欢迎关 注。 一场最重要的GTC将至，而今年的英伟达已经在黄仁勋的带领下，让天下人无人不知。 这一年多来业绩坐上火箭的英伟达，在上月发布Q4财报后没有停下开挂的脚步。股价继续涨，一度比年初时翻倍冲破900美元，市值也来到2.32万亿美元，成为与苹果微软比肩的超级公司。 同样吸睛的还有它的掌门人 “皮衣教主”黄仁勋。同是科技届顶流KOL，与马斯克，奥特曼等人在网上密集输出观点不同，黄仁勋没有推特，一度人们也不会经常听到他对自己思考的分享。但自从大模型让英伟达成了今天最大赢家和最热门的科技公司后，黄仁勋的各种分享也多了起来。他开始经常在各个线下场合发表自己对于科技世界的洞见。 在这场GTC之前，他的分享更是频繁而信息量密集。本月初他回到母校斯坦福大学，参加了SIEPR经济峰会和商学院View From The Top两场活动。分享了自己的创业历程、管理实践，和对加速计算、大模型训练、AI算力、芯片竞争和AGI发展等诸多话题的思考——他想要让人们在这场史上最受关注的GTC之前，串联出英伟达一路走来的历程，理解它能强大成今天这样，绝不只是因为幸运。 在跟着我们在现场感受这个历史性的GTC时刻之前，我们不妨先跟着黄仁勋一起回顾一下这家如日中天的公司是如何走到今天的。 微处理器和PC革命才刚开始的1993年，在LSI做工程师的黄仁勋和另外两个踌躇满志的理工青年Chris Malachowsky 、Curtis Priem 一起创立英伟达，决定“制造特殊的计算机，来解决那些普通计算机们无法解决的问题。”起步技术和应用领域分别是3D图形处理和电子游戏。 早期的3D游戏画质粗糙，CPU无法满足实时渲染所需的算力，要有专门的芯片来处理图形。而当时硅谷的图形处理芯片动辄就要上百万美元，做廉价版本很难，电子游戏市场更是价值趋近零。“你有一项难以商品化的技术，瞄准了一个尚未存在的市场。这个交集就是我们公司的创立点。” 联合创始人之一Curtis Priem当时理的NVIDIA logo发型，图源网络 黄仁勋他们意识到，要把百万美元的技术适配入三四百美元的电脑，除了需要发明新的图形计算方式，还得去开拓市场。这个理念至今定义了整家公司：“这就是人们说的「生态链」本质。过去30年里， NVIDIA的核心领悟就在于，为了让别人购买产品，我们必须亲手去开拓这个全新的市场。”
找准方向后的英伟达凭借出色的研发实力，推出性价比超高的riva128和rivaTNT2奠定行业地位，又及时抱紧微软大腿支持其Direct 3D显示标准。并在1999年推出划时代的独立显卡GeForce 256，拿下微软Xbox和索尼PS3几亿美元订单吊打同行， GPU时代从此开启。 所以面对现在显示器上精细流畅的电影级画面，你可以说是游戏产业的发展托起了英伟达，也可以说是英伟达显卡的技术进步推动了游戏市场的飞速蓬勃。 电脑里的CPU是顺序计算，用于处理依赖先前结果的任务序列，能进行非常复杂的逻辑推理。而脱胎于图形渲染的GPU是并行计算，包含成千上万内核，擅长执行无关顺序的大量相似计算任务。 黄仁勋就开始琢磨，如何利用这个特性挖掘出GPU更大的潜力，进行更多通用目的的计算。但人工编程毕竟耗时耗力，要解决这一点，下一步就必须是：让GPU可编程。 2004年一次偶然的机会，他看到斯坦福博士生Ian Buck开发了一个叫Brook的项目，能通过C语言将GPU计算扩展到一些图形以外的领域。当时多数GPU厂商还未意识到其编程能力的重要性。黄仁勋火速把Ian Buck挖来公司做实习生，领导新项目CUDA（Compute Unified Device Architecture统一计算架构），最终在2006年作为正式产品发布。而今在英伟达工作了19年半的Ian已是业界资深专家，任职超大规模与高性能计算部门的副总裁和总经理，头发也更少了。 CUDA平台为开发者提供了一套简单易懂的编程模型，提升了处理大规模计算的并行计算能力，同时降低功耗，大大节约成本。英伟达让自己所有显卡都支持CUDA，通过软硬件协同，将GPU的应用边界从游戏和3D图像渲染扩展到了整个加速计算领域，也逐搭建起了自己的技术护城河。 不过，在CUDA推出的最初几年内，都未给公司带来明显可见收益。华尔街首当其冲地泼冷水，认为这种大规模的计算应用场景太少，短期内几乎不赚钱。但黄仁勋却越来越多地发现航天、能源、生物领域开始使用自己的显卡。他一心看好高性能计算的市场前景，在公司营收还不到30亿美元的时候，向CUDA每年狂砸至少5亿美元的研发投入，并继续完善生态支持。 “NVIDIA有十年的时间在投资未来，因为当时市场并不存在。你带着所有人上路，这真的很有挑战性。在市场出现前，你要看到未来成功的早期指标，而且越早越好，原因是你想尽早看到自己正走在正确的道路上。” 这个被称为「EIOFS」的「未来成功早期指标」终于在2012年出现了。那届ImageNet大赛上，AlexNet团队凭借深度学习+英伟达CUDA/显卡突破了神经网络训练的算力瓶颈，以压倒性优势夺冠，轰动学界。从此黄仁勋更加确信GPU无限的未来潜能，几乎All in投入加速计算。 “工作的重要性也是未来市场存在的早期指标。我们曾为深度学习创造了一门叫KU-DNN的编程语言。那些研究员需要我们的帮助，即使他们身无分文，财务回报遥遥无期，但只要你相信，公司也愿意去做。” “我们会问自己，这项工作是否有价值，能否在某个重要领域推动科学的发展？如果别人能做，那就让他们去做吧！我们应该去做那些「如果我们不做就会出问题」的事情。” 2016年，黄仁勋把英伟达历时5年打造的全世界第一台「DGX-1」AI超级计算机捐赠给OpenAI，并亲自送达现场。彼时OpenAI还是个研究实验室，ChatGPT 也只是个概念。多年后的今天，当马斯克在X上翻出老照片，他热泪盈眶地感叹：“看看现在都发生了什么啊~” 对了，这期间还有个忽然风靡全球的比特币挖矿潮。要想挖的快，CPU根本不够使，必须GPU上。英伟达因此大赚一笔，也让更多人了解到原来显卡还有这么大的本事。 英伟达不断推动技术进步，把GPU效能提升，成本降低。让全世界越来越多的研究人员开始认真思考大规模计算这件事。 如同在90年代初的显卡混战中杀出重围，繁荣了当年的游戏产业一样；英伟达一路辅佐着深度学习和机器学习，迎来了2020年后的生成式人工智能大爆发。只不过此时的它已经一骑绝尘，把包括AMD在内的所有竞争对手远远甩在身后。乃至于当任何公司想要训练大语言模型时，翻遍市场上所有加速芯片，竟找不到第二个比英伟达GPU更好的选择。 很快，专为AI而生的A100和H100供不应求，成了OpenAI、谷歌、微软、Meta等巨头争相拼抢的“算力黄金”。甚至它本身就是当代硬通货，你拥有多少块英伟达显卡，就有多大的底气和话语权。 现在英伟达占据着全球90%以上的GPU市场份额，是当之无愧的行业霸主。但现在再回头看，它比上市之初飙升1000倍的股价、暴涨3500倍的市值，从默默无闻到天下皆知，真的纯是靠走运，搭上了人工智能的东风吗？ 从04年布局CUDA向通用加速计算转型，到12年全力押注深度学习，其间遭遇多次身价跳水，在外界并不看好的路上，面对一个“不存在的市场”潜心研发，给自己和生态伙伴铺路——英伟达实际上是用了20年的时间沉淀积累，打磨羽翼，预判好了风口站在那里等着。大风来的时候，它自然张开翅膀，扶摇起飞。 除了人工智能，英伟达还长期投身汽车自动驾驶、生物医药设计、推动机器人产业、开发Omiverse平台押宝元宇宙，耐心等待下一个技术爆发期。 半导体行业竞争之激烈，不亚于现在的“百模大战”。业界普遍认为，每18个月性能翻一倍的摩尔定律已经被「黄氏定律」取代，即AI背景下GPU的性能将实现逐年翻倍，英文就叫「Huang’s law」 ，由黄仁勋本勋在2018年的GTC大会上提出。 技术迭代之快，加上从微软、谷歌、OpenAI、Intel，老对手AMD，到初创黑马Groq、Cerebras，大小公司又都不想被英伟达卡脖子，牟足劲儿希望在AI芯片领域分一杯羹。 所以英伟达要怎么捍卫自己的护城河？除了起跑比别人早，跑得比别人远，还得跑得更快，而且一刻不能停，这种综合能力才是真正的护城河。 黄仁勋自己定了目标：“产品必须每6个月升级一次，功能翻一番。”短短几年，他在发布会搬出各种大小不一的A100、H100、H200，私下给中国市场特调的A800/H800/H20，还有DGX系列超级计算机等等。其中最新的DGX GH200，用了150英里长的光缆，144TB共享内存，把多达256块NVIDIA Grace Hopper超级芯片连接成一个巨型GPU，专门处理大规模AI任务，简直怪兽一般的存在。 NVIDIA DGX GH200超级计算机等比展示 除此之外，英伟达还花69亿美元收购了DPU技术先驱之一的以色列芯片公司Mellanox。把DPU、CPU和GPU这三大计算支柱全揉到一起，构成未来数据中心的超强配置。继而又推出AI云业务出租算力，提供各种上下游的解决方案。从软硬件到服务全凑齐，加上这几十年的行业积累，要颠覆它，你说难不难？ 难怪乎老黄直言，虽然自己比地球上任何人都有更多的竞争对手，“但在计算世界中，我们是一个伟大的标准。我们在每一个云中，在每一个计算机公司中。这就是我们的优势。”
英伟达向前看：关于模型训练、算力提升、AGI和地缘政治
黄仁勋坦言，AI缩小了人类的技术差距 。英伟达在加速计算和软件开发上的革新，使得深度学习成本在过去的十年间降低了100万倍。未来十年里，想象它把计算能力再提升100万倍，将会发生什么？ “模型将持续学习。学习和训练过程，训练和推理、部署、应用过程都将融为一体。强化学习会基于这些实时互动和实时创造的合成数据，循环和持续。当计算的边际成本降低到接近零时，就会有很多新的方法去做你想做的事情，就像大语言模型。否则你永远不会考虑——这就是我们要做的：更多的计算。” 谈到AGI他说，“如果对AGI的定义是它通过人类的数学、推理、医学、律师等测试，那么我会告诉你5年内就会做得很好。如果是拥有人类般的智能，那我不确定。但我们都在努力让它变得更好。” 黄仁勋还称下一个即将到来的是液冷技术 ，液冷GPU将以数据中心的规模进行计算。对于未来是否愿意为一定规模的客户定制解决方案，“如果是在现有生态系统基础上扩展，我们将非常乐意。” 过去半年多来，他观察到世界各地都出现了主权AI觉醒，英伟达作为“地缘政治风险的典型例子”，会理解并保持敏捷，以便更好地遵守。而关于那件亘古不变的黑色皮夹克也揭秘了：黄太太为了让他穿着不痒，懒得再挑就买了一衣柜——“我从来不购物，有的穿已经很好了。” 所以这就是现在的英伟达。你看到它拔地而起，也别忘记它已经向下扎根了30年。当然没有这波AI浪潮，估计成就不了这家全球第三大市值公司；但若没有英伟达的技术助推，人工智能可能也不会是今天的样子。 这一切都让人们对今年的GTC期待拉满 ，传说中的新GPU，更强的AI应用，和更如日中天的黄仁勋与英伟达都会展示在大家面前。届时我们会给大家带来新鲜一手直击，敬请期待！（封面图来自Krysten Crawford | Stanford Institute for Economic Policy Research) ❗️硅星人｜AI hacker house系列活动❗️