AI大神Ilya访谈揭秘GPT-4成功背后的关键，20年如一日的AGI坚守终惊艳世界

图｜汤源

文｜汤源

本文介绍了GPT-4的背景和成功，以及Ilya Sutskever作为GPT-4背后的灵魂人物的故事。他在2003年多伦多大学读本科时就显示出对深度机器学习的非同凡响的理解，并一直坚信深度神经网络和巨大的数据集可以解决真正困难的机器学习问题。

本文还揭示了GPT-4成功的关键因素，包括深度神经网络、巨大的数据集、更大的模型和计算资源，以及新的训练技术和算法。如果你对AI的未来和AGI的发展充满好奇，那么本文一定不容错过！

系列解读一：GPT前言篇（2003-2017）

题记：2003年与2023年的跃迁-20年如一日的AGI机器学习

Ilya Sutskever，中文名伊尔亚·苏茨克维。他是ChatGPT的灵魂人物（首席科学家），题图来自JourneyMatters网站的ChatGPT介绍。早在2003年，当他还是多伦多大学的本科生时，他就想要加入Geoffrey Hinton教授的深度学习实验室。他立刻展现了对基于神经网络的深度机器学习的非同寻常的理解力，成为chatGPT的关键人物之一。

Sutskever：我没读懂(你给的这几本书)，Hinton：怎么个不理解？Sutskever：人们训练神经网络来解决一个问题，当人们想解决不同问题时，就得用另外的神经网络重新开始训练。但我认为人们应该有一个能够解决所有问题的神经网络。

回到2022年11月30日，全球范围内长达3年的Covid-19新冠疫情即将结束之时，OpenAI公司推出了ChatGPT。当时或许只是基于GPT3.5的一个验证演示，但是一经推出，便掀起了大型语言模型生成式人工智能的狂潮，席卷了全球科技产业，并引发了AGI的军备竞赛。

在这之前，最近能够找到的有关Ilya的访谈只有Craig Smith的一个远程视频。在该视频中，Ilya谈到了GPT-4的诞生历程，但相比下面这篇现场访谈，缺乏表情和肢体语言的展现，无法完全呈现GPT-4这样的AGI智能体诞生的艰辛、曲折以及幸运与惊喜。

本文将解读的视频访谈发生在ChatGPT推出4个多月后的2023年3月15日，即OpenAI正式推出升级版GPT4的第二天。作为军备竞赛的关键，提供GPU芯片的备受瞩目的公司Nvidia的CEO黄仁勋，简短地开场白之后，立即进入主题。

在面对相识多年的厂商和朋友时，Ilya进行了接近一个小时的访谈。他剖析了GPT-4诞生过程中二十年如一日的艰辛与欣喜，也从一个侧面显示了他面对机器学习的终极目标——AGI的坚信与坚守。本文解读Ilya在访谈中提到的GPT-4之所以成功的六个关键点。

顺便说一下，老黄作为今天的AGI军备竞赛的受益者，其实一直深耕机器学习业界，与Ilya个人和后来的OpenAI公司都有很深厚的渊源。而以Nvidia DGX为代表的AI算力服务器，也从2016年捐赠给当时还是Elon时代开源OpenAI的第一台AI超级计算机-DGX-1，到刚刚发布的DGX H100，算力提升了40倍。虽然就在本文成文前两天，以摩尔定律（Moore‘s Law）闻名的Gordon Moore先生刚刚去世，也许摩尔定律以CPU通用计算时代已经成为过往，但无疑今天以GPU为主的AI计算时代获得重生。

2012年：在还没有GPU的时代，我坚信使用深度和大规模的神经网络可以解决真正的智能问题（难题）。

现在回想起来，Ilya可能认为这似乎并不重要，但当时他坚信，只要使用足够深的神经网络和足够大的数据集，就一定能够解决真正困难的机器学习问题。

正是Ilya当时对神经网络机器学习方向的执着，使得他能够立即将GPU应用于后来被称为AlexNet的深度神经网络模型中，从而在当时的计算机图像识别问题中实现了突破。在2012年的Imagenet大赛上，伊利亚-苏茨克沃（Ilya Sutskever）和亚历克斯-克里切夫斯基（Alex Krizhevsky）成功地采用了深度神经网络来打破传统的手工设计方案，突破了75%的准确率大关。这个创举最终使得他们赢得了ImageNet竞赛，而他们的系统也因此被命名为AlexNet。

从那时起，图像识别领域焕然一新。在随后的研究中，Sutskever、Krizhevsky和Hinton发表了一篇关于AlexNet的论文，被认为是计算机科学领域里被引用次数最多的论文之一，总共被其他研究人员引用了超过六万次。这篇论文的发表标志着图像识别研究向深度学习的转变，为计算机视觉的发展奠定了基础。

回忆起2012年，我已经从诺基亚转换到iPhone。移动互联网时代已经拉开帷幕，云计算在中国也已经开始进入人们的视野。阿里云的“飞天”产品稳定运营，如果不是当年桥哥的战略撤退，我的前公司盛大云的产品也可以与阿里云一较高下。盛大云的两位联席CEO，何刚和季昕华，一个去了京东开拓了京东云的市场，另一个则开始了中立云计算供应商的创业。8年后，该公司上市并成为中国科创板云计算领域的第一股。

那年，党的十八大揭开了两个百年复兴纪元的序幕。十年后的2022年将成为AGI元年。对于笔者而言，这也标志着我结束了传统的云计算10年生涯，开启下一个AGI 10年职业生涯的元年。这将是一段全新的职业旅程，在移动互联网和云计算时代，我们可能会在职业选择时问自己：“我能为云计算、为移动互联网做出什么贡献？”然而，在今天的AGI时代，我们或许需要直接询问像GPT-4这样的智能体：“如果你置身于我的处境，你会如何应对？”

2017-现在，未完待续

参考：

• BingChat by Microsoft

• Claude+ by Anthropic

• https://youtu.be/SjhIlw3Iffs （GPT-4 Creator Ilya Sutskever. @by Eye on AI)

• https://youtu.be/ZZ0atq2yYJw (CONFERENCE JENSEN HUANG (NVIDIA) and ILYA SUTSKEVER (OPEN AI).AI TODAY AND VISION OF THE FUTURE. @by Mind Cathedral)

点这里👇关注我，记得标星哦～‍‍‍