Ilya Sutskever: 那个ChatGPT背后的男人

导读：最近流行的ChatGPT和AGI引发了创投圈的又一次兴奋点，本文向大家介绍OpenAI的联合创始人Ilya Sutskever的AI故事，从精神小伙到秃头大叔，通过Ilya Sutskever 20年来对AI和深度神经网络研究坚定不移的信念，来说明AGI的突破并不是从0到1突然创新，更多是从1到10000的坚持，更多的是规模效应和智能涌现。当大家不再相信深度学习黑盒模型，无法再突破瓶颈，当中国AI四小龙彻底凉凉，当学术大佬从企业回归高校的时候，是OpenAI 验证了大模型实现通用人工智能的可行性，有人说为什么中国做不出ChatGPT，其实中国企业还有机会，因为中国人擅长从1到10000的事情，不过前提必须要在100的时候看见效果和回报。但是ChatGPT是必须到10000才能涌现出智能，所以中国人没做出来很正常，但是一旦被验证了可行性，相信中国的很多大企业都能复制。

Ilya Sutskever（读音为/eelya/，咿儿呀）: ChatGPT背后的大脑

Ilya Sutskever对人工智能的热情推动了他的开创性研究，塑造了深度学习和机器学习领域。

ChatGPT也许会抢走人们的注意力，但是我们不应该忘记背后的默默天才。

让我们来认识一下Ilya Sutskever，这位隐藏在机器背后的人工智能变革者。

他是人工智能领域的先锋，对塑造当前人工智能领域的形势发挥了至关重要的作用，并继续推动机器学习的可能性的边界。

该文章按照以下时间线进行：

2003年：对Ilya Sutskever的第一印象

2011年：AGI的想法

2012年：图像识别的革命

2013年：DNNresearch被Google收购

2014年：语言翻译的革命

2015年：从Google到OpenAI：人工智能的新篇章

2018年：GPT 1、2和3的开发

2021年：DALL-E 1的开发

2022年：向世界展示ChatGPT

总结

Sutskever是OpenAI的联合创始人和首席科学家，这是一个致力于以负责任和安全的方式推进人工智能的研究组织。在他的领导下，该组织在开发前沿技术和推进人工智能领域方面取得了重大进展。

在本文中，我们将探讨他从年轻的研究人员到人工智能领域的领军人物的旅程。无论您是一位人工智能爱好者、研究人员还是仅仅是对这个领域的内部运作感到好奇的人，本文都将为您提供有价值的见解和信息。

2003: 对Ilya Sutskever的第一印象

Sutskever曾经是多伦多大学的本科生，他想加入Geoffrey Hinton(2018年图灵奖得主)教授的深度学习实验室。有一天，他敲响了Hinton教授的办公室门，询问是否能加入实验室。教授要求他预约时间。Sutskever没有浪费任何时间，立即问道：“现在怎么样？”

Hinton发现Sutskever是一位聪明的学生，并给了他两篇论文让他阅读。

一周后，Sutskever回来告诉教授他不理解。当教授问他为什么时，他解释道：

“你训练一个神经网络来解决一个问题，然后，如果你想解决另一个问题，你就要再用另一个神经网络重新开始，训练它来解决不同的问题。你应该有一个神经网络，可以训练解决所有这些问题。”

2011: AGI（通用人工智能） 的想法

当Sutskever还在多伦多大学时，他飞往伦敦参加DeepMind的工作面试。在那里，他与DeepMind的创始人Demis Hassabis和Shane Legg会面，他们正在构建AGI（人工通用智能）。AGI是一种人工智能，具有像人类一样思考和推理的能力，并可以执行我们与人类智能相关的各种任务，如理解自然语言、从经验中学习、做出决策和解决问题等。

当时，AGI还不是严肃研究人员谈论的话题。Sutskever认为他们已经脱离了现实，因此他拒绝了这份工作，并回到了大学，最终在2013年进入了谷歌。

2012: 图像识别革命

当没有人相信深度学习时，Geoffrey Hinton相信了它。他坚信在ImageNet比赛中获得成功将会一劳永逸地解决争议。

每年，斯坦福实验室都会举办ImageNet比赛。它由一个大规模的精心标记的照片数据库组成。来自世界各地的研究人员参加比赛，试图创建一个能够识别最多图像的系统。

Hinton让他的两个学生Ilya Sutskever和Alex Krizhevsky为比赛工作。

他们放弃了传统的手工设计解决方案，转向了深度神经网络，并突破了75％的准确率标志。

他们赢得了ImageNet比赛。他们的系统后来被命名为AlexNet。

从那时起，图像识别技术开始蓬勃发展。

后来，Sutskever、Krizhevsky和Hinton发表了一篇关于AlexNet的论文，这篇论文成为计算机科学领域中引用最多的论文之一，其他研究人员引用次数超过60,000次。

2013: DNNresearch被Google收购

Hinton与Sutskever和Krizhevsky一起创建了一个名为DNNresearch的新公司。他们没有任何产品，也没有未来制作任何产品的计划。

Hinton问了一位律师如何让他的新公司价值最高，尽管它只有三名员工，没有产品和历史记录。律师给他提供的选项之一是设立拍卖。

四家公司竞标收购：百度、谷歌、微软和一家名为DeepMind的年轻伦敦初创公司。第一个退出的是DeepMind，其次是微软，留下百度和谷歌竞争。

一天晚上，接近午夜，当价格达到4400万美元时，Hinton暂停了竞标并去睡觉了。第二天，他宣布拍卖结束了。Hinton以4400万美元的价格将他的公司卖给了谷歌。他相信找到他的研究的正确归属比财务收益更重要。Hinton和他的学生都将他们的想法放在财务收益之前。

分配收益的时候，Sutskever和Krizhevsky坚持认为Hinton应该获得更大的份额（40％），尽管Hinton建议他们考虑一下。第二天，他们仍然有同样的想法。Hinton后来评论说：“这告诉你他们是什么样的人，而不是我是什么样的人。”

此后，谷歌聘请Sutskever作为Google Brain的研究科学家，他的想法变得更加宏大，现在更加与DeepMind的创始人的想法紧密相连。他开始相信未来（AGI）就在不远处。当面对新的信息或经验时，Sutskever也不怕改变自己的想法。

相信AGI需要有一种信仰的飞跃，正如Sutskever在谷歌的同事Sergey Levine所说：“他是一个信念坚定的人。”

2014: 语言翻译革命

在收购DNNResearch之后，谷歌聘请Sutskever作为Google Brain的研究科学家。

在谷歌期间，Sutskever发明了一种神经网络的变种，用于将英语翻译成法语。他提出了序列到序列学习（Sequence To Sequence）[1]，它捕捉输入的序列结构（例如英语句子）并将其映射到具有序列结构的输出（例如法语句子）。

他说[2]，研究人员不相信神经网络能够进行翻译，所以当他们能够做到时，这是一个很大的惊喜。

他的发明打败了表现最好的翻译器，并为Google翻译提供了重大升级。语言翻译从此又开始突飞猛进。

2015: 从谷歌到OpenAI: 开启AI新篇章

Sam Altman和Greg Brockman召集了Sutskever和其他九名研究人员，以检查是否仍有可能组建一个拥有该领域最优秀人才的研究实验室。

当他们讨论成为OpenAI的实验室时，Sutskever感到自己找到了一群志同道合、分享他的信念和愿望的人。

Brockman向所有十名研究人员发出邀请，给他们三周时间来决定是否加入他的实验室。当谷歌得知此事后，他们提出了一份巨额报价，希望Sutskever加入他们。当他拒绝时，谷歌将他们的报价提高到了近200万美元，这是OpenAI要支付给他的两三倍。

但是Sutskever很高兴放弃了谷歌的数百万美元的工作机会，最终成为非营利组织OpenAI的联合创始人。

OpenAI的目标是利用人工智能造福全人类，并以负责任的方式推进人工智能的发展。

2018: 开发 GPT 1, 2 & 3

Sutskever领导了OpenAI对GPT-1的发明，后来发展成了GPT-2、GPT-3和ChatGPT。

GPT（生成式预训练转换器）模型是一系列基于神经网络的语言模型。每个GPT模型的迭代都是自然语言处理领域的重大进步。

•GPT-1（2018年）：这是该系列中的第一个模型，它在大量的互联网文本数据集上进行了训练。其中一个关键的创新是使用无监督的预训练，在这种情况下，模型根据前面的单词的上下文来预测句子中的单词。这使得模型能够学习语言的结构并生成类似于人类的文本。•GPT-2（2019年）：在GPT-1的成功基础上构建，它在更大的数据集上进行了训练，结果产生了更强大的模型。GPT-2的一个主要进展是它能够生成连贯流畅的文本段落，涵盖广泛的主题，使其成为无监督语言理解和生成任务中的关键参与者。•GPT-3（2020年）：在规模和性能方面都取得了重大进展。它在大规模数据集上进行了训练，使用了1750亿个参数，比之前的模型要大得多。GPT-3在广泛的语言任务上实现了最先进的性能，如问答、机器翻译和摘要，具有接近人类的能力。它还展示了执行简单编码任务、撰写连贯的新闻文章甚至生成诗歌的能力。•GPT-4于2023年发布。

2021: 开发 DALL-E 1

Sutskever领导了OpenAI对DALL-E 1的发明，这是一种基于人工智能的图像生成模型。它使用类似于GPT模型的架构和训练过程，但是应用于图像生成而不是文本。

今天许多主要的图像生成器——如DALL-E 2、MidJourney——都归功于DALL-E 1，因为它们都基于相同的Transformer架构，并在类似的图像和相关文本标题数据集上进行训练。此外，DALL-E 2和MidJourney都基于DALL-E 1的微调过程。

2022年：向世界展示了ChatGPT

Sutskever帮助在2022年11月30日推出了ChatGPT，该系统迅速吸引了大众的注意，并在短短5天内增长到了100万用户。

ChatGPT的工作原理是在大量的文本数据集上对深度神经网络进行预训练，然后在特定任务上进行微调，例如回答问题或生成文本。它是基于GPT 3语言模型的对话式人工智能系统。

ChatGPT的一个关键特点是理解对话的上下文并生成适当的响应。该机器人会记住您的对话线程，并基于之前的问题和答案进行后续的响应。

与其他聊天机器人不同，它通常仅限于预先编程的响应不同，ChatGPT可以即时生成响应，使其能够进行更动态和多样化的对话。

伊隆·马斯克是OpenAI的创始人之一，他说：“ChatGPT非常出色。我们离危险的强人工智能并不遥远。”

结语

Ilya Sutskever对人工智能的热情推动了他的开创性研究，改变了该领域的发展方向。他在深度学习和机器学习方面的工作对推动最新技术的发展和塑造该领域未来的方向起到了关键作用。

尽管有许多巨大的财务机会，Sutskever选择追求自己的热情并专注于他的研究；他对工作的投入对于任何研究者都是值得效仿的榜样。

我们已经见证了Sutskever对我们世界的影响。

然而，感觉这只是一个开始。