Vol.17 OpenAI 创始人 Ilya 伊利亚 的 5 个关键演讲
卷首语
每次有人问我 GPT 的本质、局限或者 OpenAI 的发展历史时，我都会强烈推荐对方去 Youtube 或者 B 站搜索 OpenAI 三个创始人（Sam Altman, Ilya Sutskever, Greg Brockman）的演讲和采访。
能听当事人本人讲的东西，就没必要找二道贩子转述。更何况，这三人的表达能力都非常出众，说话简短、精确、生动，听起来绝不会无聊。
Sam 出镜率比较高，今天先跳过，我们来推荐 Ilya 5 个演讲和访谈。这些视频对我自己启发很大，我们经常说认知决定方向和定力，也经常讲要根据实践来反馈迭代，OpenAI 一路走来的过程，是我见过的最好的、能把这两个表面矛盾道理融合讲通的案例。
每个视频，都提供了 Youtube 和 B 站版本，建议感兴趣 AI 的同学们可以都听一遍，每个人听到的故事会不一样，得到的启发也会不一样：）
AI BUSINESS
OpenAI 创始人 Ilya 伊利亚 的 5 个关键演讲
强烈建议自己完整听一遍，每个人的角度和获得的启发不一样。
英语 OK 的同学们尽量看 Youtube 版本，B 站版本翻译大多有点问题。
Building AGI,Alignment, Spies, Microsoft, & Enlightenment
他把 AGI 类比成现在 Tesla 的自动驾驶，看起来啥都能干了，但实际上又离 L5 还有距离
采访者质疑 GPT 无法有突破性的创造力，他给了一个有趣的角度——如果 GPT 能够模仿一个”有洞察力、智慧和能力的人“呢？如果我们承认 GPT 能够精确模仿和预测行为，那么当TA 模仿一个有突破性创造力的人的时候，会发生什么？
“提出新想法”没有“理解现有想法、理解正在发生的事情、理解真正发生的潜在现象是什么、理解潜在的影响是什么、为什么我们以这种方式而不是另一种方式做事”重要。深度认同，鲁梅尔特也讲过类似的话
AI 下一个发展点可能是可靠性和可控性，可靠性意味着信任模型的输出，可控性意味着可以控制它
中文版：
Youtube 原版（推荐）：
https://www.youtube.com/watch?v=Yf1o0TQzry8
What's Next for Large Language Models (LLMs)
GPT 的成功，来自于工程和科学的完美配合 最重要的是，能够把“预测”和“理解”这两个概念联系起来 缩放定律（Scaling Law）很重要 以往的研究，都会默认基于固定数据集来优化，这让人很方便比较算法，但也会把研究者的思路禁锢住——往往没想到大规模扩大训练数据集 各种 AI 生成能力中，编码能力很重要，因为这个能力使得 AI 可以操纵计算机 学习能力，有一部分就是泛化能力，泛化能力强的话，很少量学习就能解决大量问题 不一定要模仿生物学，而是以正确的方式受到适当启发
中文版：
Youtube 原版（推荐）：
https://www.youtube.com/watch?v=UHSkjro-VbE
Fireside Chat with Ilya Sutskever and Jensen Huang
这个对话，非常清晰地表达了 Ilya 为何选择这个技术路线来探索 AGI：
他相信，预测下一个字符，会让模型发现数据底层的秘密 真正的难点不是搞数据，而是意识到预测下一个字符，是一个值得追求的目标 有效的数据压缩，其实就是一种有效的无监督学习
曾经他们用 LSTM 做亚马逊商品评论的“下一个字符预测”，过程中发现模型生成了一个神经元专门用来判断“情感”（sentiment neuron）
中文版：
原版（推荐）：
https://www.nvidia.com/en-us/on-demand/session/gtcspring23-s52092/?ncid=so-yout-561702
The Mastermind Behind GPT-4 and the future of AI
对人工智能感兴趣的初始动机，是对于人类意识的好奇
很重要的一个发现，就是意识到 predicting the next thing is all you need —— 做预测下一个东西的模型，可能可以通向 AGI。精准预测的前提，是深度理解。
规模并不能解决一切问题，首先要有一个可以受益于规模扩展的结构，另外也要精确判断要规模化（scale）哪些东西
不要太相信自己现在对 AI 局限性的判断，我们两年前也很确定另一些局限性，不就已经被打脸了么
LLM 极度擅长学习，但其实并不那么擅长输出。（不知道为什么，直觉这个见解很重要）
多模态很好，但纯文字可能也已经包括了很多相关信息。比如颜色，如果能直接看到颜色，当然学习效率会提高很多。但如果不能看见颜色，只能通过文字学习，在理解了各种颜色在高维向量空间的关系之后，也能知道颜色之间的关系（我的理解是，甚至于比单角度“看见”的理解可能更“对”）
语言是一个序列，图片也是，生命也是
中文版：
Youtube 原版（推荐）：
https://www.youtube.com/watch?v=SjhIlw3Iffs&t=13s
Inside OpenAI
预测下一个字，是一个可以被定义的任务。相对来说，”理解“很难被定义，所以可以考虑用”预测“替代理解（背后还是”精准预测需要深度理解“的认知） 意识不是一个是或者否的问题，而是一个程度问题，比如人喝醉、疲劳时意识就比较薄弱，而昆虫和人类相比，意识也比较薄弱
为了防止权力过度集中，我们需要开源。但如果 AI 能力过于强大（比如可以自己搞生化实验室），这时开源就不安全了。好玩的是 Ilya 认为现在还没有到他说的危险时刻，所以现在不开源更多开始从竞争角度出发
早期训练需要大量数据广泛训练，才能让模型正确理解问题，后来不那么需要（感觉很像人脑……其实我们是千万年进化出了人脑，后续才可以有强学习能力）
Youtube 原版（推荐）：https://www.youtube.com/watch?v=Wmo2vR7U9ck
待办清单
直播一键预约
邀请关注
直播连麦报名