伊利亚·苏茨克沃尔（Ilya Sutskever）真正想要什么？

图｜NIRIT WEISS-BLATT

文｜NIRIT WEISS-BLATT

题记｜汤源

“

𝕀²·ℙarad𝕚g𝕞智能平方范式研究任重道远。

去年底OpenAI董事会闹剧半年后，Ilya退出OpenAI成立SSI Inc. 笔者一直认为OpenAI的创始三人组是绝配，Ilya的退出无疑使得OpenAI不再是那个OpenAI。最近早期退出OpenAI另起炉灶的Anthropic AI的Claude产品迭代更让人侧目。。。期待Ilya的新公司SSI！

原作者认为Ilya真正想要的更值得关注

▽

题记

前不久公众号文章转译了《WIRED》杂志的封面故事“OpenAI真正想要什么"；今天转译的这篇文章的作者NIRIT WEISS-BLATT，认为人们更需要知道Ilya Sutskever真正想要的是什么？

Ilya Sutskever，OpenAI三联创之一，首席科学家，也是AGI甚至ASI的信仰者。

笔者正是通过解读Ilya的一系列专访，快速跟进这波AI的狂潮或者宿命，最近将几个月前写的访谈解读文章2季6篇做了重新整理：

正文

在《WIRED》的封面故事 "OpenAI 真正想要什么"中，Steven Levy 描述了该公司的终极目标是如何 "改变一切，是的，一切"，并提到了这一点：

💡 Steven Levy在“OpenAI真正想要什么”一文中的描述▩译文｜“在重组文件的某处有这样一个条款：如果公司真的能够创造出 AGI（人工通用智能），那么所有的财务安排都将重新考虑。毕竟，从那时起，这将是一个崭新的世界。人类将拥有一个异形伙伴，它能做我们所做的很多事情，只是做得更好。因此，以前的安排可能实际上已经作废了。"“公司的财务文件甚至规定了一种应急退出方案，以防人工智能抹去我们的整个经济体系。“▩原文｜“Somewhere in the restructuring documents is a clause to the effect that, if the company does manage to create AGI [Artificial General Intelligence], all financial arrangements will be reconsidered. After all, it will be a new world from that point on. Humanity will have an alien partner that can do much of what we do, only better. So previous arrangements might effectively be kaput.”“The company’s financial documents even stipulate a kind of exit contingency for when AI wipes away our whole economic system.”

这让我想起了伊利亚-苏茨克沃尔 2023 年 5 月（在加利福尼亚州帕洛阿尔托的一次公开演讲活动上）所说的话。他的整场演讲都在谈论 AGI 如何 "颠覆生活和社会的方方面面"。

当被问及具体的职业--书籍作家/医生/法官/开发人员/治疗师--以及他们是否会在一年、五年、十年后或永远不会灭绝时，伊利亚-苏茨克沃回答说：（以开发人员为例）

💡 Ilya在2023年5月Palo Alto的公开演讲片段-替代▩译文｜“我认为，这项工作需要相当长的时间才能真正消失。但还有一点需要注意的是，随着人工智能的发展，每项工作都会发生变化。他们会不断改变这些工作，直到有一天，这些工作都会消失。我猜想，要想让这些工作真正消失，实现完全自动化，我认为在技术上应该是同时发生的。是的，想想这将产生多么巨大的影响，戏剧性的。“▩原文｜“It will take, I think, quite some time for this job to really, like, disappear. But the other thing to note is that as the AI progresses, each one of these jobs will change.They'll be changing those jobs until the day will come when, indeed, they will all disappear.My guess would be that for jobs like this to actually vanish, to be fully automated, I think it's all going to be roughly at the same time technologically. And yeah, like, think about how monumental that is in terms of impact. Dramatic.”

随后，Ilya Sutskever 解释了为什么 "OpenAI 实际上不是一家专以盈利为目的的公司，而是一家有盈利上限的公司"：

💡  Ilya在2023年5月Palo Alto的公开演讲片段-失业▩译文｜“如果你相信人工智能真的会让所有工作都自动化，那么对于一家制造这种技术的公司来说，......不是绝对的利润最大化者也是合情合理的。““它之所以有意义，正是因为这些事情会在某个时候发生。“▩原文｜“If you believe that AI will literally automate all jobs, literally, then it makes sense for a company that builds such technology to … not be an absolute profit maximizer.It's relevant precisely because these things will happen at some point.”

当说到监管问题时，伊利亚-苏茨克沃尔继续说道：

💡  Ilya在2023年5月Palo Alto的公开演讲片段-监管▩译文｜“如果你认为人工智能至少会让每个人失业，那简直是天方夜谭，对吧？假设我们认为这是真的，我们就说是真的，而不是空穴来风。结论很可能是，在某个时候，是的，应该有一个政府授权的国际减速计划。“▩原文｜“If you believe that AI is going to, at minimum, unemploy everyone, that's like, holy moly, right? Assuming we take it for real, we say for real, as opposed to it's just like idle speculation.The conclusion may very well be that at some point, yeah, there should be a government-mandated slowdown with some kind of international thing.”

当被问及人工智能在 "塑造民主 "中的作用时，伊利亚-苏茨克沃尔（Ilya Sutskever）回答道：

💡  Ilya在2023年5月Palo Alto的公开演讲片段-政府▩译文｜“如果我们戴上科幻小说的帽子，想象我们解决了所有的，你知道的，人工智能的艰巨挑战，我们做到了这一点，不管怎样，我们解决了这些问题，现在我们说，'好吧，最好的政府形式是什么？'，也许是某种民主政府，在这种政府里，人工智能会与每个人交谈，了解每个人的意见，并找出如何以更高程度的方式来实现它。“▩原文｜“If we put on our science fiction hat, and imagine that we solved all the, you know, the hard challenges with AI and we did this, whatever, we addressed the concerns, and now we say, ‘okay, what's the best form of government?’ Maybe it's some kind of a democratic government where the AI is, like, talks to everyone and gets everyone's opinion, and figures out how to do it in like a much more high bandwidth way.”

在另一个场合，伊利亚-苏茨克沃尔（Ilya Sutskever）也提出了这样的想法：“我们希望我们的人工智能有不安全感吗？“

他探索人工智能系统拥有 "感觉（feeling） "的可能性已经有一段时间了。他在推特上写道："可能今天的大型神经网络略有意识"。他后来问他的追随者，"什么是更好的总体目标"：是 "深度服从的人工智能"（Artificial Superintelligence），还是 "真正深爱人类 "的人工智能。2023 年 9 月，他在接受《时代》周刊采访时说：

💡  Ilya在2023年9月接受《时代》周刊采访片段-未来▩译文｜“最终的结果是，人工智能系统将变得非常、非常、非常能干和强大。我们将无法理解它们。它们会比我们聪明得多。到那时，绝对重要的是，封印它们要非常坚固，这样它们对我们的感觉就会像我们对婴儿的感觉一样。“▩原文｜“The upshot is, eventually, AI systems will become very, very, very capable and powerful. We will not be able to understand them. They’ll be much smarter than us. By that time, it is absolutely critical that the imprinting is very strong, so they feel toward us the way we feel toward our babies.”

△

“原作者与Ilya”

早在 2023 年 5 月，在伊利亚-苏茨克沃尔（Ilya Sutskever）开始在公开活动上发言之前，我就坐在他旁边，告诉他："伊利亚，我听了你所有的播客访谈。与到处散布人工智能恐慌的萨姆-奥特曼不同，你听起来要冷静、理性和细致得多。我认为你为你的工作、你研发的东西、OpenAI 做了一件非常好的事情。"他脸红了一下，说："哦，谢谢你。谢谢你的夸奖。"

一个半小时后，当我们结束这次谈话时，我看着我的朋友，对她说："我收回我对伊利亚说的每一句话。"

他把在场的人都吓坏了。我们说的是在湾区最大的人工智能实验室工作的人工智能专业人士，他们离开房间时都在说 “我靠！“

上面的快照无法捕捉到一个半小时冗长的讨论。

重点是，伊利亚-苏茨克沃尔把你在媒体上看到的 "AGI 乌托邦与潜在启示 "的意识形态推向了新的高度。

那真算得上是一种创伤的经历。

正是在这次会议之后，我决定要与面向公众的人工智能炒作和宿命作斗争--甚至更多。

参考

说明：本文在公众号里标注为“原创”仅为防止未经许可的转发，本文引用内容的版权属于原作者和原媒体。

-NIRIT WEISS-BLATT：What Ilya Sutskever Really Wants

https://www.aipanic.news/p/what-ilya-sutskever-really-wants?utm_campaign=post&utm_medium=web

附录：𝕀²·ℙarad𝕚g𝕞智能平方范式研究

H𝕀：Humanity Intelligence [Sys1&2@BNN] 

A𝕀：Artifical Intelligence [LLM@ANN] 

𝕀²：H𝕀 𝕩 A𝕀 [bio- | silico-] 

ℙarad𝕚g𝕞：认知范式或BNN认知大模型 

A𝕀与H𝕀当前在玩一个语言游戏。A𝕀最大的问题是已知一点白外的未知的黑；H𝕀最大的问题是不断演进的sys2理性白中的sys1的黑；

往期推荐

AI平方范式智库·认知构建路径：A𝕀²ℙarad𝕚g𝕞 V4商业新范式解读

AI平方范式智库·数学系列E03S01 ｜ 神经网络背后的数学

AI平方范式智库·访谈系列E03S02｜从语言游戏到LLM智能体

AI平方范式智库·访谈系列E03S01 ｜ 从预训练模型到可靠可用AGI

扫码加群，

链接智库！

AI平方范式智库