从世界人工智能大会到技术起源：Gen AI发明者Illia Polosukhin解读AI技术的演变与全球影响

2024世界人工智能大会暨人工智能全球治理高级别会议正在上海如火如荼进行中。该大会自7月4日至6日举行，以“智联世界”为主题，汇聚了来自全球的专家、政企代表、高校学者及投资人，共同探讨人工智能发展的新机遇。这些讨论和交流不仅是对技术的展望，而且也是对其历史贡献的回顾。

时间回溯到2016年，谷歌工程师Illia Polosukhin在一次午餐中与同事Jacob Uszkoreit讨论了他们正在进行的一个AI项目，该项目旨在使用人工智能技术为用户提出的问题提供有用的答案。当时，Polosukhin对项目的进展感到沮丧。正是在这次交流中，Uszkoreit提出了一个革命性的建议——尝试他正在构思的一种称为自注意力机制的技术。这一建议促成了一场包括8人的合作，他们共同研究这一新概念，并于2017年发表了名为《Attention Is All You Need》的论文，介绍了“Transformer”模型。这一突破性的研究不仅极大地提升了人工智能的处理能力，也彻底改变了世界。

作为AI行业资深研究者，在2024年的会议上，我们再次提到了这些历史性的贡献，并见证了人工智能技术的新产品，它们已演化成为全球关注和讨论的重大技术革新。

  一，Illia Polosukhin定义生成式AI

对话内容整理：

如今，Polosukhin 被视为现代人工智能的创始人之一。

Polosukhin 与七位 Google 同事共同撰写了著名的 2017 年论文《Attention Is All You Need》，他们被统称为“Transformer 8”。今年三月，在 Nvidia 年度开发者大会上，这八人中的七人首次同台亮相。首席执行官 Jensen Huang 说：“我们今天所享受的一切都可以追溯到那个时刻。”

Polosukhin 表示，Google 在 2018 年开始在 Google Translate 中使用 Transformer，带来了“巨大的改进”。但这种技术的广泛应用直到 OpenAI 于 2022 年 11 月推出 ChatGPT 才开始普及。

“OpenAI 开放这项技术时几乎没有什么风险，”Polosukhin 对 CNBC 说道。“比如说，如果其他公司，尤其是上市公司，开放这项技术时，第一个问题得到不恰当的答案，那就会成为新闻。”

在 2017 年底那篇奠基性论文发表时，Polosukhin 已经离开 Google，与同为软件工程师的 Alexander Skidanov 一起创办了自己的人工智能公司 Near。目前，八位作者都已离开 Google，而 Polosukhin 是第一个离开的。

“Google 研究部是一个非常优秀的环境，”Polosukhin 说道。“这里非常适合学习和从事这种研究。但如果你想要快速推进，并且把成果展示给用户，那么 Google 作为一家大公司，有许多流程和安全协议，这些都是非常必要的。”

他说，最终，“对于 Google 来说，推出一个不是价值十亿美元的项目是没有意义的。”

在 Google 期间，Polosukhin 是开源技术的支持者。“在那个时候，开放并让所有人都可以在此基础上进行构建是正确的决定，”他说。

在 Near 公司，Polosukhin 专注于他所谓的用户拥有的人工智能，“以优化用户的隐私和主权为目标。”

二，生成式AI技术演变及其深远影响

然而，到八年后的2024年今天，Illia Polosukhin对事态的发展并不完全满意。作为开源的坚定支持者，他对基于Transformer的大型语言模型的保密性质感到担忧，即使是那些以透明为基础的公司也是如此。我们不知道这些模型是用什么数据训练的，也不知道权重是什么，外人当然无法对其进行调整。巨型科技公司 Meta 宣称其系统是开源的，但Polosukhin并不认为 Meta 的模型是真正开源的：“参数是公开的，但我们不知道进入模型的数据是什么，而数据决定了可能存在的偏见以及做出何种决策，”他说。

随着 LLM 技术的进步，他担心它会变得更加危险，而对利润的需求将塑造其演变。“公司说他们需要更多资金来训练更好的模型。那些模型实际上会更擅长操纵人们，而且你可以更好地调整它们以产生收入，”他说。

Polosukhin对监管是否有助于解决问题毫无信心。首先，规定模型的限制极其困难，监管机构不得不依赖公司自身来完成这项工作。“我认为没有多少人能够有效回答诸如‘这是模型参数，对吧？这是一个好的安全边际吗？’这样的问题。即使对工程师来说，回答有关模型参数和安全边际的问题也很困难，”他说。“我很确定，华盛顿特区没有人能够做到这一点。”这使得这个行业成为监管的主要候选者。“大公司知道如何玩这场游戏，”他说。“他们会把自己的人安插在委员会中，以确保监督者变成被监督者。”

他提出的替代方案是一个开源模型，将问责制内置于技术本身。甚至在 2017 年发表Transformer论文之前，Polosukhin已经离开谷歌，创立了一个区块链/Web3 非营利组织，名为 Near Foundation。现在，他的公司正在转型，将一些开放性和问责制的原则应用到他称之为“用户拥有的 AI”上。以基于区块链的加密协议为模板，这种 AI 方法将是一个去中心化结构，拥有一个中立平台。

“每个人都会拥有这个系统，”他说。“在某个时候你会说，‘我们不需要再增长了。’这就像比特币——价格可以涨跌，但没有人决定，‘嘿，我们需要今年再增加 20 亿美元的收入。’你可以利用这种机制来调整激励，并建立一个中立平台。”

根据Polosukhin的说法，开发者已经在使用 Near 的平台开发可以在这个开源模型上运行的应用程序。Near 已经建立了一个孵化计划来帮助初创公司进行这项工作。一个有前途的应用程序是一种向内容创作者分发微支付的手段，这些内容为 AI 模型提供数据。

我对他评论说，鉴于其声誉，以及 Web3 到目前为止未能接管互联网，加密货币可能不是控制我们这个时代最不稳定技术的最佳比喻。他承认道，“我们确实需要在营销方面的帮助。”

反对开源 AI 的一个持久论点是，赋予强大模型的普遍访问权可能会使坏人滥用 AI，例如生成虚假信息或创造新武器。Polosukhin说，开放系统并不比我们现在拥有的更糟。

“安全性只是限制这些模型功能的幌子，”他说。“所有这些模型都可以被破解——其实并不难。”Polosukhin一直在宣传他的想法，与业内科学家交流，包括一些他的《Attention》论文的共同作者。在这些人中，他发现与 2016 年那次命运午餐的伙伴Jacob Uszkoreit的共鸣最深。这周我与Uszkoreit聊了很久，他同意Polosukhin的大部分观点，尽管他不喜欢“用户拥有的 AI”(指AI只注重用户个人的需求和权益)这个名称。他更喜欢“社区拥有的 AI”（指AI技术服务于该社区的共同利益和需求）。

Polosukhin特别兴奋的是，开源方法或许结合设想的微支付系统，可能提供一种解决 AI 引发的知识产权危机的方式。大型公司现在正与创作者进行一场激烈的法律战斗，因为创作者的作品是这些 AI 模型的核心。由于这些公司不断追求利润，这种冲突是内在的，即使他们努力补偿创作者，这些努力也不可避免地会受到他们最终为自己获取最大价值的需求的影响。而对于一个从零开始构建、旨在承认和奖励这些贡献的模型来说，这种情况不会发生。

“如果我们有一种方式能够真正承认内容创作者的贡献，那么所有关于知识产权的问题都会迎刃而解，”Jacob Uszkoreit说。“历史上第一次，我们有机会量化一条信息的价值，至少在更长时间内，对人类的价值。”

我对用户拥有 AI 的一种疑问是，如何筹集资金来从头开始开发一个复杂的基础模型。Polosukhin的平台目前使用的是 Meta 的 Llama 模型的一个版本，尽管他对这一点有保留。谁会出资十亿美元来创建一个完全开放的模型呢？也许是某个政府？一个巨大的众筹项目？Uszkoreit猜测，也许是某个稍逊一筹的科技公司会这样做，只是为了击败竞争对手。这仍不明确。

但他们都确信，如果在世界获得通用人工智能（AGI）之前没有出现用户拥有的 AI，将会是一场灾难。如果那发生了，Uszkoreit说，“我们就完了。”他和Polosukhin都认为，AI 科学家最终会创造出足够聪明来进行自我改进的智能。如果当前情况持续下去，很可能会是某家大型科技公司实现这一目标。“然后你会看到一种失控效应，突然之间几家公司，或者也许是第一家成功的公司，最终拥有了一台印钞机，创造了一个零和游戏，吸干了经济的活力，我们不能让这种情况发生。”

Polosukhin在考虑最坏情况时，是否对自己在提升 AI 方面的角色产生过怀疑？并没有。“无论哪个突破发生，都会发生，不论是否有我们，可能会在不同的时间点，”他说。“为了我们继续发展，我们确实需要一种不同的结构，这就是我正在努力的方向。

如果用户拥有的 AI 存在，它就会平衡竞争环境，OpenAI 和谷歌等公司将无法成为垄断者——他们将在同一个场地上玩同样的游戏。这会平衡风险和机会。”你甚至可以称其为……革命性的。

往期回顾

---

我们的AI团队现向外界开放服务，旨在助力每个企业与个人引领时代潮流，将先进科技与创新想法完美融合!

告别昂贵服务费和缺人烦恼,再见漫长交付周期

无限创意风格,分分钟生成专业级作品

感受 AI 带来的全新工作体验！

欢迎各大品牌方、媒体、科技企业、知名IP等合作

合作请联系负责人微信：Milo-1101

--END--