其他
量子专家加盟OpenAI，下一代人工智能来了？
光子盒研究院
量子计算自问世以来已有十年历史，业界专家认为，它可能成为遏制人工智能无节制发展的关键。
随着时间的推移，人工智能模型变得越来越大、参数越来越密集，部署的规模也在不断扩大。今年，像Meta这样的大型公司计划部署成千上万的加速器。尽管如此，OpenAI创始人萨姆·奥尔特曼（Sam Altman）依然坚信，要进一步发展人工智能，需要更多的计算能力。
因此，OpenAI最近的招聘动向并不令人意外，他们正将目光投向量子计算领域。上周，这家人工智能领头羊从PsiQuantum公司挖来了前量子系统架构师本·巴特利特（Ben Bartlett）。
巴特利特将在这家人工智能风向标公司做些什么呢？尚不明确。
OpenAI期望从量子物理学家那里获得什么成果呢？可能的方向包括利用量子优化简化训练数据集、使用量子处理单元(QPU)处理复杂的图形数据库，或利用光学技术突破现代半导体封装的限制——所有这些都是潜在的发展方向。
最近，网友发现他申请了一项与光量子计算相关的专利：
论文链接：https://opg.optica.org/optica/fulltext.cfm?uri=optica-8-12-1515&id=465446
去年，OpenAI还聘请了诺姆·布朗（Noam Brown），一个专注于多步骤推理、自我游戏和多代理人工智能的研究科学家。布朗此前在Meta工作，开发了如CICERO和Libratus等人工智能系统，它们分别在外交游戏和扑克游戏中达到了人类水平。
在去年11月的Q*事件中，著名学者Yann LeCun提到OpenAI聘请布朗可能是为了某项规划项目：“Q*很可能是OpenAI在规划方面的尝试。他们几乎雇佣了诺姆·布朗来从事这项工作。”
Q*（也称为Q Star）被视为通用人工智能（AGI）追求中的一次重大飞跃，其具体细节仍然保密，但有传言称它涉及到量子计算或量子机器学习，可能导致人工智能开发的范式转变。
像布朗和巴特利特这样的专家对OpenAI来说极为重要，他们可能是为特定的重大项目而受雇。这些招聘行动显示了OpenAI在追求先进技术方面的决心，以及他们在人工智能领域的未来规划。
这在GPT-4等拥有超过一万亿参数的大型模型中显得尤为吸引人。在不实施量化和其他压缩策略的情况下，以FP8或Int8精度运行的人工智能模型，每十亿参数需约1GB内存，而在更高精度下则远超此数。
目前，单台人工智能服务器有效容纳的参数极限已接近万亿。虽然多台服务器可串联以支持更大模型，但这会导致性能损失。如果OpenAI的联合创始人萨姆·奥尔特曼所预测的那样，这些模型将变得更大、更普遍，那么任何能在不大幅增加参数的情况下提升模型性能的技术都将为OpenAI带来优势。
D-Wave的软件和算法副总裁特雷弗·兰廷（Trevor Lanting）进一步解释说，在训练过程中，模型参数的数量直接影响成本和复杂性。
开发人员通常选择他们认为对特定模型训练最重要的特征，从而减少所需参数的数量。量子计算机能够同时探索现实世界的多种复杂因素，如交通、天气等，以确定最佳路径。
托姆指出，这与神经网络相似，“其中神经元发射与否，通过突触连接与其他神经元相互作用”。兰廷提到，量子算法可以优化人工智能训练数据集，训练出的模型既精简又准确。
量子计算在采样（sampling）方面的应用也备受关注。例如，人工智能模型（如LLM）如何根据概率分布确定下一个单词或标记，类似于加强版的自动补全功能。
法国量子计算初创公司Pasqal也在尝试将量子计算应用于处理图结构数据集。Pasqal的联合首席执行官洛伊克·亨利埃（Loïc Henriet）指出：“尽管将图结构化数据嵌入量子动力学是一个有前途的途径，但要实现这一目标，量子系统必须变得更大、更快”。
他认为，“大型数据集目前还不现实”，因此他们正致力于增加量子比特的数量和频率。量子图神经网络的发展仍需时日，即使Pasqal正在开发一个10,000量子比特的系统，当前的研究显示，即便是拥有10,000个纠错量子比特或大约一百万个物理量子比特的系统，可能也难以与现代GPU竞争。
除了奇特的量子人工智能用例，OpenAI还可以研究其他技术，而巴特利特恰好是这方面的专家。
巴特利特曾任职于PsiQuantum，一家专注于开发基于硅光子技术的系统的公司。这一背景可能暗示着他加入OpenAI与该公司报道的定制人工智能加速器项目有关。
硅光子技术正被包括Ayar Labs、Lightmatter和Celestial AI等多家初创企业作为解决带宽限制的新途径研究。带宽限制是影响机器学习性能的一个关键因素。
与仅使用电信号相比，利用光传输可以在更长距离上传送更多数据。这种技术通常涉及将光通过刻蚀在硅片上的波导进行传输，这听起来非常像“为光子设计小赛道”。
例如，Lightmatter相信，其技术能够使多个加速器作为一个整体高效运行，无需担心数据在离开芯片时的带宽损失。同时，Celestial认为，通过消除直接在加速器芯片附近的共同封装模块，可以大幅提高GPU的高带宽内存容量。这些特性对于致力于大规模开发人工智能系统的公司而言极具吸引力。
尽管OpenAI未来是否会采用量子人工智能或硅光子技术尚未可知，但考虑到其创始人萨姆·奥尔特曼对长期投资的熟悉度，这些探索可能并非其支持的最另类的尝试。
在不断进化的AI界，OpenAI以其革新性不断突破边界。他们的语言模型，如ChatGPT，凭借参与动态对话的能力，赢得了全球关注。其GPT-3模型拥有1750亿参数，体现了伯纳德·马尔（Bernard Marr）所说的数据集复杂性和规模增长速度超越计算资源增长的趋势。
马尔还指出，“人工智能和机器学习可在完整的量子计算解决方案问世前，受益于量子技术的进步。”
面对这一背景，人们不禁好奇：OpenAI是否会利用量子计算机训练ChatGPT这样的大型语言模型？尽管具体操作细节仍保密，据最新信息，OpenAI尚未公开使用量子计算机进行此类训练；然而，量子计算对AI的潜在影响仍令人兴奋。
量子领域的专家，如剑桥量子计算公司的伊利亚斯·汗（Ilyas Khan）和Quantinuum的鲍勃·科克（Bob Coecke），均认为语言具有“量子原生”（quantum-native）特性，意味着可能需量子计算机来实现深入理解语言的机器。
过去几年，量子计算公司与AI研究机构建立了众多合作关系。微软向OpenAI投资100亿美元，并获得了GPT-3的独家租赁权，同时也在量子领域投资，并近期将合作扩展至AI超级计算和研究。
此外，谷歌也在开发量子AI，目标是在2029年前制造量子PC，同时推出量子AI平台TensorFlow Quantum。英国政府和IBM也在AI、量子处理等领域展开合作。
最后，OpenAI的创始人兼CEO山姆·奥特曼在量子计算领域也有诸多投资，包括参与了Rigetti Computing在2017年的一轮融资、PsiQuantum在2019年的一轮融资以及Quantinuum在2020年的一轮融资等等。
尽管目前OpenAI尚未公布使用量子计算机训练大型语言模型的消息，但随着量子计算的进步，其对AI领域，尤其是语言模型训练的潜在影响不容忽视。
想象一下，当量子计算、核聚变技术和人工超智能在未来某个时刻汇聚，我们将迎来怎样的惊人时代！当然，这些仍然是未来的可能性，让我们拭目以待吧。