对话｜王小川：人工智能的奇点2033年就会到来（下）

「技术发展太快了，需要留点时间讨论」

记者：吴洋洋

编辑：王姗姗

昨天我们发布了对话王小川的上半部分，主要谈他历次创业历程的内在逻辑和对LLMs的终局认知。以下是访谈的下半部分，内容涉及LLM模型开发的实际挑战和AGI的未来技术趋势。

Key Points

（Facebook）他们没有开源，国内所有公司做的大模型，都是自己做的。

与OpenAI相比，现在我们可能还差一步、差两步，差半步是我们的目标。

国内大厂都在发布大模型，但在团队能力上是否离OpenAI越走越近，我们是质疑的。

（百川智能）计划年中推出第一代模型，年底推出对标GPT-3.5的模型。

最后做成的包含大厂与创业公司在内，应该就5家左右。

我们尝试用GPT的AI来训练我们的AI，这样能加速我们的AI发展。

GPT解决的问题是“读万卷书”，AlphaGo解决的问题是“行万里路”。一个深度学习，一个强化学习。

未来，强化学习的比重会大很多，今年可能是5%、10%或者20%，未来可能10倍、100倍的能力要靠强化学习得到。

今天大模型建立人工智能的方式仍然是对数据的暴力美学。

为生命建立数学模型，GPT让这件事更可行。

当下的竞争：谁先做出底层的大模型

新皮层：既要做模型，又要寻找应用场景，先行者已有很多，你怎么排列工作的优先级？

王小川：终局是一回事，当下的主要矛盾是谁能做出底层的大模型，现在没有哪一家能够说自己离 OpenAI很近了。虽然国内大厂也在发，但是离OpenAI的基础大模型还有非常远的距离。没有哪家厂商说能达到3.5的水平，更别说4，也没哪家厂商能拿出一个与ChatGPT同等的产品。

所以今天讨论说市场上会做出怎样一些产品，我认为更根本的问题还是今天谁能够做到一个接近ChatGPT背后的基础模型，以及背后拥有能够追赶OpenAI的一个团队。国内大厂，百度也好，阿里也好，都在发布自己的大模型，但在团队能力上是否能够离OpenAI越走越近，我们是质疑的。

新皮层：外界普遍用算法、算力、语料这些角度来衡量AI项目能不能做成，你觉得这些衡量维度是对的吗？

王小川：还是蛮机械的，最终是人去解决各种各样的问题。讨论算力、显卡只是最简单的盲人摸象般的拆解。

新皮层：如果不是这些维度，你觉得你现阶段最有挑战的事情是什么？

王小川：首先是团队本身是否是有机的，是否有使命、愿景，是否能把团队的能力打造起来，这是最核心的事。今天大家把这件事又变成了是否能把OpenAI里面最明星的人、做架构的人、做算法的人给拉回来做拼盘，这种拼盘方式不是一个有机生命的做法。公司像生命一样是演化出来的，不是拼起来的。更别说那些人愿不愿意回国。

新皮层：人的问题是通过努力招募可以解决的吗？还是市场上能够干这件事的人的总数就不够？

王小川：如果你现在去一口气要做GPT-5，那有这方面整个认知的人才是不够的。

新皮层：特别原创性的、能做算法创新的不够？

王小川：原创性人才不够。你要一步达到今天GPT-5的水平，这种人才特别缺乏，到美国去拉人是一种选择。但另一种人才——对模型有足够认知的顶尖人才零星有一些，能够从国外回来，会使我们比美国那边的大模型能力只差半步。现在我们可能还差一步、差两步。差半步是我们的目标，既不能说我们现在能够立刻追上去，但也不至于说人家已经完成了之后我们才刚开始在干。在这个目标下，我们现在人才努力一下是有机会做到的。

新皮层：舆论认为，中国公司现在能够推出大模型，是因为国外开源了，比如Facebook的LLaMA，还有GPT-3之前的模型。那之后怎么办？

王小川：他们没有开源。开源有两个东西，一个是开它的参数，一个是开它的方法。Meta开的LLaMA模型只是把它的参数公开了出来，并没有公开它的方法。国内所有公司做的大模型，都是自己做的。

新皮层：所以它一定程度上还是黑盒，其他公司能不能做出来还是有风险的？

王小川：对。所以你需要在这里面有自己的探索，他们已经公开的东西，我们可先学习，其他地方我们要去做各种探索。

新皮层：语料这个东西会是一个障碍吗？尤其当你需要做一个落地到特定场景的模型的时候？

王小川：我们首先还是做通用模型，然后逐步演化成垂直模型。所以前期并不需要有特定领域的独有数据。语料在公开领域其实已经足够多了，读万卷书其实有很多语料可以用，难点是语料的治理，就是你选择什么样的数据，不选择什么数据，这种数据的清洗过程更加困难。

新皮层：上一个AI时代，大家普遍认为中国AI的竞争优势之一就是我们有数据，点外卖、打车、网络购物，大模型需要的还是不是这种数据？

王小川：这是两种不同的数据，一种是产品上线之后的用户行为数据，一种是几千年传承下来的知识数据。今天做大模型的话，第一步先要把以前的知识给用起来，中国在这方面并没有特别优势。等产品上线了，用户的反馈数据可以用起来，这时候你才有优势，我们人更多、场景更加丰富。但今天的主要矛盾还不在第二步，现在需要的数据还是对基础人类文明产生作用的那些数据。

新皮层：你计划在年中推出第一代模型，年底推出对标GPT-3.5的模型，这个节奏会不会太快？OpenAI走这段路花了四五年。

王小川：原创确实会更难，但是当你去追赶的时候，速度会快很多，尤其是它已经有产品可以做参考去对标的时候。追赶者会更加容易。

新皮层：所以并不是一个激进的迫于竞争压力做出的计划？

王小川：不叫迫于压力，但也不能说没有这种紧迫感。该不该做到和可行性上能不能做到是两个问题。

新皮层：按这个既定节奏，明年市场就会进入新的竞争阶段？会是对场景的竞争吗？

王小川：我觉得是。如果3.5做到的话，主要矛盾就会转移到对场景本身的理解了。一方面中国市场特别要求对场景的理解落地，甚至后面采用什么商业模式。你做到这一步才会更有机会去追GPT-4或者追GPT-5。OpenAI可以说场景我不关心，我就足够努力去追求AGI就可以。

新皮层：从1到3.5，再到4，对于入场做大模型的公司而言，你认为每一轮迭代大概会有多少的淘汰率？

王小川：我觉得不能用1到3.5到4这样的方式来形容入场做大模型的公司的进度，更应该用做成与做不成来形容，而我觉得最后做成的包含大厂与创业公司在内，应该就5家左右。

技术趋势：

AGI只有GPT还不够，还需要更多强化学习

新皮层：AI技术一直在迭代，GPT所基于的底层技术一定是AGI未来的发展方向吗？

王小川：一定有非常多变化。今天GPT所基于的技术仍然有缺陷，不管它的通用性还是注意机制都不完善，它会忘事，做很多事所需要的经验它也不具有。所以今天GPT解决的问题是把人类已经有的知识学习了，我们叫“读万卷书”。但是之前DeepMind，包括OpenAI都还开发了另外一条技术路径，比如AlphaGo通过下围棋变成了围棋高手，AlphaGo成长到AlphaZero的时候，把以前人类教它的技术都扔掉了，两个机器自己从零开始通过对弈学习下围棋。这是大模型之外完全独立的另外一条路径，我们把他叫做“行万里路”。

新皮层：一个是深度学习的路径，一个是强化学习的路径？

王小川：挺准确的一个描述。深度学习这条路径可以让AI学习已经有的东西，强化学习可以让AI从实践结果里能学到新的东西。

新皮层：两条路径是可以嫁接起来的吗？

王小川：从GPT-3到3. 5，其实已经开始用强化学习了，它给GPT带来了本质的提升，所以在 GPT-4里面可能用得更多。

新皮层：在大模型变得更智能的过程中，强化学习的比重会变得更大？

王小川：对，我的预言是，在未来强化学习的比重会大很多，今年可能是5%、10%或者20%，未来可能10倍、100倍的能力是靠强化学习得到的。

新皮层：如果未来是这个方向，你的团队中对训练机器做强化学习的人才的需求会变更大，而不是开发算法本身的人才？

王小川：今天已经开始变成人训练机器了，怎么去写着instruct，对吧。其实之前OpenAI做ChatGPT的时候，80个人工作了大概3个月，其中40个人是在做调教。未来可能不仅是模型公司的人教它，甚至可能把产品放到应用市场，让更多专业人士甚至用户反馈来调教，就像一个人进入社会，从实习生往上成长一样，这个时代会到来。

新皮层：OpenAI雇佣了大量博士去把一对对QA写下来，让机器学习，这个工作量非常大。中国公司是否低估了这部分工作？

王小川：中国公司并没有低估这部分工作。恰好相反，我了解好多公司在生成这些QA的时候，其实是在利用ChatGPT生成的回答，把这些语料收集下来，作为老师，教自己的AI。所以中国公司好像没有雇佣那么多人，但是这是跟进者的一个快速学习方法。

新皮层：类似于当时斯坦福大学的一位教授用Facebook大模型产生的数据去训练一个小AI吗？

王小川：和AI训练AI是两件事。他是拿一个基础模型去生成一个小模型。不过你确实可以理解为，我们是尝试用GPT的AI来训练我们的AI，这样能加速我们的AI发展。

新皮层：2017年你接受采访回应《奇点临近》那边书提到的“奇点”（指人工智能的智能水平超过人类）概念时说，你认为机器不会比人更聪明，现在你是不是已经改变了这个观点？对于奇点有何新判断？

王小川：当时我低估了技术本身的突破。所以用ChatGPT那一刻，我认为我的想法是改变了的。对于奇点的到来，现在我觉得可能是在2033 年。

新皮层：为什么这么具体？

王小川：人工智能迭代的历史上，第一波专家系统做了40年，学习系统做了20年，深度学习做了10年，时间成倍递减，所以接下来有可能只需要5年，2.5年，1.25年，0.625年……人工智能就开始进入新阶段，这样倒推的话，奇点到来的时间表就是2033年。这是一种美妙的假设，实际上到时候早了或者晚了也不是一个惊奇的事。但是基于技术增长加速，我们有这样的预设。

新皮层：回到最初的问题，GPT对你之前好奇的关于生命相关的问题有些回答了吗？

王小川：搜狗时期我就想知道，通过预测模型是否能够建立强人工智能。当时我想，如果能预测下一帧视频，是不是强人工智能就到来了？我当时有这样一个设想，这个时代其实提前到来了，基于对语言AI的巨大突破。这对我是种鼓舞。

另外，今天大模型建立的人工智能的方式仍然是对数据的暴力美学，这对于未来我们怎么理解数据、理解智能也会有挺大启发。

新皮层：你想要建立生命的数学模型，GPT让你觉得离这个问题有多近了？

王小川：就像无人驾驶一样，这件事情更可行了。

新皮层：复杂理论中对智能的解释是它是一种涌现，你觉得它回答问题了吗？

王小川：还没有回答，就好像说基因决定人，但基因怎么决定人？其实是不清楚的。

-END-

上一篇

若想了解更多当日资讯，请点击阅读往期智能日报：

喜欢就关注我们吧，记得“设为星标”哦~

接下来将更新：

微软VS Google：AI技术的王权更迭

……

与记者交流，可添加微信（请备注公司名称和姓名）：

王杰夫 微信号: wjfsty

张司钰 微信号: helianthus351

吴洋洋 微信号: qitianjiuye

再次，喜欢就关注我们吧，记得“设为星标”