当我在现场听王小川大模型创业100天感想时，我在想些什么？

昨天现场听了王小川的分享，当场跟朋友说是「今日最佳」，视野最广、信息增量最足的一场——但今天读文字稿，还是发现了非常多现场遗漏的信息，顺手整理下，整理完发现太长了，但值得。

也许对这场分享的逐字解读，本身就是另一场非常精彩的分享，下面破折号后的部分是我的碎片解读，附上此前相关思考的链接，欢迎大家评论留言讨论：

---

1、

在中国做OpenAI跟美国的生态环境会非常的不一样。

国内我们认为未来开源和闭源会有一个并行的状态。并行就有点像现在既有苹果的系统，也有安卓的系统。

——宏观上的信心来源。

2、

今天不能简单的说我们未来大模型就是走向OpenAI——闭源的中心化的模型。开源实际上是具备着很大的可能性。所以也就意味着一方面在于实践技术，展示技术能力，但它也确实有可能蕴含着商业模式和价值。同时，开源的基础之上，中国做一个全球最好的中文模型还是一个让人可以期待的事。

3、

百川从第一天开始就是自研的，而且冷启动非常非常快。这背后的原因是什么呢？

今天我们知道高质量数据是大模型的基础，那什么公司对语言数据有广泛的理解呢？那其实搜索公司干20年，每天都在思考怎么找到这种高质量数据。

第二点，从人才储备来说，既要有算法能力，又要有以搜索能力为主的工程能力，这种人基本也在搜索公司。

做大模型还有一件事情就是评测。评测大模型好不好其实是一个痛苦的问题，包括推理的问题、精准问答的问题、创作的问题……有的变好，有的变差，怎么评价？所以这种评价体系也是搜索公司长期积累的一个能力，用评价来带动后续算法的迭代。

另外创业公司又比大厂的组织效率要高很多，有非常且灵活的决策体系，所有效率就会得到最大化的体现。

——数据、算法、工程、评测、组织效率，决定创业公司有一定的竞争优势（当然王小川没有提到大厂的优势：算力），我之前也分享过类似观点：

4、

小创新靠大厂，大创新靠小厂

虽然大厂有很多人、钱、资源的优势，但组织壮大后反而会有很多很内部问题，组织效率受到了严重限制。

如果我们坚定认为 AGI 的到来，那么一定会爆发出巨大的新物种。这些事情对创业公司来说有巨大发挥作用的机会。这个从历史推演就能论证，所以只要有AGI，未来就有新的机遇。

——这几天最大的感受是，创新者的窘境，是一个就算你意识到了、也必然会发生的问题，也是创业者永远有机会的原因，「历史推演就能论证」。

5、

中间的难点在哪呢？

OpenAI 是一个以研究导向为主，在现实世界落地产品的公司。你跟着它走，研究领域可以有非常耀眼的成就。但是今天怎么做应用，不管是 OpenAI 还是硅谷以技术驱动公司都还不是太擅长这个。我有自信中国在应用落地上比美国强很多。

全世界都到了一个转折点，现在技术已经就位，这是第一个难点。应用和需求方面是第二个难点，这一块叫做 model service（模型服务）。所以现在的挑战是，第一，你有模型了吗？第二，有了模型就等于有了服务吗？

——目前应用的机会，是创业者和大厂平等的机会，但需要产品设计思路的革命，之前分享过关于产品设计思路的变化：

6、

现在美国对于应用层比较迷茫，中国现在的问题是模型能力不足。今天很多做模型的创业公司，也是把自己的视角局限在大模型上，对其它技术栈没那么了解。

讲个最简单的例子，做模型肯定会遇到幻觉问题，时效性问题。幻觉和时效性都是光靠大模型本身能解决的。有人用扩大参数，扩大到万亿，十万亿来解决幻觉；或者用强化学习。但其实最直接的做法就是把搜索和信息检索带进去。大模型和这些结合在一块，才能形成一个更完整的技术栈。

第二个方面，现在大模型技术逐渐实用化。然后在所谓的知识计算中，还需要加入向量数据库和搜索，才能形成更完整的技术和产品。在这个问题上，大家正在逐步形成共识。

7、

今天来讲 ChatGPT 的流量，大家开始担心是否能够持续爆发。

因此大家还需要更多探索。

我们认为在娱乐行业，在人物角色扮演方面有广阔前景，但这件事情需要中国公司进入才能做得更好。

另外一件事是如何将大模型和搜索如何结合在一起，Perplexity AI 现在做得挺好，我们则处于被动的地位，美国有机会，投资人就会找中国的对照公司。

但如果这家公司，一没有大模型，只是在调用API；二没有搜索技术，只能依赖 Google，Bing 这些公司的技术，这样并不理想。

——文字没有体现的是，王小川对于投资人过热追求 Perplexity 是不认可的。

8、

在中国的话，我觉得走大模型路线的还没有像OpenAI那样有一个占据顶端的公司出现。现在还处于“百模大战“的阶段。今天做大模型的公司有没有能力做应用，这件事中国比美国有很多看点。

9、

张鹏：我感觉小川你们还是致力于去追GPT-3.5，GPT-4。这个追的过程难不难？你们为什么说一定要追到GPT-4的程度？

王小川：

首先是技术的跨代进步，可能对后续产品生态产生碾压式的影响。无论从理想的角度来看，想象一个遥不可及的未来，就像战斗机的三代、四代、五代一样，在这其中每一代都可能发挥重要作用。所以在这个时候，大家应该争取在竞争激烈的领域中寻求优势。

但是在争夺优势的过程中，大家可能会面临新的困惑：到哪一代才能真正实现超级应用？GPT-3.5在美国至今尚未形成超级应用，训练一次大约需要5000万人民币，这还不包括前期准备和实验之类的成本。GPT-4训练一次可能需要5亿人民币。到GPT-4.5代，成本可能会达5亿美元。

因此，如果没有超级应用，单纯追求技术提升也是非常危险的。所以我们需要在这个领域同时追求第四代和第五代技术能力的提升，同时要有超级应用。否则，我们可能会突然面临两个方面的升级压力，这两者都需要同时升级才能取得成功。

10、

超级应用年底水落石出

现在大家把目光太过聚焦在OpenAI上，它不是一个产品公司，不是一个能做超级应用的公司。

能做超级应用不仅需要技术追赶，也要对产品有一个足够的理解。这件事我觉得年底是水落石出的时候。

——年底的时间窗口，至少是小范围内的共识了。

之前分享过完全相同的观点：

11、

LLM数据飞轮

今年年初在提数据飞轮的事情，当时特别恐慌。用户的请求给了它，它知道用户要什么，然后就更好地去升级模型。

在目前看的话，这个问题并不严重。

像 Llama 2 推出之后，大家看到在微调阶段，数据要精而少，而不是精而多，现在大家开始逐步形成共识，技术的秘密不是在飞轮里面，还是时间的技术积累。

像 Claude 的公司 Anthropic 的技术实力也涨的很快，OpenAI 远远它用户多，这也证明了数据飞轮的概念被证伪了。

更多还是在于它的数据集里面，不管在 Pre-training阶段还是在微调阶段，怎么去搞优质的数据？如何去配比等，这是它的核心的能力。尤其是我听他们聊天说，一方面 GPT-4 在训练 GPT-3.5 ，让 3.5 更高效的工作，同时用 GPT-4 去生产 GPT-5 所需要的部分数据，在做迭代过程的优化。

它的迭代在内部是使在线服务更好，同时生成未来的部分数据，我觉得这是是内部的一个飞轮。

——数据飞轮的分析，一针见血：

用户侧的数据飞轮被高估了，内部模型训练侧（比如RLAIF）的被低估了。

12、

中美AI并不是一样的故事

中美本来就不是一种制度，一种体系、文化，所以最后长出来的，不管是技术问题还是应用问题，都会不一样。

——信心来源。

13、

我现在时间花最多的，是跟我们的同事聊天。

聊天在过程当中的时候，其实是一个不断形成共识的过程，就是把大家的这种认知、养分、外面信息汇聚，使大家形成同一个大脑。

在今天其实Top-Down、Button-Up做起来叫上下同欲，使大家从这种理想上到技术上、认知上充分地对齐，变成一个事儿。所以我认为跟大家更多日常的交流，会使这个大家变成一个大脑，这是我最重要的工作。

今天也不讲组织管理了，就是大家变成像一个人做。百川现在是 100 人，昨天刚到 100 人。

——OpenAI改变了科研范式，也改变了组织管理方式

14、

你最近在关注大模型的那些技术进展？有哪些 paper 是让你感到比较兴奋的东西？

第一，光看论文，今天其实已经不重要的。你看不完的。

基础就那些东西。而且今天 OpenAI 已经不把好论文发出来了。发出来的都是信息量不大的论文，收获是有限的。

同时大家因为之前进入狂热（状态），我们叫「度日如年」，每天过得更（技术进步）一年似的。

最近有几个技术进展，我觉得非常厉害的。

一个是，大概一周多前，OpenAI 推出了 code interpreter，这是重大的一个突破，但在国内好像没有形成新一轮的媒体狂潮。

之前的狂潮大家已经享受过了，这次的进度，code interpreter，我觉得是媒体没有当量地去正视它报道它。

以及昨天的一个小升级，定制自己的 instruction。

代表了它从模型 LLM，开始走向 Agents。

里面会描述说「我是谁，我有什么特点」，你这个大模型会扮演一个怎样的角色，有什么特点？形成这样一个关系，是从模型是不是 Agent（角度来看的）。

这两个领域，是今天大家关注报道不够的。

——不止和一个技术同学聊到：光看论文，已经不重要了。王小川更详细地解释了为什么。

15、

其实之前做输入法，就已经在搞「预测下一个词想说什么」，然后怎么改写，搜索是变成问答。

——作为前输入法产品经理，醍醐灌顶。

16、

ChatGPT 是第三个把语言模型做成超级应用。前两个，一个搜索，一个输入法。

综上，至少是16个值得详谈的点。

最后，于我个人而言，最大的收获，是发现可能严重低估了自己过往类似的背景对现在探索AGI的价值——干过输入法（当时的标杆就是搜狗输入法）、参与过搜索，无论是「预测下一个词」，还是评测，都是LLM的关键。

散乱的点开始连成线了。

---

现场对话实录：

附上我此前的LLM相关观点：

我是Hayes海庚，一个关注AI的大厂产品经理/战略，最近打算和更多人交流AI，如果你也关注这轮AI浪潮（不限于从业者，也可以是普通用户），希望和包括字节、百度、阿里、腾讯在内的大厂同学一起交流讨论，可在公众号后台回复「茶水间」或添加微信 hayezhang13 进群讨论。