文字及图示作者：王咏刚：SeedV实验室创始人兼CEO，创新工场AI工程院执行院长童超：SeedV实验室联合创始人兼首席产品官生成式AI的应用场景在哪里Stable

本文作者：王咏刚，SeedV实验室创始人/CEO，创新工场AI工程院执行院长目录核心观点大语言模型的“垄断”与“白菜化”多模态AI的广阔天地多模态技术处于大爆发早期多模态AI为什么这么难大语言模型本身的多模态能力另一个“大力出奇迹”的结局？多模态应用的创新“蓝海”参考资料我既是软件工程师，也是投资人和创业者。我曾参与多个成功AI项目的创建、孵化或投资。今天，ChatGPT开启了崭新的AI

看到团队最近做的一个技术实习生面试实例，很有意思。面试官是我们创新工场南京研究院的冯霁博士。来面试的是一个刚读完大二上学期计算机课程的学生。冯霁的面试题挺简单的：梯度下降已经二百年了，为什么上世纪80年代的反向传播算法会被认为是人工智能技术发展的里程碑？前人难道不知道梯度下降？与硬做梯度下降相比，1986年提出的反向传播算法多了些什么？这本是一个AI算法面试的热身题。熟悉深度学习基础知识的随口就可说出标准答案。没想到小伙子虽来自计算机专业，却还没来得及系统学习机器学习、深度学习知识。如果就此结束面试，给小伙子一封拒信，似乎也说得过去。但冯霁换了个处理方法：给小伙子一晚上时间去调研并写出报告。小伙子连夜查资料、做调研，知道反向传播是通过动态规划来做梯度下降，复杂度由此降低到了线性。第二天，他给出了一份四页纸的报告。报告的逻辑很清晰，从问题描述，到扼要回答，再到具体算法梳理，时间复杂度推理，最后还附上了历史资料及其他类似目的的优化算法简述。其实，用一晚上时间做出调研并给出答案不算啥难事，任何一所大学计算机专业的本科学生都应具备这项基本素质。但这位同学所写的报告不仅给出了答案，还展示了很不错的信息梳理和表达能力——通过网络查询到的知识，被他组织成了自己的语言和逻辑，废话不多，条理清晰，其中的手绘示意图和手写公式、注释也挺见功力。大一大二学生，都是计算机科学领域的新手，正在入门和构建知识体系的阶段。我们很难通过一大批知识性问题来简单评估他们的能力水平。换句话说，这个阶段的孩子，最重要的不是学过和记住什么样的知识，而是是否掌握了快速学习知识并构建适合于自己的认知框架，以便将知识梳理成有序脉络的技能。冯霁面试的本就是个知识性问题，但候选人答不出时，冯霁转而考察候选人快速学习知识、有序梳理知识、清晰表达知识的能力——这是面试官应该做的事情。我自己在很多年前也大量带实习生。那时，有一批来自北大清华等名校的大一大二实习生，他们从能力特质上可明显分成两类：不会学习也不会梳理知识的；既会学习又会梳理知识的。头一类实习生看上去什么都会一点儿，但明显缺少系统化的学习方法和适合自己的认知框架。比如，有位大二的实习生写代码很快，做一个复杂的数据流逻辑时，东看看Stack

因为疫情，小学提前放假。我们家小朋友非非这两天直接进入寒假放羊状态。周末有些时间，我就拉着非非一起做个调研小游戏。大胆假设我指着家里堆满一墙的书问非非：“你说这些书的定价都跟哪些因素有关？”非非以前从没考虑过这问题。他是急性子，立即说：“书的内容好坏。”“哦，内容好的书就贵，内容差的书就便宜？”“对！”非非特别肯定。面对要调研的问题，非非的确得了“大胆假设”派的真传。他这第一个假设似乎确实和书价有关，只不过关联性很难量化，还要考虑营销因素影响。比如，书商定价时，都恨不得把质量低劣的书统统包装成大受追捧的畅销书，定价上才不会让步呢。但，不着急评论小朋友的意见，且看他还能想出哪些假设来。非非想到的第二个影响因素是“版权贵不贵”。他觉得，有些书要付作者很多版权费，自然定价就高，有些书的内容早已是公共领域资产，自然定价就低。这假设也不错，可惜一本书的版权成本及其对定价的影响过于复杂，不是我们坐在家里做个小调研可以搞明白的。所以这条也暂且不表——补充一句，非非能想到版权成本，这是因为我之前跟他聊过几次何为著作权，何为著作权期限，何为公共领域。非非又想到“书的装订好不好”。小朋友嘴里的装订，大概包含了书的版式、开本、装帧形式、装帧档次等好几个指标。这确实是影响定价的关键因素。非非还指出，

的环境中做测试；有人的算法只支持特定格式的数据输入，到了客户现场，还得手忙脚乱地写数据格式转换器、适配器；有人做了支持实时更新、自动迭代的机器学习模型，放到客户现场，却发现实时接收

写小说，用平水韵下酒。在太阳系最酷最大的网络公司上班，梦见二进制的下午茶。

Review。接下来，提交新代码前，各种静态、动态检查工具自动运行，帮你报出一系列风格错误、编译错误、单元测试错误和简单的逻辑错误，你得先依着工具的提示，把这些低级别错误改一遍，然后才进入