查看原文
其他

Vol.13 做AI的粘合剂,小团队可以干大事

徐文浩,任鑫 AI炼金术 2023-09-12

卷首语


希望在看到这一期内容的时候,你度过了一个愉快的五一假期,没有被困在路途中。时值五一假期,这一次的四篇文章更加短小轻松一点: 


我最关注的还是模型,最近不断看到国内外的新模型出来,但是效果都还和OpenAI有明显差距。所以,社区有了两个猜测,也就是大量高质量标注数据和人工排序的强化学习是智能涌现的关键?不知道你是怎么看的。 


任鑫则跑去了现场听陆奇老师的演讲了,在他看来,把AI和人类思维都当成是一种“模型”而不是“智能”也许更好地划清了AI的能力边界。这相当于也回归了一个新的假设,那就是硅基文明未必要和碳基文明一样?也许AI会比人类思考问题有更大的多样性,而不是我们以为的依样画葫芦。 


任鑫老师关注的另一家公司,则是11个人的Midjourney。这很有可能也是这一轮AI对于行业带来的变化,对于创业者来说,AI会带来公司的新形态,我们只是AI完成工作的粘合剂了。 


最后,对于想要做AI应用的朋友们。我推荐大家还是回到“需求总量”上来考虑问题。想一想AI究竟能够让哪些原先没有满足的需求可以被满足了,而不是仅仅去思考能够切掉哪些现有的需求。这也是情感类聊天机器人成为很多人相中的热点的原因。


——徐文浩



1

MODEL

也许RLHF才是智能涌现的密码?


市场上每天都有新的开源模型出来,国内的公司也不断发布自己的大模型。虽然大家在各种PR和评测上都说了有多好多好。但是我自己实际试一下,考察一下逻辑推理能力,大部分都让人失望。

ChatGLM-130B的Bad Case

现在市场上模型看起来,是能说车轱辘话的大语言模型多如牛毛,智商能参加高考的就只有OpenAI和Anthropics。
社区里也都在猜,究竟是为什么GPT-4的“思维能力”如此之强呢?最近有两个猜测也许值得思考一下。
第一个是,也许我们还是应该海量地去高质量地标注数据。因为大家发现,使用一个比较差的基础模型,但是提供更多标注好的数据进行SFT,模型的效果会超越参数更多的大模型。


最近有一个实验是在GPT-2上(参数只有15亿)通过260万个指令微调后的模型,效果比在70亿参数的LLaMA上通过5万2千个指令微调后的模型效果会更好。
第二个则是一个推测,是认为强化学习才是出现智能的关键。因为GPT这样的自回归模型,只是在学习下一个单词出现的概率。但是强化学习的过程则是拿整个输出结果作为评判依据的。只有通过强化学习,才能获得真的智能。

强化学习在ChatGPT里还挺麻烦的
特别是现在大部分开源出来的模型,大部分都只做了指令微调,而没有做强化学习。因为强化学习需要人工标注数据,不像指令微调(SFT)可以投机取巧通过GPT-4生成一堆数据。需要投入的时间和精力也会远远超过SFT,或者采集一堆数据进行自回归学习。所以把这个看成开源模型和OpenAI的差距的确也很靠谱。
不过如果这两个答案为真,那么也许融资不应该拿来买显卡,而是拿来标数据了。而所谓基础模型已经有了各种“能力”,强化学习只是激发这些能力的说法反而值得怀疑了。
不知道在做模型的各位的体会是什么呢?




2

ARTIFICIAL INTELLIGENCE

陆奇说,我们也是一堆模型


陆奇的演讲,我算是立体地学习了 3 遍。
一遍是 2 个月前,奇绩创坛的朋友专门开了个电话会给我对着英文 PPT人肉讲解了一遍。没怎么听懂,但不明觉厉,于是看到他来上海就报名了现场听;听完回来又认真看了一遍张小珺的文字稿……
觉得他给的概念非常有启发,不是把 AI 理解成“智能”,而是理解成“模型”;同样的,把人类的智能部分也看做模型(认知模型,任务模型,领域模型)。
从这个概念出发,宏观上,就可以把数字化科技浪潮分成三个阶段:信息,模型和行动。Google 让获取信息的边际成本趋近于零,OpenAI 让获取模型的边际成本趋近于零,而下一波浪潮会让行动的边际成本趋近于零。
而如果把人类和 AI 都统一到“模型”这个概念上,AI 对具体产业的冲击、对具体工作的替代,就更容易想象了。如果这件事情很多人都拥有类似的思考方式和行为方式,本质上这就是一个共有的“模型”,这类模型大概率是会被 AI 吸收掉(可能是底层 LLM,也可能是垂直 LLM)。
而在产品设计上,我们就可以更多的思考,如何创造和分发“模型”来帮助用户解决他们现实中的问题。过去几年知识付费一直在宣传的“思维模型”,终于有了更 JTBD 的交付方式——不是上课教会你认识这个模型,而是直接做成产品让你打开就可以应用这个模型。忽然就发现和我们手头在 MVP 的项目居然关联上了。
PS,陆奇还有个观点让我很意外,就是他好像觉得机器的模型会更灵活、更有创造力和想象力,而人类的更僵化、更符号化。觉得这个视角很开思路,我们受限于算力,一般只能用一维模型(例如 4P)二维模型(例如波士顿矩阵),偶尔三维。但机器其实是在近乎无限的向量空间在使用模型,它能够看到的相关性,能够创造的新连接远远超过我们。

延伸阅读


🔗 陆奇最新演讲实录:我的大模型世界观




3

AI BUSINESS

AI 来了,小团队可以干大事了


传说中 Midjourney 只有 11 个人。
看到一个很有意思的观点:我们使用的技术,决定了我们的组织形态。
比如互联网泡沫时代,是高资本 + MBA 团队。后来则慢慢变成了小团队精益创业。一般会认为是思想的进化,但那篇文章更多强调的是:因为有了云计算,和类似 Ruby on Rails 这样的开源 Web 框架。
仔细想想确实如此,我们做今夜酒店特价的时候还得自己搞机房,这就意味着团队里至少要有一个人要懂怎么配置和维护这些东西……但最近 MVP 一些 AI 产品的时候,好像没有任何一个岗位是 100% 需要固定的,大家拉个群聊聊分工就可以开干了。
如果 AI 承担掉绝大部分职责,人类做什么呢?
设定目标之后,做 AI 协调中的胶带和润滑剂?


延伸阅读


🔗 https://read.readwise.io/new/read/01gz1gzgc8wzhaq631h25qfwpt




4

AI BUSINESS

从需求总量思考AI应用的机会


其实这个问题,来自于每次直播的时候都有观众问我和Mars:面对AI应该干些什么?


我一般的答案都是“结合自己的领域的比较优势”,但是的确这句话太宽泛了,也没有给出一个解决问题的思路。正好这两天看到对于消费类的产品的一个疑问,感觉可以深入聊一下。


这两天看到有关于消费类的投资文章,说虽然KFC一直搞疯狂星期四,然后各种奶茶、中式点心不断扩张,一边降价一边开更多的连锁。但是,一个人一天摄入的“热量”是有上限的,所以不只是肯德基和麦当劳在互相竞争,他们也同时在和奶茶、炸串、以及各种网红零食在竞争。从这个角度看,消费类的投资早就已经遇到上限了。


的确“疯狂星期四”看起来搞得如火如荼,网上到处都是梗,但是实际上肯德基的收入并没有明显的增长。


2022年,百胜中国总收入为95.7亿美元(约合人民币660.3亿元),较去年同期的98.5亿美元减少3%,不考虑外币换算的影响为增加1%;净利润为4.42亿美元(约合人民币30.5亿元),较去年同期的9.90亿美元下降55%。


2022年,百胜中国系统销售额较去年同期下降5%,其中肯德基和必胜客分别下降4%和3%;同店销售额较去年同期下降7%,其中肯德基和必胜客分别下降7%和6%。


截至2022年12月31日,门店总数达到12947家,净新增达1159家门店。


🔗 https://www.sohu.com/a/648475364_100001551


这个其实回到了一个对于产品是否有机会的核心问题,那就是对应需求本身的上限是多少?而这个问题,其实对于AI应用的机会在哪里非常重要。


需求总是有上限的,无论是我们能够吃下去的热量,我们钱包的宽裕程度,乃至于我们拥有的时间。当然,这些总量随着社会发展进步,的确也会增长,但是考虑到脆弱的人类在物理上回遇到的限制,这个自然的增长并不快。


回到AI类的应用,哪一个领域的“需求”还会有大幅度增长呢?在直接面向消费者的领域,感觉并不容易,因为最大的需求限制“时间”这个因素已经被瓜分得差不多了。微信+抖音/快手已经占据掉了大部分的普通用户的时间。


这也是为什么大量人看好“情感”类的AI应用的原因,毕竟这一类的需求原来并没有被充分满足,核心原因是成本结构导致的供给不足。一次心理咨询对于普通人来说太昂贵了,但是为了能够养活心理咨询服务,这个价格又很难大幅度下降。


🔗 https://www.sohu.com/a/642246256_659231

Glow算是过去几个月市场上的一个明星项目


而这个逻辑,也是我个人比较看好AI对于程序开发领域会造成根本性改变的原因,因为这个领域也是有着巨大的成本结构问题。而正是这个成本结构问题,导致有巨大的程序开发需求其实没有被满足,而是依靠人肉手工操作去填补空缺的。


因为之前“程序开发”是很昂贵的,即使是随便找两个上过培训班会写点“增删改查”的程序员一个月也要一两万块钱。基于这个成本结构,过去头部的科技公司的正确策略是多花点钱,找最好的程序员,然后做一个中心化的C端平台。因为只有让一个年薪几百万的程序员,开发面向10亿人的应用,这样的成本收益才是最大的。


但是面向中小企业内部的应用,就很难被开发出来。即使所谓的SaaS,也会面临两个困境。一个是交易成本,在SaaS领域体现为巨大的销售成本,第二个是适配成本,也就是很多公司需要“定制化改造”或者搞“软件实施”。事实上,你去看看SaaS公司的财报,大头的支出并不在研发上而是在销售上。


但是当AI可以以极低的成本,开发面向任何一个中小公司的小应用的时候,大量原先都不值得被提出的需求就可以在内部找一个稍有程序开发经验的人通过AI来满足了。


🔗 能运行代码的 GPT 那是真的王炸呀


而这个情况的本质,是软件开发的需求,因为ChatGPT这样能写代码的AI出现增加了。就好像移动互联网,增加了打车、外卖的需求,个性化推荐增加了短视频内容的需求一样。


回到如果你想要看看AI在自己的领域能做什么,我的建议还是自己先多体验使用一下。然后自己尝试去回答,“什么样的需求原先在我的领域是因为成本原因无法满足的”,大概率合适的改造机会就在其中。




待办清单


   直播预约


   加入社群

长按图片扫码,加入知识星球


   全平台搜索关注


   商务合作:公众号菜单栏 - 联系我


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存