Vol.14 不是 OpenAI 选对了路,是那条路反选了 OpenAI
卷首语
本来已经是半退休状态在家带娃,最近开搞 AI,又要讲课又要做产品,越来越忙不过来。
本来每天会陪宝宝写作业(嗯……幼儿园居然有作业),最近一半交给了阿姨,我自己躲在书房干活儿。宝宝会跑过来问我在干嘛,跟他解释说爸爸也在写作业,他就很好奇为啥我作业这么多、总在做啊做啊做。
想了想,和他说,爸爸其实很开心有这么多作业可以做。
一是因为这些东西我都很喜欢,学的时候很开心,做作业的时候也很开心;
二是因为做这些作业可能还可以赚钱钱,可以用来买更多的玩具玩。又好玩,又能赚钱,是不是很有意思啊?宝宝听完不停点头”嗯嗯嗯嗯“:)
说着说着,确实发现,自己的时间 90% 都花在自己觉得有意思的事情上,何其幸运。
希望大家也都幸运、开心呀~
老样子,这周还是和徐文浩一起分享四篇文章~
OpenAI 路上看到的希望小火苗:和鸡汤文不一样,OpenAI 并不是一开始就想清楚然后在黑暗中坚持了这么多年,而是一路上被实验反馈的小火花,一步步引到了正确的道路上。与其说是他们选了路,不如说是路把他们拉了过去。
游戏开发和AI开发的有趣之处:“大模型”的开发很像游戏开发,都是面向未知来创新创造,而不是面向已知来完成任务。这种探索新世界、新航道的感觉,才是吸引最好的人才前赴后继扑进去的最根本原因吧。
AI 和工作岗位的爱恨纠缠:AI 到底会消灭工作还是创造工作?看不同阶段的历史,把 AI 类比成不同的科技,就能得到不同的叙事和论断。但回归经济学就很清晰——看生产力和需求哪个涨得快。
幕末和AI时代的殊途同归:千年未有的大变局,到底哪条路是对的呢?程序员是不是”最后的武士“?我们亲手创造的未来世界,还有没有我们的位置?
——任鑫
1
AI BUSINESS
OpenAI 路上看到的希望小火苗
听 OpenAI 创始人自己讲故事,最大的好处是祛魅。
成功学故事里,OpenAI 的成功主要来自于对问题的深度认知(一开始就想清楚了),以及基于这种认知产生的长期坚持(一点曙光也没有仍然死咬这条路不放松)。这种归因其实有毒,很容易让人忽略现实反馈,执着于自己的妄念。而有毒的归因最能传播,一是因为满足了大家的英雄故事情节幻想,二是给人的“我也可以”的感觉较强。
谈梦想,说坚持,好像大家都觉得自己可以。展开看看 Transformer 架构和 RLHF 流程,100 个人里就有 99 个说头晕了。其实商业故事和霸总小说很像,霸总小说告诉小姑娘“虽然你不好看、没本事、也不愿意学习,可是你可爱和善良,所以霸总会爱上你”,商业故事告诉你”虽然你选错了市场、自己又没本事,迭代学习还慢,可是你认知有深度看得准、而且你勇于坚持不放弃,所以老天会眷顾你“。把客观条件(比如身材样貌,比如财富,比如技术),偷换成主观评价指标(比如认知,比如勇敢,比如善良),才方便让普通人产生幻觉泡泡。
OpenAI 并不是这种故事线。一方面,启程时他们并不确定哪条路会管用,有大量宽泛的尝试;另一方面,其实是一路上希望的小火苗把他们逐步引导到了正确的路上,而不是一开始就设计好要怎么走。
最有意思的一个小火花(Greg 在 TED 演讲里也说过),是 2017 年他们做的 Unsupervised Sentiment Neuron 项目。这个项目名不见经传,但却让他们看到了未来巨大的可能性(生成模型涌现其他能力)。那个模型是用来预测亚马逊产品评论下一个字,所以如果它能精确预估下一个名词、动词、标点符号,都没什么神奇的。神奇的是,这个“预测下一个字”的模型,居然可以精确判断评论的情绪(正面还是负面)。语义理解的能力,居然从语法规则中涌现了,这其实就是一个“这条路有希望“的小火花。
更搞笑的是,2018 年他们做的玩 Dota 2 的人工智能,打败了世界冠军。那是第一个真正的缩放系统,放更多算力进去,效果就越好。外面看起来都觉得他们在验证缩放假说,但他们自己其实是很想去试别的路,这边不停丢算力进去只是为了赶紧把潜力上限给测出来好去干别的……直到他们被证据拖到这条路上。与其说是他们选了路,不如说是路把他们拉了过去。这时,反倒是”愿意改变“才是成功的原因。按照 Greg 的说法是:愿意更新自己的想法,愿意转向,愿意改变,愿意对展现在面前的证据做出反应——从技术角度看,这非常非常重要。
延伸阅读
2
GAME vs MODEL
游戏开发和 AI 开发的有趣之处
虽然同样都是做软件开发,但是游戏开发和软件开发其实差别很大。
最大的一点,是「游戏」在立项的时候,其实并不知道到底要开发一个什么样的东西。甚至在开发进入到后期,也不一定能够确保最终的成品会收到市场欢迎。
这是因为,对于「游戏」评价好坏以及商业上成功的“好玩”这一点并不容易判断。而传统的软件开发则相对是否有用要明确很多。特别是到了互联网时代,大家都是从免费的MVP起步一步步迭代,在这个过程中可以获得大量的外部反馈。
但是“游戏”并不能这么做,需要打磨成一个完整的成品才能吸引到用户。
从这个视角看,“大模型”的开发也很像游戏开发。在实际的模型训练出来之前,谁也不知道到底模型有多厉害。甚至是交付到市场之后,还会被用户挖掘出模型的能力。
所以对于大模型开发者来说,也有很多和游戏开发类似的套路。
比如,应该搭建一系列的工具链来提升效率。游戏开发的时候往往会创建各种内部工具,比如地图编辑器这样的场景设计工具,而大模型一样,需要搭建数据标注工具和模型评估的工具。
再比如,游戏开发的时候,会根据不同阶段需要不同规模的团队。一开始设计玩法的时候往往只有几个人,而最后打磨成品的时候需要上千人的外包团队来做各种美术工作。而大模型也是一样的,模型开发需要的人并不多,但是最终发布应用的时候需要的工程团队,以及外包的数据标注团队就需要很多人。
尽管从项目的可控性上来说,游戏开发和大模型开发其实都让人心生畏惧。但是似乎完全阻止不了大量优秀的开发人员去干这两件事情,事实上很多开发者都是用爱发电的。这个在游戏开发领域要比AI更加显著。
想了一下,这个核心原因就在于整个开发过程的“未知”。所以也许这两个领域吸引的不是最好的工程师,但是一定是一大批有好奇心,愿意拥抱不确定性的工程师。
比如传统的应用开发领域,即使是用了各种深度学习、大数据的事情,就我自己都已经完全干疲了。因为项目开始的第一天,就知道到底要干什么、怎么干,几近于无聊的大脑体力劳动。但是开始研究大模型的时候,尽管能不能做出一点结果都不知道,但是还是会觉得“有趣”,愿意自带干粮投入。
如果从这个视角来看,搭建大语言模型的研发团队,好奇心反而变成了最重要的角色特质。
3
WORK
AI 和工作岗位的爱恨纠缠
🔗 AI在什么时候会取代你的工作?
最主要的观点是:AI 和工作岗位的关系,其实取决于那个时间点的供需关系。举例来说,如果 AI 将生产提效 2 倍,但因为价格下降(或者质量上升)导致需求变成 4 倍,那么创造的岗位会超过消灭的岗位。但反过来,如果 AI 提效 2 倍,但需求只增加 20%,那么岗位就会减少。
不幸的是,AI 提效的曲线看起来是永无止境的,而人类需求曲线有天花板,所以哪怕在初期看起来行业提效创造了更多岗位。慢慢的,随着需求曲线达到边际(消费者只有这么多胃口和时间),而生产力进一步提高,终会使得技术进步消灭的岗位超过创造的岗位。
而在非”岗位“的领域,比如做抖音红人,做 Youtuber,面临的情况也类似。虽然不存在”失业“,但随着技术发展,生产效率提高,供给内容数量和质量都会大幅度提升,而需求并不会增加多少(一共只有这么点人这么点时间),最后只有头部能够盆满钵满,长尾个体也很难创造经济效益。
更糟的是,哪怕是在哪些看起来”离不开人“的领域,我们设计流程的时候也会越来越以 AI 为中心,然后让人类承担查漏补缺的不重要的工作。比如仓库分拣传输,肯定都是机器人来做,人只负责解决那些出错的情况,感觉上人类是专门帮机器人擦屁股的存在,而并非劳动的主体。
4
AI BUSINESS
幕末和 AI 时代的殊途同归
于是花了很多时间在维基百科上看了一遍所有的相关词条、看了听了能够找到的视频和播客,发现幕末的确是一个很特别的时代。幕末和明治维新,差不多夹在我国从鸦片战争到甲午战争的中间,对于中日两国来说,都属于是“千年未有之大变局”。这样混乱的变革年代,带来的结果就是怀揣相同理想的人,互相之间要杀来杀去。
🔗https://baike.baidu.com/item/%E8%90%A8%E9%95%BF%E5%90%8C%E7%9B%9F/10652300
第一次长州征伐,萨摩还在打长州藩。结果没过几年两边就结成了萨长同盟去揍幕府。然后维新成功之后,西乡隆盛又要集结下级武士在鹿儿岛和新政府军打一场西南战争。
同样吊诡的就在于,倒幕成功的“维新志士”们,却成了维新最大的受害者。当下级武士组成的“维新志士”们推到了幕府之后,却发现第一个受害者就是被取消了特权的自己,最后连饭都吃不上。
但是无论是“尊王攘夷”,还是“佐幕”,或者是“倒幕开国”,不同的路线最终又得到一个共同的结论就是要开国,学习西方。
🔗 https://ai.facebook.com/blog/large-language-model-llama-meta-ai/
最近时代的AI,和这个感觉也很像。当然,不至于互相之间杀来杀去,用“天诛”物理消灭对方。
但是尽管不同公司对于AI的判断不一样,大模型做还是要做的。比如开源大家用的最多的LLaMa不就是觉得ChatGPT没啥了不起,算不上通用人工智能的Lecun老师领导的Facebook推出来的么?“虽然我觉得大模型没啥了不起,但是我也是要做的。”
而且,目前看起来生产力提升的数量级最大的,就在写代码上了。过去一周,就有 CodeGen2,ReplitLM 和 StarCoder 三个开源模型上线了。感觉程序员就是AI时代的“最后的武士”,除了少数人能在新政府占据一席之地,大部分只能和西乡去鹿儿岛造反了。
待办清单
直播预约
加入社群
长按图片扫码,加入知识星球
全平台搜索关注
商务合作:公众号菜单栏 - 联系我