查看原文
其他

每闻春风之怒号则寸心欲碎

怪盗团团长裴培 互联网怪盗团
2024-10-10
3月28日(星期四)晚上,我本来准备好了要看小米汽车的发布会。我不懂车,至今也只开过油车,对新能源车近乎一窍不通,所以有必要加强学习。不过,发布会开始不到半小时,我的一位从事大模型研发的朋友发来一条消息:“快看新闻。”同时发来的还有一条新闻链接。

Databricks, 这家位于硅谷的数据解决方案公司,发布了一个名为DRBX的开源大模型。这是在短短一个星期之内,市面上出现的第二个开源大模型(第一个是马斯克的x.AI开源的Grok)。我们知道,全世界已经有几百种、可能上千种开源大模型了,但是其中很多都是在LLaMA、GPT-J、通义千问等已有开源大模型基础上的改良;DRBX则是一个全新的自研架构大模型。它至少具备如下令人印象深刻的特点:

  • 采用了混合专家(Mixture of Experts)架构,这是继Mistral、Grok以来,又一个确定采用混合专家架构的大模型。附带说一句,由于GPT-4没有公布技术路线,我们无法确认它具不具备混合专家架构。
  • 多项评测显示,DRBX可能是目前市面上最强大的开源大模型,优于上面提到的LLaMA-2、Grok和Mistral/Mixtral。当然,具体有多强还要等待开源社区的进一步评估。
  • DBRX的训练仅仅使用了3072张H100显卡、2个月时间,训练成本仅为1000万美元。这说明,即便在算力军备竞赛白热化的今天,仍然存在以较低成本做出堪用的大模型的可能性。

从当天晚上八点直到次日凌晨一点,我一边激动地与AI行业的朋友探讨DRBX可能造成的影响,一边在英文科技媒体和Hugging Face上寻找大家对此的评价。不知不觉之中,小米汽车的发布会就结束了。我本来可以看回放,但是仔细考虑,还是决定不看了。从现在开始,所有与新能源汽车有关的知识,我都不打算学习了。

因为人的时间精力是有限的,如果这段时间我只能学习一件事物,那肯定是生成式AI。它实在过于重要,重要到让其他一切科技赛道显得很渺小。很可惜,我已经很多年没有编程经历了,也不擅长数学,太深奥的技术细节我看不懂;不过我会努力学习那些看得懂的东西。就在今天,这样一个阳光明媚的周末上午,我还在询问AI行业的朋友对DRBX的观感——他们告诉我,这个大模型确定比马斯克开源的Grok更好,尽管Grok的闭源版本应该强一大截。

当然,我相信,对于我国科技行业(尤其是A股科技行业)而言,DRBX会催生出一大批“国产自研大模型”,它们都会自称具备遥遥领先的自主知识产权,并且很快能够在多个应用场景落地。2023年,一位科技“大佬”的大模型创业公司,其产品被人发现完全“学习”LLaMA2、甚至连参数名称都没有来得及修改。我相信,2024年他们不会再犯类似的错误,也不会再离婚,因为离婚减持的方式已经被证监会叫停了。

1861年,在漫长的安庆包围战结束之后,湘军二号人物、湖北巡抚胡林翼志得意满地登上战船,视察长江防务。没想到,他看见了一艘英国火轮以极高的速度向上游行驶,很快就出了视野范围。于是他大叫一声,吐血倒地。不久之后,胡林翼就去世了,直接死因是多年不治的肺结核,但如果不是受到英国火轮的刺激,他或许能活得久一点。


清廷确实应该为失去胡林翼这样的能臣而惋惜——当时的绝大部分督抚,在看到英国火轮之后,只会装做无事发生,或者琢磨着怎么跟英国人串通捞一把。只有真心热爱脚下这片土地的人,会因为英国火轮的出现而感到深深的绝望和无助。胡林翼是洋务运动最早的发起人之一,虽然他死的太早了,但洋务运动的火炬还是传给了左宗棠、沈葆桢、刘坤一、李鸿章、张之洞等人。洋务运动最终没有取得成功,这既是历史的不幸,也是历史的幸运,取决于你站在谁的角度看待问题。

在胡林翼吐血倒下之前五年,1856年春,曾国藩向清廷上书:“每闻春风之怒号则寸心欲碎,见贼帆之上驶则绕屋彷徨。”当时湘军彻底被太平军压制着,看不到任何翻盘的希望。然而事实证明,真正值得曾国藩“寸心欲碎、绕屋彷徨”的,不是太平军,而是洋人。前者在1856年夏的天京事变当中元气大伤,后者则还要对整个东亚进行长达九十年的统治,而且统治程度越来越深。哪怕曾国藩本人也介入了洋务运动、做出了一定贡献,他还是无法改变什么,晚年一定也是“寸心欲碎”。

此后四十年,洋务运动几经起落,最后被甲午战争判了死刑,也解开了中国近代史上的一个迷思:“中学为体、西学为用”是伪命题,西学必须既为用、也为体。向西方学习最彻底的日本,不但击败了暮气沉沉的清帝国,也击败了向西方学习不够彻底的俄国。从日俄战争开始,西方列强终于意识到,全面吸收了自身科技、文化和制度体系的东方人,有可能向自身发起挑战。一百多年过去了,很多事情改变了,好像又什么都没改变。

如果是我处在1856年的曾国藩或者1861年的胡林翼、左宗棠的位置上,我听到春风之怒号,还是会寸心欲碎;但我应该不会绕屋彷徨。人的精力应该用在更有意义的事情上,例如学习,例如保持良好的身心状态以准备下一次机会,无论它发生在明天还是几十年后。绕屋彷徨无助于解决任何问题;当然,比起那些无视春风之怒号,还是坐在屋子里喝酒狎妓的人,绕屋彷徨还是要好那么一点点的。

曾经有那么一千多年的时间,从战争中归来的罗马征服者能享受凯旋式的荣誉:那是一场喧闹的庆典。在庆典上,号手、乐师和来自被征服领土的珍禽异兽都会出现,与他们一起前进的是满载着财宝和缴获武器的马车。征服者本人站在凯旋的战车里,前方是摇摇欲坠的战俘们组成的队列。有时候,征服者的孩子会穿着白袍,与他并肩站立,或者骑在拉车的马上。在征服者的身后,总是站着一个奴隶,手捧黄金冠冕,对着他的耳边发出低声的警告:“记住,一切荣誉转瞬即逝。”(注:转引自《巴顿将军》结尾部分画外音。)

本文没有获得任何大模型产业链相关公司的资助或背书。
本文作者不赞成曾国藩、胡林翼及其同僚的世界观和价值观,也不认为他们当时的努力对中国而言不可或缺。

修改于
继续滑动看下一个
互联网怪盗团
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存