当前AI²投资创业范式思考-Altman劝印度别玩大模型：没戏！Zuckerberg玩元宇宙搞LLaMA无处不在：继续！

图｜视频截图

文｜汤源

Sam在印度媒体访谈中(左)|Mark在油管播客访谈中(右)

▽

题图

又是AGI纪元前夜的一天，像往常一样一早5点准时醒来，一打开手机，时间线就被OpenAI CEO Sam Altman在印度媒体ET Conversations中的访谈言论和Mark Zuckerberg在知名油管播主Lex的访谈刷屏......

注：被题目吸引进来看投资创业方向的朋友可以直接跳到文章最后(AI² Paradigam)。

▩Altman在印度说了啥

Sam Altman: "the way this works is we're going to tell you it's totally hopeless to compete with us on training foundation models you shouldn't try, and it's your job to like try anyway. And I believe both of those things. I think it is pretty hopeless"

山姆-奥特曼："我们打算告诉你们的，以一种务实可行的方式，在训练基础模型上与我们竞争，是完全没有希望的，你们不应该尝试，如果你们实在愿意去尝试那是你们的事。而我相信印度AI在这两个方面（笔者注：发展GPT大模型以及相应的团队人才），我认为都是非常无望的"

Altman在印度当地投资人问到“对于像GPT这样的基础大模型，印度以及印度人应该如何发展”时，做出如上回答。

这让我不禁想起在前不久Altman署名超级人工智能治理宣言时的口吻-让玩小模型的靠边，而引起的当时一众AI大佬包括Elon Musk的不满。在笔者另一篇公众号文章里有生动的描述。参见：OpenAI CEO署名超级人工智能治理宣言，让玩小模型的靠边！马斯克怒怼...

△

“Alman署名的超级人工智能治理宣言中把开源小模型排除在外引起AI业界不满”

应该说上次在宣言里还说的比较含蓄，而且确实貌似Altman认为也只有OpenAI有资格谈超级人工智能吧，而这次面向一众“阿三”，而且从视频上看是Sam一个人，这次全球巡访中亚之行在以色列时同行的Ilya也不在场，看来是彻底放开了。

不知道台下一众印度科技及AI届的大佬面对如此的表述，心中是何滋味？

笔者更不敢想象，要是Altman这次全球巡访也包括中国大陆又会是怎样的一种情景......

▩Zuckerberg在Lex的访谈中说了啥

Mark Zuckerberg: 

"I mean, there‘s been folks who are getting to run  on local devices, right so if you are an individual who just wants to experiment with this at home, you probably don't have a large budget to get access to like a larget mount of cloud compute. So getting it to run on your local laptop, is pretty good, right? And pretty revelant. And there were things like, yeah, llama.cpp ,  reimplemented it more efficiently. So now even when we now run our own version of it, we can do it on way less compute and it is just way more efficient, save a lot of money for everyone who uses this. So that is good. "

"The main thing that we focus on building here, a lot of product experiences to help people connect and express themselvies. So we're going to, I've talked about a bunch of this stuff, but you'll have an assistant thant you can talk to in WhatApp, I think in the future, every creator will have kind of AI agent that can kind of act on their behalf, that their fans can talk to I want to get to the point where every small business basically has an AI agent that people can talk to for, you know to do commerce and customer support and things like that. So there are going to be all these different things. And LLaMA, or the language model underlying this, is basically going to be the engine that powers that."

马克-扎克伯格：

"我意思是，现在有一些人尝试在本地设备上运行, 好, 所以，如果你是一个只想在家里试一试这个的个人用户，你可能没有很多预算去获得大量的云计算资源。因此，在本地笔记本电脑上能运行它是相当不错的，对吧？而且非常的切身相关。还有一些事情，比如，像llama CPP，它以更高效的方式重新实现了LLaMA开源大语言模型。所以现在即使Meta运行我们自己的版本，我们也可以在更少的计算资源上完成；llama.cpp就是更高效，为用它的每个人节省了很多钱。所以这很好。"

"在Meta这里重点关注的是如何使用llama提升更多产品体验来帮助人们联系和表达自己。所以我们打算，我已经谈论了很多这方面的内容，你会有一个可以在WhatsApp中与之对话的助手，我认为将来，每个创作者都会有一个可以代表他们为行事的AI代理，他们的粉丝可以与之交谈，我希望每个小企业基本上都有一个AI代理，人们可以与之交谈，像你所知道的，进行类似商业和客户支持等事宜。所以会有很多这样的东西出现，而LLaMA，或者说是这个底层的AI大语言模型，基本上将是支持这一切的引擎。"

Lex和Zuckerberg在访谈中提到的llama.cpp，正好也是笔者最近所关注的。

项目网址：（https://github.com/ggerganov/llama.cpp）

llama.cpp的主要目标是在MacBook上使用4位整数量化运行LLaMA模型

-无依赖性的普通C/C++实现
-苹果芯片的第一等公民--通过ARM NEON、加速器和金属框架进行优化
-支持x86架构的AVX、AVX2和AVX512
-混合F16/F32精度
-支持4位、5位和8位整数量
-在BLAS中支持OpenBLAS/Apple BLAS/ARM Performance Lib/ATLAS/BLIS/Intel MKL/NVHPC/ACML/SCSL/SGIMATH等
-cuBLAS和CLBlast支持

llama.cpp的最初实现是在一个晚上hack出来的。从那时起，由于许多人的贡献，这个项目有了很大的改进。这个项目是以教育为目的，并作为开发ggml库新功能的主要试验场（playgound）。

llama.cpp项目最近支持了Apple Silicon的GPU，当使用Metal支持构建时，可以使用 --gpu-layer|-ngl 命令行参数来启用GPU推理。任何大于0的值都会将计算卸载到GPU上。

笔者最近也在自己的MBP上尝了个鲜，运行4bit 整数量化后的llama 7B模型，可以跑到每秒大于40tokens的飞速，而且完全跑在GPU上。

△

“llama.cpp metal build支持MAC设备以GPU运行LLM推理过程，7B版本大于40tokens/秒”

▩llama.cpp和硅谷天使投资组合Nat&DG的故事

llama.cpp的作者(@ggerganov)最近刚刚被硅谷天使投资组合Nat和DG看中并投资。Nat和DG分别曾经是微软（github项目）和苹果（AI项目）的高管，目前都在做天使投资，其中DG投中多个知名项目，而Nat技术背景更深厚，最近还基于类似llama.cpp的开源模型搞了个nat.dev（https://github.com/nat/openplayground），一个开源LLMs的试验场（playgound）。

从上图可以看出，DG投资真是很毒。其中Figma去年被adobe 200亿美金收购，目前在与firefly做整合，未来生成式AI也许可以做到一键生成一个App。

关于DG和Nat，在之前苹果vision pro发布时一篇分析Apple人工智能发展路径的文章里也有提到：

△

“DG在一篇访谈中提到苹果一直在利用模型提升终端智能水平”

在文章提及的一篇访谈（笔者注：访谈发生2022年10月ChatGPT发布前）中DG提到了他过去在Apple一直负责机器学习DRI项目(笔者注：DRI，Directly Responsible Individuals，苹果公司创造了 "直接责任人"DRI这一术语，指的是在任何特定项目中负责任的人。这个想法是，每个项目都有一个DRI，他最终要对该项目成功或失败负责。)，其中特别提到用深度学习模型（Deep Learning Models）提升键盘和输入法智能。

没想到一年后在Vision Pro发布会上，苹果就展示了这个新功能，即一个由大型语言模型（LLM）驱动的键盘，这种键盘使用了Transformer模型，并可以在终端设备上进行运行和学习用户的打字输入模式，这个学习过程可能是在夜间通过LoRA（一种开源的LLM微调模型）完成的，这完全就一个细分场景，在终端设备上完成了个人模型的迭代飞轮。

而ZuckerBerg提到的将llama.cpp用到WhatsApp作为通信助理的方向，社区已经走在前面了，笔者认为小扎肯定也是看到最近Discord等新型应用对于自家产品WhatsApp的竞争压力，不说MidJourney完全利用discord上的超级频道（数千万人）来开展MJ的C端业务，而且最近随着Transformer Mafia的8成员的老二Noam推出Character.AI，开源社区也已在discord推出了类似OpenSouls项目，可以在discord上创建个人的数字分身。（Character.AI及Transformer Mafia在公众号另一篇文章提到：新Paypal黑手党Transformer Mafia-从Attention到Prompting is All You Need）

△

“社区统计的每周AI新应用-基于discord的character AI开源实现OpenSouls列第二位”

▩GPT现象笔者的思考与看到的投资与创业方向

一方面苹果的人工智能发展如Meta一样，紧紧围绕自己的产品体验，发挥自己的硬件和芯片优势，如同Meta坚持元宇宙方向，希望将llama.cpp用于自己的一系列产品如WhatsApp。

另一方面，通过Altman和Zuckerberg最近的发声，也深深prompt了笔者探究GPT现象引发投资与创业方向的思考，OpenAI肯定是在超级人工智能的方向狂奔，之前也分析过meta的AI发展路线，还是会对元宇宙不离不弃，这些美国大厂都在这波AI路线上走出了差异化的路线；转而看看国内AI现状，一窝蜂的千模大战，不禁让人着急啊……

笔者当前的思考认为，

AI之路千条万条，基于GPT原生创业方向目前就三类（由之前的两类升级而来）：

▩大模型炼丹(pre-training)-基础大语言模型（foundation LLMs)，语言有超模态的地位，是通向AGI的必经之路，和OpenAI竞争或用于企业本地部署场景；（这一点以Yann LeCun为首的一直有不同意见，在5/9北京智源大会上演讲就以《走向能够学习、推理和规划的大模型》为体，有机会笔者也可以总结一下Yann和Ilya一直以来的分歧，应该也挺有意思）

▩大模型挖矿(prompting)-偏大模型应用场景，这个就多了，我个人比较看好MJ或characterai的GPT原生模式。其它B端对于现有业务AI增强改善只是有阶段性价值空间。为什么说是阶段性价值空间呢，因为大炼丹会导致模型无处不在，对物理世界的改造范式发生了革命性变化，会出现完全重构现有B端业务的新业务模式。可以类比想象：工业化出现后，农业就不再是主要生产场景。

还有就是基于开源LLM的Model Anywhere & Anydevices方向：

▩大模型蒸馏(distilling)-蒸馏出的小模型可以服务于终端智能或作为个人助理模型（in-device inference & personal agent models）：基于开源模型，类似llma.cpp的in-device inference场景，以及线上的数字分身产品等原生方向。按照Hinton老爷子的说法，大模型蒸馏类似于人类大学教育知识从教授向学生传授。

参考

-Mark Zuckerberg: Future of AI at Meta, Facebook, Instagram, and WhatsApp

| Lex Fridman Podcast #383 https://youtu.be/Ff4fRgnuFgQ

-Ben Thompson: An Interview With Daniel Gross and Nat Friedman about the Democratization of AI

https://stratechery.com/2022/an-interview-with-daniel-gross-and-nat-friedman-about-the-democratization-of-ai/

---

END

扫码加群，

立变AI🍚！

AI范儿读者群

👇关注、标星哦～

那些prompt了我的，

是否也prompt了你...