贾扬清做一个 AI 搜索产品只用了不到 500 行代码，包括 Prompt
前几天 Lepton.ai 上托管的所有开源模型，不需要更改任何现有的 LLM，在任何 LLMs 的推理阶段都可以使用 函数调用 功能了，Lepton 叫它结构解码功能，支持的模型包括 Llama2、CodeLlama、Mixtral、Starcoder、Falcon、Qwen、Baichuan 等流行的基础模型及其微调变体，当然也包括贾扬清呼吁就叫原来名字的 Yi。
这可能就是贾扬清创立 LeptonAI 的目标，帮助开发者不重复造轮子，把时间放在 AI 应用场景的挖掘上。
这个太重要了。
OpenAI 论技术已经是全球绝对的王者，论人才密度也是全球遥遥领先连 Google 恐怕也比不上，那 ChatGPT 为什么最近半年都停留在 2.5 亿左右的 MAU 上，离传统的超级应用相差 5 到 8 倍的距离，无论是 DevDay 之前还是之后，都相对比较稳定。原因只有一个：没有找到场景。
李榜主会客室，正式开始接客了
本期客人是贾扬清，他给会客室的朋友分享一下：AI 时代 Cloud 应该往哪儿走？这应该是贾扬清创业后第一次公开直播，李榜主也会跟贾扬清大神一起，聊一聊 AI 应用层的观察，直播预约起来，尤其是出海的朋友。
在约这次直播的时候，跟贾扬清也小聊了一会，也帮会客室的朋友问了几个问题问题，涉及到端侧模型、模型能力瓶颈、开源闭源、大模型锤子找钉子 等话题，我们先一睹为快。
也欢迎你在文末留言提问，李榜主跟贾扬清在 2 月 22 日直播的时候会优先为你解答。
李榜主：
大模型在消费终端可能会产生哪些应用，你有什么观点和看法？
贾扬清：
这个是个好问题。手机上跑大模型讨论两个问题，第一个它有什么用？第二个它能跑多大的模型？
前两天跟一个以前做消费电子一个公司，以及 Facebook、Google 的人也聊了一下。整体感觉是在手机端上面做 信息提取 跟 summarization 这种的效果应该会比较好。如果说要做创作，展示创造性的东西，一般都需要更大点的模型，大家就觉得在云端会更好。
手机端的举个例子，10 年前 Google 搞过一个很有意思的一个概念，当然很多细节现在也都落地了。
譬如：我在路上走着，走着走着，我看见一个招牌，我拍一下那个招牌，那招牌上有个电话，点一下电话，就可以打这个电话点餐。有点像是说你所见到的东西，它都可以实时的给你分析出来，这段话到底是个地址还是个电话还是什么？然后它能够帮助你来识别，说这个东西不光是文字的，还有一些其他物品什么的，你再点上去的时候，你的意图是什么？它相当于信息提取以及意图判断，这个大语言模型肯定显然做得更好。
刚刚我们上周的时候发了一个叫结构解码功能，你讲一段完整的话进来，这话里面到底要做什么东西？它的这个结构化的信息是什么？它都可以输出来，这些事情其实小一点的模型就能搞。
如果你要说，你要跟他聊一聊，假如你是林黛玉或贾宝玉，应该怎么跟我对话，还是云端的比较好。
因为这些结构化的信息也不需要特别复杂的模型，因为它本来就是个规则，就我们可以简单的就理解成，比如说你说找个高中生，然后说这名片上面的那个电话号码给我提出来，大家初中生和高中生也都会了，这个时候一个小模型是能搞得定。
李榜主：
手机终端用好大模型的话，更多的是要增强原来的应用，而不是说去搞一个新应用出来？
贾扬清：
对，我觉得有一点这种感觉，今天其实很多大模型的应用都有点这个意思。在一个以前的应用的上面，提供一个更好的能力，而不是说搞一个全新的应用，譬如：虚拟角色聊天这事其实好长时间的都有的那么一个事儿。但聊天机器人这个事，今天能做的很多事以前做不了。
李榜主：
除了Transformer 这种架构以外，还有没有其他的架构，有可能有突破？
贾扬清：
Transformer 从就这个模型出来，有的时候得过个那么一段时间，突然出来一个全新的一个架构，现在有像RWKV等，但是目前还是 Transformer 比较占主流一点，突破，还不太好说，估计还得看时间。
李榜主：
GPT 已经发展到什么阶段了，是说已经达到了它的能力上限，还是说还有很大空间？
贾扬清：
我觉得有一点达到瓶颈的感觉，因为前面其实用大量的算力跟大量的数据在堆，但是背后的怎么做 reason 等等，其实还会要依赖到很多传统的技术。
大模型它的能力也不是那种就一下子就能够完全颠覆了已有的技术，比如说最近比较热的 RAG，就是基于搜索增强。在 RAG 里更多的是说你先检索（retrieve） 出来的效果好不好， 检索效果好，他回答效果也好点， 检索效果差一点，他回答的效果就差一点。
所以说从纯模型的能力可能是遇到了瓶颈，但好处是什么呢？
模型效果好到一定程度了，把周边的这些组件搭一搭，可以搞出一个有意思的应用来，我觉得这个事情是接下来就很有可能会发生的，所以我们现在做 LeptonAI 也是基于这种思考，譬如我们最近用 Lepton 搭的 AI 搜索产品，不足 500 行代码，还包括 Prompt，极大的降低了做 AI 应用的难度。
李榜主：
在通才领域有一个闭源的模型是挺典型的状态，比如搜索，Google 在搜索上面就是第一名。在垂直专业性的领域，其实越来越多的垂直领域模型就变得更加重要，就是而且效果会更好。
如果说能靠一个秘诀（secret sauce）一吃就能吃 10 年，那大家就肯定不开源，但是这个技术本身发展非常的快，这个时候大家藏着掖着就没意义了，也就能藏两个月，突然就被新模型超越了，那还不如我索性开源出来，还能够给我赚流量。国内例如百川、零一都在做很优秀的开源模型。
模型开源这个领域它在非常迅速的发展，能够获得attention，能够获得adoption，能够进一步的迅速的迭代，是更加重要的一个事情。开源一直会继续往前走，如果有谁突然说我不开源了，会有人来代替它。
李榜主：
李榜主会客室 直播预告：
AI 产品榜
好评如潮，业内前沿
官网：aicpb.com 对你没猜错 AI产品榜 首字母.com
AI产品榜 联名发布继续招募 中，公众号回复 “联名” 咨询。
2023 年 AI 产品榜 12 月共 33 个重要榜单，以下列出3个，关注本公众号查看全部榜单：
AI 产品榜官网： aicpb.com
对你没猜错 AI产品榜 首字母.com
官网可访问 AI 产品榜 50 + 榜单，后续月份榜单也会在这个文档更新，记住就行。
- 都看到这了，在看、转发一下吧 -