3.1个羊驼顶1个GPT4,评测Llama 405B 10大实用场景
Happy Llama day :)
Meta的Llama 3.1 突袭发布了!依然是熟悉的磁力链接,依然是完全开源,参数公开!小扎,你真的我哭死!
本次发布了三个量级的模型:Llama 3.1 8B, 70B和405B(巨无霸)
这篇文章就来和大家盘点一下到目前为止,Llama 3.1 10个的炸裂表现!
目录速览 ShowMeAI
首个击败GPT-4o等的开源模型
Llama 3.1 看点一图总结
128K 超长上下文
兼容速度最快的模型!1200+ token/秒
开发者福音!支持植入VSCode!
搭配 Groq 超快速度,网友直接拿来投资💹
Llama语音版也出现了!
Llama 3.1 8B吊打GPT-4o mini
小扎 的 Llama 3.1 采访
写在最后
(文末有免费体验地址合集!!)
首个击败GPT-4o等的开源模型
Meta 本次发布的Llama 3.1 405B,是首个在多个基准测试中击败了GPT-4o等顶级闭源商业模型的的开源模型!
开源模型站起来了!!!
Llama 3.1 405B 是世界上最大、功能最强大的开源基础模型!
上下文也达到了128k!
上一代还是8k,翻了16倍
Llama 3.1 405B多项性能超越 GPT-4、GPT-4o 和 Claude 3.5 Sonnet。
同系列的 Llama 3.1 8B 可以说是称霸小模型赛道了!
当然还有人用 Llama 3.1 405B Instruct FP8 测试经典中文问题
1)9.11和9.9哪个大
2)解释一下 我一把把把把住了”
图自 @ZHOZHO672070
Llama 3.1 看点一图总结
开源不彻底,就是彻底不开源🙈
Meta 不仅发布了 405B Llama 配重,还发布了一篇解释其制造方法的论文。
网友评论:”Llama 团队正在做上帝的工作!“
感兴趣的朋友也可以去读一下报告:干货满满!
需要中文版的评论区戳我加快翻译进度🏃
报告地址:https://ai.meta.com/research/publications/the-llama-3-herd-of-models/
128K的超长上下文
Llama 3.1 405B支持128K的上下文,非常适合用于基于检索的生成(RAG)模型
这里也给大家找到了两个优势场景的例子:
兼容速度最快的模型!
Llama3.1是我见过兼容速度最快的模型了!没有之一,这个月的炸裂指标就是你👉🦙🦙🦙!
Groq 加持下的 Llama 目前高达 1200+ token/秒
Fireworks AI支持运行Llama 3.1系列托管版本
网友热🥵评
Ollam 也上线了Llama 3.1全系列!
(燃烧吧,我的电脑,231GB的模型!)
Replicate 也火速上线Meta Llama 3 70B 和 🦙 Meta Llama 3 8B
开发工具也有加持buff,vLLM也上线了Llama 3.1!
vLLM是一家用于LLMs的高吞吐量和内存高效的推理和服务引擎
vLLM 在最新的 H200 GPU 上运行,Llama 3.1 405B,为每个用户提供高token吞吐量!
我们的老朋友 Poe 也连夜上线了Llama 3.1 105B模型!
(大模型多点开花的时期,Poe越来越香了!)
开发者福音!可以植入VSCode!
Llama 3.1可以通过Groq直接在VSCode中作为代码助手使用,也可以直接通过codegptAI插件直接在VSCode中使用!
搭配Groq超快速度,网友直接拿来炒股💹
网友直接用Groq 的API搭配 StockBot 进行投资!
StockBot 是一款利用 Groq 的速度、 vercel 的 AI SDK
和 tradingview 的实时小部件来为 AI 聊天机器人提供实时响应的应用程序,量身定制的交互式图表。
<<< 左右滑动见更多 >>>
StockBot 集成六个 tradingview
小部件,包括:
每日市场表现热图 股票财务数据明细 股票价格历史记录 特定资产的蜡烛图股票图表 特定股票的头条新闻 股票筛选器
使用地址:https://groq-stockbot.vercel.app/
Llama语音版也出现了!
又是Groq, 直接推出了语音版Llama,这个速度大家直接感受吧!
Llama 3.1 8B吊打GPT-4o mini
小模型玩法又要变天了!
不得不说!动作是真的快,Llama 3.1 才刚发布,x上的国外大佬已经把微调版本测试好了!
直接看结果!
OpenAI:GPT-4o mini超高性价比!
Meta:我们free!!!
评论区这位大佬也说了微调的教程:(四步到胃)
小扎关于Llama 3.1的采访
感谢宝玉大佬的翻译!@dotey
写在最后
就像小扎在采访中说的那样:
Llama 会成为开源 AI 的行业标杆,就像当年的 Linux 一样!
让我们掌声送给这只羊驼🦙!
作者 / 卡尔 & 祝豪动手学AI 知识库 👉 learnprompt.pro
最后,感谢你看到这里👏如果喜欢这篇文章,不妨顺手给我们点赞👍|在看👀|转发📪更多的内容正在不断填坑中……
今日份的彩蛋码是🎲🎲🎲 公众号回复羊驼