查看原文
其他

最强开源大模型Llama3深夜发布 - 世界不能没有Meta

数字生命卡兹克 数字生命卡兹克 2024-04-19

其实昨天在微软的偷跑之后,就已经有消息说,Llama3要出了。

这个消息的振奋程度,对于AI圈来说,甚至不亚于所谓的GPT4.5。

毕竟,meta才是真正的那个"OpenAI"。

有多少大模型的生态,是建立在Llama上的,大家都懂。

而这个开源之光,被全世界无数人盯着的大模型,Llama3,在时隔近9个月之后的今晚。

终于正式发布了。

我的几个朋友,都已经疯了,比如zR同学:

今夜无眠。

Llama3目前在自己的官网和huggingface上,模型已经上架:

https://llama.meta.com/llama3/

而且还是meta的老规矩,虽然写的是特定条件下商业使用(月活不得超越7亿),但是基本等于完全免费商用了。

这次开源了2个模型,8B和70B。

然后就是大模型的传统艺能:跑分。

坦率的讲,他们这个跑分,有一点的离谱。

5个评测集分别是MMLU(学科知识理解)、GPQA(一般问题)、HumanEval(代码能力)、GSM-8K(数学能力)、MATH(比较难得数学)

不管是8B还是70B,基本等于全线秒杀。

8B这边,直接把同尺寸的摁在地上打。

曾经的Mistral 7B也是有过辉煌的。

现在也被干成了时代的眼泪。

甚至,Llama3自己的8B模型,效果都比Llama2的70B要好,这事就非常的特么离谱。

而Llama3 70B那边,直接对标Gemini Pro 1.5(Gemini:我到底做错了啥)和Claude3 Sonnet。GPT-4逃过一截哈哈哈哈。

这个分数真的很恐怖了,毕竟参数量跟两玩意都不是一个量级的,Llama3只有70B,还能打的有来有回,虽然跟Claude3最牛逼的那个Opus还有一些差距,但是这特么是开源的啊!

他们还做了一个有趣的测试,搞了一个全新的高质量评估集。

里面包含 1800 个提示,涵盖 12 个关键用例,分别是:

寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色/角色、开放式问答、推理、重写和总结。

最骚的是,为了防止过拟合,甚至Llama3自己的建模的团队事先都不知道这玩意。然后针对 Claude Sonnet、Mistral Medium 和 GPT-3.5,对这些类别和提示进行人工评估。

结果就是:

很强。

不过也有两个很der的点。

一个是知识库时间,一个是上下文长度。

知识库这块,7B只到2023年3月,70B到了2023年12月。

上下文长度更是只有可怜的8K。

知识库的时间还好说,但是你这个上下文长度,在现在动不动200k的时代里,属实是有点不够看了。。

Llama3的训练数据,用了超过15T词库的预训练,是Llama 2的七倍。包含的代码数量是Llama 2的四倍。预训练数据集含5%以上的非英语数据,覆盖30多种语言。

而且,他们还有个400B的离谱玩意还在训练中。但是我觉得400B的这玩意大概率不会开源。。。

再对比一下目前的主流的最强模型:

就...离谱

直接跟Claude3 Opus和GPT4 Turbo差不多,爆杀了Gemini Pro 1.5。

嗯。。。。无话可说。。。

现在可以直接在的官网用:https://www.meta.ai/

如果你没Meta账号的话,也可以在这用:https://llama3.replicate.dev/

当然,我相信更多的人,还是会下载下来,本地部署+微调。

Llama3的中文还是不咋地,几乎就没啥数据,所以还是得靠大佬微调以后才能用,前提是必须遵守Llama 3社区许可证和可接受使用政策。

而我们再跑了2小时后,我们发现很突出的一点是,代码能力太炸了。

zR跑了很多的case(都是英文)。

比如一个经典的皇后问题。

Llama3-8B直接给出了解法:

然后,运行。

这特么在Llama2中,基本是不可能的,只有专门的代码模型,才能搞定。

要知道,Llama3-8B,只是一个8B的通用大模型啊。。。

然后,我们又上了一个贼难的一题。按zR的话说,这就是leetcode上,最难的一题。

题目是:

然后跑了一次,报错了,给了报错和答案错误,对话三次后:

。。。

他自闭了。

GPT4同样出错,享受跟Llama3-8B的同等待遇,还是没干出来。

但是Llama3-8B,干出来了。。。

太抽象了。。。

总结来说,Llama3这次,绝对是王炸级别的模型。

也可以当之无愧的说,就是最强的开源模型。

Meta再次证明了,自己才是那个"OpenAI",而那个OpenAI,只是个"CloseAI"。

世界不能没有Meta。

还有个小插曲是,今天还是吴恩达的生日。

所以话说回来,OpenAI你的GPT5还在等啥呢?

快狙击啊。别怂。

赶紧的。

我们等你。

以上,既然看到这里了,如果觉得不错,随手点个赞、在看、转发三连吧,如果想第一时间收到推送,也可以给我个星标⭐~谢谢你看我的文章。

继续滑动看下一个
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存