该内容已被发布者删除 该内容被自由微信恢复
文章于 2023年10月7日 被检测为删除。
查看原文
被用户删除
科技

北大AI博士后卢菁:一些关于AI的大实话

卢菁 Datawhale 2023-10-06

 Datawhale干货 

作者:卢菁,北京大学博士后,前腾讯高级研究员

关于大模型,众所周知的是它会产生幻觉。‍

其实,我们现在许多人对大模型有存在幻觉,也就是不切实际的的幻想。

这就需要一些清晰地认识到事物本质和关键要素的专家来提醒我们。

而具有大厂实战背景的北大博士卢菁就是这样的专家。他总结了12条,虽然看起来是给现有国内大模型方面泼了冷水,但也让我们真正认识到什么是核心问题和核心要素。‍‍‍‍‍‍

卢菁,男,北京科技大学博士,北京大学博士后,前腾讯高级研究员,曾就职于腾讯、爱奇艺等知名互联网公司,著有《速通机器学习》、《速通深度学习的数学基础》等作品。

对于国内风起云涌的大模型成果,他的观点如下:

1.训练起来大模型和训练出有通用能力的模型完全是两码事。

目前国内大模型只能说训练起来了,但是远无技术壁垒,这是大厂本就应该具备的能力,并不值得骄傲。

2.具备通用能力的大模型,入门参数量可能不是GPT3.5的175B,可能是GPT4的1.8T

而且,这仅仅是必要条件,大规模的高质量语料也许才是现阶段除OpenAI以外其他企业真正的瓶颈所在。

3.如果瓶颈真的在语料,我很悲观

语料会成为比芯片更大的壁垒。

因为人类最高质量的语料是书籍和论文,而真正高质量的书籍和论文掌握在西方世界手里。

4.现阶段,最关键的是把智能做上去。诸如长文本建模,性能优化,应用场景这些一点都不关键。至少对有出息的企业来说是这样,如果只是想做做应用就另当别论了。

5.拿Llama2 Finetune刷榜意义不大

在特定数据集上刷得比GPT-4高并不能说明任何问题。

国内厂商最搞笑的是把C-eval的数据丢进训练集里面,然后再在C-eval上刷榜,各种吊打 GPT,这种行为跟芯片造假的性质差不多,让国人认不清差距,以为GPT-4根本没有什么壁垒,国内厂商已经很接近了。

事实是,如果GPT4是100分的话,国产的大模型能拿个10分已经烧高香了。

6.知识能力可能不是个事,推理能力是更高的门槛

GPT4除了四则运算会犯傻逼错误之外,很少犯傻逼错误,而且推理能力比其他模型要强太多太多。

我想其中可能有特别的建模方式,不清楚是不是RLHF带来的收益。

7.数学能力不是做算术,也不是做高考题。而是有数学直觉,推导,证明的能力。

目前我只在GPT4上看到了拥有数学直觉,但证明的能力还很欠缺。

8.流量不是大模型要考虑的事情

大模型要解决的是人类面临的难题,比如:

解决人类还没解决的科学问题去扩展人类的智能;

帮助企业做商业计划优化市场经济;

帮助社会建立更健全体系等等,达到千金一Token的效果。

否则,只是陪用户聊天,ROI很难做正。

9.在国内做LLM其实竞争不大,因为大家做事都太急太糙,目前看来大家都没太大出息。

预计两年内不会有太好的成果,而我也非常期待被打脸。

10.在变化的大模型能力背景下去重新思考

两个东西需要重新思考:在过去做不Work的想法,也许在大模型下可以重新尝试,说不定就Work了;在小模型下做Work的想法,也许在一定规模之后就不再Work了。

原因很简单,过去不Work的做法也许只是模型能力不够无法按照我们的预期去拟合;

而过去一些通过引入先验的方式提升模型能力,在参数量上去之后可能反过来制约了模型。

11.语言只是世界的一个投影,真正的未来是多模态。

在这一点上,OpenAI做得很慢,慢得让全世界着急,它却又走得比任何人都要快。真正的世界模型还在后头。

12.在高校,尤其是国内高校很难再做出有意义的工作了,有机会的话还是进厂做大模型刷新认知。

卢菁博士在B站上有许多放出来的课程,值得学习。

———— END ————

读完了,你有什么想法?欢迎留言区评论。

虽然看起来有点悲观,我的观点是,即便国内难以超越1.2万亿的GPT-4,现在的很多大模型也具有相当大的价值,不仅仅是聊天。特别是在学习知识和文本处理上的价值。每个人需要理解大模型的局限,用好它。‍‍‍‍‍‍‍‍‍‍‍‍‍

注:本文由AI育未来社区编辑

干货学习,三连

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存