“弱智吧”让大模型变聪明
点击蓝字关注我们
最近，AI圈里一直流传一个消息，百度的一个贴吧，叫“弱智吧”，里面的内容已经成为中文AI大模型的重要训练数据。
百度了一下，人家叫“弱智吧”没有歧视的意思，贴吧的主要内容，是各式各样的脑筋急转弯，例如：
“用一句话证明你没有看过这句话”
“生鱼片是死鱼片”
“等红灯是等绿灯”
“敬老院的新人都是老人，这世界的大人都是小人。”
……
全是这类问题，可以想象一下，假如有一天，AI能回答上面这些问题，是不是可以说说明它在一定程度上表现出了接近人类的幽默水平？
于是，中科院深圳先进技术研究院、中科院自动化研究所、滑铁卢大学等几所高校，就组成了一个联合团队，用“弱智吧”的数据来训练大模型。就在前段时间，这个课题组发布了结论。用“弱智吧”训练出的大模型，在很多项跑分测试中都遥遥领先。
为啥？
因为这些信息都带有很强的异质性。也就是说，这些信息跟过去的语料都不一样。就好比人类平时学习，整天待在一个圈子里，接触的都是差不多的信息，那么他的学习速度就很慢，如果经常接触点新鲜的，进展就快很多。
机器的学习逻辑，跟人有很多共同之处，那AI的学习方式，对人类有哪些启发呢？我们能从它们的方法里学到点什么？
得到上的万维钢老师解读过认知科学家斯坦尼斯拉斯·迪昂的《我们如何学习》，里面提到，机器学习，往往有这么几个要素：
首先，在机器学习中，有个方式叫有监督式学习，就是给机器建立一套反馈机制。它每做一个动作，这个机制都会告诉它，哪里做得不够好，哪些参数需要调整。同样，一个人不管多厉害，个人能力多强，他也需要一个这样的反馈机制。
其次，在机器学习中，还有个因素，叫随机变化。也就是，即使机器的运算结果已经很让人满意，但研究者想看看，还能不能再多出一些惊喜。这时，他们就会刻意给机器输入一些随机变量，比如，烟雾报警器，最开始是1930年，一个瑞士的物理学家，叫沃尔特·耶格，他想发明一个毒气探测器。结果实验时，这个探测器吸进去一口烟，而且反应很明显。这个发现就催生了现代的烟雾报警器。那口被吸进去的烟，就是报警器的随机变量。
学习的本质，就是从已知向未知前进。而引入随机性的本质，就是主动把这个未知加进来。
最后，在机器学习中，还有个因素叫内在知识。有种算法叫卷积算法，这个算法的特点就是，用已知观察未知。
比如，看图。卷积算法不是从零开始，而是它已经了解一些基本的图形，像圆圈、方块、三角等等。你再给它看任何新形状，它都会先把这个新形状分解成已知的形状，再去理解。说白了，它是在用已有的内在知识，去解读外部的未知信息。同样，回到人的学习，最好也先建立一点内在知识。
也就是说我们只有先精通了一个领域，才有可能在此基础上拓展并去精通第二、第三个领域。
其实总结来看，机器的学习方法，最初都是来源于人。人按照自己的思考方式，设计了机器的思考方式，在这个过程中，又让人更加了解自己。
就跟ChatGPT诞生之初，“弱智吧”的内容只是网友拿来拷打AI，搞搞节目效果收集的各种奇怪问题，现在却深度参与了大模型的发展。
直到今天，“弱智吧”的问题已经成为了每个新大模型发布要过的测试关，被戏称为“弱智吧Benchmark（基准点）”。
—- END -—
往期推荐