GPT-4：让智能更智能

今日份知识你摄入了么？

GPT-4、GPT-3和人脑的比较（来自Youtube，作者Lex Fridman）

自打Robert Scoble写了关于GPT-4的文章后，已经过去了一段时间。我开始发觉，OpenAI可能会让GPT-4推向更大的市场。我不确定其是传统的alpha版本还是beta版本，但从时间上考虑，自2022年8月以来，已经有足够的时间让其发展为一个beta版本，一个早期发布的版本。

（来自Twitter）

什么是GPT-4？

我们都知道，GPT-3本身就是一个巨大的飞跃。与GPT-2相比，GPT-3要更加流畅。自从GPT-3发布以来，对GPT-4的讨论甚少。现在，我们已经获得了更多关于GPT-4的信息。

由于NDA，GPT-4规格的具体细节仍在不断变化，但GPT-4可能拥有100万亿个参数（来源：https://www.wired.com/story/cerebras-chip-cluster-neural-networks-ai/）。这是第一个以“稀疏性”为核心设计的大规模模型。稀疏性意味着什么？这意味着，即使在100T参数空间中，计算成本也不会太高，大多数神经元在最终模型中仍然是活跃的。在外行人看来，这是一个可以根据背景进行“下一个词”、“下一个句子”或“下一种情绪”的选择的模型。它很可能比它的前身更相像于实际的人类思维。

等等，什么是GPT？

GPT，即生成型预训练转换器，基于互联网可用数据训练的文本生成，是一种深度学习模型，可以用于问答、文本摘要生成、机器翻译、分类、代码生成和对话AI等无止境的场合。此外，你甚至可以根据特定数据对它们进行微调，生成更准确的结果（迁移学习）。通过使用GPT模型中的“Sauce”，构建NLP项目变得非常容易，凭此你可以节省时间、金钱和资源，进行泛化（巨大的样本量），不需要从头再来。

来自xataka

从GPT-1到GPT-3

自2018年GPT-1首次发布（详见：https://paperswithcode.com/paper/improving-language-understanding-by）到GPT-3出世，GPT系列取得了巨大进展：GPT-1有（且只有）1.17亿个参数，GPT-2将标准提高到12亿个参数（详见：https://d4mucfpksywv.cloudfront.net/better-language-models/language-models.pdf），GPT-3又将标准进一步提高到1750亿个参数（详见：https://arxiv.org/abs/2005.14165v4）。但如果要对比的话，DeepMind的Gopher模型有2500亿个参数（详见：https://www.deepmind.com/blog/language-modelling-at-scale-gopher-ethical-considerations-and-retrieval），Megatron NLG的模型更是有着5000亿+个参数（详见：https://developer.nvidia.com/blog/using-deepspeed-and-megatron-to-train-megatron-turing-nlg-530b-the-worlds-largest-and-most-powerful-generative-language-model/）。

逐渐地，随着在OpenAI方面的努力，微软得出了这样的结论：可选的超参数调整在这种规模的模型微调中具有很大的实用性。一般来说，模型越大，对其进行微调的成本就越高。DeepMind的实验（详见：https://arxiv.org/abs/2203.15556v1）得出的结论是，参数的数量与训练语料库的大小同样重要。

结语

作为一个纯文本模型，GPT-4将NLP向前推进了一大步，可能于明年年初发布。不能从GPT-3的角度去看GPT-4，我们现在需要的是一个新的测试标准。DeepFakes上关于人工智能的话题愈演愈烈，每当模型实现飞跃，我们就越能感受到人工智能的魅力。

以往发布的模型生成了过多的文本，对“人脑”的理解已然落后于时代。对于人工智能，我很乐观，同时，我希望在不久的将来，有更多的公司可以踏上改进人工智能模型的道路，使人工智能越来越智能。

时代在进步，激动人心的时刻即将到来，就让我们享受其中。当GPT-4真正发布之时，我一定会想了解更多！

原文作者：Dr. Mandar Karhade, MD. PhD.

翻译作者：高佑兮

美工编辑：过儿

校对审稿：Chuang

原文链接：https://pub.towardsai.net/what-is-gpt-4-and-when-9f5073f25a6d

圣诞节回馈 扫码加客服好友参与活动

往期精彩回顾

点「在看」的人都变好看了哦

点击“阅读原文”查看数据应用学院核心课程