【2023新书】《ChatGPT在做什么…以及它为什么好使》，112页pdf
精英日课解读的2023年3月9日刚刚出版的新书《ChatGPT在做什么…以及它为什么好使》（What Is ChatGPT Doing ... and Why Does It Work? ），作者是史蒂芬·沃尔夫勒姆（Stephen Wolfram）他是一个神人，他发明了Mathematics软件，他做了WolframAlpha网站，他搞了一个计算语言叫沃尔夫勒姆语言，他对整个物理学提出了全新的看法。
https://www.wolfram-media.com/products/what-is-chatgpt-doing-and-why-does-it-work/
这本书不是赶时髦，讲的不是GPT的一般功能，而是数学原理和哲学思辨，而数学和哲学是不会过时的。本书得到了OpenAI CEO山姆·奥特曼（Sam Altman）的背书，说是他所见过最好的解释。
沃尔夫勒姆不但讲清楚了GPT的底牌和命门，而且提出了一个可谓惊世骇俗的洞见。
GPT和目前市面上所有的AI，本质上都是神经网络。所以GPT更像人脑，而不是像一般的计算机程序。GPT是一个语言模型，在最本质上，语言模型的功能无非是对文本进行合理的延续，说白了就是预测下一个词该说什么。也正式因为如此，如果让 GPT 做大数字的计算，他会出错。
但是，GPT 却为什么这么好用？奥特曼说，这是上天的眷顾。OpenAI最应该感恩的，是运气。
沃尔夫勒姆讲了GPT的一些特点，其中有三个最幸运的发现——
第一，GPT没有让人类教给它什么「自然语言处理（NLP）」之类的规则。所有语言特征，语法也好语义也好，全是它自己发现的，说白了就是暴力破解。事实证明让神经网络自己发现一切可说和不可说的语言规则，人不插手，是最好的办法。
第二，GPT表现出强烈的「自组织」能力，也就是「涌现」和「思维链」。你不需要人为给它安排什么组织，它自己就能长出各种组织来。
第三，也许是最神奇的一件事情是，GPT用同一个神经网络架构，似乎就能解决表面上相当不同的任务！按理说，画画应该有个画画神经网络，写文章应该有个写文章神经网络，编程应该有个编程神经网络，你得去分别训练——可是事实上，这些事情用同一个神经网络就能做。
GPT的底牌是：它只是一个语言模型，但同时，它很神奇。
GPT的命门是：它是用来思考的，不是用来执行冷酷无情的计算的。
这样说来，虽然GPT比人脑知道的更多、反应更快，但作为神经网络，它并没有在本质上超越人脑。而沃尔夫勒姆有一个洞见：用这么简单的规则组成的神经网络就能很好地模拟人脑的语言系统，这说明人脑的语言系统并不厉害，GPT证明了，语言系统是个简单系统！
沃尔夫勒姆让我们认识到了GPT的根本局限性：神经网络的计算范围是有限的。
Preface
What Is ChatGPT Doing ... and Why Does It Work?
It's Just Adding One Word at a Time
Where Do the Probabilities Come From?
What Is a Model?
Models for Human-Like Tasks
Neural Nets
Machine Learning, and the Training of Neural Nets
The Practice and Lore of Neural Net Training
"Surely a Network That's Big Enough Can Do Anything!"
The Concept of Embeddings
Inside ChatGPT
The Training of ChatGPT
Beyond Basic Training
What Really Lets ChatGPT Work?
Meaning Space and Semantic Laws of Motion
Semantic Grammar and the Power of Computational Language
So ... What Is ChatGPT Doing, and Why Does It Work?
Thanks
Wolfram|Alpha as the Way to Bring Computational Knowledge Superpowers to ChatGPT
ChatGPT and Wolfram|Alpha
A Basic Example
A Few More Examples
The Path Forward
Additional Resources
专知便捷查看
便捷下载，请关注专知公众号（点击上方蓝色专知关注）
后台回复或发消息“C112” 就可以获取《【2023新书】《ChatGPT在做什么…以及它为什么好使》，112页pdf》专知下载链接