查看原文
其他

有人说ChatGPT有物理学博士水平?我们的测试结果令人…… | 中科院物理所

风云之声 2023-04-10

The following article is from 中科院物理所 Author just_iu

大家最近肯定被ChatGPT刷屏了,好像它神通广大,无所不能...

但,无所谓,物理学会出手。今天就让我们来测测它物理知识的素养吧!


1. ChatGPT的介绍

ChatGPT (全称:Chat Generative Pre-trained Transformer )由OpenAI开发的一个人工智能聊天机器人程序,于2022年11月推出。该程序使用基于GPT-3.5架构的大型语言模型并通过强化学习进行训练


ChatGPT目前仍以文字方式互动,而除了可以通过人类自然对话方式进行交互,还可以用于相对复杂的语言工作,包括自动文本生成、自动问答、自动摘要等在内的多种任务。如:在自动文本生成方面,ChatGPT可以根据输入的文本自动生成类似的文本(剧本、歌曲、企划等),在自动问答方面,ChatGPT可以根据输入的问题自动生成答案。还具有编写和调试计算机程序的能力。

ChatGPT图


哎,让它自己做个自我介绍。


那么,简单的介绍做完了,那么就正式进入到我们的物理考试时间吧。


2. 物理知识考核


咱们从简单到复杂,慢慢的测试它~

初中物理知识:


刚开始就错了,看来ChatGPT也不行啊)正确答案应该是:大小,方向和作用点。让我们继续。



这个回答差强人意,不过这两个问题说明,它的初中知识储备还可以。那么知识的使用能力呢?


一个选择问题和一个计算问题也算是回答上来了。看来初中的知识难不倒它。


高中物理知识:升级难度,那么现在就进入高中知识阶段。


还是先试一试它的基础知识储备,可以这没问题。但到了高中,公式推导能力就应该提高了,看看它行不行。


再看看它的回答。



只能说还是不尽人意(忽略小编因为马虎而造成的错别字),它最后没有回答正确。


正确答案应该是:


再来看看它的电磁学知识。



继续问问它。



再追问一下。



还行,看来它还是有点逻辑思维。

那么就继续上强度吧!

大学物理知识:


对于物理专业的课程大家可能不是很了解,但肯定都有所耳闻。那小编就给大家稍微总结介绍一下一名物理专业的大学生要学习什么物理专业课程~


力学,光学,电磁学,热学:这四门课程也叫做“普通物理学”,俗称普物,这四门课程是承接高中初中所学的知识进行一定的扩展,相当于入门知识。


四大力学(可不是四种力学):理论力学,电动力学,量子力学以及统计力学。这四门课程对于物理学专业的本科生可谓是重中之重,借用我老师的一句“玩笑话”:如果一个搞物理的人不能搞清楚四大力学,那么就不要说自己是搞物理的了。


四大力学教学书


其实这里还有一个很特殊的课程:原子物理。它就像是承接普物与四大力学之间的桥梁,所以在大学课程中一直保留着。

再后面就会
根据你的研究方向和兴趣来针对学习,比如:凝聚态专业就会选择固体物理和半导体物理等...


好的废话说完了,进入主题。


哈哈哈,失败,它应该是不知道拉格朗日方程的物理含义。你也忘了?来看看这个:掌控所有运动规律的原理:最小作用量原理(看完你就比Chat GPT强了 ),继续。



咱们转换一下。



嗯,写的代码是正确的,算它知道。



emmm,格式不太对,但是它描述的还是比较准确的。正确答案应该是

最后问他一个问题。


它写的是真空有源下的麦克斯韦方程组,没有问题。洛伦兹规范是电动力学中的经典问题,大家可以参考曹则贤老师的演讲:曹则贤 | 电磁学/电动力学:现象、技术与思想(下),小编就不在这里赘述了。


好吧,考试到此结束,小编对它的评价是:有点眼高手低,人云亦云。它因为庞大的数据集,物理知识储备是非常多的,远超一般人所能容纳的知识量,但是它的逻辑能力和辨别能力表现却没有那么完美。


3. “学习”能力考核


前面可以看到,虽然它的逻辑很差,但是知识水平不错,那么它的学习能力呢?我们来调戏测试一下。



好像它真的明白了,我们再换个人名问一下。



好像它明白了,但明白的不多,咱们换个数学题。



我们稍微把题目换一下。



小编崩溃它刚开始还是算错了~ 但是它还是很明白计算过程。总的来说,它有学习能力,但是目前来看不多。

注:小编的测试过程是连续的,在同一个窗口进行的。


4. 小花絮



给它点个赞。





小编不说别的,你们应该懂了吧。快来!《科学公开课》缤纷世界主题课

总结


不得不说,Chat GPT给我们带来了很大的惊喜:它确实能通过人类自然对话方式进行交互,并可以用于自动文本,代码生成等相对复杂的语言工作。但是它还是有很大的局限性,对于数学计算,脑筋急转弯等需要极强逻辑的领域,会频频犯错。并且它有时会一本正经的给出它所谓的正确答案,这对非专业领域的人非常难于辨别(你觉着它的薛定谔方程写的正确吗?),总之,目前的它是一个不错的工具,但是绝对不要过度依赖它!


■ 参考资料
[1]https://zh.wikipedia.org/zh-hans/ChatGPT
[2]https://openai.com/blog/chatgpt/


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存