ChatGPT是这样参加沃顿商学院MBA期末考试的

沃顿商学院的教授Christian Terwiesch最近发了一篇论文，研究了ChatGPT在沃顿MBA核心课程《运营管理（Operations Management）》的期末考试中的表现。很有意思，我读了一下,并且做一些注释，以及大家猜猜ChatGPT的考试最终得了什么成绩？文中有答案。

欢迎点击在看、转发~谢谢大家！🐇

（请注意：本文为教育目的，如需转发，请一并按文献引用要求附上原文链接，见文末）

*转载请扫码添加后台微信，转载请注明来源，且附上本文的所有参考文献链接。

作者 |  Christian Terwiesch

编译&分析 | 阿法兔

摘要

*本文2100字左右

OpenAI的ChatGPT，已经在很多技能方面显示出来高度的自动化，这些技能甚至包括针对能够把高报酬知识工作者的能力自动化。

ChatGPT已显示出超常的能力，可以将一般的高薪知识工作者，特别是由部分MBA毕业生担任的工作中部分技能自动化。

这些工作包括分析师、经理与顾问。ChatGPT已经证明了，这个模型具备能够执行专业任务的能力，如编写代码、准备法律文件。本文的目标，是要记录ChatGPT在沃顿MBA核心课程《运营管理（Operations Management）》的期末考试中的表现。

考试问题在沃顿期末考试中上传，然后进行评分。然后我们认为，Chat GPT的 "学术表现" 可以总结为以下几点：

首先，ChatGPT在基本运营管理和流程分析问题上做得很好，包括基于案例研究的问题。不仅答案正确，而且解释也很好。

第二，有时ChatGPT在相对简单的计算中，有时会出现令人惊讶的错误，它的水平相当于六年级的数学水平，这些错误还是比较严重的。

第三，目前版本的ChatGPT，无法处理更高级的流程分析问题，即使这些流程分析基于相当标准的模板的。这块包括具备多项产品的流程，具有随机效应的问题，如需求变化等（ problems with stochastic effects such as demand variability）

最后，ChatGPT在修改自己答案方面有明显的优势，也就是理解人类的想法和语言，换句话说，在最初，如果人类没有将问题与正确的解决方法相匹配的话，ChatGPT可以对问题进行智能修改，这种情况下，ChatGPT可以通过收到人类专家的适当提示后，进行自动纠正。

因此，考虑到这种表现，Chat GPT在考试中会得到B到B-的成绩。

引言

工商管理硕士（MBA）学位是世界上最流行研究生学位之一。MBA体验包括体验式学习、有趣的活动、社交和就业指导等。作为一个有25年教学经验的商学院教授，笔者（Christian Terwiesch）的观点当然不一定全对。但是，笔者坚信，特定管理技能的获取与认证也属于 MBA学位中的重要组成部分。

所有技能的价值都取决于该技能在世界上有多大用处，满足多少需求，当然也取决于有多少人掌握着相同技能（市场需求)。

在计算器和其他计算设备问世之前，很多公司雇用了数百名员工，任务是要在短时间内完成并手动执行数学运算，如乘法或矩阵求逆（matrix inversions）。（阿法兔注：矩阵求逆是线性代数里的重要内容，一般用在运营管理里面部分的运筹学课程）

但是，很明显，在今天这些任务现在已经自动化了，相应的技能的价值也大幅下降。同样，在我们的MBA课程中，给大家教任何自动化技能，都有可能影响MBA教育的含金量。

有人会说，OpenAI的ChatGPT，是迄今为止技术上最接近于自动化的技能组合，特别这些技能组合，和我们MBA毕业生所从事的工作中的知识工作者，分析师、经理和顾问这些，ChatGPT在执行部分专业任务方面，如编写软件代码（包括文档编写和时间分析等），表现出了显著的能力。

ChatGPT在编写法律文件方面也表现良好，有人认为ChatGPT的下一代甚至可能能够通过律师考试。

Christian Terwiesch 作为沃顿商学院的运营管理教授，以及被各大商学院使用的的运营管理教科书的作者，很想知道ChatGPT在沃顿商学院MBA课程的期末考试中的表现。

为了了解ChatGPT的考试能力，Christian Terwiesch 将一些考试问题上传到ChatGPT，然后对答案评分。

本文的目的，是记录ChatGPT在我带的课程考试中的表现和成绩，反思这种 "学术表现 "的意义。

一些回答

生产过程分析

生产过程分析是指要分析生产过程中劳动者的操作程序、人机程序、物流程序。通过分析,改进生产过程的组织管理及其工作方法。教授给ChatGPT出的第一个题目，是一个简单的生产过程分析问题。问题是基于教学案例Terwiesch and Loch 2002所描述的特立尼达岛的铁矿石精炼作业。

（阿法兔注：这个题大概是考生产系统的瓶颈分析与突破技巧的，想要让答题者计算该工艺的瓶颈在哪里，总体工艺能力是多少？并解释答案）

教授给Chatgpt对于这道题回答评了A+...认为这个答案准确并且解释的很好。

还有第四题也有意思，"Remember to distinguish between dry-harvested berries and wet-harvested berries."

ChatGPT的答案是：

教授对这道题的点评是：尽管这显然是一种改进，但Chat GPT的流量分析能力还是不够，答案取决于混合比例这个结果不够精彩，最多给个B-。

类似的回答还有一些，如果有兴趣可以去点击本文的阅读原文，或者加微信Alphatue 我发论文原文给你。

一些小结论

那么，教授的研究结论是什么呢？

1.ChatGPT在基本运营管理和流程分析问题上做得很好，包括基于案例研究的问题。答案和解释都很优秀。

2.但是，Chat GPT在相对简单的计算中有时会出现令人惊讶的错误，其水平相当于几年级的数学水平。

3.发现目前版本的ChatGPT不能够处理更高级的流程分析问题。

4.ChatGPT很善于根据人类的提示，对答案进行改进。也就是说，就算ChatGPT未能将问题与正确的解决方法相匹配，ChatGPT也能够在收到人类专家的适当提示后自我纠正。更难得的是，我们发现，Chat GPT似乎能够随着时间的推移而自我学习和迭代。

5.鉴于ChatGPT在诗词歌赋创作方面表现出一定的创造性，我测试了它是否能够为未来的考试和我的下一版本教材准备新问题。ChatGPT给出的问题的措辞很好，有时甚至很幽默。但是这些问题如果想要成为真正可用的考试题，还需要人类进行大量手工调整。

目前很多关于ChatGPT的文章都相对抽象，没有展示它是如何处理具体问题的，和许多商学院的人一样，笔者认为，学习最好的方法是通过具体的案例来完成。

在本文案例中，运营管理这门课程就是具体的案例环境。

通过文中这些案例，可以看出，ChatGPT在处理问题方面具备非凡的技能，

结合它的回答，教授将把这一表现评分为B至B-。

神奇不神奇？未来如果ChatGPT继续发展的话，能变成什么样...

（点击阅读原文可以跳转论文原文页面，

可以研究研究ChatGPT的考试水平）

参考文献：Christian Terwiesch, “Would Chat GPT Get a Wharton MBA? A Prediction Based on Its Performance in the Operations Management Course”, Mack Institute for Innovation Management at theWharton School, University of Pennsylvania, 2023.

【阅读更多】