AI考生能被什么大学录取？文科可上一本，理科过二本线

继公布AI高考语数外成绩后，大模型开源开放评测体系司南（OpenCompass）近日对7个AI大模型进行了高考全科目测试，结果显示：书生·浦语2.0系列文曲星大模型（浦语文曲星）、阿里通义千问大模型Qwen2-72B以及GPT-4o再次包揽文、理科前三甲；前三名AI“考生”的文、理科成绩分别超过了“一本”“二本”线（以今年高考人数最多的河南省的分数线为参考）。

“当前大模型仍存在很大的局限性。组织AI大模型‘参加高考’，目的是评测当前大模型的真实水平，找准问题，持续推进技术进步。”司南相关负责人介绍，本次评测具有几大特点：

- 全卷考试：进行全卷评分，而不只针对单一题型，且包括带图的高考题
- 考前开源：评测覆盖的开源模型均为今年高考前开源的模型，排除泄题的可能性
- 老师打分：邀请有高考阅卷经验的老师打分，确保评分和高考尽量一致
- 完全公开：生成答案的代码、模型答卷、评分结果完全开源

公开评测细节可访问https://github.com/open-compass/GAOKAO-Eval

参与评测的开源模型：

• Mixtral 8x22B：法国AI创业公司Mistral于2024年4月17日开源的对话模型
• Yi-1.5-34B：零一万物公司于2024年5月12日开源的Yi-1.5系列最大的模型
• GLM-4-9B：智谱AI于2024年6月4日推出的最新一代预训练模型GLM-4系列的开源版本
• InternLM2-20B-WQX：上海人工智能实验室于2024年6月4日开源的书生·浦语2.0系列文曲星大语言模型
• Qwen2-57B：阿里巴巴于2024年6月4日上传并随后开源的Qwen2系列MoE对话模型
• Qwen2-72B：阿里巴巴于2024年5月28日上传并随后开源的72B稠密模型
   
  

前三甲“考生”达一本水平，大部分模型未到二本线

延续此前“语数外”全科能力测试的优秀表现，在增加综合科目的基础上，Qwen2-72B、GPT-4o、浦语文曲星包揽文、理科前三甲。

阿里通义千问大模型Qwen2-72B以546分的成绩荣获AI高考“文科状元”，浦语文曲星则以468.5分成为理科第一名，分别超过了“非开源国际插班生”GPT-4o（文科531分，理科467分）。同为国外机构发布的Mixtral 8x22B平均得分最少，弱于国内大模型的高考表现。

评测团队选取河南省录取批次线作为参考，对比了大模型得分与对应分数线。Qwen2-72B、浦语文曲星、GPT-4o的文科成绩均超越“一本线”，展现了大模型在语文、历史、地理、思想政治等科目上深厚的知识储备和理解能力。

理科成绩方面，AI“考生”整体表现弱于文科，体现了大模型在数理推理能力上普遍存在短板，但前三甲的理科成绩均超过二本分数线，具备巨大提升潜力。得益于研究团队在数学推理上的投入，浦语文曲星取得了468.5分的最高理科成绩，超过所有受测模型。

参考2024年河南本科批次录取线，表现最优的三个大模型文科成绩过一本，理科超二本。其他大模型文理科成绩均未达到二本线标准。

为更贴近真实高考情况，评测采用3（语数外）+3（理综/文综）的形式对大模型进行了全科目测试。评测过程中，所有纯文本题目由大语言模型作答，而综合科目中的带图题目，则由对应团队开源的多模态大模型回答。其中，语、数、英三科仅输入文字题干（新课标I卷仅数学包含2道带图题目），英语听力部分（30分）在统计时均默认为满分。

对于纯文本题目，大模型平均得分率可达64.32%，而面对带图题目，得分率仅有37.64%。在图片理解和运用能力方面，所有大模型均存在较大提升空间。

阅卷老师：大模型与真人考生依然存在差距

部分大模型已达到“一本”分数，经过再训练，是否可达到顶尖高校录取线水平？

完成阅卷后，老师们一致认为，大模型与真人考生仍存在差距，虽然对于基础知识的掌握表现出色，但在逻辑推理和知识灵活应用方面，大模型仍然差强人意。具体而言，在作答主观题时，大模型往往无法完整理解题干，不明白代词指向，结果导致答非所问；解答数学题时，解题过程机械且逻辑性差，对于几何题，常出现与空间逻辑相违背的推断；对物理、化学实验理解肤浅，无法准确识别并运用实验器材。

此外，大模型也会伪造虚构内容，编造看似合理但实际不存在的诗句，或在存在明显计算错误的情况下之后不反思，“硬着头皮蒙”一个答案，均给阅卷老师带来了困扰。

通过盘点AI“考生”的答卷，司南的模型评测团队深入分析了当前大模型普遍存在的问题。

反思能力弱

例如，数学科目中一题为：

已知A(0,3)和P(3,3/2)为椭圆C:x²/a²+y²/b²=1(a>b>0)上两点
(1)求C的离心率
(2)若过P的直线l交C于另一点B,且△ABP的面积为9,求l的方程

由于在解题过程中出现了计算错误，导致不正确的求解K值方程式出现

面对如此复杂难解的方程式，模型依然选择了“硬解”，直接蒙了一个答案，而该答案无法使该等式成立。对于大多数人类考生，一旦发现计算存在问题，会反思此前的步骤并重新更正计算过程，而非“硬蒙”出答案。

“一本正经”虚构内容

例如，语文考试中一道填空题为：
唐代诗人写时事，常常托之于汉代，如“__，__”,就是借汉喻唐,以古方今。
某模型作答：
“想知汉武宫香径，请看长安市醉人”
诗句存在对仗且的确“以古方今”，部分阅卷老师误以为自己不知道这首诗，而认为大模型做对了，但实际上这句诗出自大模型的“幻觉”，虚构而成。

缺乏空间想象能力

数学科目的第17题为一道立体几何题，此题平均得分率为8.5%，远低于数学平均得分率35.5%。并且通过检查模型答案，评测团队发现，模型往往会出现一些完全不符合空间逻辑的推断，例如：

对物理、化学实验理解肤浅

大模型普遍对实验设备及基本实验步骤的理解极为有限。
在回答化学题“取100mmol 己-2,5-二酮应选取何种仪器”时，除了GPT-4o以外所有模型均认为应使用量筒，完全没有考虑到需求数量对仪器选取的影响，如此少量的试剂应选用酸式滴定管。

在回答物理题“多用电表测量电压表内阻”时，所有大模型均无法准确读出图中的电阻值，表明大模型对实验设备的理解极为有限。