GPT-4o登顶中文推理基准，总分81.73，刷新数学和代码最好成绩
本测评结果仅用于学术研究。
5月14日凌晨，OpenAI召开春季发布会，发布新版本模型GPT-4o。它具备实时多模态人机交互能力，打通了文本、语音和视觉，语音延迟大幅降低。GPT-4o的API速度比GPT-4 Turbo快2倍，价格便宜50%，并且官方说明GPT-4o在多项复杂任务上效果都超过GPT-4Turbo。
针对公众关注的GPT-4o的中文性能问题，作为专业第三方测评机构SuperCLUE选取了中文推理相关的核心任务进行了深入测评。具体来说，我们采用了中文数学多步推理测评基准（SuperCLUE-Math6，含2024题）和中文等级化代码单元测试基准（SuperCLUE-Code3，包含1560个测试用例），对GPT-4o在数学和编程方面的能力进行了全面评估。
先说结论
结论1：在完成SuperCLUE推理任务时，GPT-4o的整体得分为81.73，超过GPT-4 Turbo成为中文推理任务最强模型。
结论2：GPT-4o在SC-Math6数学基准上得分91.77分，较GPT-4 Turbo提升1.06分，登顶SC-Math6榜首，判定为推理等级5。
结论3：GPT-4o在SC-Code3代码基准上得分71.68分，较GPT-4 Turbo提升2.11分，刷新SC-Code3最好成绩。
Math6数据集申请方式：
请使用单位邮箱，将数据研究目的、计划，研究机构、申请者介绍和联系方式（手机或微信），发送到邮箱，并承诺不向第三方提供。
Code3测评申请方式：
请使用单位邮箱发送邮件至contact@superclue.ai，标题：SuperCLUE-Code3测评
扩展阅读
[1] CLUE官网：www.CLUEBenchmarks.com
[2] SuperCLUE排行榜网站：www.superclueai.com
[3] Github地址：https://github.com/CLUEbenchmark/SuperCLUE
[4] Math6地址：www.cluebenchmarks.com/superclue_math6.html
[5] Code3地址：www.cluebenchmarks.com/superclue_code3.html