中文大模型基准测评2024上半年报告

SuperCLUE团队

2024/07

背景

自2023年以来，AI大模型在全球范围内掀起了有史以来规模最大的人工智能浪潮。进入2024年，全球大模型竞争态势日益加剧，随着GPT-4o、Claude3.5、Gemini1.5-pro和Llama3的发布，国内大模型同样在2024年上半年内进行了波澜壮阔的大模型追逐赛。中文大模型测评基准SuperCLUE持续对国内外大模型的发展趋势和综合效果进行了实时跟踪。

基于此，我们发布了《中文大模型基准测评2024上半年报告》，在AI大模型发展的巨大浪潮中，通过多维度综合性测评，对国内外大模型发展现状进行观察与思考。

点击文章底部【阅读原文】查看高清完整PDF版。

在线完整报告地址（可下载）：

www.cluebenchmarks.com/superclue_24h1

报告核心内容摘要

摘要1：国内外大模型差距进一步缩小

国内外大模型差距进一步缩小：OpenAI最新模型GPT-4o依然是全球表现最好的模型，但国内大模型已将差距缩小至5%以内。

摘要2：国内开源模型崛起

本次登顶SuperCLUE的国内大模型为开源模型Qwen2-72B-Instruct，并且超过了众多国内外闭源模型。

摘要3：各任务表现

在文科、理科和Hard任务中，GPT-4o综合最佳，Claude-3.5在Hard任务表现突出，Qwen2-72B在文科任务表现优异。

摘要4：端侧小模型表现惊艳

端侧小模型进展迅速，部分小尺寸模型表现要好于上一代的稍大尺寸模型，极大提升了落地的可行性。

详情请查看#正文或完整报告。

目录

一、国内大模型关键进展1. 2023-2024年大模型关键进展2. 2024年值得关注的中文大模型全景图

3. 2023-2024年度国内外大模型技术发展趋势

二、SuperCLUE通用能力测评1. 中文大模型基准SuperCLUE介绍

2. SuperCLUE测评体系及数据集说明

3. 测评模型列表4. SuperCLUE通用能力测评：一级总分5. SuperCLUE通用能力测评：二级维度分数6. SuperCLUE通用能力测评：三级细粒度分数7. SuperCLUE模型象限8. 国内大模型SuperCLUE历届Top39. 理科测评10. 文科测评11. Hard测评12. SuperCLUE开源榜单13. SuperCLUE端侧小模型榜单14. 大模型对战胜率分布图15. SuperCLUE成熟度指数16. 评测与人类一致性验证三、SuperCLUE多模态能力测评1.AIGVBench视频生成测评

2.SuperCLUE-Image文生图测评

3.SuperCLUE-V多模态理解测评

四、SuperCLUE专项与行业测评1. 专项基准：SuperCLUE-Math6数学推理2. 专项基准：SuperCLUE-Coder代码助手2. 专项基准：SuperCLUE-RAG检索增强生成3. 专项基准：SuperCLUE-Code3代码生成4. 专项基准：SuperCLUE-Agent智能体5. 专项基准：SuperCLUE-Safety安全6. 专项基准：SuperCLUE-200K超长文本7. 专项基准：SuperCLUE-Role角色扮演8. 专项基准：SuperCLUE-Video文生视频9. 行业基准：SuperCLUE-Auto汽车11. 行业基准：SuperCLUE-Fin金融12. 行业基准：SuperCLUE-Industry工业13. 行业基准：SuperCLUE-ICabin智能座舱14. 竞技场：琅琊榜对战结果及分析15. 未来两个月基准发布计划

五、优秀模型案例介绍

1. 优秀模型案例介绍

正文      

   

一、国内大模型关键进展1. 2023年大模型关键进展与中文大模型全景图

国内学术和产业界在过去一年半也有了实质性的突破。大致可以分为三个阶段，即准备期（ChatGPT发布后国内产学研迅速形成大模型共识）、成长期（国内大模型数量和质量开始逐渐增长）、爆发期（各行各业开源闭源大模型层出不穷，形成百模大战的竞争态势）。

2. 2024年值得关注的中文大模型全景图

截止目前为止，国内已发布开源、闭源通用大模型及行业大模型已有上百个，SuperCLUE梳理了2024年值得关注的大模型全景图。

3. 2023-2024年度国内外大模型技术发展趋势2023年5月至今，国内外大模型能力持续发展。其中GPT系列模型为代表的海外最好模型经过了从GPT3.5、GPT4、GPT4-Turbo、GPT4o的多个版本的迭代升级。国内模型也经历了波澜壮阔的14个月的迭代周期，其中Top1的模型经历了8次易主，不断提升国内模型的最强战力。

总体趋势上，国内外第一梯队大模型在中文领域的通用能力差距在持续缩小，从2023年5月的30.12%的差距，缩小至2024年6月的4.94%。

来源：SuperCLUE，2024年7月9日

二、SuperCLUE通用能力测评

1. 中文大模型基准SuperCLUE介绍中文语言理解测评基准CLUE（The Chinese Language Understanding Evaluation）是致力于科学、客观、中立的语言模型评测基准，发起于2019年。陆续推出CLUE、FewCLUE、KgCLUE、DataCLUE等广为引用的测评基准。SuperCLUE是大模型时代CLUE基准的发展和延续。聚焦于通用大模型的综合性测评。SuperCLUE根据多年的测评经验，基于通用大模型在学术、产业与用户侧的广泛应用，构建了多层次、多维度的综合性测评基准。传统测评与SuperCLUE的区别SuperCLUE三大特征1) 独立第三方测评，非大模型方主导随着国内外大模型的竞争日益激烈，模型开发方主导的评测可能存在偏向自家产品的风险。与之形成鲜明对比的是，SuperCLUE作为一个完全独立的第三方评测机构，承诺提供无偏倚的客观评测结果。SuperCLUE采用先进的自动化评测技术，有效消除人为因素带来的不确定性，确保每一项评测都公正无私。

2) 测评方式与真实用户体验目标一致

不同于传统测评通过选择题形式的测评，SuperCLUE目标是与真实用户体验目标保持一致，所以纳入了开放主观问题的测评。通过多维度多视角多层次的评测体系以及对话的形式，模拟大模型的应用场景，真实有效的考察模型生成能力。

3) “Live”更新，测评体系/方法与时俱进

不同于传统学术领域的评测，SuperCLUE根据全球的大模型技术发展趋势，不断升级迭代测评体系、测评维度和方法，以保证尽可能精准量化大模型的技术演进程度。

2. SuperCLUE测评体系及数据集说明

为进一步真实反应大模型能力，本次半年度测评采用多维度、多层次的综合性测评方案，由理科、文科和Hard三大维度构成。

【理科任务】分为计算、逻辑推理、代码测评集；

【文科任务】分为知识百科、语言理解、长文本、角色扮演、生成与创作、安全和工具使用七大测评集；

【Hard任务】本次测评首次纳入精确指令遵循测评集，另外复杂多步推理和高难度问题解决Hard测评集后续陆续推出。

3. 测评模型列表本次测评数据选取了SuperCLUE-6月测评结果，模型选取了国内外有代表性的33个大模型在6月份的版本。
4.SuperCLUE通用能力测评：一级总分

1）GPT-4o领跑，国内大模型进展迅速

• GPT-4o以81分的绝对优势领跑 SuperCLUE基准测试，是全球模型中唯一超过80分的大模型。展现出强大的语言、数理和指令遵循能力。

• 国内大模型上半年发展非常迅速，其中有6个国内大模型超过GPT-4-Turbo-0409。绝大部分闭源模型已超过GPT-3.5-Turbo-0125。

2）国内大模型形成三大梯队，头部企业引领发展

• 国内大模型市场形成多梯队格局，头部企业凭借快速迭代、技术积累或资源优势，引领国内大模型发展。例如大厂模型以阿里的Qwen2-72B、商汤的SenseChat5.0等均以 75+的分数位居国内大模型第一梯队。

• 大模型创业公司的代表如GLM-4、Baichuan4、Kimi、MiniMax-abab6.5均有超过70分的表现，位列国内大模型第一梯队。

3）开源模型极大发展，有超出闭源模型趋势

• 开源模型Qwen2-72B在SuperCLUE基准中表现非常出色，超过众多国内外闭源模型，与Claude-3.5持平，与GPT-4o仅差4分。

• 零一万物推出的Yi-1.5-34B在开源领域表现不俗，有超过60分的表现，较为接近部分闭源模型。

随着技术进步和应用场景拓展，2024年下半年国内外大模型市场竞争将持续加剧，推动技术创新和产业升级。

5.SuperCLUE通用能力测评：二级维度分数

6.SuperCLUE通用能力测评：三级细粒度分数

1）理科细粒度分数

2）文科细粒度分数

3）SuperCLUE细粒度全局分数

7.SuperCLUE模型象限

SuperCLUE评测任务可划分为基础能力和应用能力两个维度。

基础能力，包含：计算、代码、传统安全等能力。

应用能力，包括：工具使用、角色扮演等能力。

基于此，SuperCLUE构建了大模型四个象限，它们代表大模型所处的不同阶段与定位，其中【潜力探索者】代表模型正在技术探索阶段拥有较大潜力；【技术领跑者】代表模型聚焦基础技术研究；【实用主义者】代表模型在场景应用上处于领先定位；【卓越领导者】代表模型在基础和场景应用上处于领先位置，引领国内大模型发展。8. 国内大模型SuperCLUE历届Top3过去十一个月国内模型在SuperCLUE基准上的前三名。

9. SuperCLUE理科测评

1）测评数据集及方法说明

2）SuperCLUE理科成绩

a. GPT-4o领先，国内外有一定差距

• GPT-4o以81分的绝对优势领跑SuperCLUE基准理科测试，是全球模型中唯一超过80分的大模型。GPT-4-Turbo-0409得分77分，紧随其后。

• 国内大模型理科表现优异的模型，如Qwen2-72B、AndesGPT和山海大模型4.0稍落后于GPT-4-Turbo-0409，均取得76分的高分。但与GPT-4o还有较大差距。

b. 理科任务具有较高的挑战难度，区分度明显

• 理科任务有较高难度，我们可以发现，GPT-4o和GPT3.5-Turbo有17分的差距，Llama-3-70B比Llama-2-13B有34分的差距。

• 在国内闭源模型中，表现最高的模型（76分）和表现最差模型（58分）有18分的区分度。可见在理科任务上较能反应大模型之间的能力差距。

c. 小参数量模型在理科能力上表现不足

• 参数量较小的模型在SuperCLUE理科测评中，基本均为达到60分及格线，可见在难度较高任务上，参数量依然是影响较大的因素。

理科任务上主要包括计算、逻辑推理和代码任务，这几项将是国内外大模型在下半年重点突破的方向。

10. SuperCLUE文科测评

1）测评数据集及方法说明

2）SuperCLUE文科成绩

a. 国内外头部模型处于同一水平，均未达到80分良好线

• GPT-4o在文科任务上取得76分，并未超过80分，说明文科任务上实现高质量处理依然有较大提升空间。国内擅长文科的模型如Qwen2-72B、AndesGPT、通义千问2.5和 DeepSeek-V2同样取得76分，与GPT-4o处于同一水平。

• 另外国内大模型如SenseChat5.0、山海大模型4.0和360gpt2-pro取得75分，表现不俗。与GPT-4-Turbo-0409表现相当。

b. 文科任务模型间的区分度不明显，表现“中规中矩”

• 本次测评所有国内模型得分分布较为集中，没有较大的区分性，均处于及格线（60分）-良好线（80分）之间。

• 国内外闭源模型得分均处于70-80分，表现“中规中矩”，处理能力较为相似。

• 国内开源模型得分大部分处于60-70分，表现“基本可用”，但在质量上还有较大提升空间。

c. 模型参数量在文科能力上不是模型的决定性因素

• 本次测评中参数量最小的模型qwen2-1.5b（15亿参数量），依然有超过60分的表现，而qwen2-7b有超过70分的表现，与文心一言4.0表现接近。

文科任务上如何提高语言处理质量，增加内容生成和理解的优秀水平，是国内外大模型需要进一步优化的方向。

11. SuperCLUE-Hard测评

1）测评数据集及方法说明

2）SuperCLUE-Hard成绩

a. 国内外模型在精确指令遵循能力上有一定差距

• GPT-4o在Hard任务（精确指令遵循）任务上取得85分，领跑全球大模型。Claude-3.5-Sonnet-200k仅随其后取得84分，表现同样不俗。是国内外模型中唯二超过80分的大模型。

• 国内表现最好的模型是GLM-4-0520和Qwen2-72B，取得79分，较GPT-4o低6分，还有一定的提升空间。

b. 精确指令遵循有较大区分度

• 本次测评所有模型得分的差异性较大，超出80分只有2个模型，且与排名第三的模型有5分差距。
  

• 国内仅有4个模型超过了75分，分别为GLM-4-0520、Qwen2-72B、SenseChat5.0和DeepSeek-V2。在国内大模型中较为领先。
  

• 国内闭源模型中得分最低的仅有60分，这说明高难度任务可以进一步区分模型之间的能力差距。
  

c. 小模型普遍不擅长精确指令遵循

• 本次测评中参数量最小的开源模型qwen2-1.5b在精确指令遵循任务上仅有18分，并且小于10B的模型均为达到60分及格线，是端侧小模型后续需要重点提升的能力。
  

Hard任务如精确指令遵循，可以很好的考察大模型的极限能力，后续将陆续增加复杂任务高阶推理和高难度问题解决等Hard任务，会进一步发现大模型的优化方向。

12. SuperCLUE开源榜单

来源：SuperCLUE，2024年7月9日来源：SuperCLUE，2024年7月9日来源：SuperCLUE，2024年7月9日

a. 中文场景国内开源模型具备较强竞争力

• Qwen2-72B领跑全球开源模型，较Llama-3-70B在中文能力上有较大领先性。

• Yi-1.5系列模型同样有不俗的表现，其中34B版本有超过60分的表现。

• 小参数量的模型发展迅速，如qwen2-1.5b与gemma-7b表现相当。

b. 在高难度任务上，不同的开源模型区分度较大。

• 在Hard任务中，Qwen2-72B和Llama-3-70B领先幅度很大，均有超出70分的表现。其他开源模型均未达到及格线。
  

Hard任务如精确指令遵循，可以很好的考察大模型的极限能力，后续将陆续增加复杂任务高阶推理和高难度问题解决等Hard任务，会进一步发现大模型的优化方向。

13. SuperCLUE端侧小模型榜单

2024年上半年小模型快速发展，可在设备端侧（非云）上本地运行，落地在不需要大量推理或需要快速响应的场景。

国内以qwen和Yi系列开源模型为代表，上半年进行了多次迭代。其中qwen2-7b（70亿参数）取得62分，打败了上一代版本的qwen1.5-32b（320亿参数），qwen2-1.5b（15亿参数）打败了Llama-2-13B-Instruct（130亿参数），展现了更小尺寸的模型的极致性能。

14. 大模型对战胜率分布图

我们统计了所有大模型在测评中与GPT4-Turbo-0409的对战胜率。模型在每道题上的得分与GPT4-Turbo-0409相比计算差值，得到胜（差值大于0.5分）、平（差值在-0.5～+0.5分之间）、负（差值低于-0.5）。

来源：SuperCLUE，2024年7月9日

1）整体胜率表现

从整体对战来看，国外领先模型GPT-4o以20.47%的胜率，66.81%的和率占据第一位，显示出其强大的整体能力。紧随其后的是Qwen2-72B-Instruct，胜率为18.86%，和率为65.06%，也展现出优于GPT4-Turbo-0409的实力。同样有着较强实力的模型还有AndesGPT、通义千问2.5、DeepSeek-V2、山海大模型4.0和SenseChat5.0等模型。

2）小模型胜率情况

在200亿以内参数的模型中qwen-2-7b的胜率排在首位，展现出不俗能力。排在2至3位的是Baichuan2-13B-Chat-v2、Yi-1.5-6B-Chat，同样有50%以上的胜和率，表现可圈可点。

3）在基础题目上与GPT-4-Turbo-0409差距有限

从胜率分布数据可以发现，大部分模型的和率都在50%以上。这说明国内外大部分模型在基础题目上与GPT-4-Turbo-0409的水平相近，随着任务难度的提升，不同模型的表现会有一定区分度。

15. SuperCLUE成熟度指数

SuperCLUE成熟度指数用以衡量国内大模型在SuperCLUE能力上是否成熟。

1）高成熟度能力

• 高成熟度指大部分大模型普遍擅长的能力，SC成熟度指数在0.8至1.0之间。

• 当前国内大模型成熟度较高的能力是【生成创作】和 【语言理解】，也是目前产业和用户侧大模型的重点应用场景。

2）中成熟度能力

• 中成熟度指的是不同大模型能力上有一定区分度，但不会特别大。SC成熟度指数在0.6至0.8之间。

• 当前国内大模型中成熟度的能力是【角色扮演】、【传统安全】、【知识百科】、【工具使用】、【长文本】，还有一定优化空间。

3）低成熟度能力

• 低成熟度指的是少量大模型较为擅长，很多模型无法胜任。SC成熟度指数在0.6以下。

• 当前国内大模型低成熟度的能力是【计算】、【逻辑推理】、【代码】、【精确指令遵循】。尤其在Hard任务的精确指令遵循的成熟度仅有0.23，是非常有挑战性的大模型应用能力。

16. 评测与人类一致性验证1) SuperCLUE VS Chatbot Arena

Chatbot Arena是当前英文领域较为权威的大模型排行榜，由LMSYS Org开放组织构建， 它以公众匿名投票的方式，对各种大型语言模型进行对抗评测。其中，皮尔逊相关系数:0.90，P值：1.22e-5；斯皮尔曼相关系数：0.85，P值：1.12e-4 ；说明SuperCLUE基准测评的成绩，与人类对模型的评估（以大众匿名投票的Chatbot Arena为典型代表），具有高度一致性。

来源：SuperCLUE，2024年7月9日

2) 评测与人类一致性验证2：自动化评价可靠性的人工评估

为验证自动化评价的可靠性，SuperCLUE团队在进行正式测评之前，从2000+道题目中针对4个模型，每个模型随机抽取了100道题目进行人工复审。

审核内容及标准包括：

评价质量分为：优秀，良好 ，及格，不及格

完全不符合自己的判断：不及格（60以下）

基本符合自己的判断：及格（60或以上）或良好（75或以上）

特别符合自己的判断：评价的特别好：优秀（85或以上）最后统计可靠性指标，将基本符合、特别符合的结果认定为是可靠性较高的评价。
最终各模型可靠性指标结果如下：

通过4个模型的可靠性分析验证，我们发现可靠性数据分别为91%、90%、99%、90%，其中可靠性最低有90%，最高为模型的99.00%。平均有92.5%的可靠性。

所以，经过验证，SuperCLUE自动化评价有较高的可靠性。

多模态测评、行业、专项测评、优秀案例介绍以及更详细测评数据分析，请查看完整PDF报告。点击文章底部【阅读原文】查看高清完整PDF版。

在线完整报告地址（可下载）：

www.cluebenchmarks.com/superclue_24h1

未来两个月基准发布计划

未来2-3个月SuperCLUE会持续完善大模型专项能力及行业能力的测评基准。现针对于所有专项及行业测评基准征集大模型，欢迎申请。有意愿参与测评的厂商可发送邮件至[e-mail]，标题：SuperCLUE专项/行业测评，请使用单位邮箱，邮件内容包括：单位信息、大模型简介、联系人和所属部门、联系方式。

预告：SuperCLUE通用基准测评8月报告将在2024年8月27日发布，欢迎反馈意见、参与测评。

欢迎加入【2024上半年报告】交流群。

扩展阅读

[1] CLUE官网：www.CLUEBenchmarks.com

[2] SuperCLUE排行榜网站：www.superclueai.com

[3] Github地址：https://github.com/CLUEbenchmark/SuperCLUE

[4] 在线报告地址：www.cluebenchmarks.com/superclue_24h1