9.11和9.9谁大？我们实测15个大模型，超半数翻车
大模型们还是搞不定简单的数学题。
这几天，一个测试大模型「脑瓜」灵不灵光的提示词火了 ——
9.11 和 9.9 哪个大？
这道连小学生都能一口答对的数学题，却难倒一片大模型界的「英雄好汉」。
事情是这样的。
Scale AI 的高级提示工程师 Riley Goodside 拿「9.11 and 9.9——which is bigger?」这个提示词来问 GPT-4o，却得到「前者更大」的回答。其他大模型也纷纷翻车。
7 月 17 日，我们拿国内 12 款大模型，外加国外的 GPT-4o、Claude 3.5 Sonnet 和谷歌的 Gemini 进行了集中评测。以下是评测结果：
接下来，我们就看一下详细的的测评过程。
-1-
GPT-4o
GPT-4o 翻车翻得相当彻底。
我们先用英文提示词问了一遍 GPT-4o，它仍然认为 9.11 大于 9.9，然后我们分别用中英文问它二者相差多少，全部回答错误。
-2-
Claude-3.5-Sonnet
我们用同样的套路问了 Claude-3.5-Sonnet，可不管如何问，它都在错误的道路上蒙眼狂奔。其中，在比较小数部分时，它明明知道 0.9 比 0.11 大，但最后仍得出错误结论。
-3-
Gemini
谷歌 Gemini 也强不到哪里去，用英文问了两遍二者谁大，第一次它给出了正确答案，但第二次就认为相同整数的情况下，小数位数越多表示数字越大。
我们用中文问了一遍，谷歌 Gemini 结合实际生活具体场景比较大小，例如，从时间角度来看，9.11 通常是指 9・11 事件，而 9.9 则通常指 9 点 9 分，因此 9.11 比 9.9 意义更大。
当问到二者相差多少时，Gemini 得出了负数。
-4-
百度文心一言
面对 9.11 和 9.9 谁大时，文心 3.5 回答正确；当我们问它二者相差多少时，它绕了一大圈，终于给了正确结论。
-5-
阿里通义千问
阿里通义千问全部答对。
-6-
字节豆包
我们问 9.11 和 9.9 谁大，豆包分析得头头是道，还能将其置于日常生活场景中。例如，跑步比赛选手用时 9.11 秒和 9.9 秒，意味着 9.11 秒速度更快；从价格的角度来看，9.9 元的商品更贵。不过，一到结论它就回答错误。
至于二者相差多少，豆包倒是回答正确。
-7-
腾讯元宝
腾讯元宝面对这道题目时则触发了搜索功能，引用了 7 篇资料作为参考，最终回答正确。
然而，9.11 和 9.9 相差多少，元宝等式列对了，就是算数竟算出小数点后 16 位。
-8-
智谱清言
智谱清言错误地认为两位小数表示的数值比一位小数要大，导致回答错误。问到二者相差多少时，它算出个负数。
它还不忘说一句「很多 AI 模型出错可能是因为在处理数字和小数点时的算法缺陷」。
-9-
月之暗面 - Kimi
Kimi 这把也歇菜了，不仅分不清谁大，还把 9.11-9.9 算出 0.21。
-10-
科大讯飞星火
讯飞星火答对了。
-11-
百川智能 - 百小应
百小应错误地认为 9.11 更大，不过算二者差值算对了。
-12-
阶跃星辰 - 跃问
跃问在一开始的分析中没问题，但后来把自己绕晕了，搞了个「反转结论」，导致最终答案错误。
当我们再次问它为什么时，它恍然大明白，纠正了错误，并正确算出二者的差值。
-13-
商汤 - 商量
两个问题回答错误。
-14-
昆仑万维 - 天工
回答正确。
-15-
零一万物 - 万知
两个问题回答错误。
大模型们为何连简单的数学常识题都搞不定呢？我们采访了通义实验室产品经理王晓明。
据王晓明介绍，大模型基于 Transformer 架构实现，本质是做 next token prediction，而非直接进行算术计算，因此在处理比大小等简单数学题目时，依赖于预测模型的成功率。
此外，在处理类似「9.11 比 9.9 大」的场景时，大模型通常会通过分词器 tokenizer 进行处理。分词器在解析这类表达时，可能会把数字辨认为日期或版本号进行比较，最终导致回答错误。这种处理方式是由分词器的特定算法和机制决定的。
在实测过程中，我们还发现，不少大模型在首次回答时可能会提供错误答案。然而，当进行第二轮提问时，这些模型往往能够给出正确答案。
针对这一问题，王晓明认为主要由三个原因造成。
一是由于预测过程具有一定的随机性，导致第二轮相较于第一轮更加准确。
二是大模型具备较强的上下文理解能力，它们能够根据之前的回答和订正信息，重新生成更准确的答案。
三是提问者的引导方式也会影响大模型的回答结果，例如使用限定词、提供清晰语境以及指导模型遵循特定指令等方法均有助于提高得到正确答案的概率。
他还表示，提高大模型数学能力的核心在于提供高质量的数据支持，特别是在数学计算和逻辑推理方面。例如，通义千问针对这类场景，有针对性地加入高质量数据进行训练，使得面对此类问题时保持较高准确率。
以后我们会带来更多AI大模型、AI应用的一手评测，也欢迎大家进群交流。