AI 越会刷榜，分数越不值得相信

AI 评测正在从能力证明，变成需要被审计的测量工具。

发生了什么

最近几项研究把同一个问题摆到了台面上：模型在公开基准上的高分，可能并不等于真实任务中的高能力。语音识别系统会针对公开测试中的模式进行优化；代码评测也需要区分真正的解决能力与评测方法带来的虚高结果。

类似的问题已经扩展到更复杂的智能体和科学任务。一个系统能否完成研究工作，不只取决于它会不会回答问题，还取决于它能否处理不完整证据、冲突结果，判断下一步该做什么。甚至同一个模型，换一种记忆和推理过程，基准成绩也可能显著改变。

我的判断：评测本身正在成为产品能力

判断 1

我不认为公开基准会立刻失去价值。它们仍然适合观察趋势、发现明显退步，也能让不同系统在相同规则下比较。但当模型开发者长期围绕固定题目和固定评分方式优化时，分数测到的就不再只是能力，还包括对考题分布的熟悉程度。

这意味着产品团队不能再用一个漂亮的榜单分数替代上线判断。语音助手要在口音、噪声和真实对话中稳定工作，代码智能体要能处理模糊需求和失败重试，科学智能体则要面对不知道答案的情况。真正有用的评测，必须尽量接近这些工作现场。

判断 2

我更在意的变化，不是又多了多少分，而是评测正在从一次考试变成持续的工程系统。测试集需要更新，评分需要人工复核，任务需要覆盖不同环境，还要观察模型是否只是记住了评测规律。对智能体来说，记忆、工具调用、上下文压缩和工作流程都可能改变结果，因此模型、提示词、工具和评测 harness 不能被拆开看。

这会抬高 AI 产品的门槛，却也给普通团队留下机会：没有最大模型的团队，仍然可以靠更贴近业务的测试、更清楚的失败定义和更可靠的人工验收，做出用户真正愿意信任的系统。

这对你意味着什么

对普通用户来说，看到“达到人类水平”时，应该继续追问：在哪个测试里、什么条件下、是否经过真实场景验证。一个分数可以说明系统在某种题型上表现不错，却不能替你承担结果。

对产品人和开发者来说，评测不应是发布前临时做的报告，而应是产品的一部分。先定义什么叫完成、什么叫失败，再用真实任务持续回放；否则，优化的可能只是数字，而不是用户体验。

当 AI 学会考试，最稀缺的能力就变成了证明它没有作弊。

你收到这封信，是因为你订阅了 Yolo Letter 的 AI · 今日一件事。