AI 分数更高，不等于更强

我认为今天最值得讨论的主题是：AI 评测正在越来越像“会做题”，而不是“会干活”。

发生了什么

一边是语音、代码和代理类评测不断刷新成绩，模型在公开榜单上的表现越来越接近甚至超过人类或历史最优水平。

另一边，行业内部已经开始公开承认：很多分数会被测试机制本身放大，模型可能学会了题型、 harness 和评测习惯，而不是在真实任务里更可靠。

最近几份相关材料都在强调同一件事：单看 benchmark 成绩，已经不足以判断一个模型在复杂环境、长任务和真实约束下到底有多强。

我的判断

判断 1

我不认为 benchmark 失效了，它仍然是筛选候选、比较版本和追踪进步的必要工具。但它越来越像体温计，不是诊断书。分数能说明模型在某类测试上更成熟，却不能自动推出它在嘈杂输入、长链路操作、工具调用和异常恢复里同样可靠。

真正的风险不在于“评测不准”这四个字，而在于团队会把局部优化误认成整体进步。只要公开分数仍然是最强激励，模型、产品和基准都会朝着更容易得分的方向收缩，最后把行业的注意力引到可测的地方，而不是重要的地方。

判断 2

这对普通人意味着，看到“又破纪录了”时要多问一句：它到底是在什么条件下赢的，代价是什么，换到真实场景还剩多少。对从业者来说，真正有价值的评测会越来越偏向场景化、对抗性和可复现的端到端任务，而不是只看静态题库。

谁能把评测做得更接近真实工作流，谁就更接近下一轮产品优势。未来的竞争不只是模型能力，而是谁更懂得定义能力。

这对你意味着什么

普通用户不该把单一榜单当成“模型强弱”的最终答案，最好看它是否在你的真实任务里稳定表现。

AI 从业者要把更多精力放到场景评测、对抗样本和端到端验证上，否则很容易被漂亮分数带偏。

分数会继续涨，但真正值钱的是不容易被分数骗过的判断。

你收到这封信，是因为你订阅了 Yolo Letter 的 AI · 今日一件事。正式发送时将在此处提供退订入口。