AI 不只要更聪明，还要更会排队

当模型能力逐渐普及，AI 的差距会越来越多地来自资源调度、延迟控制和持续反馈。

发生了什么

一项 GPU 调度实验给出了一个很容易被忽略的结果：在硬件和工作负载都不变的情况下，只改变任务分配顺序，GPU 利用率最高提升了 33 个百分点，按优先级计算的产出最高提升了 105%。提升并不来自更大的模型，而来自更好的安排。

类似的变化也出现在机器人和语音系统里。机器人需要把示范记录、训练、部署和下一轮数据收集连成持续循环；语音代理则要在录音、转写、模型处理、检索和语音生成之间分配有限的延迟预算。AI 正从一次调用，变成一条需要长期运行的系统。

我的判断：能力会被系统放大，也会被系统浪费

判断 1

过去谈 AI 进步，人们习惯比较参数量、基准分数和模型是否更聪明。但在真实产品里，用户感受到的往往是另一组问题：任务有没有及时执行，关键请求是否得到优先处理，系统是否在空等，结果能不能稳定复用。模型能力只是上限，调度方式决定了这个上限有多少能被兑现。

这意味着“再换一个更强模型”不一定是最有效的答案。一个把 GPU 排队、上下文、工具调用和响应优先级处理好的系统，可能比一个更强但经常等待、重复计算、延迟失控的系统更有价值。AI 产品的竞争，正在从单点能力比较，转向整体吞吐和使用体验比较。

判断 2

机器人训练流程和语音代理的共同点，是它们都不能只靠一次性的模型输出完成工作。系统必须记录发生了什么，知道哪里浪费了时间或犯了错误，再把这些信息带回下一轮训练、配置或执行。这里的关键不是让模型“自主”这个词听起来更宏大，而是让每次运行都能留下可利用的经验。

对产品人和开发者来说，这会改变工作的重心。你需要测量的不只是回答是否正确，还包括等待时间、资源占用、任务优先级、失败后的恢复，以及系统是否真的从历史轨迹中变得更可靠。没有这些指标，所谓智能很可能只是昂贵的演示。

这对你意味着什么

普通用户未必会直接看到 GPU 调度或数据循环，但会明显感受到它们的结果：响应更快、费用更低、复杂任务更少中断。未来选择 AI 工具时，稳定性和持续完成任务的能力，可能比一次惊艳的回答更重要。

AI 从业者需要把“模型工程”扩展成“系统工程”。优化队列、缓存、延迟、反馈数据和失败处理，不是外围工作，而是决定模型能力能否转化为产品价值的核心工作。

下一轮 AI 竞赛，拼的不是谁拥有更多算力，而是谁更少浪费算力。

你收到这封信，是因为你订阅了 Yolo Letter 的 AI · 今日一件事。正式发送时将在此处提供退订入口。