自建推理还是调 API：成本账
这笔账有四个维度：单位 token 成本、利用率（自建 GPU 空转就是烧钱）、容量规划与峰谷、人力与运维。throughput 会骗人 —— 要看 goodput，即满足延迟 SLO 的有效吞吐；多数团队在日均量级达到某个阈值前，调 API 更便宜。
也叫：推理服务 · 自建部署 · 调 API · 成本核算 · 容量规划 · goodput · 利用率
自建 vs 调 API：这笔账的四个维度出自 T6-1
别一上来算单价，真正决定结论的是这四条：
| 维度 | 倒向调 API | 倒向自建 |
|---|---|---|
| 利用率 | 流量有明显波峰波谷、日调用量不稳 | 有稳定的高基线负载，能把卡喂到 60% 以上 |
| 数据主权与合规 | 无特殊要求 | 数据不能出域、行业强监管、需要物理隔离 |
| 模型控制 | 用通用能力就够 | 要跑自己微调的权重、要改采样逻辑、要 LoRA 多租户 |
| 团队 | 没有专职推理工程 | 有人能读懂 preemption 日志、会调 chunk size |
最容易被漏掉的是最后一条。 自建的隐性成本不是卡钱，是"有人得懂这个"——开头那个故障里两次试错的人力成本，够买很久的 API。
算账的三条硬判据：
- 用 goodput 而不是 throughput 折算单位成本。峰值吞吐除以 SLO 内的达标率，才是你真正能卖出去的量。
- 算利用率，别算峰值。一张卡包月的钱是固定的，跑 20% 和跑 80% 一样贵；API 按 token 计费，天然只为用掉的部分付钱——这是 API 最被低估的优势。
- 自建要打平的不是 API 的标价，是打完折之后的价：批处理四家一律五折、prompt 缓存命中是输入价的 0.1 倍（详见 T6-4）。
以上节选自T6-1 推理服务：自建还是调 API，以及 KV Cache 这本账，读全文能看到前后语境。