成本约束追问:预算砍一半先砍什么
预算砍一半不是均摊,是按降本九步的顺序走:从「不影响正确性」的动作(缓存、裁剪、批处理)走到「影响正确性」的动作(降档位、换小模型、砍功能),最后一步是承认做不到。每一步都要说边际收益与代价,压力追问考的是取舍能不能说清。
也叫:成本约束 · 降本九步 · 成本三刀 · 边际收益 · 压力追问
降本动作的完整顺序与代价出自 T6-4
① exact cache 零风险,吃掉典型流量 15–30% 代价:只对完全重复的请求有效
② prompt/prefix cache 零风险,输入侧降到 0.1× 代价:要重构 prompt 结构,断点位置有讲究
③ 批处理 四家一律五折,可与缓存叠加 代价:24 小时窗口,不支持流式
④ 削工具结果 改返回体 schema、只保留必要字段 代价:可能丢信息,要跑轨迹评测
⑤ 降 effort 档位 输出侧唯一的大杠杆 代价:改变工具调用次数,必须重跑轨迹评测
⑥ 修缓存命中率 把易变内容移出缓存前缀 代价:无,但需要能观测到命中率
⑦ 跨模型路由 降两档才有意义 代价:路由延迟 + 错路由风险 + 双轴评测成本
⑧ 语义缓存 省整次调用 代价:正确性风险不可消除(见 T6-3)
⑨ 减功能 最后一步 代价:产品能力损失,且往往收效最小
顺序不是随便排的:越靠前的动作,"改动 / 收益 / 风险"这个比值越好。 开头那个故障里,团队直接从第 ⑨ 步开始,所以只降了 8%。
以上节选自T6-4 Token 成本治理:从账单异动到三刀归因,读全文能看到前后语境。