成本约束追问:预算砍一半先砍什么

场景设计深水6讲解 2

预算砍一半不是均摊,是按降本九步的顺序走:从「不影响正确性」的动作(缓存、裁剪、批处理)走到「影响正确性」的动作(降档位、换小模型、砍功能),最后一步是承认做不到。每一步都要说边际收益与代价,压力追问考的是取舍能不能说清。

也叫:成本约束 · 降本九步 · 成本三刀 · 边际收益 · 压力追问

降本动作的完整顺序与代价出自 T6-4

① exact cache          零风险,吃掉典型流量 15–30%        代价:只对完全重复的请求有效
② prompt/prefix cache  零风险,输入侧降到 0.1×            代价:要重构 prompt 结构,断点位置有讲究
③ 批处理               四家一律五折,可与缓存叠加          代价:24 小时窗口,不支持流式
④ 削工具结果           改返回体 schema、只保留必要字段     代价:可能丢信息,要跑轨迹评测
⑤ 降 effort 档位       输出侧唯一的大杠杆                 代价:改变工具调用次数,必须重跑轨迹评测
⑥ 修缓存命中率         把易变内容移出缓存前缀             代价:无,但需要能观测到命中率
⑦ 跨模型路由           降两档才有意义                     代价:路由延迟 + 错路由风险 + 双轴评测成本
⑧ 语义缓存             省整次调用                        代价:正确性风险不可消除(见 T6-3)
⑨ 减功能               最后一步                          代价:产品能力损失,且往往收效最小

顺序不是随便排的:越靠前的动作,"改动 / 收益 / 风险"这个比值越好。 开头那个故障里,团队直接从第 ⑨ 步开始,所以只降了 8%。


以上节选自T6-4 Token 成本治理:从账单异动到三刀归因,读全文能看到前后语境。

延伸阅读

考这个知识点的题1

会连带问到5