prompt、RAG 还是微调:三问决策树
先问三个问题:缺的是知识还是行为、知识变不变、行为能不能用 prompt 和结构化输出表达。缺知识且会变 → RAG;缺行为且 prompt 表达不了 → 微调;其余写好 prompt 就够。四条路的成本量级差一到两个数量级,2026 年错误的微调理由有三个。
也叫:技术选型 · 三问决策树 · prompt vs RAG vs 微调 · 蒸馏
三问决策树(本章核心骨架,后续场景题复用)出自 T4-3
┌─────────────────────────────────────────────────┐
│ 前置闸门:没有评测集,四条路一条都不要开始 │
│ (至少 50–100 条,含边界样例;先跑 few-shot 基线)│
└───────────────────────┬─────────────────────────┘
▼
模型的问题属于哪一类?
│
┌────────────────────────────┼────────────────────────────┐
▼ ▼ ▼
「不知道」 「不会做」 「做得到但太贵太慢」
知识 / 时效 / 要溯源 能力 / 格式 / 风格 延迟 / 单价 / QPS
│ │ │
▼ ▼ ▼
RAG ① 先提 effort 档位 蒸馏到小模型
+ 改 prompt (用大模型造数据
│ 训小模型)
├─ 仍不行,且规则写不出、
│ 只能给例子 → SFT / LoRA
│
└─ 仍不行,且能写自动判分器
→ RLVR / RFT这棵树的用法是自上而下、逐级排除,不能跳级。 面试里最常见的失分,是候选人直接从"我们做了微调"开始讲,跳过了前面所有更便宜的选项,于是整段回答都建立在一个没被验证的前提上。
以上节选自T4-3 选型判断:prompt、RAG、微调,以及 2026 年微调还剩几条护城河,读全文能看到前后语境。
延伸阅读
考这个知识点的题1 道
会连带问到13 道
- Q2-01完整讲一遍 RAG 链路:从文档进来到答案出去,每一步在解决什么问题?
- Q2-02有了百万级长上下文,为什么还要 RAG?「RAG 已死」你怎么看?
- Q2-25给你一个新场景,怎么决定用 Naive / Advanced / Agentic / Graph 哪种架构?
- Q4-01SFT、RLHF、DPO 分别在做什么?用一条主线把后训练串起来
- Q4-03GRPO 是什么?为什么推理模型训练里常见?
- Q4-04LoRA 的原理是什么?为什么加两个低秩矩阵就能微调?
- Q4-05LoRA 的 r 和 alpha 怎么设?QLoRA 又省在哪?
- Q4-08基座模型半年一大版,你去年微调的模型还有价值吗?微调的护城河在哪?
- Q4-09微调数据从哪来?怎么保证质量?多少条够?
- Q4-10什么是蒸馏?用大模型造数据训小模型要注意什么(含合规)?
- Q4-12你简历里那次微调,效果提升怎么量化的?和 few-shot 基线比过吗?
- Q5-01AI 应用上线前怎么评测?评测集怎么建、多少条起步?
- Q6-01直接调 API 和自建开源模型推理,这笔账怎么算?