LoRA 的原理是什么？为什么加两个低秩矩阵就能微调？

LoRA 是 Low-Rank Adaptation，低秩适配。它的做法是：把基座权重 W₀ 冻结，在旁边并联两个小矩阵 B 和 A，训练时只更新这两个小的。

前向变成 h = W₀·x + B·A·x。B 是 d×r，A 是 r×k，r 远小于 d 和 k，所以参数量从 d×k 降到 r×(d+k)。比如一个 4096×4096 的矩阵，r=64 时参数量从 1600 万降到 52 万。

之所以能用这么少的参数，是因为微调带来的权重更新本身是低内在秩的——你只是在教模型一种风格或一个任务，需要的信息量远小于整个权重矩阵的容量。

原理说对了，及格。但没有设计细节、没有工程价值，追问一层就到底。

公式和直觉：

h = W₀·x + (α/r)·B·A·x       W₀ 冻结；A、B 可训
A: r×k，高斯初始化           B: d×r，全 0 初始化

参数量 r×(d+k) 对比原来的 d×k，r=64 在 4096×4096 上压掉约 97%。能这么压的前提是一个经验事实：微调带来的权重变化是低内在秩的——你在教一种行文风格，这件事的信息量本来就远小于矩阵容量。反过来说，这也预示了 LoRA 的边界：当数据要装进去的信息量超过适配器容量时，LoRA 就开始落后于全参，不是断崖式的，是效率逐步变差。

三个设计细节，每个都有用：

1. B 初始化为全 0，所以训练起点 BA=0，接上适配器的瞬间模型行为与基座完全一致。这保证训练从基座的原始行为平滑出发。如果两个都随机初始化，第一步就把模型打乱了。A 用高斯初始化是为了让梯度能流起来（两个都是 0 就永远学不动）。
2. α/r 是缩放系数，不是"学习强度"。它的作用是让你改变 r 时，适配器输出的量级保持可比。所以做 rank 消融实验时必须固定 α/r，否则你分不清变化来自容量还是来自缩放。
3. 推理时可以合并：W = W₀ + (α/r)BA 算完就是一个普通权重矩阵，推理零额外延迟。这是 LoRA 相对 Adapter、Prefix-Tuning 的决定性优势——那些方法在推理时会多出实打实的计算层或占掉一段上下文。

工程上真正让它赢的那一点： 不合并也有价值。一个基座常驻显存，挂 N 个 LoRA 适配器按请求热切换，就能用一份基座显存服务多个业务线的定制需求。"可合并换零延迟，不合并换多租户"，这两条是 LoRA 在服务侧站住的根本原因，比"参数少"更重要。

一个我会主动补的现实提醒： LoRA 的效果高度依赖配置。最常见的翻车是抄旧教程的 target_modules=["q_proj","v_proj"]——那是 2021 年论文的配置。截至 2026-08 的共识是必须 all-linear，尤其覆盖 MLP 层：一个 r=256 的 attention-only LoRA，打不过 r=128 的 MLP LoRA，参数量还差不多。 很多"LoRA 效果不行"的结论是这么来的。