Context rot 与长上下文衰减

为什么会衰减？ 几条统计性质叠加，不是某个 bug：

1. 注意力权重是在全序列上归一化分配的。序列越长，单个位置能分到的权重越被稀释；
2. 干扰项竞争。长上下文里必然混进大量语义相近但无关的内容，它们和正确内容抢注意力——这也是为什么「多塞一点也没坏处」是错的：多塞的每一段都是潜在干扰项；
3. 长序列样本在训练分布里本来就稀疏，超长位置上的泛化天然更弱。

四种失败形态（比「记不住」精确得多，面试里很好用）

注意第四种：它把「上下文工程」和「提示词治理」连了起来——指令写得越多越严，冲突面越大。这正是官方为新一代模型删掉 80% 以上系统提示词、且编码评测无可测损失的直接背景。

四个基本操作（以及它们的代价排序）

写出去 (write)   把状态存到窗口之外的记忆 / 笔记里      代价：低，需要一套读写约定
挑进来 (select)  这一轮只放这一轮需要的                代价：低，需要检索或选择逻辑
压缩   (compress) 历史必然增长，到点做摘要式压缩        代价：中，额外调用 + 信息损耗 + 前缀重写
隔离   (isolate) 子代理各用各的窗口，互不污染          代价：高，引入交接损耗与编排复杂度

按代价从低到高上，不要跳级。 最常见的错误是一遇到上下文问题就上多 Agent 隔离——那是选择和压缩都做完之后才轮到的手段。