Token、上下文窗口与自回归生成：三个约束的同一个源头

1. Token 是什么？为什么说上下文窗口是大模型应用的第一约束？
2. 模型是怎么生成下一个字的？自回归生成和 KV Cache 是什么关系？
3. 大模型为什么会幻觉？应用层能做的和做不到的分别是什么？

一个合同摘要服务，上线半年一直稳定。某周做了一次模型版本升级——同一家厂商、同一个系列的下一代模型，回归测试只跑了效果，没跑成本，也没跑长度分布。上线三天，冒出三个看起来毫不相干的症状：

• 账单涨了大约三成，调用量一点没变；
• 长合同开始零星报「超出上下文窗口」；
• 客户投诉：摘要里出现了合同原文里根本没有的违约金条款。

财务问题、稳定性问题、质量问题——三个部门各查各的，查了一周。真相是一条链：

这条链正好把本篇的三个主题串成一串。而且它不是虚构：截至 2026-08，Anthropic 在 Claude Sonnet 5 的迁移说明里明确写着，新分词器对同样文本大约多产生 30% 的 token。

Token（词元）。比喻：模型既不是逐字读，也不是逐词读，而是照着一本压缩字典的条目在读。unbelievable 可能是三个条目，一个生僻的中文人名可能被拆成两三个。定义：模型词表中的最小处理单位。

Tokenizer（分词器）。把文本切成 token 的那套字典与规则。这里有一个必须先立住的认知：token 数是「文本 × 分词器」的函数，不是文本的属性。同一段话，换个模型就是另一个数字。

Context window（上下文窗口）。一次推理里模型能同时看到的 token 总量上限，输入和输出共享这一个预算。比喻：它不是硬盘，是桌面——桌子大不代表你能同时看清桌上所有纸。

Autoregressive generation（自回归生成）。一次只产出一个 token，把它接到序列末尾，再算下一个，直到遇到停止条件。你看到的「打字机效果」不是前端动画，是生成机制本身。

KV Cache（键值缓存）。把已经算过的中间结果（每层每个位置的 Key 和 Value）存下来，避免每生成一个 token 就把整段前文重算一遍。

一次请求分成两个阶段，它们的瓶颈完全不同——这是本篇最有区分度的一段：

对照一下有无 KV Cache 的差别：

# 没有 KV Cache：每生成一个 token，整段前文重算一遍
tokens = prompt_tokens
for _ in range(max_new):
    logits = model(tokens)                     # n 每轮增长，注意力代价 O(n²)
    tokens.append(sample(logits[-1]))

# 有 KV Cache：前文的 K/V 存着，只算新 token 这一列
logits, cache = model(prompt_tokens, cache=None)   # prefill，这一次省不掉
for _ in range(max_new):
    nxt = sample(logits[-1])
    logits, cache = model([nxt], cache=cache)      # decode，每步 O(n)

注意 prefill 那一次是省不掉的——KV Cache 省的是重复计算，不是首次计算。这一点是后面追问的高频落点。

为什么说上下文窗口是「第一约束」——因为三层成本叠在同一个维度上：

1. 显存。KV Cache 的大小大致正比于 2（K 和 V）× 层数 × KV 头数 × 头维度 × 序列长度 × 精度字节，再乘以并发数。序列长度是线性项，并发是乘数，所以长上下文服务的真正天花板往往不是算力，是显存装不下多少并发。
2. 计费。多轮对话每一轮都要把全部历史重新发一遍（下一篇会讲清为什么），成本随轮次是累加，不是常数。
3. 有效性。窗口大 ≠ 用得上。官方口径是把上下文当成一份注意力预算：token 数上升时，模型从中准确召回信息的能力会下降，各家模型只是衰减快慢不同。这就是 context rot，T1-3 专门展开。

幻觉的根源，在这里就能讲清一半。 模型每一步在做的事，是在词表上给出下一个 token 的概率分布，然后从中采样。它的训练目标从来不是「说真话」，而是「像语料那样接下去」。当上下文里缺少答案时，「我不知道」并不是一个天然高概率的续写——除非后训练教过它、或者你的提示词与工具给了它这个出口。所以幻觉不是 bug，是这套目标函数在信息缺失时的默认行为。应用层能改的是分布的条件（给证据、给出口、给校验），改不了的是目标函数本身。

表 1：token 密度经验值（用于估算，不能替代实测）

避坑清单

1. 换模型必须重跑 token 计数基线。 分词器一变，账单、截断阈值、窗口占用三处同时移位。Sonnet 5 的新分词器同文本约多 30% token 就是活例子。
2. 上下文窗口是输入和输出的共享预算。 思考型模型的思考 token 计在输出侧，会挤占 max_tokens；把 max_tokens 设小，反而会把答案截断在半路。
3. prompt 缓存改的是计费，不是占用。 被缓存的前缀仍然占满上下文窗口——官方文档写得很直白。以为「缓存了就等于变相扩容」是纯误解。
4. 别把截断当兜底。 只会「砍尾巴」的截断，砍掉的往往正是最新、最关键的信息。要么按结构截（保留标题层级与关键段落），要么走压缩（T1-4）。
5. 估 KV Cache 显存别忘乘并发。 自建推理服务里，「能跑通」和「能扛住 50 并发」差一个数量级（T6-1、T6-3 展开）。

面试官怎么问。 一面热身几乎必问 Q1-01；有算法背景的二面面试官会顺着摸到 Q1-02 的 KV Cache 和两阶段瓶颈；幻觉（Q1-05）各轮都可能突然冒出来。

答题结构建议（三段）

1. 一句话定义 + 一句反直觉点（token 数不是文本的属性）；
2. 说清约束从哪来（显存 / 计费 / 注意力有效性，三层）；
3. 落到工程动作（我因此在项目里做了什么、被坑过什么）。

分水岭信号

• 只读过：把 token 说成「一个字」或「一个词」；把上下文窗口说成「模型的记忆」；张口就是「现在百万窗口了所以不用 RAG」；解释幻觉时说「模型还不够聪明」。
• 真做过：主动区分「窗口大小」和「有效窗口」；报得出自己业务的 token 密度经验值，并且说得出这个数是怎么测的；知道换模型要重跑 token 基线，还能说出被这件事坑过的具体表现；解释幻觉时会回到「下一个 token 的概率分布」这一层，并且能划清「应用层能改条件、改不了目标函数」的边界。

一句话收口：token 是计量单位，窗口是预算，自回归是消费方式，幻觉是这套机制在信息缺失时的默认输出。 四件事同源，所以面试里它们经常被串着问。

• 下一篇 T0-2：概率分布出来之后，怎么挑出那一个 token——以及为什么这层旋钮正在被厂商收回去。
• 关联题目：Q1-01、Q1-02、Q1-05
• 延伸：T1-3（上下文工程与 context rot）、T1-4（压缩与 prompt 缓存）、Q6-03（KV Cache 与长上下文显存）