Embedding 与语义空间：为什么「相似」不等于「相关」

1. Embedding 是什么？为什么语义相近的两句话，向量距离就近？
2. 「哪些费用能报销」和「哪些费用不能报销」，向量距离远吗？
3. 换一个 embedding 模型的代价有多大？为什么它是检索优化里最后才动的一步？

一个企业内部知识库的检索服务，上线一周后收到三条投诉，运维一开始以为是三个不同的 bug：

• 用户问「哪些费用不能报销」，召回的第一条是《可以报销的费用清单》——答案正好相反；
• 用户问「A 型号和 B 型号有什么区别」，召回的全是 A 型号介绍和 B 型号介绍，没有一条讲对比；
• 用户问「2025 年的差旅标准」，召回了 2023 版的同名文档，内容高度相似，年份不对。

三个症状，一个根因：向量相似度衡量的是「话题接近」，不是「回答了你的问题」。

否定词在向量空间里几乎不改变方向（整句话谈的还是报销）；「区别」这种关系型意图，在只有单篇文档向量的空间里根本没有对应的点；年份这种精确 token，在稠密向量里被稀释成了几乎无差别的信号。

这三类失真不是模型没训好，是这套机制的设计边界。搞清边界，比记住哪个模型排名高有用得多。

Embedding（嵌入 / 向量表示）。把一段文本压成一个定长的实数向量，比如 1024 个数字。比喻：给每段话在一张巨大的地图上钉一个坐标，意思相近的话钉得近。

但比喻到这里必须补一句关键的：这张地图上「什么算近」，是训练时定义出来的，不是天然的。 这句话是本篇的主轴。

Semantic space（语义空间 / 向量空间）。所有这些坐标构成的高维空间。

Cosine similarity（余弦相似度）。只看两个向量的方向夹角，不看长度。这是检索里最常用的度量——因为文本长度不该影响「说的是不是一回事」。

Contrastive learning（对比学习）。训练 embedding 模型的主流方法：给一大堆（查询，相关文档）配对作为正样本，再配上不相关的作为负样本，用损失函数把正样本拉近、负样本推远。

稠密向量 vs 稀疏向量。稠密向量（本篇主角）每一维都是有值的实数，捕捉语义；稀疏向量（如 BM25 的词频表示）绝大多数维是 0，捕捉字面命中。二者互补，这是混合检索的地基（T2-5 展开）。

为什么语义相近的两句话向量就近？

这是本篇最容易答得含糊的一问。正确答案不是「因为模型理解了语义」，而是：

所以「近」的定义，等于训练数据里被标成正样本的那种关系。理解这一点，前面三个故障就全部自解了：训练数据里几乎没有「一句话和它的否定形式应该被推远」这样的样本，模型自然没学会区分；也几乎没有「查询是关系，答案要跨两篇文档」这样的样本，模型自然给不出。

import numpy as np

def cosine(a, b):
    a, b = np.asarray(a), np.asarray(b)
    return float(a @ b / (np.linalg.norm(a) * np.linalg.norm(b)))

# 归一化之后，余弦相似度等价于点积——
# 这就是为什么向量库通常要求你先归一化，然后用内积检索：更快，且等价。
def normalize(v):
    v = np.asarray(v)
    return v / np.linalg.norm(v)

三个必须记住的已知失真

1. 否定不敏感。「能报销」和「不能报销」余弦相似度极高，因为整段话的话题一致，否定只是一个低权重信号。
2. 精确匹配被稀释。年份、型号、金额、人名、错误码这类 token，在稠密向量里没有专属维度。这正是必须搭配 BM25 的根本原因，而不只是「工程上稳一点」。
3. 一段多义会被平均掉。如果一个 chunk 同时讲了三件事，它的向量落在三件事的「平均位置」，结果是对哪一件都不够像。这条把 Embedding 和分块策略直接绑在一起（T2-2）。

表 1：两种「相似」，别混用

主流 embedding 模型多为指令感知：query 侧和文档侧要加不同的前缀或指令模板。前缀用错、或者只给一侧加，掉点会很明显，而且这种掉点不会报错，只会悄悄拉低召回。这是新手最常踩、也最难自查的一个坑——务必对着模型卡确认。

表 2：几个容易答错的选择

避坑清单

1. 先确认前缀/指令用法，再谈调优。这一条能救回相当一部分「模型不行」的误判。
2. 归一化和度量方式在离线建库和在线检索两侧必须一致，包括重建索引时。
3. 别指望 embedding 处理否定和精确值，那是 BM25 和结构化过滤的活（T2-5）。
4. chunk 讲一件事。一段多义是向量检索最隐蔽的效果杀手。
5. 换模型前先证伪其他假设（覆盖率、分块、rerank、query 改写），因为它的迁移成本最高。

本篇只打地基：Embedding 是什么、边界在哪。具体怎么选型、看哪些评测指标、中英文场景差异，见 T2-3。

面试官怎么问。 Q1-06 是一面送分题；但凡是 RAG 相关岗位，一定会追到「为什么向量就近」和「否定怎么办」。答得出前者的人不多，答得出后者的人更少——后者是能不能进入 T2 章节深聊的门票。

答题结构建议

1. 一句定义（定长向量表示）；
2. 讲清「近」是训练出来的（对比学习，正负样本），不要说「模型理解了语义」；
3. 主动给出边界（否定、精确值、一段多义）；
4. 落到工程动作（所以我们配了 BM25 / 改了分块 / 上了 rerank）。

分水岭信号

• 只读过：说「embedding 就是把文字变成向量，模型理解了语义所以就近了」；认为维度越大越好；不知道 query 和文档要用不同前缀；相信「换个排名更高的模型就能解决召回问题」。
• 真做过：能说出「近的定义来自训练数据里的正样本关系」；一被问就主动提否定不敏感和精确值稀释这两个坑，并且给得出对应的工程解法；知道换 embedding 要全库重建，因此把它排在优化序列的最后；说得出自己项目里前缀用法踩过什么坑。

一句话收口：Embedding 给你的是「话题接近」，不是「回答了你的问题」；这两者之间的缺口，正是分块、混合检索、rerank、query 改写这一整条流水线存在的理由。

• 关联题目：Q1-06
• 延伸：T2-2（分块与语义切割）、T2-3（Embedding 选型与评估）、T2-5（混合检索：BM25 + 向量 + RRF）、T2-6（Rerank）