语义切分与结构感知切分
固定切分之外的三条路:结构感知切分按标题层级切、语义切分按 embedding 相似度断句、父子(小到大)切分用小块检索、大块喂模型。它们各解决固定切分的一种失败,代价是解析依赖、离线成本与实现复杂度。
也叫:语义切分 · semantic chunking · 结构感知切分 · 父子分块 · small-to-big
4. 语义切分(Semantic Chunking)出自 T2-2
先按句子切开,逐句计算 embedding,相邻句子相似度出现明显「断崖」的地方就是话题转换点,在那里下刀。
优点是边界最贴合语义;代价是要为每个句子算一次 embedding,索引成本明显上升。实践建议:先用递归切分做基线,只有当评测显示分块确实是瓶颈时再上语义切分——别一上来就用最贵的方案。
以上节选自T2-2 文档解析与 Chunking:从固定切分到语义切割,读全文能看到前后语境。