Chunking 粒度与 overlap
切分粒度是 RAG 第一个要拧的参数:切大了检索不准、切小了上下文不全。递归字符切分是工程默认起点, overlap 用重叠窗口补跨块断句,但它同时放大索引体积与重复召回。chunk size 没有通用最优值,要拿评测集实测。
也叫:Chunking · 切分 · chunk size · overlap · 重叠窗口 · 递归切分
2. 递归字符切分(Recursive)—— 工程默认起点出自 T2-2
这是目前最常用的基础策略(LangChain 的 RecursiveCharacterTextSplitter 就是它)。思路是按优先级尝试分隔符:先用段落分隔符 \n\n 切,切完还超长就用 \n,再超长用句号,逐级递归,直到都落在目标大小内。
它兼顾了「尊重自然边界」和「控制长度」,是无脑起步的最优解。
以上节选自T2-2 文档解析与 Chunking:从固定切分到语义切割,读全文能看到前后语境。