怎么考「表格、代码、扫描件这类「脏文档」怎么处理进 RAG？」

表格转成 Markdown 之后，用户问「A 型号的功率是多少」能检索到吗？

期望

直接匹配往往不行——表格里的内容是密集的数字和短标签，和自然语言问句在向量空间距离远。所以要靠上面说的「摘要向量 + 原表内容」双表示，或者把关键行展开成自然语言句子（「A 型号的额定功率为 500W」）额外建索引。

信号

坚持说「转成 Markdown 就能检索到」的，没实际测过表格问答。

扫描件 OCR 出来有错字，怎么降低影响？

期望

BM25 侧受影响最大（错字直接匹配不上），所以要提高向量检索权重；OCR 后可用 LLM 做一遍纠错；关键字段（型号、金额）人工抽检；在答案里标注「本内容来自 OCR 识别，可能存在误差」。

信号

能想到「OCR 错字对 BM25 的伤害大于对向量」的，理解很到位。

一个段落跨页了，页眉页脚夹在中间，怎么处理？

期望

先做页眉页脚识别与剔除（位置规则或重复文本检测），再做跨页段落合并（依据段落是否以句号结尾、缩进、字号）；这类清洗规则最好可配置，因为不同客户的文档模板差异很大。

信号

能说出「用重复出现的文本识别页眉页脚」这种具体手段的，是实操过的。

解析这一环你怎么做质量验收？

期望

抽样人眼检查是最有效的；自动化侧可以做字符数/文件大小比例告警、空 chunk 检测、乱码率检测；建立「解析失败清单」单独人工处理，不要静默入库。

信号

答「解析完就入库」的，知识库大概率已经被污染。

客户扔来 5000 份格式各异的历史文档，工期两周，你怎么排优先级？

期望

先做文档分布统计（哪几类占了 80% 的量和访问频次），集中处理高频高价值的类型；小众格式先降级处理或标注为「暂不支持」；先跑通端到端链路再回头补解析质量；明确告知客户哪些类型当前覆盖、哪些不覆盖，而不是承诺全量高质量。

信号

想一次性把所有格式都做完美的，缺乏交付节奏感。