怎么考「多模态 RAG（图表、PDF 截图检索）是怎么做的？」

给图片生成 caption 再走文本 RAG，这个方案不行吗？

期望

能用但有损——caption 是模型对图的一次性概括，它不知道用户将来会问什么，所以细节必然丢失（一张有 20 个数据点的折线图，caption 只会说「展示了某指标的年度变化趋势」，问具体某年数值就答不了）。和 embedding 的信息瓶颈是同一类问题：压缩时不知道未来的 query。

信号

能类比到「双塔的信息瓶颈」的，知识是打通的。

多模态检索命中之后，引用溯源怎么做？

期望

比文本难——可以给出页码 + 高亮命中的 patch 区域（ColPali 这类方案能定位到 patch），或者保留一份文本旁路索引用于生成引用文本。要坦承这是当前方案的短板，toB 场景里引用溯源是硬需求，可能需要文本和图像双路并存。

信号

能主动说出短板并给折中方案的，是真正评估过落地。

怎么决定哪些页走多模态、哪些走文本？

期望

先做页面分类——用轻量规则（文本层字符数占比、图像面积占比）或小模型判断该页是文本主导还是图表主导；文本主导走普通链路，图表主导走多模态。这个分类器本身很便宜，能把多模态成本压到只服务真正需要的那部分页面。

信号

能想到「先分类再分流」的，有成本治理意识。

表格到底该走哪条路？

期望

分情况——结构规整的表优先转 Markdown 走文本路线（便于精确取数、便于引用）；跨页、合并单元格、嵌套表头这类结构混乱的表，转文本容易全乱，走多模态更稳。还可以两路都做：文本路用于精确查值，图像路用于结构理解。

信号

能区分「规整表」和「复杂表」的，处理过真实文档。

客户的图纸是扫描的老蓝图，模型也认不准，怎么办？

期望

坦诚技术边界——先评估 VLM 在样本上的实际识别率（拿 20 张真实图纸测，不要凭想象）；识别率不达标时的务实路径：① 让系统只做「定位到哪张图纸」而不承诺读出图上的数值，把最后一步交给人；② 关键参数走人工录入建结构化索引，图纸只作为附件展示；③ 明确告知客户当前能力边界。在识别不可靠的场景硬做端到端问答，是要出事故的。

信号

坚持「多模态模型能解决」而不谈实测和降级的，缺乏风险意识；能提出「降级为定位而非读数」的，是很成熟的产品判断。