← 返回文章列表

知识库有答案却答不准:先判出是哪种失败,再决定调什么

摘要:知识库明明有答案,AI 就是答不准。多数人的第一反应是调 top_k、开 rerank、加改写节点——方向不一定对。这篇把「答不准」拆成十种失败模式,每种给判定依据和「参数能不能救」,再讲三条实跑踩出来的硬约束:判型窗口必须放大到 20、必须看谁抢了位、判多跳前先排除两个假象。五个库、六组实验。

相关技能:知识库检索体检 这套判型、评分和参数对照已经做成技能包,装进 AI 助手就能跑,四个平台通用

从 3 调到 10,还是那几题错

一个产品手册库,四十多份文档。问「这个型号的额定电流是多少」,答得出来;问「装的时候要注意什么」,答得出来;问「A 和 B 两个型号有什么区别」,答一半,或者干脆答成其中一个的说明。

我先调的是 top_k。从 3 调到 5,再到 8,最后 10。命中的段落变多了,但那几道题的答案还是不对。

然后开 rerank。好了两道。

再加改写节点,把一个问题拆成几个子问题去检索。又多好一道,但引进了新的错——有些本来答对的题,因为改写偏离原意,反而答错了。

来回折腾两天。

后来我把每一道错题单独拉出来,看它到底是怎么错的:目标段在不在召回结果里?在的话排第几?如果不在,是谁占了位置?

看完才发现,这些题的错法根本不是一回事——有的是排序问题,调参能救;有的是分段问题,调参救不了,越调越偏。

这就是我想说的第一句话:调了三次参数还是那几题错,说明问题不在参数上。

十种失败模式

把错题按机制分类,一共十种。这是实跑五个库、六组实验之后收敛出来的:

R0 正常      目标段就在前 3 位

R1 完全没召回   大窗口 20 条里也没有

R2 召回错段    目标段没进前 3,但同一份文档的其他段进了

R3 排太后     在大窗口里,但排在第 4 位以后

R4 被截断     片段缺了后半句,或者表格被切开

R5 综合时被挤掉  都召回了,但答案没进最终送给模型的上下文

R6 真多跳     排除掉 R2 和窗口截断之后,第二个目标段还是召不回

R7 总览型被挤掉  问「都有哪些」,召回的全是单项细节

R8 术语不匹配   用户说的词和文档里的词不是同一个

R9 精确编号类   问的是一长串型号/OID,语义检索根本拿不准

关键在「参数能不能救」这一列,十个名字记不住没关系:

能救  R1 部分(调阈值/换 embedding)、R3(top_k/rerank)、R5(降 top_k)

不能救 R2、R4、R6、R7、R8、R9

也就是说,十种里有六种,你调多少遍参数都没用。它们的问题在语料、分段、术语或者数据结构上。

这条边界就是判断的价值:参数能解决的事自己调就行,参数解决不了的事才需要诊断告诉你「这不是调参的事」。

三条硬约束,都是踩出来的

一、判型的窗口必须放大到 20

我最早用当前配置的 top_k(2)去判型。20 道题里判出 6 道「召不回」,于是开药方:换 embedding、加数据。

后来把窗口放宽到 20 条,那 6 道题的目标段全在里面,只是排在第 3 到第 9 位。

问题的性质完全变了:这属于 R3(排太后,调 top_k 或者 rerank 就能救),我原来的判断是 R1(根本没召回,要动底层)。

按 R1 治,动的是 embedding 和数据,代价大、周期长,而且无效。

所以判型必须用一个放大过的窗口,不能用当前的 top_k——你现在的 top_k 是多少,就有多少排位看不见。

二、必须看「谁抢了位」

目标段没进前 3,要看第 1 到第 3 位是谁。

如果排前面的段来自同一份文档的相邻位置,这是 R2——分段的问题。典型的是文档开头那段「本章介绍……」的概述,它和用户的问题表面上最像(什么词都有),把真正的答案段挤了下去。

如果排前面的是别的不相关文档,那才是 R3——排序的问题。

这两类的处置完全相反:

R3 调参数(top_k、rerank)

R2 改语料/分段(调参数没用,还会把错的东西更多地召回来)

判错的代价是白干两天——我干过。

三、判多跳之前,先排掉两个假象

很多「看起来要多跳」的问题,其实不是多跳。

第 1 步 目标段所在文档的第 1 段(概述段)是不是在前列?

     是 → R2,改分段,不用加节点

第 2 步 大窗口里有没有目标段,只是被 token 上限截断了?

     是 → R4,改分段参数

两步都排除之后,还召不回第二个目标段 → 才是真的 R6

这个顺序不能省。省了就会给一个分段有问题的库加改写节点——节点加了,问题还在,而且多了一个要维护的东西。

最反直觉的一条

多跳类问题答不全,第一反应是「需要查询改写,把一个问题拆成两个」。

实测下来,多数不是。

真实机制是:每篇文档开头那段概述,把正文挤走了。

用户问「A 和 B 有什么区别」,概述段里恰好同时出现了 A 和 B 两个词,语义上和问题高度相似,排在第 1 位;真正讲区别的那段排在第 4、第 5 位,进不了最终上下文。

你增加了改写节点,拆成「A 是什么」「B 是什么」,两个子问题召回的仍然是各自的概述段。

这种题该动的是概述段——拆出去、合并、或者从检索范围里排除。加节点没有用。

top_k 到底该设多少

不是拍 6,也不是拍 8。

算法是这样:

候选集合 = 判型里「参数能救」的题(R0 已命中 / R3 排太后)

推荐值   = max(3, 这些题里最差的排位)

关键是只拿能救的题算。

我踩过的坑:一开始按全部题算最差排位,得到 18——有一道题目标段排第 18 位。但那道题是 R2(概述段抢位),调多少 top_k 都救不了。按 18 设,对一个 47 段的库等于把 38% 的内容全塞进候选池,纯引入噪声。

剔除不可救的题之后,最差排位是 13。这才是有意义的值。

还有一个现象:过了临界点,命中率不再涨,MRR 反而降。候选池太大,重排时把噪声也排进来了,正确答案的平均排名被拉低。

所以 top_k 够用就行:刚好覆盖「能救的题的最差排位」。再大只是把噪声也塞进候选池。

改参数的顺序不能反

四组参数,有先后:

D 重排序  先固定排序能力,否则调 top_k 是瞎调

C 分段/语料 改完要重新索引,最贵,早做完早省事

A 召回条数 跟着 D 和 C 的结果定

B 阈值   最后卡,卡早了会误伤调整后的召回

为什么顺序重要:每一样单独调到位,合起来不一定对。换了 rerank,top_k 该设多少就变了;改了分段,阈值该卡的分数分布也变了。前面动了,后面得重试。

在沙盒里试这些东西几乎零成本——不动线上配置,不重新索引。真上线才动,改坏一次要重新索引整个库。

它做不到什么

只诊断检索层,不负责修。报告会告诉你哪几题是 R2、该改分段,但分段怎么改是你的事。

只支持 Dify。

库小于 20 段测不了——样本太少,判不出模式,硬判就是猜。

纯英文库没验证过。中文和英文的分词、语义分布差别不小,那套阈值直接搬过去不一定成立。

诊断全程只读,不改你的库配置。

三篇连起来是一件事

装得上、洗得净、查得准,是三个不同的判断层:

装不上    看六个数(内存、镜像源、端口、137、307、WSL)

洗没洗干净  看五个信号(块数、页眉、重复、表格、空输出)

答不准    判十种失败模式,再决定调参数还是改语料

前两层是准备,这一层才决定用户最后拿到什么答案。三层都做完,一个知识库才算真的交付完。

常见问题

调了 top_k 还是答不准,可能是什么原因?

先看目标段在不在召回结果里。不在 → 是召回问题(R1 或语料问题);在但排第 4 位以后 → 调 top_k 或 rerank 有用;在但被同一文档的概述段挤到后面 → 这是分段问题,调参无效。这三种的处理方式完全不同,判错方向就会白调。

判型为什么要用 20 条的窗口,不能直接用当前的 top_k?

因为你当前的 top_k 是多少,就有多少排位是你看不见的。实测中把窗口从 2 放大到 20,原来判为「完全召不回」的 6 道题里有全部目标段都在窗口内,只是排在 3 到 9 位——问题的性质从「要换 embedding」变成「调一下 top_k 就行」。

top_k 设多少合适?

按「参数能救的题里最差的排位」定,下限 3。不要把所有题都算进去——抢位、术语、编号这几类题调 top_k 救不了,算进去会把推荐值推到很大,候选池充满噪声,MRR 反而下降。


这篇有用吗

联系我

邮箱contact@fishsun.cn

点击邮箱直接写信 · 扫码加微信沟通

微信

微信二维码

扫码加微信 · 备注「门户」更快通过