← 返回文章列表

知识库答不准先别换模型:五个能测出来的语料问题

摘要:知识库答不准,第一反应往往是换模型、调 prompt、加 rerank。这篇讲另一条路:把文档拿出来数一遍。五个问题都能测量——切块数、页眉残留、重复段落、表格散架、扫描件空转;每个给判断方法和数值门槛。223 页影印手册 OCR 实测 1085 秒、低置信页 0;225 字文档洗前 1 块、补回结构后 8 块。

相关技能:知识库文档清洗 这五个检查和一个清洗流程已经做成技能包,装进 AI 助手就能跑,四个平台通用

两天时间,全花错了地方

同一个知识库,问「这个参数是多少」,它答出来的数在文档里根本找不到。

我做的第一件事是换模型。换完还是错。第二件事是调 prompt,加了一堆「不要编造」「只根据材料回答」。错误从编造变成了「文档中没有找到相关内容」——答不对,还答不了。

第三件事是加 rerank。检索候选从 5 条提到 20 条,效果好了点,但该答错的还是答错。

两天过去,我一直在模型这一侧折腾。

后来有人问我一句:你的文档,进去之后切成几块?

我没答上来。我一直以为这件事是自动的,切得好不好不是我能控制的。

这就是我想说的第一句话:答不准先别急着换模型。模型是最容易换的东西,也是最后一个该换的东西。

把文档拿出来数一遍

我写了几行代码,把要入库的 md 按空行切一遍,数了数。

225 个字的文档,切成 1 块。

整个文档一块。入库之后,它要么被当成一个分段(检索时命中就是全文,噪声极大),要么被 token 上限硬切(标题和它的正文被拆到两段里,检索到正文不知道它属于哪一节)。

我又看了几份更长的文档,问题更多:每一页的页眉都留在正文里,「XX 公司内部资料 第 3 页」这种行混在段落之间;同一段话出现两遍,因为文档重传过一次;表格被转成了一堆竖线。

这些都不是模型能解决的问题。检索的时候,模型看到的就是这些脏东西。

五个能测出来的问题

下面五个是我自己遇到的,每个都能测,都有判断门槛。

一、整篇只剩一块

import re

text = open("文档.md", encoding="utf-8").read()

blocks = [b for b in re.split(r"\n\s*\n", text) if b.strip()]

print("块数:", len(blocks), "最大块长度:", max(len(b) for b in blocks))

正常文档应该切成多块。整篇只剩 1 块,说明原文的空行全丢了——很多 PDF 转换工具会把所有换行压成一段。

那个 225 字的文档,补回结构之后切成 8 块,最大 77 字符。同样是这些字,检索起来的粒度完全不同。

**判断门槛:块数 ≥ 3,单块不超过目标库的分段上限。**单一结构单元(代码块、表格、长段)超过库的 max_tokens 会被硬切,切点落在代码围栏上会产生碎段,命中率直接掉。

二、页眉页脚混在正文里

每页重复的那一行,转换时会被当成正文段落保留下来。

判断很简单:找出重复出现的短行。

from collections import Counter

lines = [l.strip() for l in open("文档.md", encoding="utf-8") if l.strip()]

rep = [(c, l) for l, c in Counter(lines).items() if c >= 5 and len(l) < 40]

for c, l in sorted(rep, reverse=True)[:10]:

    print(c, "次:", l)

同一行出现五次以上、长度四十以内,基本就是页眉页脚或水印。

占空间不是主要问题。麻烦在语义污染:检索命中一段正文,上下文里夹着「第 12 页 内部资料」,模型回答时会把这句也当成信息。

三、同一段话出现两遍

文档更新过、重传过、或者从两个来源合并过,同一个段落就会重复。

重复段落浪费上下文,同时让相似度分数虚高。同一段内容出现两次,检索时它更容易排到前面,挤掉真正有用的那段。

判断用段落指纹:把每个段落规范化(去空白、去标点)后算哈希,看重复率。

import hashlib, re

def fp(s):

    return hashlib.md5(re.sub(r"[\s\W]+", "", s).encode()).hexdigest()

blocks = [b for b in re.split(r"\n\s*\n", open("文档.md", encoding="utf-8").read()) if len(b.strip()) > 50]

seen, dup = set(), 0

for b in blocks:

    h = fp(b)

    if h in seen: dup += 1

    seen.add(h)

print(f"重复率: {dup / max(len(blocks), 1):.1%}")

四、表格散架

Markdown 表格有个硬要求:表头行必须紧跟分隔行,数据行之间不能有空行。

一旦中间插了空行,整个表会退化成普通文本——渲染出来是一堆竖线,检索时分段也按普通段落切,一行表格被当成一句话。

判断:

grep -n "^|" 文档.md | head -5

看着有竖线,但打开渲染出来不是表格,就是这个问题。

这个坑我踩过两次:一次是转换工具插的空行,一次是我自己批量处理时格式化的空行。两次都是「文件里看着没问题,渲染出来不对」。

五、扫描件静默转成空

这条最坑。

扫描版 PDF 没有文本层。转换工具不会报错,它只是返回一个空字符串。

我的第一次转换,「成功」了,输出文件 0 字节。我以为文档是空的,差点重新找源文件。

**转换后必须看输出大小。**空文件说明它没有文本可转。转换本身没失败,是源文件里没有可提取的文字。

扫描件要走 OCR:渲染 300 dpi → 逐页识别 → 按页序重建。223 页影印手册实测 1085 秒,中文占比 97.7%,低置信页 0。

低置信页要单独列出来给人看——OCR 一定有错字,适合检索,不适合逐字引用。

洗干净之后怎么确认没丢东西

清洗最大的风险是删多了。

我用的办法是逐段指纹比对:源文件每个段落算一个指纹,清洗后的文件也算一遍,看匹配率。

指纹匹配率 ≥ 80%    内容基本完整

低于 80%            有段落被误删,回头查规则

这个门槛不高,但能挡住「一删一大片」这种事故。

另一头是测清洗规则本身还灵不灵:往清洗后的文档里注入已知污染(页眉、重复段、乱码),看能不能清掉。清除率 ≥ 90% 且误伤 0 才算过。

为什么要有这一项:清洗规则是正则和启发式,改一次可能就失效一条。不测的话,你不知道自己是在用一套还能用的规则,还是在用一套已经残了的规则。

进门之前还有一道闸

清洗完给健康度评分,四项各 25 分:完整性、格式合规、重复率、脱敏覆盖。

80 分以上    可以直接进库

60-79       先看报告里的问题清单,能接受再进

60 以下     阻断,先修

评分的作用是在「进库」这个不可逆动作之前,给你一个能停下来的点。

清洗报告会写清楚:改了几处、健康分多少、哪几项要你自己看一眼。最后这项很重要——自动化的东西不该假装自己什么都知道。

它做不到什么

只改结构,不改语义。句子还是那些句子,只是排得更适合检索。

不管建库和向量化。输出的是干净 md,进哪个库、用什么 embedding,是另一件事。

不管从网页采集。

表格列边界识别不可靠,重要表格要人工核对,或者改走截图。

公式会丢。中文扫描件个别错字跑不掉。

双栏扫描件跨栏会合框,重要素材建议换源。

这套流程我做成了技能包

上面每一条都是手动跑命令跑出来的。散在六七个脚本里,每次清洗都要重新想起来该跑哪个、阈值是多少。

我把它收进了一个技能包:素材预检 → 转换(含 OCR)→ 清洗 → 按更新粒度拆文档 → 脱敏 → 质检 → 报告。一条链跑下来,中间的门槛我写死在流程里,不靠记性。

装进 AI 助手之后,你把文件给它,它会先体检素材——污染太重的直接建议换源,而不是硬洗一遍再告诉你不行。

知识库文档清洗 · 39.9

不买也能用上面五个检查。判断方法都写在文章里,命令也给了。

买的是那条链路、那些阈值,还有每次洗完不用再想一遍该核对什么。

常见问题

知识库答不准,怎么判断是模型问题还是语料问题?

先看检索结果。如果检索出来的片段本身就不含答案(或者含的是页眉、重复段这些噪声),那是语料问题,换模型没用。如果检索片段是对的、模型答错,才轮到 prompt 和模型。这个顺序搞反,会在模型上白花时间。

文档切块数多少算正常?

看两块能装多少字。正常文档应该切成多块,块数和字数大致成比例。整篇只剩一块是最典型的异常——说明原文里的空行全丢了,入库后要么整篇当一个分段,要么被 token 上限硬切,标题和正文会被拆散。

清洗会不会把有用的内容删掉?

有风险,所以要测。逐段指纹比对:源文件和清洗后的文件各自算段落哈希,匹配率应达到 80% 以上。低于这个数,说明有段落被误删,要回头查规则。另外健康度评分里的「完整性」这一项就是干这个的。


这篇有用吗

联系我

邮箱contact@fishsun.cn

点击邮箱直接写信 · 扫码加微信沟通

微信

微信二维码

扫码加微信 · 备注「门户」更快通过