AI 值守（四）：喂给 AI 的文档，先洗过再喂
📖 摘要：做 AI 知识库的人都知道：建库不难，洗数据难。一堆格式混乱的文档，清洗整理的功夫比建库还长。本文记录我们怎么把文档处理也做成 AI 值守：建一个投放文件夹，文档丢进去——自动提取内容（Word/纯文本）、自动清洗（空行、乱码字符）、自动转成标准格式、处理完发一份报告到企业微信。增量文件才处理、处理过的绝不重复。附真实处理报告与产物样例。
一、建库一周，洗数据五天
做过 AI 知识库的都有体会：真正花时间的不是把文档传上去，是文档根本没法直接传。
交付现场拿到的文档长这样：有的是 Word，有的纯文本；排版乱——空行满天飞、全角半角混用、复制粘贴带进来的控制字符；格式不统一——标题层级随缘、段落断得随心所欲。
这样的文档直接喂给 AI，检索质量就是碰运气。所以做知识库前必须洗一遍：提取正文、清噪音、统一结构。这个活能有多久？一二百页的文档库，人工清洗按天算——建库一周，洗数据五天，说的就是它。
二、文档处理也配一个值守：丢进去，就不用管了
我们把文档处理做成了 AI 值守的第三件事，工作方式和其他值守一样简单：
- 建一个专门的投放文件夹；
- 文档丢进去（Word、纯文本都行）；
- 值守助手自动处理：提取正文 → 清洗（空行、乱码、多余符号）→ 转成标准 Markdown 格式；
- 处理完，发一条报告到企业微信：几个文件、每个什么格式、提取了多少字多少段、产物叫什么名；
- 增量处理：处理过的文件记在案，下次扫到直接跳过——同一个文档丢十遍，只处理第一遍；
- 平时没有新文档，静默，不刷存在感。
翻译成人话：你把文档丢进去，该干嘛干嘛去，处理完了它喊你。
三、一份真实的处理报告
2026 年 9 月我们跑通这条流水线时，投了两个测试文档——一个 Word、一个纯文本，收到的处理报告是这样：
【文档处理报告 09-02 22:43】共 2 个文件
✓ test_doc.docx（.docx）64字/3段 → test_doc_docx_20260902_2243.md
✓ test_doc.txt（.txt）80字/4段 → test_doc_txt_20260902_2243.md报告带三样信息：处理了几个、每个处理得怎么样（格式/字数/段数）、产物在哪。处理产物是标准 Markdown——这个格式重要：它是知识库能直接用的语料格式，后续入库不需要再折腾。
Word 文档的正文提取是自动做的——不要求客户先把 Word 转成文本，丢原文件进来就行。产物内容可以直接读（下面是产物开头，来自那个测试 Word 的正文）：
# test_doc_docx
企业知识库建设方案
第一步：清洗存量文档，统一格式为 Markdown 语料。
第二步：分段入库，配置检索。四、三个设计，让文档值守靠得住
- 清洗规则明确：空行合并、控制字符清除、段落规整——规则固定可预期，不会今天洗成这样明天洗成那样；
- 增量去重：处理记录持久化，同一文件不会重复处理——你往文件夹里补投新文档，它只处理新的；
- 产物可追溯：处理报告 + 产物文件都在，处理得对不对、要不要人工抽检，都有据可查。
五、边界：自动化到什么程度，说清楚
- 覆盖格式：目前 Word、纯文本、Markdown 直接处理。带表格、图片、复杂排版的文档（说明书、图文手册类），正文能提取，但表格和图片需要专门的解析方案——这类文档的处理是另一档工程，不在「丢进去就完事」的范围内；
- 质量抽检：自动清洗不等于免检。正式入库前建议抽检几个产物——机器处理得再规整，业务语义还是要人扫一眼（这也是我们做文档处理时保留人工复核环节的原因）；
- 它是前置工序：文档处理的终点是「标准语料」，不是知识库本身——洗完的文档后续还要分段、入库、配检索，那是知识库建设的环节（我们另一套系列《知识库数据清洗实战》讲的就是清洗和入库的方法论，本篇讲的是「清洗这个动作本身怎么自动化」）。
六、小结
给 AI 喂文档，先洗过再喂——这句话的潜台词是：洗文档本身不该是人工的体力活。把文档丢进投放文件夹、处理完收一份报告——文档值守把这五天的人工，压缩成了丢文件的那三十秒。
下一篇是这个系列的收尾：网站值守、信息盯梢、文档处理三件事串起来——一个 AI 值守的完整形态。
常见问题
支持哪些文档格式？
目前直接支持 Word、纯文本、Markdown。带表格、图片、复杂排版的文档（说明书、图文手册类）正文可提取，表格和图片需要专门的解析方案——那属于另一档定制工程。
自动处理完的文档需要人工检查吗？
建议抽检。自动清洗处理的是格式和噪音（空行、乱码、结构），业务语义是否正确仍建议人工扫一眼——处理报告和产物都可追溯，抽检有据可查。
洗好的文档能直接建知识库吗？
可以。处理产物是标准 Markdown 语料，可直接作为知识库入库素材；入库后的分段、检索配置是知识库建设环节（相关方法论见本站《知识库数据清洗实战》系列）。
