← 返回文章列表

成熟的方法不能直接交过来——方法复用得了的一半,和必须现场做的一半

摘要:「方法成熟直接搬、想清楚就能做对、用例造完就等于验完」——三句签约桌上的默认话,被两组数据先后推翻:标准交付得了,现场适配必须现场做。这一半那一半的分界,就是 AI 项目签约前必须看清的东西。

📖 摘要:近两年不少企业都在做同一件事:把产品手册装进知识库,接上大模型,做个能回答企业自己产品问题的应用——这项工作多半外包,承接团队都宣传自己「方法成熟」。签约桌上那句「你们能不能做完直接交给我们」——这句问话的前提是三句常听到的话:能在交付方环境里做完;方案想清楚就能做对;其他企业做成了,搬进自己项目照用就行、不用适配。两组实测数据给出的答案是:验收标准、脚本、三类问题口径复用得了;你的资料怎么洗、环境的坑怎么填、用户的问法怎么适配——这类现场适配没法提前做完,只能在你们自己的现场环境里一步步调试出来。

一、签约现场与三个常见说法

近两年不少企业都在做同一件事:把产品手册、常见问题清单装进知识库,接上大模型,做一个能回答产品问题的应用,为的是客服少翻手册、工程师少回重复邮件。这项工作企业大多要找人干,承接团队普遍拿「方法成熟」当卖点。签约桌上,企业方几乎必问一句:

「你们方法这么成熟,能不能做完直接交给我们?」

问话的是企业的采购负责人。这话问得合理——没人想当试验田。但顺着这句「合理」往下走的项目,多半出事。因为这句问话预设了三句默认成立的说法:

其一,「做完」可以在交付方环境里做完——客户的真实资料、真实问法、真实机器环境,一件都不在交付方环境里; 其二,方案写清楚了就能做对——这条在确定性软件里管用了几十年 其三,其他企业用这套方法成了,搬进自己项目里照用就行、不用适配——行业上这叫最佳实践。

三句话为什么能一起说出口?因为它们指向同一件事:动手之前就能把答案全想出来——先想清楚,再交货。下面拿两组实测数据,一句一句对账:一组来自我们自己的演练,一组来自客户的真系统。

二、「做完」没法在交付方自己的环境里完成

一组数据来自自有环境:2026 年 8、9 月间,我们在自有 Dify 测试实例上,从需求收集到巡检维护的九个环节交付链完整走了一遍;材料自己造(22 段智能手表手册加 43 段常见问题),答案先知,数字对不上就只可能出在方法上。另一组来自客户环境:2026 年 9 月,一家网络设备厂商把生产环境的运行权限向我们开放,请我们对运行中的系统做一次运行态验收——只读不改:读日志、读库、读配置,不动他们一行东西;修不修、怎么修,报告给完就由客户定。

同一套动作,两份结果(全部实测):

演练的执行结果:14 个阶段 150.5 秒贯通,15 条测试用例 15/15 通过;自检发现空备份目录、一个组件重启 7 次;语料检测发现 51 段里 8 个纯标题段,把答案段挤出检索前五。 运行态验收的结果:系统自己的报表写着失败 0;实测 44 条真实问题,6 条被系统故障拒答(约 13.6%),健康分 41/100,故障手册库 1401 个分段里 341 个是代码碎块(约 24.3%),响应 P95 42 秒。

两组结果,一个现象:**演练里,这套检查在我们自己的系统里也挖出了三个问题——空备份、重启、标题段,都是当场发现当场修掉的;拿到客户环境,同一套检查挖出来的,是一个自报 0 失败、实际一直在答错问题的系统。**两组数据合起来说的是同一件事:问题从来不在「有没有」,在「有没有人去查」。那么,为什么同一套动作,两边查出来的东西差这么远?把两边的条件摆开:

条件 自有演练 客户系统
数据 模拟的 22 段手册,结构清楚 客户真实在用的故障手册,源文档带代码块格式,建库时切成 341 个碎块
问法 我们出的是「XX 的过程是怎样的」这类原理性问题;客户用户的日常问法,我们没想到 真实问法说了算
节点输出稳定性 受控实例(服务跑着、缓存全热,无冷启动开销),一次跑通 同一个意图分类节点,历史基线漂移约 8%,运行态验收 44 条实测 13.6%
故障往哪儿去 出问题当场看见(空备份、重启 7 次都是自检当场发现的) 故障经兜底话术显示为「您的问题似乎不在故障诊断或配置查询范围内」,报表上留的是 0 失败
谁承受后果 我们自己 一线用户以为「系统一切正常」,退回人工翻手册——没人报修,问题没进任何人的台账

「节点输出稳定性」那一行,我自己上当过一次。演练时看历史基线漂移约 8%,我按「这个数是节点的固有属性」记进了对照表——到哪儿都一样。进了客户环境,同一个节点跑到 13.6%。数对不上时,第一反应是翻自己的方法:哪一步做错了?逐层查下去才明白:方法没动,数也没动,动的是我的归档——8% 是在演练条件下测的,我却把它登进了「到哪儿都一样」那一栏。这个误判,正是第二句「方案写清楚了就能做对」的现场重演。

这些条件里,只有「数据」这条是建方法的人提前控制住的。「在交付方自己的环境里做完」的全部含义,就是这一行:方法在我们的条件下走通了。「15/15 通过」的完整说法是——我们的用例、我们的材料、我们的实例上,15 条通过。把它读成「到哪儿都通过」,第一句就是这么站不住的。

三、想清楚,不等于做对

第二句为什么顽固?因为它有成功史。文档驱动三步——写方案、闷头开发、交付验收——在确定性系统上真管用了几十年:规则是明的,行为是定的,清单想对了就能做对。信这句话的人不是盲信——这方法真有几十年的成功史。

AI 应用把对象换了,步子没换。三个断裂露出来:

  1. **想不全。**真实数据形态、边界行为、人会怎么问,文档推演不出来,跑起来才看得见。
  2. **做的时候错误固化。**带着没验证的假设去开发,做得越久,错误锁得越死。
  3. **验的时候没有标准。**验什么、多少算好,到交付那天才商量。

有没有实测到的例子?有,就在上面那张表的第三行:同一个意图分类节点,历史基线漂 8%,客户环境实测 13.6%——你以为判断已经钉在文档上了,真实流量把它改宽了。「资料里有没有答案」的判断,写在我们自己写的模拟手册上永远成立,拿到 1401 段的库里,就现出 341 个碎块。想在前头那部分里省掉的验证,不会因为省掉就消失——交付那天,问题一次性全露出来。

四、最佳实践的构成:标准可复用,适配必须现场做

第三句有个行业自己下过的结论。Brooks,1986 年,《没有银弹》:没有任何一项技术或管理上的改进,能让软件的生产率和质量在十年内提高一个数量级——难点在软件的根本属性里,不在工具上。「把经过验证的方法原样照搬」,正是这种银弹式的说法。

一个成功的团队,成功由什么组成?拆开是两类东西:一类是验收标准——什么算过、停在哪、留什么,写在流程里、装进文档里,随项目交付;另一类是现场适配——客户的资料怎么洗、环境的坑怎么填、用户的问法怎么适配。适配是工作,不是交付物:资料怎么洗、环境怎么查、真实问法一来判断怎么改,都要在现场调试出来。这就是「第二轮」要做的事:第一轮把方法走通,第二轮拿客户自己的资料、自己的问法再跑一遍,把判断一点点积累下来。第一类东西原样打包出售,就是行业现成的说法「最佳实践」——卖出去的永远是第一类,定成败的是第二类。同样的区分在运维行话里也有:runbook 交付得了,排障判断只能在现场练出来——半夜告警响第一声先看哪个面板,只在他们自己的机房里才积累得出来。

三句话有一个共同的答案:**一套方法里,验收标准复用得了,适配那一段必须在现场做。**运行态验收那组数据是最直接的证据:流程工具带进场,一样不缺;可「库里躺着 341 个碎块」这条,只有进了他们的环境才验得出来、量得出来。

五、三个合同动作:每条对着一句被推翻的说法

三句话都被推翻了,剩下的是动作。三件事,每件对着被推翻的那句:

  1. 开工前对齐「什么算成功」。「识别准确率≥90%」可验证,「效果好一点」无法验证;拿不出可验证的标准就不开工。这一条对着第二句——想一次想清楚再动手的冲动,在门禁这一步就拦下。反例就在第二节:41 分那个系统,问题一直都在,只是从没被「什么算好」这个标准量过——标准一立起来,问题当场全部暴露。
  2. **一小块一小块做,每块跑通确认。**每轮真实产出摆进客户现场,确认了才继续。这一条对着第一句——「做完」这个词拆细了是每一小块都要在客户现场完成,做不成的偏差当场见。空备份目录在第一道门禁就被发现;留到最后一天验,带着不可恢复的库就出门了。
  3. **交付前拿真实问题逐条过。**库内题、库外题、越界题,逐条执行、逐条判定、留痕全给。这一条对着第三句——我们编写的用例永远测不到你们问法里的毛病,13.6% 只有真环境真问题才出得来。

三个动作各自的怎么做:

  1. 对齐成功标准,签约前完成,参与的是客户业务侧负责人和交付侧负责人;产出是一页成功标准件,每条写两样——怎么测、数据从哪来;通过标准是每条都能写成测试用例,写不进用例的标准不签。
  2. 逐块交付,每块以客户自己的资料现场演示,下一块开不开当场定;产出是每轮确认记录——本轮交了什么、客户确认了什么、剩了什么;通过标准是上一块未确认,下一块不开工。
  3. 真实问题逐条过,交付前由客户整理三十到五十条日常问法,判定规则事先双方约定;产出是逐条留痕件——问题、原始输出、判定结果、时间;通过标准是客户逐条对得上留痕。

复用不了的那部分,没有预案,只能实测。

六、验证:复验办法与证据等级

三个说法,都被这两组数据推翻,数字全部可复核:演练部分在自有实例上可复算——同一套工具复跑,过程可复现、数字与留痕件逐项核对。概率系统不承诺两次跑分毫不差,承诺的是每个数都能查到出处;运行态验收部分在他们的服务器上测出来——41 分、6/44、341/1401,逐项可核对。

证据等级如实标注:两组数据=一次演练加一次运行态验收,支撑「三句话不成立、方法分两种东西」这组判断;不支撑「任何项目任何规模都按这个结构走」——那是把银弹换个说法再请回来。

七、演进:三个说法在三种新场合重新出现

这些说法被拆过一回,不等于就此绝迹——它们会换个样子再出现:材料差一个数量级的单子来了,有人说「小的都成了,搬就行」;客户中途改边界,有人说「验收标准都写好了,照搬着改」;碰上扫描件脏资料,有人说「清洗那套照搬」。下一轮要做的事只有一件:找一份体量难一个量级的真实资料,把两组数据重跑一次——看条件对照表里,「现场适配」这次自己落到哪一条去。

上面是问题的演进。方案自己的演进守一条规矩:三个合同动作只认一个修改信号——下一次现场失效记录。哪个动作在哪个场合没拦住、复盘后要改哪一条,就写回这份清单。本方案的基线是文中这两单;出现第三单,复验。

八、本结论的边界

  1. 不承诺「永远准确」。8% 到 13.6% 的漂移摆着:样本小、不外推;但「概率系统的标准随环境变」这条,不外推也成立。
  2. 「什么算成功」说不清的,不动手。这道门禁是方法的一部分,不是谦辞。

收尾回答这个问题:成熟的方法能直接交过来吗?验收标准和脚本,交付得了;现场适配那一段,没法提前做完交给你——得在你的环境里跑完第二轮,才沉淀出你自己的经验。跳过第二轮,您拿到的是我的方法;走完,沉淀下来的经验才是您的。

读完这篇,明天能做的分工:

如果您是买家,签约前向对方要三样东西,写进合同——①开工前和您一起把「什么算成功」落成白纸黑字,签认;②一小块一小块交,每块拿您的真实问题跑通、留痕,确认了才走下一块;③交付时当着您的面逐条过真实问题,不是对方向您出示自测报告。三样都肯写的团队,方法的旗号未必最响,但第二轮有人陪您走。

如果您是交付方,对着自己查一项:交付文档里装走的是验收标准;交接之后留一个回访窗口——客户第二轮里沉淀的经验(他们的资料哪里脏、用户怎么问),要有人接得住。接不住,方法在您手里就开始过期。

本文基于真实演练与受托运行态验收的实测留痕撰写,案例已脱敏;「没有银弹」引用止于公认记录。AI 参与创作声明:本文由 AI 辅助写作。

常见问题

签约前怎么判断交付方的方法是真是假?

问三样:有没有验收标准清单(每条带测量方法和数据来源)、有没有上一单的现场留痕(每块交付的确认记录)、敢不敢当着你的面用你的真实问题逐条跑。三样都拿得出的,方法至少经过现场;只会讲方法论框架的,按演练条件看待他的演示。

「什么算成功」谈不拢怎么办?

谈不拢本身就是结果:拿不出可验证标准的单子不该开工。「识别准确率≥90%」这类表述能落成测试用例就算谈拢;「效果好一点」落不成任何用例,说明双方对完成的想象不一致,签了也是在赌。

小项目做成功了,大项目照搬做法行不行?

方法分两半才谈得上照搬:验收标准、检查脚本、分段规范这些有据可依的部分可以复用;现场适配那一半——环境故障怎么处理、你的用户怎么问——没进你的环境之前,谁做过的都不算数。判断依据不是项目大小,是环境差异:同构环境可复用度高,异构环境必须重走第二轮。


这篇有用吗

联系我

邮箱contact@fishsun.cn

点击邮箱直接写信 · 扫码加微信沟通

微信

微信二维码

扫码加微信 · 备注「门户」更快通过