← 返回文章列表

AI 问答系统的烂尾不报警:运行态验收实测

摘要:系统自己的报表写着 0 失败,实测 44 条真实问题里 6 条被系统故障拒答、健康分 41/100——AI 问答系统的烂尾是无声的:系统还在跑,界面照样显示正常。这是一次运行态验收的实测记录,以及它挖出的四层退化根因。

📖 摘要:页面打开、演示通过、报表上失败是零——三个常见说法撑着一半的存量 AI 应用。一次受托运行态验收拿数据逐条检验这三句话:41 分、44 条真实问题里 6 条被系统故障拒答、知识库 24.3% 是碎块、响应 P95(95 百分位:100 个请求里 95 个比它快)42 秒、服务器没有任何备份。烂尾不靠崩溃报警——它是静默的。

一、进场时,三个常见说法都站得住

问:AI 问答系统的报表写着 0 失败,可我越用越觉得答案在变差——是系统在退步,还是我感觉错了?

答:这个问题,跑一遍运行态验收就有答案。答案比"感觉错了"四个字复杂——怎么测的、测出了什么,这一篇从头讲。

2026 年 9 月,一家网络设备厂商把一个在跑的 AI 问答应用的运行环境向我们开放,请我们做一次运行态验收——只读不改:读日志、读库、读配置,不动他们一行东西;修不修、怎么修,报告给完就由客户定。应用回答的是客户产品的故障排查问题:告警怎么处理、板卡型号有哪些、链路建立失败怎么查。委托缘由常见两类:用户投诉积起来了定位不到,或者预算评审要一页纸讲清楚。是哪一类不重要——重要的是进场时看到的场面:

页面打得开,问题能回答,演示流畅,运行统计里失败次数 0。业务方的评价是「还行,就是……用得少」。

如果只凭看见的东西,这个系统是健康的。而且三句话当时各有依据:「没故障就是健康」是接手看监控的运维负责人说的——他视野里确实没有红;「演示很好就是做好了」是预算评审时照例拿出来讲的——评审现场的演示,从来是挑好的演;「反馈还行就是还行」是客户项目经理被问起时的印象——他的依据是没有人投诉。三句话各有凭据,三句话都没被量过。

二、实测结果

运行态验收做完,结果如下(全部实测):

项 界面显示 实测
失败次数 0 44 条真实问题里 6 条被系统故障拒答(约 13.6%)
整体状况 能回答 健康分 41/100(功能/异常处理/性能/安全/可靠性五类加权的总分,不是通过率;报表分 A~D 四档,这是最低档)
知识库 都传上去了 1401 个分段里 341 个是代码碎块(约 24.3%)
响应 正常 P95 42 秒
数据 —— 服务器上没有任何数据库备份

七个问题被翻出来,其中五个——失败率、健康分、碎块率、响应分位、备份状态——没有任何界面会显示,因为没有人看过。

三句话中第一句最先被推翻:报表说健康,界面上没报一处故障,可是库烂着、拒答一直在发生、数据连一份备份都没有。「没人发现故障」和「没有故障」,从来是两回事。

这组数据的口径先交代:44 条真实问题是一次性实测,另外翻了近 20 小时的全量节点执行记录(462 次)——比例随样本量和时间窗波动,用途是定位问题,不是长期统计结论。案例已脱敏,但每个数字都是从他们的服务器里测出来、记下来的,不是「一般来说会怎样」。

三、现象定名:静默烂尾

**AI 项目最典型的烂尾形态,不是故障停机。**故障停机反而是明症——宕机、报错、页面打不开,问题看得见,有人来救。麻烦的是另一种:系统还在跑、还能演示、统计甚至很好看,但它已经答得不让人放心了。没有人拍桌子叫停,它还那样跑着、用着。

我们叫它静默烂尾。

它为什么能一直「看起来正常」?因为可见的一切信号——页面、演示、失败次数——看的都不是「产生没产生价值」。界面报的是「有没有出事」,不报「有没有用」。价值这个科目,从报表设计那天起就不在册。三句话各信一样东西:第一句信界面,界面不报价值;第二句信演示,演示只演准备好的;第三句信感觉,感觉没有反面。

下面七个征兆,是静默烂尾最常见的七种形态。对着扫一遍,数一数中了几条:

# 征兆 一句话自查
1 需求只有一句话 说得出「成功的样子」吗——具体到业务指标
2 没有人对最终效果负责 谁签字?他最近一次看系统数据是什么时候
3 数据是「传上去」的 最近一次检索质量验证是什么时候
4 验收只看「跑通」 验收单写的是「完成开发」,还是「达到什么标准算好」
5 系统在悄悄拒答 近 30 天「未找到 / 不在范围」多少次——分得清系统故障和业务判断吗
6 上线后没人管 上线以来做过几次效果评估
7 没有基线 说得清三个月前的关键指标吗

中三条以上:建议做一次正式运行态验收。中五条以上:先正式诊断再决定投入——不建议直接砍预算或换供应商。

七条互为因果,别七个征兆一起抓——征兆二是根因,它不动,其余六条按了也不动。

四、七个征兆与各自的证据

征兆一:需求只有一句话

先说一个听过太多遍的对话。

「我们想做一个 AI 客服。」 「解决什么问题?」 「就是客服答疑,自动回复。」 「怎么算做成功?做到什么程度算可以了?」 沉默。

追问一年前立项时怎么说的——答案一样。「做个 AI 客服,提升服务效率」。

这不是需求,这是口号。

为什么危险:软件项目把功能清单写清就能开工,验收对清单——功能在,就算完成。AI 项目的产出是「效果」,效果必须先被定义:回答哪些问题、答到什么程度算对、答错了怎么兜底、谁来判定。需求只有一句话,就没有可验证的成功标准,也就没有任何人能判断「做没做对」。项目的终点自动退化成一条:能演示就行。

我们查到的证据:接盘诊断的第一问总是「这个项目当初要解决什么问题?现在还存在吗?」——相当一部分答案是「提升效率」「做 AI 化」。归因里这叫「伪需求」:问题要么不存在,要么不该用 AI 解决,要么早就消失了。更常见的变体是「需求漂移」——做出来的是 A,业务要的是 B,中途方向变了,没人拉回来。

它是怎么形成的:立项那天,问深一层的成本最高——没有数据、没有用例,问了也问不出东西;写「提升效率」四个字成本最低,还能过评审。口号能推动立项,可验证的标准反而推不动。这个结构里,受益的是急着立项的一方,承担后果的是半年后坐在验收桌前的人——通常是两拨人。

自查信号:问团队「这个项目成功的样子是什么」,能一句话答出具体业务指标吗?「客服一次解决率从 40% 提到 70%」「值班工程师查手册的时间从 20 分钟降到 2 分钟」——答得出这种,过关;答出「更好用」「更智能」,中了。「反馈还行」那句之所以安全,源头在这:成功从没被定义过,「还行」也就没有反面。

征兆二:没有人对最终效果负责

典型画面:需求在群里改,产品说「客户要加个功能」,开发说「那我改一下」,效果好不好没人评。上线后出问题,问到谁谁都说「这块不是我负责」。

为什么危险:AI 项目是持续收敛的过程——第一版效果一定不完美,靠一轮轮「跑起来、看效果、调」逼近目标。这过程必须有一个对结果负责的人:他定义什么叫好,他决定要不要继续投,效果不达标时他能拍板改方向。没有这个人,每次讨论人人有票、没人拍板,方向就开始漂。更隐蔽的代价:出了问题也找不到人复盘——因为它「没有故障」。

我们查到的证据:失败归因里这一条叫「无人拍板」,是烂尾的头号组织原因。接盘决策矩阵把它列为独立的判定项——系统建得再好、技术问题再明确,只要「没有能拍板继续投钱的人」,结论就是不接。原因很简单:修好之后它还会再烂一次。

它是怎么形成的:这个毛病在组织里扎得深。对效果负责这件事太危险——概率系统的好坏说不清、争不完,谁认领这个责任,谁就担下了说不清的争议。于是责任落回职能岗:服务器归 IT,需求归业务,「答得对不对」谁都不领。每个部门都安全了,只剩系统没人管。要解决它,得让「效果」有可验证的标准——回到征兆一,两个征兆同源。

自查信号:谁最终对系统效果负责?追一句:他最近一次看系统数据是什么时候?回答「IT 部门在管」,再追一层:管到什么程度?关键不在哪个部门,在「效果」有没有落到一个具体的人头上。三句话能一直安全地说下去,根本原因就在这——没有人需要为说错负责。

征兆三:数据是「传上去」的,不是「喂对」的

「知识库是怎么建的?」 「把手册、文档都传上去了。」 「传完之后呢?」 「就……能用了吧。」

为什么危险:知识库问答类应用(RAG——让模型先查资料、再基于资料回答)的答案质量上限由语料决定。检索命中什么,模型就基于什么回答。语料脏、碎、过时——命中碎块答半截,命中过时内容给错答案。而这些表现,全会被归因到「模型不行」上——于是工作开始了:换模型、加参数,钱花了,问题还在。

我们查到的证据:那次运行态验收最典型的发现——故障手册库 1401 个分段中,341 个是代码块被切碎的碎块,占 24.3%。问题出在源文档的代码块格式,切分时被拆散;命中半截代码,答案自然残缺。更值得注意的是:这个库此前重建过一次,碎块依然在——因为从头到尾没有人验证过分段质量。

它是怎么形成的:分段质量从来不出错。库建完那天,没有任何界面弹出「我有 341 个碎块」——它没报任何错。问题要到检索失败那天才露头,而那时所有人看到的归因是「模型答得差」。这一条里,沉默的受益方是建库进度(建库那半天不会报任何错,验证是另加的一轮工),模型承担后果——模型替语料背了责,也就没人回头查语料。链条上人人无责,问题照旧一个月拖一个月。

自查信号:算过分段质量吗(碎块占比、异常分段比例)?拿真实问题回归测过吗(该召回的召回了没有、答对了几条)?两个都答不上,就是没验证过——知识库是项目里最贵也最脏的一环,从建成那天起没被检查过。「没故障就是健康」的第一个盲区:碎块不出错。

征兆四:验收只看「跑通」,不看「跑对」

这句话听过太多遍。它背后是一整条被省略的验收链。

为什么危险:演示验证的是「主流程能走通」,验收验证的是「边界和异常下还靠不靠谱」——两件事完全不是一回事。AI 应用是概率系统:同一个问题问两次,答案可能不一样;靠打开页面点几下,测不出问题。本文这个系统就是证据:演示时条条能答,44 条真实问题逐条跑下来,意图分类节点拒了 6 条(13.6%)——那 6 条在演示页面上看不见。

我们查到的证据:一次典型的交付事故——文件上传的边界条件一触即故障、异常输入的问题被自信地答成了错话、多轮对话里状态混在了一起。客户很困惑:「演示的时候不是好好的吗?」问题不在演示挑好了演——演示和验收本来就是两件事,多数项目只做了前者。

它是怎么形成的:看时间表就明白。演示绑着签约和付款节点,验收不绑——赶在演示日前赶的是「好看」,没人赶「可靠」。省略验收,交付方当期少一轮工作量,收益立刻兑现;风险要等真实用户撞上去才结算,而那时演示的功劳已经领完了。这是风险和收益错开了一个时间差。解决它,就是把验收变成打款前置——让风险和收益落在同一张时间表上。

自查信号:翻出验收单或合同附件:写的是「完成开发、功能可用」,还是「达到什么标准算好」、每条带可验证的标准?只有前者,等于没有验收。再问一句:验收用例谁写的?开发方自己写自己跑,那不叫验收,叫自测。「演示好就是好」——这种场面,就是这个征兆的起点。

征兆五:系统在悄悄拒答,而没人知道

为什么危险:它的表现跟「业务正常」一模一样。

场景还原:运行态验收的 44 条真实问题里,有一条是「设备温度过高告警怎么处理」。手册里明明有答案,系统回复的是:「您的问题似乎不在故障诊断或配置查询范围内。」

用户会怎么想?——「可能这个不在知识库里吧。」大多不再追问。

第一反应:覆盖不足。用户问得偏,库里大概率真没有——这是最省事的解释,按它开方子,单子都差点写下去了。

但「库里没有」和「库里有却答不出」是两类问题,修的是两个地方。我们查到的证据:这条的执行日志被逐层拉出来拆——先查问题改写节点的输出,正常;再查查询构造,正常;拆到意图分类节点的状态字段,停住了。整份运行态验收里最花功夫的一段,就是这么把「省事解释」打碎的:

层 检查内容 发现
1 前置改写 问题改写节点输出 正常
2 查询兜底 查询构造输出 正常
3 意图分类 分类节点状态 异常——模型输出的不是预期的结构化格式,解析直接失败
4 兜底分支 异常分支 正常触发——异常被路由到「其他问题引导」
5 用户感知 最终回答 「您的问题似乎不在故障诊断或配置查询范围内」

根因是三层叠加的:

  1. 直接根因:意图分类所用模型存在概率性输出漂移——历史基线约 8%,本次批量测下 6/44≈13.6%,两个口径不同、不直接可比,都指向这个节点在漂,配置了重试也没有消除;
  2. 最关键的缺陷:系统故障和「业务拒绝」共用同一句话——系统坏了,界面上照样显示「正常」。这台系统坏了,呈现给工程师的却是「您的问题似乎不在故障诊断或配置查询范围内」;用户把系统故障理解成业务判断,问题就此掩盖;
  3. 分类盲区:「XX 的过程是怎样的」这类原理性问题,分类规则没覆盖,被归到「其他」。

而这一切,在运行统计里的表现是「0 失败」。

它是怎么形成的:那句兜底话术本身是好意——防用户跑到范围外拿垃圾答案。设计防的是「答错」,没防「分类器自己失效」,于是故障顺着同一个出口、以业务话术的形式出去了。谁从这个安排里受益?报表——「0 失败」对上报表的人最有利。谁承担?一线用户——他以为系统一切正常,退回人工翻手册,那个真正的故障则一直排在待办里没人动它。

这不是 AI 时代的新问题。1985 到 1987 年,Therac-25 放疗机因软件故障造成六次辐射超剂量,有用户随后死亡——而操作台一路显示的是治疗完成,没有报错。故障走「业务正常」的出口,软件安全教科书里写了四十年;2026 年,我们在一家厂商的知识库里看到了它的 AI 版。

自查信号:最近 30 天,系统回复「未找到 / 不在范围内 / 我无法回答」多少次?其中多少是业务判断(确实没有这个内容),多少是系统故障(它坏了)?分不出来,就是没有可观测性。

征兆六:上线后没人管

上线那天是项目的高光时刻,往往也是最后一天有人认真看它。

为什么危险:AI 系统是活的,不是买回来就定型的软件。三件事一直在发生:知识会过期——手册改版、产品线换代、政策更新,知识库还停在建库那天;规则要调优——业务变了,分类规则和引导话术还按老规矩走;质量会漂移——没人测量,好坏全靠感觉。

没人管之后,退化就开始了,而且是静默的:它不会报「已过时」这类错,只会慢慢给过时的答案、不准的判断,却没人怀疑它已经停止工作。

我们查到的证据:那次运行态验收里,内容新鲜度、索引状态这类指标,客户是第一次看到。「上线三个月后效果悄悄退化」是见过最多的一类——系统状态和三个月前一模一样,但它给的答案,依据的早就不是三个月前那批资料了。

它是怎么形成的:项目制里,「上线」是里程碑,「维护」不是。预算跟着里程碑走:验收款付完,维护这笔钱没人立项、没人申请,自动省成零。没人管是预算结构的自然结果——这一条要和征兆二一起治:没有对效果负责的人,就没有提维护预算的人。

自查信号:谁负责上线后的效果?上线以来做过几次效果评估?答案是「上线后就没动过」,它已经在退化路上——只是你还不知道。退化不出报错——「没故障」的第三个盲区,而且是慢性的。

征兆七:没有基线,说不清「好」长什么样

「这个系统现在怎么样?」 「还挺好用的,用户反馈还行。」

为什么危险:没有基线,就无法度量改进,也无法证明价值。更实际的麻烦:你没法回答「这版改动有没有变好」,也没法回答「钱花得值不值」。决策只能靠感觉——而感觉在预算会上打不过一张 Excel 表。

我们查到的证据:那次运行态验收最重要的产出,是一个基线——41 分、七个异常项,每项带数据和证据。有了基线,后面每修一项才说得清对比怎么写:功能类判定通过率现值 69.4%、目标 85%(69.4% 的分母是功能类全部判定项,与「库内 31 条可直接回答中答对 18 条」不是同一口径,后者只是其中库内子集);异常拒答现值 6 条、目标 0 条;响应 P95 现值 42 秒、目标 15 秒以内(现值与目标都出自运行态验收报告留痕)。没有基线,这些都说不出来;修好了,也只是「感觉好多了」。

它是怎么形成的:没有基线,就没人能证明改进——所以谁也不肯花钱建基线,这笔钱花出去在报表上还是「零产出」。错位在于:说「感觉好多了」就能交差的人受益,要拿出前后对比数据的人承担成本。基线永远是下一期,因为它这一期没人买单。破法:第一次运行态验收本身就是建基线,数据要从那天起才好算。

自查信号:说得清这个系统三个月前的关键指标吗——回答率、准确率、响应时间、日均使用量?说不出来,后来的优化多半是盲改。「反馈还行」四个字之所以驳不倒,就因为它没有数据可对。

五、应对三步:自查、判定、运行态验收

三步与七个征兆对好账:征兆一、二由判定表先筛——问题还在不在、有没有人拍板;征兆三、五、六由 60 秒自查表先查——碎块占比、拒答次数、备份有无;征兆四由运行态验收揭穿——四层出题直接对着「跑通」这个说法;征兆七的基线,由运行态验收出数值。 自查:用 60 秒自查表把七个征兆过一遍,把「看不见」变成「测得出来」。一杯茶的成本,产出是界面不报的那些数:碎块占比、拒答次数、备份有无。自查只负责看见,不负责拍板。

判定:中三条以上的,先别急着换方案、换供应商、加预算。先回答:**这个问题值不值得修。**敢判「放弃」的人,才有资格判「救」。

# 问题 关键信号
1 当初要解决的问题,现在还存在、还值得解决吗? 问题消失 / 伪需求 → 直接放弃
2 资产还在吗(数据、文档、代码、账号)? 全丢 → 无从救起,只能重建
3 问题在哪一层(需求层 / 技术层 / 运维层)? 主因在需求层 → 修了也白修
4 修复成本 vs 重建成本? 修复超过重建的 60% → 重建更划算
5 有能拍板的人吗? 没有 → 修好还会再烂一次
6 你对「成功」的定义现实吗? 期望离谱(要求通用大模型把垂直领域的精细工作干到位)→ 先校准再谈

三种结论,三种动作:

结论 什么情况 动作
救 需求真实、主因在技术层(配置/数据/链路可修)、资产可复用、有拍板人 出修复方案:逐项异常项、修复路径、工期、验收标准、预期效果
重建 需求真实,但技术层烂到根(架构错配 / 数据不可用 / 前任黑盒无文档),或修复成本 ≥ 重建的 60% 推倒重来,旧资产列复用清单——重建不等于从零
放弃 问题已消失 / 无人拍板 / 预算时间窗不合理 / 期望无法校准 书面理由 + 替代建议(不用 AI,或换一个更小的方案)

对着客户原话的信号:

你听到的话 倾向
「当时想做个 XX,现在团队都换人了 / 业务砍了」 放弃
「功能其实能用,就是没人用 / 效果一般」 救——运维层、调优层的问题
「数据都丢了 / 代码在跑路的乙方手里 / 没有文档」 重建
「每次问 AI 都答得乱七八糟」,但语料是齐的 救——检索和数据工程的问题,这一层修起来见效最快
「领导说要 AI 化,我们也不知道要啥」 放弃,或先做需求梳理(不是接盘)

运行态验收(委托外部做):拿真实问题实测,把「好不好」变成有据可翻。

为什么「自己看看」不够,三个盲区:只看得见界面(效果、拒答、检索命中,界面全不显示,你看到的是链路最后一环);没有基线(说不清现在算好算差,改完也说不清有没有变好);无法取证——「用户说答得不准」落不到节点、落不到数据,AI 应用的问题只有追到链路层才能定论,这就是征兆五那张五层表的用处。

查什么:三层采集加真实问题实测。

层 查什么 典型发现
环境层 服务器资源、数据库备份、SSL、端口、容器状态 数据不可恢复风险(那次运行态验收的头号问题就是「没有任何备份」)
应用层 用量与活跃、知识库内容健康(分段质量 / 破碎率 / 新鲜度 / 索引状态)、配置快照、真实查询记录 知识库碎块 24.3%、检索命中差、配置漂移、实际上没人用
Agent 层 行为边界配置、声明的能力是否真可达、积累的记忆是否互相一致 Agent 的行为边界配置失效而不自知、积累的记忆互相矛盾

另三类在范围里:成本(token 消耗与趋势——AI 系统的「电费」)、安全合规(AI 内容标识、越权访问、提示注入防护)、使用采纳(到底有没有人在用、用了多少次)。

关键一步是拿真实问题实测,四层出题:L1 存活与基础能力;L2 库内真实问题(必须来自真实语料,不能编造);L3 多轮追问(问到第三问,看上下文还在不在);L4 边界与异常(空白输入、越界、提示注入)。44 条跑下来,每条记录响应状态、耗时、会话 ID、回答内容,逐条判定:答对、部分、答错、被拒。被拒的逐条追根因——这一步最花时间也最有价值:只看统计是 0 失败,逐条追链路才看到故障被显示成了业务拒绝。

「失败」必须分类看(接口报错 / 系统故障拒答 / 业务拒答 / 安全拒答),混成一个「失败率」是很多项目自评失真的根源。实测用真实问题调真实应用,会产生真实会话与模型消耗,担心混淆的指定测试环境跑。

报告三样东西:健康分加一句话总结(那次报告原文:「健康分 41/100(D 档)。回答质量本身扎实——库内 31 条可直接回答的问题中 18 条答对、拒答诚实、安全规则有效;但意图分类节点系统性不稳,导致 6 条本可回答的问题被拒,响应 P95 达 42 秒,服务器无任何备份——属『带病可治』。」);异常项详解表(每项六列,证据是硬要求——「分类节点 6 条实测异常」「1401 段中 341 个碎块」这种可核对的细节,「建议优化一下」不允许出现);根因诊断(链路级拆解,落到「改什么、预期什么效果」)。

健康分的口径:功能、异常处理、性能、安全、可靠性五类加权,单项短板不被总分盖住;内容健康、使用采纳、环境风险单列不计分。它是经验性评分,用途是纵向对比和横向定位,不是行业标准认证——我们也没打算把它包装成认证。刻意的设计有一条:「没人用」不会因为不进总分就被漏掉——使用采纳红灯会在总检结论里点名(例:「健康分 72,但日均调用 3 次,未产生业务价值」)。答得挺好、没人用的系统,不该被判为健康。

前提与边界:运行态验收有硬前提——能访问运行环境;没这个前提只能做静态检查,那是另一个环节。还没上线的、需求还没定的,先别做运行态验收:没有运行数据查不出运行态问题;说不清要解决什么的,运行态验收答不了「该往哪做」。

和静态验收不是一回事:

静态验收 运行态验收
时机 上线前 / 交付时点 上线后 / 运行中
对象 交付物(应用本身) 运行中的系统(应用+数据+环境+Agent)
回答的问题 能不能上线 现在健不健康、问题在哪一层
产出 静态验收报告 运行态验收报告(分+异常详解+根因+修复建议)

一句话:上线前拿静态验收把关,上线后按周期做运行态验收。两者都只审、不修——修是第三个环节。

六、报告交付之后,客户侧的变化

运行态验收之后,客户手里有了基线,三句话在他们那里就换了说法:「没故障就是健康」——现在健不健康由 41 分和七个带证据的异常项来判;「演示好就是好」——44 条真实问题的逐条判定替他们回答过了;「反馈还行」——通过率现值 69.4% 摆在那里,行不行成了数据,不再是心情。

这套三步(自查→判定→运行态验收)的可复核处就在这:**三个数现值全实测(69.4%、6 条、42 秒),三个目标全留痕(85%、0 条、15 秒内);「静默」能被揭穿这件事本身就被验证过——不进场实测,报表到今天还是 0 失败。**还有一处如实标注:修复之后的复测不在本单记录内——三步验证的是问题定位,修复效果尚未验证,复测排在防复发设计的第一件。修复目标的兑现进度以他们的复检验收为准,本文不替他们宣布完成。

七、演进:维护预算结构不变,问题就不止发生一次

运行态验收解决「问题在哪」。下一步的结不在系统里,在结构里:维护没里程碑、没人买单(征兆六),效果没归属、说不清(征兆二)。这两个结不解,修好的系统还会再静默一次,而且下次照样没人知道。所以修复方案必须带防复发设计(定期复检写进合同),基线必须有人拿着看。

对读者,这件事到此从「我中了几条」变成了「下一期谁买单」——买单机制立不住之前,三个常见说法就还有市场,运行态验收就不是可选项。

烂尾不报警。它不会通知你。对照七条,先核中了几条——

中了三条以上的,别急着开会谈系统改造。先约一间会议室,请三个人:天天看这个系统的人(他说得出有没有人用)、管这条业务线的人(他答得了当初要解决什么)、管钱的人(他知道这期预算还剩多少)。判定六问当面过一遍,当场只要一个答案:**什么算成功——多少条题、答对几条、答错了怎么办。**这个答案哪天定下来,救、重建还是停,才有得谈。定不下这个答案,七条里中了十条也还是老样子。

常见问题

静态验收和运行态验收,能发现的问题有什么不同?

静态验收看交付物(应用结构、节点配置、链路完整性),在文件层面发现问题——缺验签、密钥硬编码、分支边漏接;运行态验收看运行中的系统,发现数据层与环境层的问题——分段质量、真实问答的命中与拒答、耗时分布、备份与资源风险。两者不重叠不冲突:一个答「设计对不对」,一个答「跑得好不好」。常见现象:静态全绿、运行态一测故障就暴露——配置正确不等于效果正确。

验收的问题该怎么出,才算有效?

按四层出:L1 存活与基础能力;L2 库内真实问题(必须来自真实语料,不能编造);L3 多轮追问;L4 边界与异常。三个要点:L2 的题基于真实知识库内容,测试点才有意义;要含历史踩坑的重现题——曾经出过的问题,回归看有没有复发;判定要能落到节点——测完追不到根因的题,等于没测。

没有基线,第一次运行态验收该怎么做?

第一次运行态验收本身就是建基线:选一组稳定的用例集(比如 40 条分层用例)、固定判定口径、把关键指标记下来(通过率、异常数、响应分位、内容健康指标)。下次用同一组用例、同一口径复跑,前后对比才有意义。最忌讳每次换一套题——得不到趋势,只能得到「今天看起来还行」。频率:知识和业务变化快的季度一次,变化慢的至少半年一次;大改动上线后还得补跑一次,看有没有改坏。

健康分和传统测试的通过率,有什么区别?

通过率只反映一个维度,还容易被稀释——95% 听着不错,剩下 5% 若全是核心问题呢?健康分按功能、异常处理、性能、安全、可靠性五类加权,单项短板不被总分盖住;内容健康、使用采纳、环境风险单列、不计入总分。差别在:通过率答「答对了多少」,健康分答「整体健不健康」,短板定位靠异常项详解和根因诊断。


本文基于真实运行态验收实测记录撰写,案例已脱敏;「它是怎么形成的」各段为对已实测现象的成因推断,不引入新数据;Therac-25 引用止于公认记录(1985-1987、六次超剂量、控制台无报错)。AI 参与创作声明:本文由 AI 辅助写作。

这篇有用吗

联系我

邮箱contact@fishsun.cn

点击邮箱直接写信 · 扫码加微信沟通

微信

微信二维码

扫码加微信 · 备注「门户」更快通过