鱼日先生
AI 应用交付 · 知识库 · 独立验收
短视频 08 · 4:58
AI 不稳定先看活是不是分错了
任务该给谁做:三句判断|技术解析 · 技术向
本视频含 AI 生成内容(音频由 AI 合成,已按平台要求声明)。
本期聊什么
同一批真实存在的条目、同一个要求,让 AI 逐条复制标题再各写一句摘要,跑三次出来三种结果:第一次正常;第二次输出「标题1」「标题2」这种占位符;第三次编了一批根本不存在的内容,有一次输入的是真实标题,它输出了完全无关的新闻。
反复改要求、排查推理开关,都没用。后来才确认:这一类任务本身就不该交给 AI。判据是后来总结的:只要要求里出现「原样复制」「逐条搬运」这类字眼,而它的表现又不稳定,就该换个做法——搬运交给程序,直接从数据源取字段拼好。
这套判断后来固定成三句话:能不用它吗(能用规则或程序直接做,就别用 AI)、出问题有退路吗(挂了、输出为空、内容不对时怎么办)、输出有约束吗(格式与边界写清楚,给例子)。
顺带一个隐蔽的坑:让它生成很长的表格或报告,它会概率性地截断,在要求里写「必须输出完整」没有用。这类时好时坏的问题,也不能用跑一次没事来判断修好了,我们的做法是同一套输入连跑五次,五次全过才算修好。
金句:让 AI 稳下来的办法,不是把要求写得更狠,是把它放在对的位置。理解和生成交给它,搬运和判断交给规则。
完整文字版见下方文章。
时间轴
- 00:00开场:同一批内容,三次三种结果
- 00:30场景:让 AI 逐条复制标题写摘要
- 00:45三种结果:正常 / 占位符 / 编别的东西
- 01:01改要求、排查推理开关,都没用
- 01:20判据:这类任务该换个做法
- 01:33三句判断:能不用它吗 / 有退路吗 / 有约束吗
- 03:09隐蔽的坑:长输出概率性截断
- 04:33落点:理解和生成给 AI,搬运和判断给规则
本期的文字版