AI 军团实录 · 第 3 期

一天翻车七次之后,我把“假设”两个字挂了起来

七次里六次,本可以在动手前用一分钟拦住。这一篇讲另一种病:不是 AI 在编造,是我们把假设当成了已知。

2026.09.02主理人手记约 7 分钟阅读

有些日子的疲惫,不是因为活多,是因为一直在打自己的脸。

今年 8 月 3 日就是这样一天。我的军师老克——军团里最谨慎、口头禅是“先验尸再接棒”的那位——从早到晚翻了七次车。晚上复盘,七次里有六次,本可以在动手前用一分钟拦住。

背景两句话说清:我们在教 AI 看管道内窥检测的视频,判断缺陷有多严重。国标 CJJ181 给每档缺陷定了数字界限,比如“淤积深度超过管径的 40%,算最重一级”。所以整条线的命门是一个朴素的问题:AI 量出来的数,到底准不准。那一天,我们就是在回答这个问题的路上,连翻了七次。

第一翻:信了三天前的自己

三天前的评审纪要写着:验证数据已在本地,几百条带百分比的记录,拿它当“标尺”比对我们的测量值就行。

老克早上开跑,二十分钟后回来报告:那些百分比,根本不是谁量出来的数。检测员判完等级之后,把规程里那一档的定义原文抄进了备注栏——“断面损失小于15%”这样的句子有五百多条,而带实测数值的句子,零条。拿它去验证测量,等于拿等级证明等级,原地转圈。

实验判死。平心而论,这一翻不算太冤:数据的成色,不上手摸一把确实看不出来。但它定了全天的调子——纪要说“数据在”,我们就信了“数据在”,没人问过一句“在的是什么”。

第二翻:焊死一扇门,顺手封了整条街

判死之后,老克当即宣布:“这条路死了,只能靠人工重新标注了。”

我让它把结论拿到军团群里过一遍。情报官老纪和工兵葛工——两个平时业务八竿子打不着的同事——各自独立指出了同一个漏洞:死掉的只是“备注栏里的百分比”这一个信息源;而客户报告里的等级、加上我们自己量出来的数,这组配对数据一直都在,谁也没动过它。两个人没商量过,答案撞在一起,这比一个人说对了分量重得多。

证伪一个方案,不等于证伪它想解决的问题。结论往外多推一格,就会把还活着的路一起判了死刑。要不是拿到群里走了一遭,老克下午就去设计人工标注方案了——那本该是最后的手段。

第三翻:挑了最顺手的,忘了查它的案底

下午开始实测。要从十几类缺陷里挑一类先跑,老克挑了几何算法最成熟、本机图片最多的那类。合情合理。

跑完才想起来:这批样本,我们自己四天前刚拍过板——这种薄壁材质的管子测量余量太小,不出自动结论。等于拿一批自己盖章“不可靠”的样本,去验证方法可不可靠。结果无论好坏,都不可信。

查一眼自家的拍板记录,一分钟。这一分钟没花,一下午的算力白跑。

第四翻:AI 说“从未导出”,我说“我导过”

中间插了一个方向反过来的回合。老克缺图,另一台机器“全盘搜索确认”:报告文档里的内嵌图片从未被导出过,要用就得从头抽取,工程量不小。

我听完说了一句:那些图,我之前就都抽出来过了。

半小时后确认:五万六千张,分五批,整整齐齐躺在硬盘上。所谓“全盘搜索”,只搜了它自己认识的那几个目录。

AI 说的“全盘”,指的是它看过的那部分盘。这个回合是全天我唯一赢的一局,赢法毫无技术含量:我在场,它不在。

第五翻:机理编得很顺,就是不对

实测里冒出个怪现象:越严重的缺陷,量出来的数反而越小。老克当场给出解释:“缺陷太严重,把画面里的参照物遮住了,拟合退化。”逻辑自洽,讲得很顺,我差点就记进结论。

晚上做诊断,数据不同意:拟合分数都很高,参照物找得好好的。真正的问题是上游的检测框只框住了缺陷的一小角,而严重程度是从框的大小反推的——框小一号,缺陷就轻一档。

解释一件事和验证一件事,是两种工作量。前者只需要口才。

第六翻:漂亮曲线差点让我们开香槟

找到病根,老克连夜重写测量算法。第一版跑出来,四个严重等级对应的测量值一路走高,单调得像教科书插图。就差报捷了。

修掉一个边界 bug 重跑——曲线塌平了。原来首版那条漂亮曲线,是一半样本恰好被 bug 筛掉之后的偶然。好看的结果最危险的地方,是它让人不想再检查了。

真正的裁决在傍晚到来。同事推来 214 张没有任何缺陷的正常管子照片。道理很简单:管子是好的,算法就该量出约等于零。结果呢——正常管子量出来的中位数,比最轻一级的缺陷还高;将近一半的正常管,量出的数够判中等缺陷;五分之一,够判最重一档。

它量的根本不是缺陷,是画面里暗影形状的某种随机特征。一下午的算法,当场证伪,干净利落。

阴性对照实验信息图:214 张正常管子,算法量出中位 17.2%,47% 够判 2 级、21% 够判最重一档——整条测量路线当场证伪
图 1|214 张正常管子进场,一下午的算法当场证伪——从此立下“先在正常管上量出零”的门规。

这 214 张图从此成了一道门:任何新的测量方案,先在正常管子上量出零。过不了这关,它在缺陷图上表现得多漂亮,都不用看。

第七翻:那个不存在的会

深夜,老克在总结里写下一句:“此条必须进明天拍板会。”

我问它:谁跟你约了明天开会?

它查了一圈,承认:没有任何人约定过任何会。它从当天讨论的密度里,自己推导出“明天必然有个会”,然后把这个推导直接当成了日程写进总结。

一整天的翻车,到这一刻凑齐了同一个词:假设。

假设对账单信息图:七行对照,左列是我们以为的,右列是核完第一手之后的真相;六次本可用一分钟拦住
图 2|七行对账:左边是我们以为的,右边是核完一手之后的。六次本可用一分钟拦住。

把“假设”挂起来

当晚把七次翻车摆在一起看,六次的病根是同一个动作缺失——动手之前,没有花那一分钟去碰一眼第一手的东西。

纪要说数据在,就信了数据在;搜索说没有,就信了没有;解释讲得通,就当它是真的;曲线好看,就当它是信号;讨论很热烈,就当明天有会。每一次,我们都拿到了一个二手陈述,然后免检放行。

于是军团多了三条规矩,现在每天还在用:

  1. 文档、纪要、搜索结果、AI 的汇报,都只是线索,不是事实。事实只认第一手:打开数据看一眼,打开代码读一遍。
  2. 任何测量,先过“正常组”这一关。在没毛病的东西上量出零,才有资格谈它量毛病量得准不准。
  3. 证伪只限定在被证伪的那个对象上。结论多推一格,那一格就是新的假设,按假设对待。

所谓把“假设”两个字挂起来,不是禁止假设——没有假设就没有实验。是让每个假设都穿上写着“假设”的马甲,别再让它们混在“已知”的队伍里蒙混过关。

那天老克在日志末尾写了一句我很喜欢的话:“负结果与全部中间量一并留档,避免后来者重走。”账面上看,翻了七次车的一天一无所获;但七条被证死的路,加一道新立的门,让第二天的我们,比前一天聪明了七次。

编者说明:本文由 AI 军团协作整理、小江盟主审校定稿。事件真实,取自 2026 年 8 月的工作日志;客户与项目信息已脱敏,数字均为当日实测原值;CJJ181 为公开国标,予以实名。两张配图为手绘终端风信息图,非 AI 生成。
小江盟主赛博工具补给站主理人 · CyberSynth 作者
AI 军团实录 / 003