一个月 11000 个 PR,回滚率 0.5%

演讲开场,Lauren Tan 让台下举手。问题是,有多少人看过别人写的代码,心里想过这写的什么玩意儿。举手的人不少。她说自己也一样。

然后她报了一个数字。上个月,她一个人往生产环境合并了 3000 个 PR。她所在的 Grok Bot 团队,一个月 11000 个。按正常经验,这种产量应该伴随着混乱,但他们的回滚率是 0.5%,稳定版基本一天发一个。

这场演讲叫《All Code Is Slop (Except Mine)》,11 月发在 AI Engineer 频道,17 分钟。Lauren 在 SpaceX AI 做 Grok Bot,网名 poteto,自我介绍的时候说自己叫 Potato。

slop 是这两年 AI 圈常见的词,指批量生成、看着像样、细看粗糙的内容。代码里的 slop 很好认,能跑,测试也过,但没人愿意接手。她整场演讲想回答的问题就一个,agent 把写代码的速度拉起来以后,代码库会不会被写烂。

她先不谈工具,谈信任

多数人遇到 agent 写烂代码,第一反应是换模型,或者把提示词写得更长。Lauren 的答案有点扫兴,先把 agent 的工作环境搭好。

她说的信任有条件,前提是 agent 默认就会做对的事。为了这个默认,她花了六个月。

演讲里有一张倒金字塔,画的是精力分配。底下是代码本身,API 设计、架构、重构、lint 规则、类型系统、编译器、测试。往上一层是验证,运行时的和形式化的。上面只剩一层很薄的文字,rules、skills、AGENTS.md。

她给了一个很具体的判断标准。每次 agent 写错,先看这件事能不能变成代码里的检查,别急着改提示词。能写成 lint 规则的,就不要写进 AGENTS.md。能通过改 API 让错误写不出来的,就不要靠评审去抓。

这话听起来像正确的废话。真做起来,大部分人还是忍不住去补一句提示词,因为改代码麻烦。

代码库是最大的输入

agent 不读你的心,它读你的代码。

她回忆 2024 年在公司评审同事写的三个 PR。现在这个数字更像三百。每个工程师背后都跟着成百上千个 agent,代码像水流一样进来。

输入变了,输出的逻辑也变了。你代码库里怎么绕过的、怎么偷懒的、哪些是没人敢动的技术债,agent 都会看见。它不会判断这是历史包袱,只会觉得这是团队认可的做法,然后照着写。

所以技术债在 agent 时代会繁殖。你今天放过的一个坏模式,明天可能出现在一堆新文件里。

整场演讲里,agent 更像一个会模仿的实习生,你给它看什么,它就学什么。她用花园打比方,杂草长出来不处理,很快就会铺满。代码库也是,想让 agent 抄到好东西,先得把坏东西清掉。

她的第一条建议很朴素,别急着搭流水线,先把代码库收拾干净。

这套方法把工程师往规则制定者的方向推。前期的成本不低,尤其是清理存量,没人喜欢干。

Dune 的三条规矩

Dune 是他们为 Grok Bot 写的客户端框架,技术上不新鲜,可以理解成 Electron 版的 Next.js。有意思的是里面的约束。

这里的约束,很多是 lint 规则。它可以理解成一段不运行代码、只读代码的自动检查,发现不该出现的写法就报错。前端项目里最常见的是 ESLint,其他语言也有 golangci-lint、Ruff 这类工具。lint 跑一遍通常只要几秒,agent 改完代码就能拿到结果,不用等人来看。报错信息还能写得很具体,直接告诉 agent 该往哪里改。

第一条,产品代码里禁用 useEffect。这个 React hook 有它的用武之地,只是要用好太依赖经验。社区里一直有人开玩笑说用它得有个博士学位。agent 恰好缺这种经验,于是他们干脆把这条路封了,只在 Dune 自己的 API 内部放行。

第二条,用目录结构表达架构。Electron 应用分主进程和渲染进程,主进程管系统能力,渲染进程管界面。把主进程的代码引到渲染进程里,主线程会被长任务拖住,界面开始卡。他们在顶层建了两个目录,electron-main 和 electron-renderer,再用依赖图分析器和 lint 规则禁止跨目录 import。

这条规则本身不复杂。省下的是每次评审都要想一遍的心力。

第三条更狠,禁掉 99% 的注释。

起因是 Cursor 上的一个坑。agent 很喜欢用 setTimeout、requestAnimationFrame、requestIdleCallback 这类命令式定时器打补丁,因为 VS Code 是命令式风格,React 是声明式风格,两套东西撞在一起,agent 就用定时器把冲突盖住。定时器被大量创建和销毁,垃圾回收变得频繁,应用开始卡。

更麻烦的是注释。agent 会在注释里写清楚自己为什么这么做,读起来还挺有道理。等他们反应过来,定时器已经到处都是,每一处都配着一段看起来很合理的解释。

到了 Grok Bot,他们换了做法。注释容易过期,人本来也不太读,注释还给了 agent 一个不按规矩办事的借口。要命的是注释不可执行,你写一句「下次别这么干」,下个 agent 未必看,看了也未必照做。

他们改用 lint 规则,报错信息直接告诉 agent 去修根因,别在外面打补丁。

这套做法背后只有一句话,每次纠正 agent,都当成一次改代码的机会,别当成一次聊天。

做得足够多以后,需要评审的东西会越来越少。到最后,大部分 PR 由 agent 自己合并。

评审的东西变了

代码评审还在,看的东西变了。

他们的评审现在主要看验证产物,录屏、截图、状态图、形式化证明。代码 diff 反而退到后面。

最基础的一层是运行时验证,让 agent 能自己把程序跑起来,能用 Chrome DevTools Protocol 这类开发者工具。她提到一个叫 feature map 的东西,相当于从用户视角画一张功能地图。agent 不用再猜你说的「左边栏那个东西」指什么。

他们还把常用操作封装成 CLI,放进 skill 里。agent 每次复用同一套脚本,token 消耗降下来,脚本本身也可测试。token 是调用模型时的计费单位,省 token 就是省钱。

再往上走是形式化验证。他们用 TLA+ 给跨设备、跨平台的通知流程做模型检查,用 Lean 证明自研虚拟化库不会出现闪烁和抖动。TLA+ 是描述并发系统、再用模型检查器穷举状态的工具,Lean 是交互式定理证明器。

她说这项还在摸索。已经抓到一些 bug,但离银弹很远。银弹是传说里能杀死狼人的武器,后来常被用来指一招解决所有问题的办法。软件工程里有一句老话叫「没有银弹」,意思是别指望某个工具或方法一次性解决所有问题。UI 那边他们还试了基于属性的测试,用了一个叫 Bombadil 的库,也抓到过界面问题。她自己的 pstack 插件里有个 state chart skill,把状态机画出来,和录屏、截图放在一起看。

演讲里引用了一条推文。半年前,Cindy 说自己不敢信任 agent,因为总有隐蔽的 bug 被合进去。半年后,她每天 70% 的 token 花在验证上。Lauren 说自己这边的情况差不多。

这些技术都不新,TLA+ 和 Lean 在学术界和工业界都用了很多年。以前没普及,原因很实际,写起来贵,维护起来也贵。agent 把这个成本打下来以后,很多团队第一次有能力把测试和验证做到以前做不到的密度。

数字背后的前提

上个月团队把 11000 个 PR 送进了生产环境,稳定版基本一天一个。十月有 227 个人至少提交过一个 PR,其中不少是顺手贡献一两个的人,对代码库并不熟。

回滚率没有跟着涨,稳定在 0.5% 左右,占比还在降。Grok Bot 的性能也比刚发布时更好,启动、输入、打开新对话、切换对话都快了。它到现在还是个 Electron 应用,性能有上限,但在这个迭代速度下能保持住,已经不容易。

她自己的数字是 3000 个 PR,很多是在睡觉的时候跑的。

我对 11000 这个数字本身没什么感觉,团队规模不一样,比这个没意义。让我记住的是 0.5%。

更夸张的是外循环。内循环是工程师和 agent 一对一写代码,外循环是把成百上千个 agent 编排起来。每次发版,Grok Bot 会自动拉起一个 Cursor 项目,把整个应用跑一遍,像真实用户那样点,发现 bug 就开修复 PR,然后自动合并。

听起来危险。前提还是那句,代码库和验证够好,PR 默认就是对的。

想试的话,从哪里下手

11000 这个数字对多数团队没什么参考价值,团队规模差得太远。能带走的是她们处理错误的方式。

她花了六个月才到这个状态,普通团队没必要一上来就对标。下面这些事按顺序做,成本从低到高。

  1. 先记错题。建一个文件,每次纠正 agent 就记一句它错在哪,两周后按频率排序。只出现一次的多半是个例,出现三次以上的才值得做成规则。
  2. 规则写进代码。能用 lint、类型、测试表达的,别写进 AGENTS.md。比如团队反复强调「渲染进程不要引主进程」,就配一条依赖检查,让它在提交前报错。
  3. 清理存量。新规则只挡得住新代码,agent 还会继续抄旧代码。先把模板、示例、脚手架改对。
  4. 让目录说话。把架构边界写进路径,让 import 关系一眼可见,再配合依赖检查工具。目录是最便宜的文档,agent 也读得懂。
  5. 注释少写。默认不写,代码说不清楚的地方才写,写原因,不写过程。她的团队做得更彻底,产品代码里几乎不留注释,这个尺度按自己团队的情况定。
  6. 给 agent 手和眼睛。让它能启动应用、跑测试、截图、读日志、开浏览器调试。把这些操作封装成固定脚本,输入输出别老变。
  7. 先看验证产物。录屏、截图、测试报告对得上,再去看 diff。diff 是最后一道,不是第一道。
  8. 度量回滚率。只看 PR 数量会把人带偏。回滚率、线上事故、性能指标,至少盯一个。
  9. 别急着搭工厂。内循环还在产 slop 的时候,把自动化堆上去,只会更快地产 slop,还要多烧 token。

如果只能做一件,我会先做第一条。记错题不花什么钱,但能让你看清自己到底在跟什么问题较劲。

别照抄

她所在的团队有平台能力,Dune 是自己写的框架,能改到规则层面。多数小团队没有这个条件,硬搬形式化验证,投入产出比很难看。

11000 个 PR 跟团队规模、产品阶段都有关系。产品早期代码库小,很多约束还没长出来,照这个数字定 KPI 只会逼人造假。

禁注释这件事我保留意见。业务代码里有大量历史原因,完全不写注释,后来的人只能靠猜。她的场景是 agent 高频读写、规则可以兜底的产品代码,换个环境未必成立。

还有一个前提常被忽略,她们能把回滚率压住,靠的是前面那一整套验证。没有验证,高产量就是灾难。

最后

Lauren 在结尾说,如果你现在就想搭软件工厂,先把地基打好。内循环里产出的 slop,自动化只会放大它。

落到我自己身上,就是一件小事。下次 agent 写错,先别急着补提示词,看看能不能加一条检查。能,就写进代码。不能,再写进文字。

这事慢,但每一次都算数。

演讲视频在这里,她提到的 pstack 插件在这个仓库。