一个月 11000 个 PR,回滚率 0.5%
演讲开场,Lauren Tan 让台下举手。问题是,有多少人看过别人写的代码,心里想过这写的什么玩意儿。举手的人不少。她说自己也一样。
然后她报了一个数字。上个月,她一个人往生产环境合并了 3000 个 PR。她所在的 Grok Bot 团队,一个月 11000 个。按正常经验,这种产量应该伴随着混乱,但他们的回滚率是 0.5%,稳定版基本一天发一个。
这场演讲叫《All Code Is Slop (Except Mine)》,11 月发在 AI Engineer 频道,17 分钟。Lauren 在 SpaceX AI 做 Grok Bot,网名 poteto,自我介绍的时候说自己叫 Potato。
slop 是这两年 AI 圈常见的词,指批量生成、看着像样、细看粗糙的内容。代码里的 slop 很好认,能跑,测试也过,但没人愿意接手。她整场演讲想回答的问题就一个,agent 把写代码的速度拉起来以后,代码库会不会被写烂。
她先不谈工具,谈信任
多数人遇到 agent 写烂代码,第一反应是换模型,或者把提示词写得更长。Lauren 的答案有点扫兴,先把 agent 的工作环境搭好。
她说的信任有条件,前提是 agent 默认就会做对的事。为了这个默认,她花了六个月。
演讲里有一张倒金字塔,画的是精力分配。底下是代码本身,API 设计、架构、重构、lint 规则、类型系统、编译器、测试。往上一层是验证,运行时的和形式化的。上面只剩一层很薄的文字,rules、skills、AGENTS.md。
她给了一个很具体的判断标准。每次 agent 写错,先看这件事能不能变成代码里的检查,别急着改提示词。能写成 lint 规则的,就不要写进 AGENTS.md。能通过改 API 让错误写不出来的,就不要靠评审去抓。
这话听起来像正确的废话。真做起来,大部分人还是忍不住去补一句提示词,因为改代码麻烦。
代码库是最大的输入
agent 不读你的心,它读你的代码。
她回忆 2024 年在公司评审同事写的三个 PR。现在这个数字更像三百。每个工程师背后都跟着成百上千个 agent,代码像水流一样进来。
输入变了,输出的逻辑也变了。你代码库里怎么绕过的、怎么偷懒的、哪些是没人敢动的技术债,agent 都会看见。它不会判断这是历史包袱,只会觉得这是团队认可的做法,然后照着写。
所以技术债在 agent 时代会繁殖。你今天放过的一个坏模式,明天可能出现在一堆新文件里。
整场演讲里,agent 更像一个会模仿的实习生,你给它看什么,它就学什么。她用花园打比方,杂草长出来不处理,很快就会铺满。代码库也是,想让 agent 抄到好东西,先得把坏东西清掉。
她的第一条建议很朴素,别急着搭流水线,先把代码库收拾干净。
这套方法把工程师往规则制定者的方向推。前期的成本不低,尤其是清理存量,没人喜欢干。
Dune 的三条规矩
Dune 是他们为 Grok Bot 写的客户端框架,技术上不新鲜,可以理解成 Electron 版的 Next.js。有意思的是里面的约束。
这里的约束,很多是 lint 规则。它可以理解成一段不运行代码、只读代码的自动检查,发现不该出现的写法就报错。前端项目里最常见的是 ESLint,其他语言也有 golangci-lint、Ruff 这类工具。lint 跑一遍通常只要几秒,agent 改完代码就能拿到结果,不用等人来看。报错信息还能写得很具体,直接告诉 agent 该往哪里改。
第一条,产品代码里禁用 useEffect。这个 React hook 有它的用武之地,只是要用好太依赖经验。社区里一直有人开玩笑说用它得有个博士学位。agent 恰好缺这种经验,于是他们干脆把这条路封了,只在 Dune 自己的 API 内部放行。
第二条,用目录结构表达架构。Electron 应用分主进程和渲染进程,主进程管系统能力,渲染进程管界面。把主进程的代码引到渲染进程里,主线程会被长任务拖住,界面开始卡。他们在顶层建了两个目录,electron-main 和 electron-renderer,再用依赖图分析器和 lint 规则禁止跨目录 import。
这条规则本身不复杂。省下的是每次评审都要想一遍的心力。
第三条更狠,禁掉 99% 的注释。
起因是 Cursor 上的一个坑。agent 很喜欢用 setTimeout、requestAnimationFrame、requestIdleCallback 这类命令式定时器打补丁,因为 VS Code 是命令式风格,React 是声明式风格,两套东西撞在一起,agent 就用定时器把冲突盖住。定时器被大量创建和销毁,垃圾回收变得频繁,应用开始卡。
更麻烦的是注释。agent 会在注释里写清楚自己为什么这么做,读起来还挺有道理。等他们反应过来,定时器已经到处都是,每一处都配着一段看起来很合理的解释。
到了 Grok Bot,他们换了做法。注释容易过期,人本来也不太读,注释还给了 agent 一个不按规矩办事的借口。要命的是注释不可执行,你写一句「下次别这么干」,下个 agent 未必看,看了也未必照做。
他们改用 lint 规则,报错信息直接告诉 agent 去修根因,别在外面打补丁。
这套做法背后只有一句话,每次纠正 agent,都当成一次改代码的机会,别当成一次聊天。
做得足够多以后,需要评审的东西会越来越少。到最后,大部分 PR 由 agent 自己合并。
评审的东西变了
代码评审还在,看的东西变了。
他们的评审现在主要看验证产物,录屏、截图、状态图、形式化证明。代码 diff 反而退到后面。
最基础的一层是运行时验证,让 agent 能自己把程序跑起来,能用 Chrome DevTools Protocol 这类开发者工具。她提到一个叫 feature map 的东西,相当于从用户视角画一张功能地图。agent 不用再猜你说的「左边栏那个东西」指什么。
他们还把常用操作封装成 CLI,放进 skill 里。agent 每次复用同一套脚本,token 消耗降下来,脚本本身也可测试。token 是调用模型时的计费单位,省 token 就是省钱。
再往上走是形式化验证。他们用 TLA+ 给跨设备、跨平台的通知流程做模型检查,用 Lean 证明自研虚拟化库不会出现闪烁和抖动。TLA+ 是描述并发系统、再用模型检查器穷举状态的工具,Lean 是交互式定理证明器。
她说这项还在摸索。已经抓到一些 bug,但离银弹很远。银弹是传说里能杀死狼人的武器,后来常被用来指一招解决所有问题的办法。软件工程里有一句老话叫「没有银弹」,意思是别指望某个工具或方法一次性解决所有问题。UI 那边他们还试了基于属性的测试,用了一个叫 Bombadil 的库,也抓到过界面问题。她自己的 pstack 插件里有个 state chart skill,把状态机画出来,和录屏、截图放在一起看。
演讲里引用了一条推文。半年前,Cindy 说自己不敢信任 agent,因为总有隐蔽的 bug 被合进去。半年后,她每天 70% 的 token 花在验证上。Lauren 说自己这边的情况差不多。
这些技术都不新,TLA+ 和 Lean 在学术界和工业界都用了很多年。以前没普及,原因很实际,写起来贵,维护起来也贵。agent 把这个成本打下来以后,很多团队第一次有能力把测试和验证做到以前做不到的密度。
数字背后的前提
上个月团队把 11000 个 PR 送进了生产环境,稳定版基本一天一个。十月有 227 个人至少提交过一个 PR,其中不少是顺手贡献一两个的人,对代码库并不熟。
回滚率没有跟着涨,稳定在 0.5% 左右,占比还在降。Grok Bot 的性能也比刚发布时更好,启动、输入、打开新对话、切换对话都快了。它到现在还是个 Electron 应用,性能有上限,但在这个迭代速度下能保持住,已经不容易。
她自己的数字是 3000 个 PR,很多是在睡觉的时候跑的。
我对 11000 这个数字本身没什么感觉,团队规模不一样,比这个没意义。让我记住的是 0.5%。
更夸张的是外循环。内循环是工程师和 agent 一对一写代码,外循环是把成百上千个 agent 编排起来。每次发版,Grok Bot 会自动拉起一个 Cursor 项目,把整个应用跑一遍,像真实用户那样点,发现 bug 就开修复 PR,然后自动合并。
听起来危险。前提还是那句,代码库和验证够好,PR 默认就是对的。
想试的话,从哪里下手
11000 这个数字对多数团队没什么参考价值,团队规模差得太远。能带走的是她们处理错误的方式。
她花了六个月才到这个状态,普通团队没必要一上来就对标。下面这些事按顺序做,成本从低到高。
- 先记错题。建一个文件,每次纠正 agent 就记一句它错在哪,两周后按频率排序。只出现一次的多半是个例,出现三次以上的才值得做成规则。
- 规则写进代码。能用 lint、类型、测试表达的,别写进 AGENTS.md。比如团队反复强调「渲染进程不要引主进程」,就配一条依赖检查,让它在提交前报错。
- 清理存量。新规则只挡得住新代码,agent 还会继续抄旧代码。先把模板、示例、脚手架改对。
- 让目录说话。把架构边界写进路径,让 import 关系一眼可见,再配合依赖检查工具。目录是最便宜的文档,agent 也读得懂。
- 注释少写。默认不写,代码说不清楚的地方才写,写原因,不写过程。她的团队做得更彻底,产品代码里几乎不留注释,这个尺度按自己团队的情况定。
- 给 agent 手和眼睛。让它能启动应用、跑测试、截图、读日志、开浏览器调试。把这些操作封装成固定脚本,输入输出别老变。
- 先看验证产物。录屏、截图、测试报告对得上,再去看 diff。diff 是最后一道,不是第一道。
- 度量回滚率。只看 PR 数量会把人带偏。回滚率、线上事故、性能指标,至少盯一个。
- 别急着搭工厂。内循环还在产 slop 的时候,把自动化堆上去,只会更快地产 slop,还要多烧 token。
如果只能做一件,我会先做第一条。记错题不花什么钱,但能让你看清自己到底在跟什么问题较劲。
别照抄
她所在的团队有平台能力,Dune 是自己写的框架,能改到规则层面。多数小团队没有这个条件,硬搬形式化验证,投入产出比很难看。
11000 个 PR 跟团队规模、产品阶段都有关系。产品早期代码库小,很多约束还没长出来,照这个数字定 KPI 只会逼人造假。
禁注释这件事我保留意见。业务代码里有大量历史原因,完全不写注释,后来的人只能靠猜。她的场景是 agent 高频读写、规则可以兜底的产品代码,换个环境未必成立。
还有一个前提常被忽略,她们能把回滚率压住,靠的是前面那一整套验证。没有验证,高产量就是灾难。
最后
Lauren 在结尾说,如果你现在就想搭软件工厂,先把地基打好。内循环里产出的 slop,自动化只会放大它。
落到我自己身上,就是一件小事。下次 agent 写错,先别急着补提示词,看看能不能加一条检查。能,就写进代码。不能,再写进文字。
这事慢,但每一次都算数。