Addy Osmani (@addyosmani)
2026-11-17
D
原文
---
title: "Claude Code 团队如何看待验证"
author: "Addy Osmani (@addyosmani)"
source_url: "https://x.com/addyosmani/status/2122590683055993308"
published_at: "2026-11-17T07:20:29.000Z"
fetched_at: "2026-11-17T22:47:41Z"
updated_at: "2026-11-17T22:50:07Z"
language: "zh"
review_status: "draft"
---

# Claude Code 团队如何看待验证
在 Claude Code 团队,我们绝大多数代码(约 90%)都由 Claude 编写,[也由 Claude 审查](https://claude.dev/blog/solving-code-review-at-anthropic/)。到了这个规模,如何让 agent 能够拿出证据来验证自己的工作,就变得极其重要。
验证循环是让你把更多工作交给 Claude 的基础。没有验证循环,你实际上一次只能运行一两个 Claude,因为所有东西都得亲自检查。有了验证循环,就能并行运行几十乃至上百个 Claude。
这是因为,让 agent [有办法验证自己的输出](https://claude.com/blog/building-verification-loops-in-claude-code-with-skills),可以有效提高质量。在围绕结构化文件生成开展的内部测试中,与标准提示循环相比,让一个独立评分器按照评分标准检查 Claude 的工作,[最多可以让任务成功率提高 10 个百分点](https://claude.com/blog/claude-managed-agents),而且问题越难,提升越明显。
过去验证起来成本很高的东西——测试、基准、规格要求、真正的端到端运行——如今都可以低成本地交给 agent。和代码一样,测试、基准和规格要求也能由 agent 快速生成。一旦生成,这些测试和基准就会作为软件运行,因此可以频繁执行,不会额外消耗太多 token。
你还可以利用验证结果来提升 agent 在这项任务上的表现,形成闭环。例如,如果 agent 一再无法通过检查日志中是否含有用户数据的测试,你可以创建一个 hook,或者在 CLAUDE.md 中写下更明确的规则,避免以后再出问题。这样(基本上)就能阻止同类问题再次发生。
既然验证是在高速产出优质代码时不可或缺的一环,那么应该使用哪些测试,又该如何把它们应用到整条流水线中?本文会回答这些问题,也会介绍 Claude Code 团队采用的流程。
## 测试并非都一样:值得投入的 3 类测试
无论选择哪种测试,都要避开几种常见的失败模式。
如果测试时好时坏,agent 学会的就会是再跑一次,而不是修复失败的代码。如果测试太慢,agent 每批执行的测试就会减少,让问题更难定位。较重的测试最好放在提交变更之前运行。
下面是我认为最值得投入的三类测试。
**端到端(E2E)测试**
如果只能专注于一种测试,就选端到端测试。这类测试描述的是真实用户流程,比如把商品加入购物车、结账,然后进入确认页面。
E2E 测试之所以如此有效,是因为很难糊弄过去——要么整个功能能用,要么不能用。它还有明确的完成标准,能具体指出哪里出了问题。

单元测试虽然更快,也更稳定,但即使全部通过,功能仍有可能出问题。这是因为 agent 和测试都不了解完整任务。
做 E2E 测试时,让 agent 能够直接观察和操作真实运行的系统很有效。你可以通过 skill 启动、操作并检查应用,使用的工具包括 [CDP](https://chromedevtools.github.io/devtools-protocol/)、模拟器或 API harness。
功能地图可以充当 agent 的操作指南和评分标准。这类地图通常从用户视角列出各项功能,并描述访问路径、键盘快捷键、选择器和预期结果。
**属性测试:不能被打破的约束**
很多测试都基于你预想中可能出错的地方。属性测试关注的是人们容易遗漏的边界情况,而 agent 也经常在这些地方失败。
首先写下一条你认为绝不能被打破的陈述,然后使用测试库(JS/TS 可用 [fast-check](https://fast-check.dev/),Python 可用 [Hypothesis](https://hypothesis.readthedocs.io/en/latest/),Rust 可用 [proptest](https://proptest-rs.github.io/proptest/) 等)生成数千个输入,试图证明这条陈述并不成立。
几乎每个软件项目中都存在许多这样的属性,例如:
- 往返编码:“如果先编码 X,再解码回来,得到的还是 X。”这同样适用于解析和序列化。
- 不变量:必须始终成立的条件,比如“账户余额永远不能变成负数”。
- 幂等性:同一个操作(迁移、规范化、重试)执行两次,效果与执行一次相同。
- 等价性:优化后的代码与朴素但正确的代码产生相同结果。
属性测试库会使用一些边界情况,而这些情况不会带有编写原始代码的 agent 所具有的同类偏见,因此很适合用来约束 agent。重写系统时,它们也特别有用:此时规格要求可能已经与生产环境的实际行为发生偏差,不再是可靠的验证依据。
**差分测试:以旧系统为判定标准**
差分测试尤其适合功能预期保持不变的[大规模迁移](https://claude.com/resources/articles/ai-code-migration)场景。测试时,使用相同输入同时运行新旧系统,查看结果是否不同。如果不同,就说明存在需要修复的 bug 或破坏性变更。
差分测试的关键是使用随机生成的输入,或者抽取一部分生产流量。你还需要对空白字符等无关因素做规范化处理,并为新旧环境本就应该存在差异的情况维护一份已批准变更清单。
## Claude Code 团队如何看待验证
我们之前写过 [Anthropic 如何进行代码审查](https://claude.dev/blog/solving-code-review-at-anthropic/),本文则会进一步介绍我们如何验证自己的工作。
**验证就是把变更实际运行起来**
端到端运行应用比测试更重要。你不会在没用模拟器试过的情况下发布一项 iOS 变更,对 Claude 也应该采用同样的标准。
Claude 可以像人类或 QA 工程师一样测试整个应用。涉及 Web 变更时,让它使用 Claude Chrome 扩展;涉及移动端时,使用 iOS 或 Android MCP;桌面端使用 computer use;后端工作则让它在本地运行服务。
为了把启动模拟器或运行应用的方法固定下来,可以创建一个名为 verify 的 skill,把它放进仓库的 .claude/skills/ 文件夹,并尽可能靠近相关代码;这样的 skill 可以按需创建多个。Claude 知道要在提交变更之前使用 verify skill。
接下来,要投入精力让 verify skill 运行得又快又可靠。让 Claude 不断改进它,并对它进行压力测试。它就是你的冒烟测试 harness,所以必须足够稳固。
如果给 Claude 一种对变更进行端到端冒烟测试的方法,得到的结果会好得多。你会看到它像人类一样不断迭代,更快发现真实错误。Anthropic 几乎所有变更都是这样测试的。
**测试失败时需要人来处理**
没人能读完每一项变更,所以我们会根据失败结果判断哪些地方需要人来处理。Claude 会执行检查,并尝试修复所有失败项。如果三轮之后仍有检查不通过,Claude 就会停下来,请人介入。
**代码负责人自己编写检查**
负责代码的人会亲自为它编写检查,并不断完善,直到这些检查能够标出负责人本人会标出的问题。检查需要审查者介入时,应该说明原因,这样审查者就不必再从 diff 中自己推断。
**可靠性检查由 diff 触发**
我们维护了一份包含 39 项内容的可靠性检查清单。每一项都包含一个能从 diff 中识别的触发条件、一项检查,以及催生它的事故或 PR。其中一项是“--resume 会加载旧的对话记录”。当会话存储或消息类型发生变化时,我们会检查新字段能否安全加载,因为旧的对话记录里没有这个字段。
Claude 会读取 diff,只检查触发条件匹配的项目,通常是 3 到 10 项,因此没人需要记住过去发生过的所有故障。
**一名审查者,多轮审查**
我们不会靠层层增加审查者来改善审查。在主要审查者之上再加一个成本更高的审查者,往往还不如把主要审查者调好。我们的做法是提供一份 [REVIEW.md](https://code.claude.com/docs/en/code-review-customize),告诉审查者应该重点关注这部分代码的哪些方面。
我们还认为,每一轮审查和验证都应该建立在前一轮的基础上。每次执行时,我们都会提供之前各轮的上下文和过往失败记录,而不是从头重新检查所有内容。这样成本更低,发现的问题反而更多。
**变更不能修改用来检查自己的规则**
如果一项变更能修改评判它的检查,这项检查就失效了。Code Review 会读取基础分支或默认分支上的 REVIEW.md 文件,[绝不会读取拉取请求中的变更版本](https://code.claude.com/docs/en/code-review-customize)。Claude Code 团队会确保用于把关变更的规则位于该变更无法修改的分支上。
Claude Code 团队还规定,只对 commit 进行审查。如果审查过程中还有人在推送代码,那么审查结果就不再有用。针对过期 commit 得出的通过结论毫无意义。
团队也会先运行成本较低的检查。如果 agent 在本地测试之前就推送代码,本可以由它自己发现的 bug 就会占用共享审查和 CI 的时间。在我们团队,Claude 会先运行测试、构建和 linter,然后才创建拉取请求。你可以通过 [hook](https://code.claude.com/docs/en/hooks) 强制执行这一点,让它在 Claude 完成工作时运行测试;也可以用 [/goal](https://code.claude.com/docs/en/goal) 把“测试套件通过”设为目标。
**让新门禁先以 observe 模式运行**
在我们自己的仓库里,每个 commit 都会带上验证方式标记。这个标记甚至可以是“none”,方便我们查询哪些 commit 没有经过验证。
我们还创建了一个 commit 门禁:如果会话中没有执行过 /code-review 或 /verify,它就可以阻止 commit。我们为它设置了 off、observe 和 enforce 三种模式。
observe 模式会记录哪些 commit 原本会被阻止,便于我们检查是否存在误报,并确保不会影响任何人。
enforce 模式会直接阻止 commit。任何 commit 都可以在提交信息中解释自己为什么没有经过验证。如果同一会话中已有两次 commit 被阻止,下一次就会放行,避免 Claude 卡住——Claude Code 并不完美。
**用真正重要的结果检验检查机制**
Claude Code 团队还会定期审查这些审查者。我们会追踪多少项已经合并的变更后来遭到回滚,多少项变更在合并前被维护者拒绝,以及一组按规模匹配、合并后一直没有出问题的变更。
这也可以通过正式评估来完成。我们在[代码审查文章](https://claude.dev/blog/solving-code-review-at-anthropic/)中介绍过,Code Review 团队如何基于过去的事故和回滚建立评估。对于每个案例,他们会把仓库恢复到当时接受审查时的状态,并用一句话写出 bug 的标准答案。只有准确描述了相应 bug 的发现结果才能得分。他们还会用已经合并并保持稳定的变更作为对照,防止系统过度报错。用于调优的数据集与评估系统所用的固定测试集相互分离。
他们还分别评估原始发现、验证之后和最终审查三个阶段的召回率。这样就能看出系统是否丢掉了已经发现的 bug。如果把整个过程只看成一个端到端分数,就捕捉不到这种细微差别。
除了结论是否有效,我们关心的另一个维度是:这项变更到底有多重要。优秀的审查者能发现大多数技术上确实存在的问题,但人们更在意一个 bug 是必须修复、应该修复,还是只算小问题。
Code Review 正是按照这个思路工作,会把问题标记为 [Important、Nit 或 Pre-existing](https://code.claude.com/docs/en/code-review-pull-requests)。“Pre-existing”标签表示,审查者不应该让作者为原本就已存在的 bug 负责。
最后,Claude Code 团队会提高召回率,直到继续提升只会让系统对 eval 过拟合,而不是真的能发现更多 bug。
**把漏报变成规则**
在 Claude Code 仓库中,我们有两种方法把漏掉的案例转化成规则。第一种是从人工代码审查评论和 PR 回滚中提取规律,找出常见问题。一个问题必须至少在两个 PR 中出现过,而且能从 diff 中识别,才会被视为潜在规则。三个 agent 会尝试推翻它,然后再由人通过 PR 审查和批准。
第二种方法,是让三个 bug 查找器针对与已知事故相关的 PR 重新运行。如果至少两个找到了 bug,就说明这是一个可检测的 bug。如果一个小型 diff 中的 bug 仍被漏掉,那就是一个值得转化为 REVIEW.md 规则的缺口。
不稳定测试也会得到同样处理。Claude 不能跳过它们,不能添加 sleep,也不能不断重试直到通过。如果找不到根本原因,它会删除测试,并写明原因。
规则同样需要清理。测试套件、验证步骤和 .md 文件,只要放任不管就会不断膨胀,所以我们会定期整理。
## 好测试带来好结果
我们发现,如果为 agent 提供一种验证自己工作的方式,再配上一套强有力的反馈循环,效果会完全不同。应该像对待其他系统一样对待验证层:让它远离自己所评判的变更;用那些真正重要的 bug 检验它;漏掉问题时就记录经验,避免同类问题再次发生;同时也要删减这些经验,让留下来的每一条都值得执行。
做到这一点,你的工作就会从逐个阅读 diff,转变为定义什么叫“完成”,以及审查相应证据。正是这种转变,让你能够同时运行许多个 Claude。
