
2026/11/17 19:20
Claude コードチームが検証について考えている方法
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
エージェントの運用を少数インスタンスから並列で数百個に拡大するためには、自動化されたテストと人間によるレビューを組み合わせた厳密な検証ループが不可欠です。このフレームワークは反復的な失敗を防ぎ、
CLAUDE.md フックなどの事前定義されたスキル、基準、および特定のチェックをコード化する手法により、標準的なプロンプティングと比較して困難な問題における成果を最大 10 ポイント向上させるなど、タスクの成功率を大幅に高めます。この戦略では異なる種類のテストを採用しています:エンドツーエンドテストは確定した完了基準付きの実在ユーザーフローをシミュレートし、プロパティテストは fast-check などのライブラリを用いてエッジケース下での制約を検証し、差分テストは新旧システムを比較して移行バグを捉えます。さらに、人間による注目は自動的にトリガーされます:連続した 3 回の失敗試行後に人間の関与が促されます。また、コード所有者は REVIEW.md ファイルに準じて独自のチェックを作成し、評価チェックを自分が検証するコード変更から独立させることを確保しています。このアプローチは低コストで高品質なベンチマークと仕様が迅速に生成可能であり、スケーラブルなエージェント評価のための業界標準を確立します。本文
検証ループ:Claude コードチームが数十〜数百のエージェントを並列動作させるための基盤
エージェントに出力を検証する手段を与えることは、品質向上の有効なアプローチです
Claude コードチームにおいて、約 90% のコードは Claude にて作成・レビューされています。 この規模でエージェントを任せる際、自らの作業を証拠に基づいて検証する仕組みの構築は極めて重要です。
検証ループの重要性
- 並列実行の鍵: 検証ループがない場合、人間が全てを確認するため、同時に 1〜2 つのエージェントしか動かせません。
- スケーリング: この仕組みがあれば、数十乃至数百個のエージェントを並列で動作させることが可能です。
内部テストによる成果の改善
構造化されたファイル生成に関する内部テストにおいて、Claude の作業を基準点(Rubric)に基づいて別の判定官がチェックする仕組みを導入しました。
- タスク成功率: 標準的なプロンプトループに比べて、最高で 10 ポイント向上。
- 効果の偏り: 特に難度の高い問題において最大の効果が得られました。
安価かつ高品質なコード開発のための検証戦略
かつてはコストが高くついていたテストやベンチマークも、現在ではエージェントに安価にリクエストできるようになりました。 コードと同様に、エージェントは迅速にテスト、ベンチマーク、仕様書などを生成可能です。一度生成されれば、これらはソフトウェアとして実行されるため、追加のトークンを大量消費することなく頻繁に実行できます。
また、検証ループを閉じるためには、結果を使ってエージェントの性能向上を図ることも重要です。
- 再発防止: エージェントがユーザーデータを含むログを検査するテストを繰り返し失敗させた場合、
にフックやより明確なルールを追加し、不具合の回避と再発防止に役立てます。CLAUDE.md
以下に、投資に値する 3 つのテストタイプとその具体的な活用方法をご紹介します。
テストはすべて等しく価値があるわけではない:投資に値する 3 つのテストタイプ
どのタイプのテストを選んでも避けるべき失敗パターンがあります。
- 不安定なテスト: エージェントが再実行を学習し、実際には不具合のあるコードを修正する動きがおきます。
- 遅すぎるテスト: バッチあたりのテスト数が減少し、問題の原因特定が困難になります。
- 負荷の高いテスト: 変更をコミットする前に導入するのが最適です。
1. エンドツーエンド(E2E)テスト
特定のタイプを選ぶなら E2E テストを選びましょう。カートへの商品追加やチェックアウトといった実際のユーザーフローを記述します。
- 欺くことが難しい: 「機能全体は動くか動かないか」の二者択一であり、明確な完了基準と不具合の内容を示せます。
- ユニットテスト: 「エラー:30 秒後のタイムアウト」といった曖昧なメッセージ。
- E2E テスト: 不具合の内容が記載されたスクリーンショットで具体的な状況を把握可能。
- 「手」と「目」を与える: E2E テストでは、実稼働システム上で検証できます。CDP、シミュレーター、または API ハネスを使ってアプリを起動・操作・点検するスキルを活用します。
- 機能マッピング図(Feature map): ユーザーの視点からパスやショートカットキー、セレクター、期待される結果をリスト化したものであり、**エージェントにとってのガイドおよび判定基準(Grading Rubric)**としても役立ちます。
2. プロパティテスト:崩せない制約条件
多くのテストは「失敗しそうな箇所」を対象としますが、プロパティテストは人間が見落としがちなエッジケースに焦点を当てています。
- 手法: 「絶対に失敗しない」という主張(ステートメント)を書き込み、テストライブラリ(fast-check, Hypothesis, proptest など)を使って数千の入力を生成し、逆証を試みます。
- 主なプロパティ例:
- ラウンドトリップ暗号化: X をエンコードして復号化した結果が X に戻ること。
- 不変条件(Invariant): 「口座残高は決してマイナスになることはない」など、常に真であるべきこと。
- 冪等性(Idempotency): 行動を複数回実行した場合の効果は、1 回行った場合と同一であること。
- 同値性(Equivalence): 最適化されたコードが、-naive な正解コードと同じ結果を出すこと。
- 利点: 異なるバイアスで生成されたエッジケースを活用し、エージェントの誠実さを保つことができます。仕様と本番環境の不一致や、再記改(rewrite)の際に特に有用です。
3. 差分テスト:旧システムをオラクルとする
機能的な変更があるが動作内容は維持すべき大規模なマイグレーションで特によく機能します。新旧両方のシステムに同じ入力を与え、結果に違いがないか確認します。
- 要点: ランダム生成された入力データか、本番トラフィックのサンプルを使用します。
- 推奨事項: 空白などの無関係なファクターを正規化(ノーマライズ)し、新旧環境で異なり得る場合のために承認済み変更の一覧も用意しておきます。
Claude コードチームにおける検証への考え方
検証とは実行を意味する
単なるテストよりも、アプリ全体を実行し確認することの方が重要です。
- 全行程の検証: Web 向けには Chrome 拡張機能、モバイル向けには iOS/Android MCP、デスクトップではコンピューター操作スキル、バックエンドではローカルでのサービス実行を活用します。
- スキルの実装: シミュレーターや実行方法を記述化する
という名前のスキルを作成し、リポジトリ内のverify
フォルダに配置します。Claude はコミット前に必ずこのスキルを使用するように学習しています。.claude/skills/ - 高速かつ信頼性の確保:
スキルはスモークテストハネス(初期検証ツール)として極めて堅牢である必要があります。Claude に反復改善させたり負荷テストを行わせたりすることで、人間のように実際のミスを早くキャッチできます。verify
失敗したテストには人間の介入が必要
- 3 回ルール: Claude はチェックを実行し、失敗したものを修正しようとします。チェックが3 回繰り返されなおも失敗する場合は、Claude は停止し、人間に引き継ぎます。誰でもすべての変更を読むことはできませんが、この指標を活用することで効率化を図ります。
コードオーナー自身がチェックを書く
- 自己責任: コードを所有している人がチェックを書き、自らの指摘内容と一致するように改良していきます。
- 理由の明記: レビュヤーを呼び込む場合、なぜその指摘が必要なのかを明記すべきであり、差分(diff)から推測する必要はありません。
信頼性チェックは差分トリガーに基づいて実行
39 の項目を含む信頼性のチェックリストを維持しており、それぞれにトリガーを設定しています。
- 例:
で古いトランスクリプトを読み込む際、セッションストレージやメッセージタイプに変更があった場合、旧トランスクリプトには存在しない新しいフィールドを安全にロードするかを確認します。--resume - 効率化: Claude は差分を読み取り、トリガーが一致する項目のみをチェックするため、大抵の場合 3〜10 項目程度しか確認しません。これにより、過去の障害を記憶する必要がありません。
レビューは 1 人のレビューヤーで複数ラウンドを行う
- コスト効率: 複数のレビュヤーを積層して質を高めるアプローチを試みていません。主要なレビュアーの上に高コストの第二のレビュヤーを追加することは、調整(チューニング)を行うよりも劣る場合があります。
の活用: レビュヤーが注目すべき点を記したREVIEW.md
を持っています。REVIEW.md- 文脈の継承: 各ラウンドでは、前のラウンドや過去の失敗からの文脈を参照させ、全てを最初からチェックし直すことを避けます。これによりコストを抑えつつ、より多くの問題を見つけることができます。
変更は自分のチェックを修正してはいけない
- ルール破損の防止: 変更がその変更を判断するチェック自体を修正できてしまうと、チェックは破損しています。Code Review はプルリクエストの変更部分ではなく、ベースブランチまたはデフォルトブランチの
ファイルから読み取ります。REVIEW.md - レビューの単位: レビューをコミット単位に割り当てています。レビュー中に誰かがプッシュしてしまうと、その結果はもはや利用価値を失います。古いコミットに対して合格したレビューは無意味です。
- テストの実行強制: チームではプルリクエストを開く前に Claude がテスト、ビルド、リンターを実行します。
に「テストスイートの合格」を指定することでこれを強制できます。/goal
新しいゲートは観測モードから開始する
各コミットに検証方法のスタンプを押しています。「なし(none)」というスタンプが含まれており、未検証のコミットをフィルタリングできるようになっています。
- モードの設定:
(無効)off
(観測):ブロックされたであろう内容がログに記録されるため、誤検知や影響範囲の確認が可能です。observe
(強制):検証されなかった場合はコミットをブロックします。enforce
- 許容の余地: どのコミットでも検証されなかった理由をメッセージ中に記述することが可能です。Claude コードは完璧ではないため、セッション中でコミットが2 回ブロックされた場合、次のものは通過させます。
チェック自体も実際に重要なものに対してテストする
- 自己レビュー: マージされた変更のうちどれがロールバックされたか、管理者が拒否した変更の数などを追跡します。
- チューニング: 形式評価でも同様に、コードレビューチームは過去のインシデントやロールバックに基づいて評価体制を構築しています。各例ごとにリポジトリをレビュー時の状態に戻し、バグの概要を一文で答える解答用キーを提供します。
- 評価指標:
- 見逃しの防止: 生データ、検証後の見出、最終レビュー後の見出という 3 つの段階でそれぞれ召回率(recall rate)を評価し、システムが既に発見済みのバグを見逃していないか確認します。
- 重要性の評価: 技術的な正しさに加え、「即修正必須」「修正推奨」「些細な不具合(nit)」という重要性についても評価を行います(
,Important
,Nit
タグ)。Pre-existing
ミスをルールに変える
Claude コードリポジトリ内では、見落としをルールに変換するための 2 つの方法を採用しています。
- パターン抽出: 人間によるコードレビューコメントと PR のロールバックに含まれるパターンを抽出し、一般的な問題点を特定します(少なくとも 2 つの PR で発生し、差分から特定可能)。その後、3 つのエージェントが否定を試み、人間のレビュヤーが承認します。
- バグ発見ツールの放送回復: 既知のインシデントに関連する PR に対して、バグ発見ツールを 3 つ使い回放(replay)させます。少なくとも 2 つがバグを見つけた場合、検出可能なバグと判断し、
にルールとして変えるに値するギャップ(不足)とみなします。REVIEW.md
- 不安定なテスト: ルールと同様の扱いを受けます。根本原因が見当たらない場合は、テストを削除しその理由を記録します。
良いテストなら良い結果
エージェントに作業を検証するための強力なフィードバックループを与えることで劇的な違いが出ます。検証レイヤーは他のシステムと同様に扱う必要があります。
- アクセス制限: 評価対象の変更から検証レイヤーを守りましょう(アクセス可能にしない)。
- 重要度の付与: ユーザーにとって重要なバグに対して評価(グレード)を行いましょう。
- 教訓の記録: 見落としがあった際、二度と起きないようその教訓を記録しましょう。
- 定期的な整理: その教訓は実行価値が維持されるよう定期的に整理(prune)しましょう。
これを行えば、あなたの仕事はすべての差分を読むことからは解放され、「完了」の定義を定め、証拠を確認することにシフトします。これが一度に多数の Claude を動作させることを可能にする理由です。