Claude コードチームが検証について考えている方法

2026/11/17 19:20

Claude コードチームが検証について考えている方法

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

エージェントの運用を少数インスタンスから並列で数百個に拡大するためには、自動化されたテストと人間によるレビューを組み合わせた厳密な検証ループが不可欠です。このフレームワークは反復的な失敗を防ぎ、

CLAUDE.md
フックなどの事前定義されたスキル、基準、および特定のチェックをコード化する手法により、標準的なプロンプティングと比較して困難な問題における成果を最大 10 ポイント向上させるなど、タスクの成功率を大幅に高めます。この戦略では異なる種類のテストを採用しています:エンドツーエンドテストは確定した完了基準付きの実在ユーザーフローをシミュレートし、プロパティテストは fast-check などのライブラリを用いてエッジケース下での制約を検証し、差分テストは新旧システムを比較して移行バグを捉えます。さらに、人間による注目は自動的にトリガーされます:連続した 3 回の失敗試行後に人間の関与が促されます。また、コード所有者は
REVIEW.md
ファイルに準じて独自のチェックを作成し、評価チェックを自分が検証するコード変更から独立させることを確保しています。このアプローチは低コストで高品質なベンチマークと仕様が迅速に生成可能であり、スケーラブルなエージェント評価のための業界標準を確立します。

本文

検証ループ:Claude コードチームが数十〜数百のエージェントを並列動作させるための基盤

エージェントに出力を検証する手段を与えることは、品質向上の有効なアプローチです

Claude コードチームにおいて、約 90% のコードは Claude にて作成・レビューされています。 この規模でエージェントを任せる際、自らの作業を証拠に基づいて検証する仕組みの構築は極めて重要です。

検証ループの重要性

  • 並列実行の鍵: 検証ループがない場合、人間が全てを確認するため、同時に 1〜2 つのエージェントしか動かせません。
  • スケーリング: この仕組みがあれば、数十乃至数百個のエージェントを並列で動作させることが可能です。

内部テストによる成果の改善

構造化されたファイル生成に関する内部テストにおいて、Claude の作業を基準点(Rubric)に基づいて別の判定官がチェックする仕組みを導入しました。

  • タスク成功率: 標準的なプロンプトループに比べて、最高で 10 ポイント向上。
  • 効果の偏り: 特に難度の高い問題において最大の効果が得られました。

安価かつ高品質なコード開発のための検証戦略

かつてはコストが高くついていたテストやベンチマークも、現在ではエージェントに安価にリクエストできるようになりました。 コードと同様に、エージェントは迅速にテスト、ベンチマーク、仕様書などを生成可能です。一度生成されれば、これらはソフトウェアとして実行されるため、追加のトークンを大量消費することなく頻繁に実行できます。

また、検証ループを閉じるためには、結果を使ってエージェントの性能向上を図ることも重要です。

  • 再発防止: エージェントがユーザーデータを含むログを検査するテストを繰り返し失敗させた場合、
    CLAUDE.md
    にフックやより明確なルールを追加し、不具合の回避と再発防止に役立てます。

以下に、投資に値する 3 つのテストタイプとその具体的な活用方法をご紹介します。

テストはすべて等しく価値があるわけではない:投資に値する 3 つのテストタイプ

どのタイプのテストを選んでも避けるべき失敗パターンがあります。

  • 不安定なテスト: エージェントが再実行を学習し、実際には不具合のあるコードを修正する動きがおきます。
  • 遅すぎるテスト: バッチあたりのテスト数が減少し、問題の原因特定が困難になります。
  • 負荷の高いテスト: 変更をコミットする前に導入するのが最適です。

1. エンドツーエンド(E2E)テスト

特定のタイプを選ぶなら E2E テストを選びましょう。カートへの商品追加やチェックアウトといった実際のユーザーフローを記述します。

  • 欺くことが難しい: 「機能全体は動くか動かないか」の二者択一であり、明確な完了基準と不具合の内容を示せます。
    • ユニットテスト: 「エラー:30 秒後のタイムアウト」といった曖昧なメッセージ。
    • E2E テスト: 不具合の内容が記載されたスクリーンショットで具体的な状況を把握可能。
  • 「手」と「目」を与える: E2E テストでは、実稼働システム上で検証できます。CDP、シミュレーター、または API ハネスを使ってアプリを起動・操作・点検するスキルを活用します。
  • 機能マッピング図(Feature map): ユーザーの視点からパスやショートカットキー、セレクター、期待される結果をリスト化したものであり、**エージェントにとってのガイドおよび判定基準(Grading Rubric)**としても役立ちます。

2. プロパティテスト:崩せない制約条件

多くのテストは「失敗しそうな箇所」を対象としますが、プロパティテストは人間が見落としがちなエッジケースに焦点を当てています。

  • 手法: 「絶対に失敗しない」という主張(ステートメント)を書き込み、テストライブラリ(fast-check, Hypothesis, proptest など)を使って数千の入力を生成し、逆証を試みます。
  • 主なプロパティ例:
    • ラウンドトリップ暗号化: X をエンコードして復号化した結果が X に戻ること。
    • 不変条件(Invariant): 「口座残高は決してマイナスになることはない」など、常に真であるべきこと。
    • 冪等性(Idempotency): 行動を複数回実行した場合の効果は、1 回行った場合と同一であること。
    • 同値性(Equivalence): 最適化されたコードが、-naive な正解コードと同じ結果を出すこと。
  • 利点: 異なるバイアスで生成されたエッジケースを活用し、エージェントの誠実さを保つことができます。仕様と本番環境の不一致や、再記改(rewrite)の際に特に有用です。

3. 差分テスト:旧システムをオラクルとする

機能的な変更があるが動作内容は維持すべき大規模なマイグレーションで特によく機能します。新旧両方のシステムに同じ入力を与え、結果に違いがないか確認します。

  • 要点: ランダム生成された入力データか、本番トラフィックのサンプルを使用します。
  • 推奨事項: 空白などの無関係なファクターを正規化(ノーマライズ)し、新旧環境で異なり得る場合のために承認済み変更の一覧も用意しておきます。

Claude コードチームにおける検証への考え方

検証とは実行を意味する

単なるテストよりも、アプリ全体を実行し確認することの方が重要です。

  • 全行程の検証: Web 向けには Chrome 拡張機能、モバイル向けには iOS/Android MCP、デスクトップではコンピューター操作スキル、バックエンドではローカルでのサービス実行を活用します。
  • スキルの実装: シミュレーターや実行方法を記述化する
    verify
    という名前のスキルを作成し、リポジトリ内の
    .claude/skills/
    フォルダに配置します。Claude はコミット前に必ずこのスキルを使用するように学習しています。
  • 高速かつ信頼性の確保:
    verify
    スキルはスモークテストハネス(初期検証ツール)として極めて堅牢である必要があります。Claude に反復改善させたり負荷テストを行わせたりすることで、人間のように実際のミスを早くキャッチできます。

失敗したテストには人間の介入が必要

  • 3 回ルール: Claude はチェックを実行し、失敗したものを修正しようとします。チェックが3 回繰り返されなおも失敗する場合は、Claude は停止し、人間に引き継ぎます。誰でもすべての変更を読むことはできませんが、この指標を活用することで効率化を図ります。

コードオーナー自身がチェックを書く

  • 自己責任: コードを所有している人がチェックを書き、自らの指摘内容と一致するように改良していきます。
  • 理由の明記: レビュヤーを呼び込む場合、なぜその指摘が必要なのかを明記すべきであり、差分(diff)から推測する必要はありません。

信頼性チェックは差分トリガーに基づいて実行

39 の項目を含む信頼性のチェックリストを維持しており、それぞれにトリガーを設定しています。

  • 例:
    --resume
    で古いトランスクリプトを読み込む際、セッションストレージやメッセージタイプに変更があった場合、旧トランスクリプトには存在しない新しいフィールドを安全にロードするかを確認します。
  • 効率化: Claude は差分を読み取り、トリガーが一致する項目のみをチェックするため、大抵の場合 3〜10 項目程度しか確認しません。これにより、過去の障害を記憶する必要がありません。

レビューは 1 人のレビューヤーで複数ラウンドを行う

  • コスト効率: 複数のレビュヤーを積層して質を高めるアプローチを試みていません。主要なレビュアーの上に高コストの第二のレビュヤーを追加することは、調整(チューニング)を行うよりも劣る場合があります。
  • REVIEW.md
    の活用
    : レビュヤーが注目すべき点を記した
    REVIEW.md
    を持っています。
  • 文脈の継承: 各ラウンドでは、前のラウンドや過去の失敗からの文脈を参照させ、全てを最初からチェックし直すことを避けます。これによりコストを抑えつつ、より多くの問題を見つけることができます。

変更は自分のチェックを修正してはいけない

  • ルール破損の防止: 変更がその変更を判断するチェック自体を修正できてしまうと、チェックは破損しています。Code Review はプルリクエストの変更部分ではなく、ベースブランチまたはデフォルトブランチの
    REVIEW.md
    ファイルから読み取ります。
  • レビューの単位: レビューをコミット単位に割り当てています。レビュー中に誰かがプッシュしてしまうと、その結果はもはや利用価値を失います。古いコミットに対して合格したレビューは無意味です。
  • テストの実行強制: チームではプルリクエストを開く前に Claude がテスト、ビルド、リンターを実行します。
    /goal
    に「テストスイートの合格」を指定することでこれを強制できます。

新しいゲートは観測モードから開始する

各コミットに検証方法のスタンプを押しています。「なし(none)」というスタンプが含まれており、未検証のコミットをフィルタリングできるようになっています。

  • モードの設定:
    • off
      (無効)
    • observe
      (観測):ブロックされたであろう内容がログに記録されるため、誤検知や影響範囲の確認が可能です。
    • enforce
      (強制):検証されなかった場合はコミットをブロックします。
  • 許容の余地: どのコミットでも検証されなかった理由をメッセージ中に記述することが可能です。Claude コードは完璧ではないため、セッション中でコミットが2 回ブロックされた場合、次のものは通過させます。

チェック自体も実際に重要なものに対してテストする

  • 自己レビュー: マージされた変更のうちどれがロールバックされたか、管理者が拒否した変更の数などを追跡します。
  • チューニング: 形式評価でも同様に、コードレビューチームは過去のインシデントやロールバックに基づいて評価体制を構築しています。各例ごとにリポジトリをレビュー時の状態に戻し、バグの概要を一文で答える解答用キーを提供します。
  • 評価指標:
    • 見逃しの防止: 生データ、検証後の見出、最終レビュー後の見出という 3 つの段階でそれぞれ召回率(recall rate)を評価し、システムが既に発見済みのバグを見逃していないか確認します。
    • 重要性の評価: 技術的な正しさに加え、「即修正必須」「修正推奨」「些細な不具合(nit)」という重要性についても評価を行います(
      Important
      ,
      Nit
      ,
      Pre-existing
      タグ)。

ミスをルールに変える

Claude コードリポジトリ内では、見落としをルールに変換するための 2 つの方法を採用しています。

  1. パターン抽出: 人間によるコードレビューコメントと PR のロールバックに含まれるパターンを抽出し、一般的な問題点を特定します(少なくとも 2 つの PR で発生し、差分から特定可能)。その後、3 つのエージェントが否定を試み、人間のレビュヤーが承認します。
  2. バグ発見ツールの放送回復: 既知のインシデントに関連する PR に対して、バグ発見ツールを 3 つ使い回放(replay)させます。少なくとも 2 つがバグを見つけた場合、検出可能なバグと判断し、
    REVIEW.md
    にルールとして変えるに値するギャップ(不足)とみなします。
  • 不安定なテスト: ルールと同様の扱いを受けます。根本原因が見当たらない場合は、テストを削除しその理由を記録します。

良いテストなら良い結果

エージェントに作業を検証するための強力なフィードバックループを与えることで劇的な違いが出ます。検証レイヤーは他のシステムと同様に扱う必要があります。

  • アクセス制限: 評価対象の変更から検証レイヤーを守りましょう(アクセス可能にしない)。
  • 重要度の付与: ユーザーにとって重要なバグに対して評価(グレード)を行いましょう。
  • 教訓の記録: 見落としがあった際、二度と起きないようその教訓を記録しましょう。
  • 定期的な整理: その教訓は実行価値が維持されるよう定期的に整理(prune)しましょう。

これを行えば、あなたの仕事はすべての差分を読むことからは解放され、「完了」の定義を定め、証拠を確認することにシフトします。これが一度に多数の Claude を動作させることを可能にする理由です。

同じ日のほかのニュース

一覧に戻る →

2026/11/18 6:11

Java4Shell:Base64データを処理する際に発生するOpenJDKのRCE

## Japanese Translation: 「Java4Shell」と名付けられた重大な脆弱性が、Java コンパイラの Base64 _decoder_ のヒープメモリ破損を悪用し、OpenJDK でリモートコード実行を可能にする。この欠陥は、AVX-512 VBMI ハードウェアアクセラレーションを使用する x86-64 ビルドに限定して発生する:JIT コンパイラの C2 内在関数における `bzhiq` および `evmovdqub` の計算ミスが、入力長が -1 または -2 にアンダーフローすると、範囲外書き込みを引き起こす可能性がある。攻撃者は「Heap Feng Shui」技術を採用し、G1 ゴーブルトコレクションャの領域に対して「spray and pray」を用いてメモリを再配置し、安全な固定バイト書き込みをコードキャッシュを通じて任意のコード実行へと変える。この脆弱性は OpenJDK 17.0.6 およびそれ以降、また Oracle Java SE のいくつかのリリース(8u511b33-perf、17.0.21.0.3、21.0.13.0.3、25.0.5.0.3、および 27.0.1.0.3)に影響を与える。Amazon Corretto、Eclipse Temurin、Microsoft Build of OpenJDK、Azul Zulu、BellSoft Liberica、SAP SapMachine、Red Hat OpenJDK、Oracle OpenJDK、ならびに JDK 用の Oracle GraalVM を含む多数のディストリビューションが影響を受けている。特に注目すべきは、ARM64 CPU は AVX-512 サポートを有しないため影響を受けない点である。リモート悪用はネットワークレイテンシ(RTT)およびジッターに敏感であり、ターゲットと同じリージョンにある VM をレンタルして実施するなどの方法により、TCP/IP 構成への依存だけではなかったことが実証されている。Proof-of-concept はウォームアップループ後に誤った形式の入力(「64 × "A" + "="」)をデコードすることによってトリガーされ、オフセット 50–111 で 62 バイトが書き換わる。Oracle と OpenJDK は 2026 年 11 月 17 日午後 1 時(PT)にパッチをリリースした。パッチ適用までの間、組織は `-XX:-UseBASE64Intrinsics` または `-XX:UseAVX=2`(後者は x86-64 ホスト上のみ)といった JVM フラグを用いてハードウェアアクセラレーションを無効化することでリスクを軽減できる。この事案は、高度な CPU 機能を監査し、Java ランタイムを最新の状態に保つことの重要性を示している。本調査、報告書、およびエクスプロイトの改善は Quang Luong と Jenish Rakholiya によって行われ、アートワークは Michal Zalewski による。

2026/11/18 7:13

クアドラントのフランスからの撤退:石炭坑のカナリア

## Japanese Translation: スイス非営利財団の Quad9 が先月、著作権侵害ドメインをブロックできないことに対する裁判所による破産に近い日次罰金の命を受け、2 月 14 日以降にフランスから無料公開 DNS リゾルバー(9.9.9.9)を即時撤回すると発表しました。この決断により、政府機関や教育機関、病院、事業会社を含むユーザーおよび組織は、直接的な通知メカニズムが欠如しているため、設定を更新するか、インターネット接続の喪失という説明のない状態に追い込まれます。この状況は、Cloudflare がオランダの裁判所による命令にともない 2027 年 1 月初めまでに同様の問題に対して複数の主要プロバイダー(Google の 8.8.8.8 や Cisco の OpenDNS を含む)に対処する罰則を脅かしたことに続き、フランス、ポルトガル、ベルギーから一時的に OpenDNS リゾルバー(1.1.1.1)を撤回した過去の行動と鏡のように似ています。技術に詳しいユーザーが制限を迂回することは可能であっても、より広範な影響には、兆単位の日常クエリを処理する大きな工学上の課題や、グローバルサービスに対して地域的なブロック命令を適用することでオープンなインターネットを分断化するリスクが含まれ、その結果として違法かどうかにかかわらずドメインに波及被害を引き起こします。

2026/11/18 4:50

jQuery 4.1.0

## Japanese Translation: 2026 年 11 月 17 日、jQuery はテーマ「火炬の引き継ぎ(Passing the Torch)」の下にバージョン 4.1.0 および 3.8.0 をリリースし、配列境界エラーを回避するためループを改修し、古来の `getElementsByTag/ClassName` セレクターではなく現代の `querySelectorAll` メソッドを優先するなどコアアーキテクチャにおいて画期的な転換を図りました。このリリースでは、非同期処理の強化のために `jqXHR` に `responseURL` フィールドを追加し、代替的な `completeCallback` API をサポートするとともに、`createElementNS` による XML ドキュメントサポートも向上させています。重要なセキュリティ向上として、Safari 27 の正規表現バグおよび識別子マッチングにおける ReDoS 脆弱性の修正が含まれています。機能的な更新としては、シリアライゼーションにおいてフォームに関連するカスタム要素を許可し、SVG テキスト抽出およびアニメーションに関する不具合も解消しました。このアップデートでは、`.data()`(SVG 向け)やアニメーション署名などのテストカバレッジが拡大されるとともに、TuxCare を通じた商用サポートが追加され、ドキュメントの修正も行われています。今後のバージョンに向けては、おそらく `jQuery.uniqueSort` における重複削除の最適化とカスタムフォーム要素の処理にさらに注力し、開発者へのパフォーマンス向上とブラウザ互換性改善を約束しながらエンドユーザーにより滑らかな体験を提供することを予定しています。