CC-Canary：Claude Code の性能低下を示す初期兆候を検出するための手法

Claude Code のドリフト検出機能：2 つのインストール可能なエージェント・スキルとして提供されています。
このツールは、

~/.claude/projects/

現状：0.x / プリアльфа版
出力フォーマットや指標セットは今後の変更可能性があります。

提供されるスキル一覧

/cc-canary [window]

./cc-canary-<日付>.md

/cc-canary-html [window]

./cc-canary-<日付>.html

• [window] のデフォルト値は 60 日間です。
  受入可能な範囲：7d / 14d / 30d / 60d / 90d / 180d。

• それぞれのレポートには以下の項目が含まれます：

  • Verdict（判断）: HOLDING / SUSPECTED REGRESSION（疑わしい劣化）/ CONFIRMED REGRESSION（確認された劣化）/ INCONCLUSIVE（不確実）
  • ヘッダー指標テーブル（事前・事後比較、🟢/🟡/🔴のバンド判定付き）
  • ウィークリー・トレンドグラフ：コスト（米ドル、ccusage によるセント単位の検証済み）、読み込み対編集比率（read:edit ratio）、推論ループ回数、ターンあたりのトークン数
  • クロスバージョン比較：同一ユーザー、異なるモデルバージョンでの比較（タスクミックスを制御しながら）
  • 自動検出された転換日：複合健康スコアの変化点
  • 発見事項の分類：モデル側 / ユーザー側 / アンビギュラス（不明確な要因）
  • 附属書：一日別の思考深さ、単語頻度変化、三期間における思考表示度の移行、ターンごとの行動率など

インストール方法

npx skills add delta-hq/cc-canary

個別にインストールする場合：

npx skills add delta-hq/cc-canary --skill cc-canary
# または
npx skills add delta-hq/cc-canary --skill cc-canary-html

その後、任意の Claude Code セッションから以下のように呼び出します：

/cc-canary 60d
/cc-canary-html 30d

要件:
PATH に

python3 ≥ 3.8

cc-canary-html

動作原理

• スキャン:
  bundlingされた純粋な標準ライブラリ（pip や NodeJS は使用せず）による Python スクリプトが

  ~/.claude/projects/**/*.jsonl

  を走査し、指定したウィンドウ幅でフィルタリング、デフォルトではサブエージェントセッションを除外します。
• 重複排除（Dedupe）:
  

  message.id

  および

  requestId

  に対してアシスタントメッセージの重複を除去します（ccusage が採用している手法と同じ）。Claude Code はセッション再開や分岐時に同じメッセージを複数の JSONL ファイルに書き込むためです。
• 集計:
  セッション単位の指標：ツールの使用構成比、読み込み対編集比率、推論ループフレーズ、自己告白するエラー数、早期終了回数、中断回数、トークン使用量、コスト（現在の Claude 4.x レート）、一日別の思考深さ。
• 転換日の検出:
  各日の複合健康スコアを計算し、候補日の中で

  |before − after|

  が最大になる日を argmax で選択（閾値は σ の 0.75 倍）。明確な変化点が見つかっていない場合は中央値 Timestamp での分割にフォールバックします。
• レポートのプレレンダリング:
  スクリプトがすべてのテーブルや棒グラフを埋め込んだマークダウン/HTML スケレトンを書き込みます。Claude が埋める余地としては約 20 の短いナラティブスロット（

  <!-- C: ... -->

  マークで示す）のみを残します（判断の一行、要約、各発見事項への推論理由、根本原因、附属書の段落など）。
• 埋め込みと保存:
  Claude はこのスケレトンを読み取り、ナラティブ部分を書き込み、最終ファイルを保存します。

所要時間: スクリプト実行で約 2.5 秒、Claude がナラティブを埋めるのに 10–20 秒。

各スキルが追跡する指標（ヘッダーテーブルに含まれるもの）

（適用される場合は健全/移行/懸念のバンド表示付き）

• 読み込み対編集比率（Read:Edit ratio）: ファイルを一度読むごとに何回編集するか。モデルが変異を行う前にどれだけ徹底的に調査を行ったかの指標。
• 書き込みの割合（Write share of mutations）: 総変更数における書き込みの割合

  [Write / (Edit + Write)]

  。割合が高いほど、モデルはファイル全体を書き換える傾向があり、外科的な編集を行わないことを示唆します。
• 推論ループ回数 / 1K ツール呼び出し: "let me try again", "oh wait", "actually," などのフレーズの頻度。
• 焦燥率（Frustration rate）: ユーザープロンプト内の焦燥表現の出現率。
• 思考遮断率（Thinking redaction rate）: 表示されていない（遮断された）思考ブロックと表示されている思考ブロックの比率。
• 平均思考長さ（Mean thinking length）: 推論深さの指標（可視化されたコンテンツ長との相関係数 r=0.97、暗号署名長の計測による）。
• 1 ユーザーターンあたりの API ターン数: ユーザーメッセージに対するモデルからの API 呼び出し回数。
• 1 ユーザーターンあたりのトークン数: ユーザーメッセージごとの総トークン量（入力＋出力＋キャッシュ）。

また、附属書では以下の追加シグナルも提供します：
早期終了、自己告白するエラー、ショートカット語彙、ユーザー中断、一日別の思考深さ、単語頻度変化、三期間における思考表示度の移行、ターンごとの行動率など。

スキルのフラグとフィルター設定

Bash コマンド（

python3 scripts/compute_stats.py …

--window {Nd}

--include-agents

--min-user-words N

--render-md PATH

--render-html PATH

プライバシーポリシー

• 完全にローカル動作: ネットワークへの呼び出しは一切ありません。
• スクリプトは

  ~/.claude/projects/*.jsonl

  のみを読み取ります。それ以外のファイルにはアクセスしません。
• ナラティブのプロース（文章）は、スキル実行時（あなたの Claude Code セッション内で）Claude によって書き込まれます。これにはディスク上の明示的に指定されたファイルへのみのアクセス権限があります。
• ユーザープロンプトの内容は、スケレオンに含める前に最大 180 キャラクタへ短縮され、

  /Users/…

  パス、メールアドレス、ヘキサンコードのようなトークンはマスキング（遮断）されます。
• 出力ファイル（

  ./cc-canary-<日付>.{md,html}

  ）はスキルが実行されたディレクトリにのみ配置され、どこにもアップロードされることはありません。

コントリビューション

イシュー、指標に関する提言、そしてプルリクエストを大歓迎です：
github.com/delta-hq/cc-canary/issues
※ 0.x 期間中は出力フォーマットや指標セットの変更可能性があります。

名前の由来

炭鉱では、メス（岩ガスの危険を察知する鳥）を派遣して早期の危険兆候を検出させる慣習がありました。cc-canary も同様に、あなたの Claude Code セッションにおけるドリフトの早期兆候を検出します。

ライセンス

MIT License