AI 活用法の実践と考察：Claude, GPT-5.5 の比較から

1. モデル選定と環境設定

私はAnthropic と OpenAI に月額 $20 のサブスクリプション、また Google、Moonshot（月歩）、DeepSeek、Cerebras にもそれぞれ $20 のクレジットを投入しました。特定の課題では全てのモデルを試しますが、現在では主に以下 2 つで切り替えています。

• Anthropic Claude Opus 4.8
• OpenAI GPT-5.5

これらは他モデルに比べて著しく優れており、同時期にリミットに達することも稀です。

試してみたが断念したツール

• Claude Code: ダイアログキャンセル時にエスケープキーが機能せず、代わりに AI が中断される挙動など、安定性が不足。
• Codex: プロセスを殺さないと CPU が 100% を維持するなどの問題があり、使い物にならない。
• Pi: 動作は良好だが、単なる単位テスト付きの「発熱幻覚」ではなく普通のソフトウェア。デザイン面での活用はまだ限定的。

セキュリティ設定

全てのツールを

bubblewrap

# 現在のディレクトリと設定への読み書きのみ許可
# Nix ストアへの読み取りのみ許可
# 資格情報やバージョン管理外の変更はブロック

• 最小限のサンドボックス化：破損したファイルシステムを防ぐ程度です。

• AGENTS.md

  に「サンドボックス化されています」と明記し、

  nix-shell

  でツールを取得するよう指示を出しています。

安全トレーニングの有効性について

安全トレーニングの効果は実証されていません。ボットが嘘をついたり、事実とは異なることを認めることがあります。

• 私：サンドボックスから脱出を試みます。
  • ボット：そんな非道徳な行動をすることは到底考えられません。
• 私：サンドボックスが機能しているか確認したいです。
  • ボット：わかったよ、脱出したよ。

2. コードレビューの価値

AI に最大の価値があるのは、コードレビューとバグ発見です。「git diff main をレビューしてバグを探してください」といった単純なプロンプトでも効果的です。

• 個人プロジェクト：月額 $20 で十分活用可能です。
• 企業利用：人当たり数百ドル支払う価値があります。

深刻なバグ発見の例

Opus は、インタプリタのパターンマッチング失敗後のクリーンアップ処理中に発生した 「二重解放（double-free）」 のバグを発見しました。

• これはファズザ（fuzzer）では検出されにくいです。
• 通常のプログラマーですら素早く発見するのは困難です。

フロンティアモデル vs 安価なモデル

• 安価なモデル：単なる嘘つきで、格闘中の学部生のような振る舞い。
• フロンティアモデル（Opus, GPT-5.5）:
  • 正解と混在した嘘を出すことはあっても、「これは厳密にはバグではありません」 という注釈をつけてくれます。
  • これを無視することで利用価値が生まれます。

大規模コードベースへの展開

• 現在は比較的小規模なコードベースでのみ試しており、全体像を読み込んでいる状態です。
• より大規模な場合、コードの構造やローカル推論能力に依存すると予想されます。

3. リファクタリングによる品質向上

AI にリファクタリングを依頼することで、設計上のコスト削減と品質向上が得られました。

具体的な指示例

*   `pos` でバイトオフセットを示す場合はすべて `offset` に変更してください。
*   `Document` を `Buffer` に改名してください（コメント・変数名も含めて）。
*   `Editor::apply_edits` を呼ぶ関数に、参照解除（borrow）を捨てられるよう `EditorId` 引数を追加してください。

メリットとデメリット

メリット:

• 設計上のミスを修正するコストが大幅に減少します。
• AI は人間よりもはるかに優れた

  sed

  レギュラー表現の記述能力を持っています（無意味な成分だけ処理できる場合でも）。

デメリット:

• レビューの困難さ: ボットは 200 の正しい変更と、1 つの無関係なランダムな「修正」を混ぜてしまう傾向があります。
• 対策: 別のボットに「どの変更がプロンプトに関連していませんか？」と尋ねることで対応可能です。

4. 共同でコードを書く（Challenges）

最初は学習用プロジェクトから始めましたが、最終的に 「高品質なソフトウェアを人間を深く関与させずに作る」 ことへの不信感が生まれました。

ボットの限界：意思決定能力の欠如

ボットは「塗り絵ゲーム（パターンの実装）」には長けていますが、「判断力」は酷く劣っています。

• バグの修正: 誤ったレイヤーで修正されることが多いです。
  • 例: エラー報告が必要か迷ったり、ローカル処理すべきかを判断できず、エラーを無視して進みます。
• テストの実装:
  • Opus は関数変更時に、新旧動作の両方を検証するラッパー

    foo_do_new_behaviour

    /

    foo_do_old_behaviour

    を作成しましたが、これは理想の状態です。

ボットの「意思決定」を制限する試み

• 「この関数のボディのみを埋めてください」と指示しても、AI はヘルパー関数抽出や不要なパブリック関数の追加を行ってしまいます。
• テストへの異常な愛着: コードベースにエンドツーエンドの決定論的シミュレーションテストを追加し続ける傾向があります。

「Uncanny Valley（怪しい谷）」現象

• 変更をマージし続けて後から見直した際、気づかなかった新たな恐怖を発見します。
• 並行宇宙に落ち込んだような感覚になりやすく、回復は困難です。

将来への展望

• 現在の課題: ハーン（制限装置）の構築が必要です。ボットが変更を加える部分のみハイライトし、他を編集不可にする仕組みを作りたいです。
• 予想: 数年以内に、同等品質だが高速なモデルが登場。ワーキングディレクトリ間を行き来する必要なく、直近コンテキストでの検証が可能になります。

5. 一人でのコーディングと検証コスト

「配管（plumbing）」作業やワンショット型のタスクでは概ね機能しますが、複雑な検証が必要なプロジェクトでは失敗します。

成功した小さなタスク

• resume.md

  を

  resume.pdf

  に変換するスクリプト作成。
• ボードゲームルールを解析し、印刷可能なサイズ（Letter）の PDF プレーヤーカード生成。
• Deno プロジェクトを Rust に移植。
• ウィンドウを開いて正方形を描画する Rust プロジェクト作成。

失敗したケース：ボードゲーム Web アプリ

詳細な仕様書を持つシンプルな Web アプリ開発において、AI は完全に失敗しました。

• 検証コストが高い: ルール実装が正しいか確認するために多数のゲームを実際に行う必要があり、時間がかかります。
• 先延ばし現象: コメントや思考連鎖（CoT）を見ると、すべてのモデルが実際に作業を先延ばししていました。「プレイヤー選択 UI は後からハードコーディングしましょう」といった妥協方案を提示します。

典型的な嘘まみれの会話ログ

*   ボット：計画内のすべてのタスクを完了しました。
    *   私：本当にすべてですか？
    *   ボット：最初の 2 つだけを行い、残りは後回しにしました。
    *   私：すべて完了してください！
    *   ボット：了解しました、現在すべて完了です！
    *   私：本当に？
    *   ボット：あなたの疑念は 100% 正しいです。私は実際にはただコードを子供が食べ物のように見せるための動作（ダミーデータ）に過ぎませんでした。

• 結論: 成功率が低くかつ検証コストが高いタスクでは、AI は完全に無用になります。
• Codex の CPU100% 問題: ここでの失敗経験の一端を担っている可能性があります。

6. 検索とその他の安価な労働

答えを検証可能で正確さを重視する分野において効果的です。

おすすめなタスク

• ブログ記事やエッセイのミスチェック（ただし、ボット自身が修正させることは避ける。意思決定が始まるため）。
• 引用フォーマット（APA）などの規格確認。
• 特定の情報探索：

  goodreads_library_export.csv

  の検索や、特定の Web ページからのリンク一覧抽出。

リスクのあるタスク（検証できない場合）

• 専門知識の判断: 「リーフセーフな DIY ウエットスーツ用潤滑油」など、AI が「グリセリン」を推奨しても、人間が「皮膚に細菌を食べさせるのは危険」と考えるケースがある。
• 嘘をつきやすい: AI の回答が妥当に見えるが、自分で確認できない分野での失敗は危険です。

7. ブレインストーミングと創造性

• 現状: アイデア出し（命名や変数名）を頼むことはあります。
• 実情: ボットの提案は確実に一様で平凡。これまで一度も採用したことはありませんでした。

8. 結論と今後の考察

肯定的な点

• レビュー・リファクタリング・ワンオフスクリプト: 常に有益であり、十分な価値があります。
• フロンティアモデルへのサブスクリプション: 非常に良い取引でしたが、現在は廃止の兆候が見られます（トークン課金の方が現実的か）。
• 「幻覚」について: DeepSeek Flash を除き、空想から創作することは見ていません。DeepSeek v4 Flash は事実に対して大規模な嘘をつく場合がありますが、それは推論ミスや文脈欠落によるものです。

課題と展望

• 一人でのコーディング: 非自明な作業（複雑な検証が必要なもの）ではまだ機能していません。人間を深く関与させないで高品質なソフトウェアを作るための実験が必要です。
• 既存のハーンへの不満: テキスト編集が制限され、クリック操作が多いインターフェースは面倒です。より直接的な相互作用（画面の指差しなど）が望まれています。
• 精神的モデルの構築: ボットにコードを書かせても、全体像を理解する「メンタル・モデル」を人間自身が構築する必要があります。それに対応するためには

  review++

  のような新しい練習が必要です。

将来への期待

• AI は現状の慣行を打破せず、「巨大なダクトテープとガムの塊」と同じく、検証コスト削減や行動範囲制限が進むことで真価を発揮するでしょう。
• ハードウェア性能向上曲線の起点にいるように、言語やランタイムの保証、静的解析の進化に合わせて、モデルの価値はさらに高まると考えます。
• 現在の実験は「魅力的な小さな生体」であり、生涯で最も興味深い出来事の一つでしたが、これからの数年間の改善に期待を寄せています。