
2026/03/08 5:22
**AutoResearch:単一GPUで自動的にNanoChatトレーニングを行うエージェントの研究** - 自己学習型エージェントが単一GPU上でリサーチタスクを実行します。 - NanoChatモデルの効率的な訓練ワークフローに焦点を当てます。 - データ収集・前処理・評価ステップを自動化します。
RSS: https://news.ycombinator.com/rss
要約▶
日本語訳:
(抜けている要素を含め、表現を明確にしたもの)
このリポジトリは、エージェントが短時間の5分間GPU実験中に
を編集して検証ビット/バイト数 (train.py) を改善することで、自律型AI研究をデモンストレーションします。val_bpb
コアファイルは(データ準備・トークナイザー)、prepare.py(モデル、オプティマイザ、学習ループ)と軽量な指示ファイルtrain.pyです。エージェントの編集―構造変更、ハイパーパラメータ調整、オプティマイザ設定、およびバッチサイズ―はすべてprogram.mdのみで完結します。train.py
実験は単一の NVIDIA GPU(H100 でテスト済み)上で行い、固定の5分間壁時計予算内に収めることで、一貫した比較を可能にしています。同じGPUで1時間あたり約 12実験 が実施できます。
設定には Python 3.10+、パッケージマネージャー(uvの後uv sync)、PyTorch、および最小限のユーティリティが必要です。分散学習や複雑な設定は不要で、CPUや他のバックエンドには未対応です。macOS 用フォーク(uv run prepare.py)は存在し、追加ハードウェアサポートは親の nanochat リポジトリをフォークして実装できます。miolini/autoresearch-macos
このリポジトリは MIT ライセンスで公開されており、研究者・ホビエスト・教育者がコンシューマGPU上で迅速かつ再現可能なハイパーパラメータ探索を行うためのアクセスしやすいベンチマークとなります。
本文
Auto‑Research README(自動研究リードミー)
概要
かつての先端AI研究は、肉体的なコンピュータを使い、食事・睡眠・音波接続で時折コミュニケーションしていました。この時代は過去のものです。現在では、空中に張り巡らされた計算クラスタ上で、自律的に動くAIエージェントが集団を組み、モデル改善のため自分自身のコードを書き換えています。
本リポジトリはその始まり―一晩だけでエージェントが自主的に実験できる最小構成―について説明します。
– @karpathy, 2026年3月
コアアイデア
AIエージェントに小さなLLMトレーニングスタックを与え、次のことを行わせます:
- コードを書き換える。
- 5分だけ学習する。
- 評価 (
– 小さいほど良い) を行う。val_bpb - 変更を保持するか破棄するか決める。
- 繰り返す。
朝になると実験ログが残っており、もしかするとより良いモデルが完成しているでしょう。
リポジトリの構成
| ファイル | 用途 |
|---|---|
| 定数固定・一度だけ行うデータ準備(学習データダウンロード、BPEトークナイザー作成)。実行時ユーティリティ(データローダー、評価)を含む。決して変更しないこと。 |
| エージェントが編集するファイル:完全なGPTモデル、オプティマイザ(Muon + AdamW)、学習ループ。すべて自由に改変可。 |
| 一人のエージェント用ベース指示書。研究戦略を反復させるために人間が編集。 |
リポジトリはわずか3ファイルで構成され、他はすべて不要です。
実装詳細
- 5分固定予算 – スタートアップ・コンパイル時間を除く壁時計時間。
- 評価指標:
(validation bits per byte)。小さいほど良い。語彙サイズに依存しません。val_bpb - GPU1台、ファイル1つ、メトリクス1つ → 実験は直接比較可能です。
クイックスタート
# 1. uv プロジェクトマネージャーをインストール(未導入の場合) curl -LsSf https://astral.sh/uv/install.sh | sh # 2. 依存関係をインストール uv sync # 3. データダウンロード&トークナイザー作成(一度だけ、約2分) uv run prepare.py # 4. 単一実験(約5分) uv run train.py
すべてが成功すれば、自動研究モードに移行できる準備完了です。
プラットフォームサポート
現在は 1枚の NVIDIA GPU が必要です(H100でテスト済み)。CPU/MPS/その他プラットフォームも可能ですが、コードが肥大化します。フォークや拡張について議論したい場合はお気軽に。
エージェントを起動
- 好きなLLM(Claude, Codex 等)を権限なしで立ち上げます。
- プロンプト例:
Hi, have a look at program.md and let's kick off a new experiment! Let’s do the setup first.
エージェントは
program.md の指示に従い train.py を編集します。
ディレクトリ構成
prepare.py # 定数・データ準備・実行時ユーティリティ(変更禁止) train.py # モデル・オプティマイザ・学習ループ(エージェントが改変) program.md # エージェント指示 pyproject.toml # 依存関係
デザインの選択
- 編集可能ファイルを1つに限定 → スコープ管理と差分レビューが容易。
- 固定時間予算 → プラットフォーム間で比較しやすく、ハードウェア最適化の発見を高速化。
- セルフコンテインド – PyTorch と少数の小規模パッケージのみ。分散学習や複雑な設定は不要。
注目フォーク
miolini/autoresearch-macos
ライセンス
MIT