**Show HN:** **Understudy – デスクトップエージェントに一度の実演で学習させる**

AIツールはソフトウェアの使い方を変えている―しかし、まだ私たちの仕事のほんの一部しかカバーしていません。
日々のタスクはブラウザ、デスクトップアプリ、端末、メッセージングツールに散在し、それぞれが独自のインターフェースと習慣を持ち、互いに接続されていません。

Understudy は教えることのできるデスクトップエージェントです。
GUI・ブラウザ・シェル・ファイルシステム―すべてをひとつのローカルランタイムで統合し、人間の同僚のようにコンピュータを操作します。
一度タスクを示せば、意図（座標だけではなく）を抽出し、成功した経路を記憶し、時間とともに高速化ルートを発見・採用していきます。最終的には定型作業を自律的に処理します。API統合は不要です。ワークフロービルダーも必要ありません。ただ、一度だけ実演すれば十分です。

Five Layers（5層構造）

Understudy は、新入社員が信頼できる同僚へと成長する過程を模した階層的進化設計です。

各層は下位層を基盤に構築され、抜け道はありません。

「Understudy」と呼ぶ理由
舞台ではアンダースタディが主役を観察し、役割を学び、必要になれば即座に踏み込む存在です。

Layer 1 – コンピュータをネイティブに操作

現状: macOS で今日実装済み。
Understudy は単なる GUI クッカーではなく、コンピュータが提供するすべての実行経路（GUI・ブラウザ・シェル・Web・メモリ・メッセージング・スケジューリング・サブエージェント）を一つのエージェントループで統合したデスクトップランタイムです。

web_search

web_fetch

Planner は各ステップに最適な経路を選択します。単一のタスクがウェブサイト閲覧、シェルコマンド実行、ネイティブアプリ内クリック、メッセージ送信を一つのセッションで完結させることも可能です。

Layer 2 – 実演から学習

現状: 今日実装済み。
Teach はデモを記録し解析しタスクを明確化し、再生を検証するオプション付きで再利用可能なスキルを公開します。

/teach start          # スクリーンビデオ + セマンティックイベントのダブルトラック録画
/teach stop "file the weekly expense report"
    → AI が解析 → 意図・パラメータ・ステップ・成功基準を抽出
    → マルチターン対話でタスクを洗練
/teach confirm [--validate]   # タスクカードをロック；再生して検証可能
/teach publish <draftId> [skill-name]

公開された

SKILL.md

1. 意図手順（自然言語ステップ）
2. ルートオプション（優先 / フォールバックパス）
3. GUI 再生ヒント（最後の手段として、現在のスクリーンショットから再構築）

公開例は次で確認できます：

examples/published-skills/taught-person-photo-cutout-bc88ec/SKILL.md

Layer 3 – 成功したことを覚えておく

現状: 部分的に実装済み。
Understudy は日常使用のワークフロー結晶化ループを持っていますが、プロモーションポリシーと自動経路アップグレードはまだ初期段階です。

/teach

現在の境界：

• 学習ループは保守的。パターンが不明瞭なら探索を継続。
• セグメンテーション・クラスタリング・スキル合成は LLM 先行。
• プロモーション閾値はヒューリスティック。

Layer 4 – 時間とともに高速化

現状: 部分的に実装済み。
経路優先度、ガードポリシー、Teach 経路注釈が今日動作しますが、完全自動経路発見・プロモーションは進行中です。

例：Slack へメッセージ送信

1. API 呼び出し（ミリ秒）→

   slack-cli send

   （数秒）→ ブラウザ（数秒）→ GUI（10 s）。
2. Day 1 は GUI で開始。使用が蓄積されると、Understudy が高速化手段を発見し安全検証後にアップグレードします。

システムプロンプトはツール/API > シェル/CLI > ブラウザ > GUI の順でエージェントを誘導。ルートガードは連続失敗数を追跡。Teach 生成スキルは各ステップに優先・フォールバック・観測経路を注釈し、GUI を省略できる場合に自動で回避します。

現在の境界：

• 経路最適化はガイダンスと安全な優先順序付け。完全自律オプティマイザーではない。
• 自動経路プロモーション（発見→検証→促進）は設計済みだが、まだ完全実装されていません。

Layer 5 – 主動的自律性

現状: ほぼビジョン段階。
スケジューリングとランタイム表面は存在しますが、受動観測・分離ワークスペース・主動的自律はまだ先行です。

長期目標：Understudy が同僚として長期を観察し、自ら行動するようになること。

クロスアプリオーケストレーションが真のマルチアプリ並列操作を実現します。分離ワークスペースにより、メールから情報を抽出してスプレッドシートへ更新し、カレンダーを調整し、結果を Slack で送信するなど、データフローを統括できます。

信頼モデルの進化：

1. manual – ユーザーが毎回実行（デフォルト）
2. suggest – AI が提案；ユーザーは確認後実行
3. auto_with_confirm – AI が実行し、結果をレビュー
4. full_auto – AI が実行＋検証し、例外時のみ通知

Architecture（アーキテクチャ）

┌──────────┐ ┌───────────┐ ┌─────────┐ ┌──────────┐ ┌─────────┐
│ Terminal │ │ Dashboard │ │ WebChat │ │ Telegram │ │ Slack  │ ...
└────┬─────┘ └─────┬─────┘ └────┬────┘ └────┬────┘ └────┬────┘
     └──────────────┴────────────┴────────────┴────────────┘
                                 │
                    Gateway (HTTP + WebSocket + JSON‑RPC)
                                 │
                     ┌────────────┴────────────┐
                     │                         │
              Session Runtime            Built‑in Tools
              + Policy Pipeline          ┌──────────────────────┐
                                       │ gui_*  │ browser     │
                                       │ bash   │ memory      │
                                       │ web    │ schedule    │
                                       │ message│ subagents   │
                                       └──────────────────────┘

• ローカル優先：スクリーンショット・録画・トレースはデフォルトでローカルに保存。
• ワンゲートウェイ：ターミナル、Web、モバイル、メッセージングアプリすべてが一つのエンドポイントを通じて接続。
• ワンスクエンスタンス：チャット・Teach・スケジュールタスク・サブエージェントは同一ループで共有。
• ポリシーパイプライン：すべてのツール呼び出しは安全性、信頼性、ログハックを通過。

Quick Start（クイックスタート）

# npm からインストール
npm install -g @understudy-ai/understudy
understudy wizard    # セットアップウィザードが起動

# またはソースビルド
git clone https://github.com/understudy‑ai/understudy.git
cd understudy
pnpm install && pnpm build
pnpm start --wizard

# ゲートウェイデーモンを開始
understudy daemon --start        # あるいは: understudy gateway --port 23333

# ターミナルインタラクティブモード（自動で稼働中のゲートウェイに接続）
understudy chat

# 管理 UI
understudy dashboard             # ブラウザでコントロールパネルを開く

Requirements（必要条件）

brew install node

corepack enable && corepack prepare pnpm@latest --activate

macOS GUI 自動化（GUI ツールと Teach‑by‑Demonstration に必須）

xcode-select --install

Optional（任意）

chrome.google.com

pnpm exec playwright install chromium

brew install ffmpeg

brew install tesseract

brew install signal-cli

Supported Models（対応モデル）

Understudy はモデル非依存です。プロバイダー/モデルで設定します（例：

anthropic/claude-sonnet-4-6

understudy models --list   # 利用可能なモデルを表示

Auth 備考：

ANTHROPIC_API_KEY

OPENAI_API_KEY

GOOGLE_API_KEY

GEMINI_API_KEY

Skills & Channels（スキルとチャネル）

understudy skills --list                 # 利用可能なスキル一覧
understudy skills install <name-or-url>  # レジストリまたは URL からインストール

組み込みチャネルアダプタ（8 種類）：Web, Telegram, Discord, Slack, WhatsApp, Signal, LINE, iMessage。

Repository Layout（リポジトリ構成）

• apps/cli

  – CLI エントリポイント

• packages/core

  – エージェントセッションランタイム、設定、認証、スキル、ポリシー

• packages/gateway

  – HTTP/WebSocket ゲートウェイ、セッションランタイム、Web 表面

• packages/gui

  – ネイティブ GUI ランタイム、スクリーンショット基盤化、デモレコーダー

• packages/tools

  – 組み込みツール（ブラウザ, Web, メモリ, スケジュール, GUI, メッセージ）

• packages/channels

  – チャネルアダプタ（8 種類）

• packages/types

  – 共有 TypeScript 型定義

• skills/

  – 47 の組み込みスキルモジュール

• examples/

  – 公開例とリファレンス出力

• docs/

  – ビジョン・プロダクト設計ドキュメント

Development（開発）

pnpm install          # 依存関係をインストール
pnpm build            # すべてのパッケージをビルド
pnpm test             # テスト実行
pnpm lint             # oxlint でリント
pnpm typecheck        # すべてのパッケージで型チェック
pnpm check            # ビルド + リント + 型チェック + テスト を一括実行

Contributing（貢献）

CONTRIBUTING.md

• GUI バックエンド（Linux AT‑SPI, Windows UIA）
• 人気アプリ・ワークフロー用スキルモジュール
• 経路発見 – 自動 API 検出とアップグレードロジック（Layer 4）
• Teach 改善 – 証拠パック解析と検証の向上
• ドキュメント & 翻訳

License

MIT © Understudy AI

Watch → Learn → Remember → Optimize → Anticipate