
2026/04/29 1:03
Show HN: カーソルを盗むことなく、バックグラウンドで任意の macOS アプリを操作できる機能を発表します。
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Cua プラットフォームは、バックグラウンドでのタスク実行を可能にし、フォーカスを奪ったりカーソルを制御したりせず、ネイティブアプリ(ゲーム、クリエイティブツール (Blender, Figma)、モバイルデバイスなど)との協力や自然なユーザー体験の維持を実現することで、AI とコンピュータの相互作用を革新します。特定のアプリケーション用の専用ドライバと、専用のボットマネージャーに基づき構築された Cua は、Linux 仮想マシンを Lume を介して管理し、Apple の Virtualization.Framework を利用してローカル環境からクラウドインスタンスに至るまで多様な環境でネイティブに近い速度を実現することで、Apple Silicon におけるパフォーマンスを最適化します。エコシステムは Linux、macOS、Windows、Android を含む任意の OS を H.265 ウィンドウサポート、共有クリップボード、オーディオ同期などの機能を備えた単一の API でサポートし、Python 3.11+ を支援しています。これにより、エージェント対応型サンドボックスや共同利用型のコンピュータ使用が可能になります。開発者や研究者を支援するため、Cua は包括的なベンチマーク (OSWorld, ScreenSpot) と自律型エージェントの評価用の RL 環境が付随した開かれた MIT ライセンスを提供します。プラットフォームはコアコンポーネントのインストールスクリプトと CLI ツール(例:
cuabot, cua-agent, cua-bench)のスーートを提供し、文書、ブログ、Discord チャンネルを含むコミュニティリソースでサポートされています。本文
Cua:あなたの道筋を選ぼう
Cua Driver — macOS 上のバックグラウンドコンピュータ使用
あらゆるネイティブの macOS アプリを背景で操作可能。エージェントはカーソル、フォーカス、またはスペースキーを奪うことなくクリックや入力、検証を行えます。さらに、Chromium ベースのウェブコンテンツや Canvas ベースのツール(Blender、Figma、DAW、ゲームエンジンなど)といった非 AX シュアface でも動作します。
- CLI または MCP サーバーを通じて、Claude Code、Cursor、およびカスタムクライアントと連携可能です。
- 各セッションは再プレイ可能な経路として記録されます。
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/cua-driver/scripts/install.sh)"
完全なツール参照:
libs/cua-driver/README.md(アーキテクチャの概要と Claude Code のスキルも含まれています)。
Cua — 任意の OS に対応したエージェント対応サンドボックス
画面を見、ボタンをクリックし、タスクを自律的に完了させるエージェントを構築します。VM やコンテナイメージに対しては、クラウドかローカルかに関わらず、統一された単一の API を提供します。
要件とセットアップ
- Python 3.11 以降が必要です。
およびImage
クラスは、OS やランタイムに依存しない一貫した API を提供します。Sandbox
使用例
from cua import Sandbox, Image async with Sandbox.ephemeral(Image.linux()) as sb: # または .macos()、.windows()、.android() result = await sb.shell.run("echo hello") screenshot = await sb.screenshot() await sb.mouse.click(100, 200) await sb.keyboard.type("Hello from Cua!") await sb.mobile.gesture((100, 500), (100, 200)) # マルチタッチジェスチャー
サポートされているプラットフォーム
| プラットフォーム | クラウド (cua.ai) | ローカル (QEMU) |
|---|---|---|
| Linux コンテナ | ✅ | ✅ |
| Linux VM | ✅ | ✅ |
| macOS | ✅ | ✅ |
| Windows | ✅ | ✅ |
| Android | 🔜 近日公開予定 | ✅ |
| BYOI (.qcow2, .iso) | 🔜 近日公開予定 | ✅ |
開始する • サンプル • API リファレンス
CuaBot — 任意のエージェント向け協業型コンピュータ使用
CuaBot は、あらゆるコードエージェントにシームレスなサンドボックスを提供します。個々のウィンドウはデスクトップ上にネイティブに表示され、H.265 動画共有、クリップボード同期、オーディオ機能を備えています。
コマンド
npx cuabot # オンボーディングのセットアップ cuabot claude # サンドボックス内で Claude Code を実行 cuabot openclaw # サンドボックス内で OpenClaw を実行 # サンドボックス内での任意の GUI ワークフローを実行 cuabot chromium cuabot --screenshot cuabot --type "hello" cuabot --click <x> <y> [button]
- エージェント用ブラウザおよびエージェント用デバイス(iOS、Android)へのネイティブなサポートがあります。
Cua-Bench — ベンチマークおよび RL 環境
OSWorld、ScreenSpot、Windows Arena、そしてカスタムタスクにおいて、コンピュータ使用型エージェントを評価します。トレーニング用に経路データを出力可能です。
使用方法
cd cua-bench uv tool install -e . && cb image create linux-docker # エージェントを使ってベンチマークを実行 cb run dataset datasets/cua-bench-basic --agent cua-agent --max-parallel 4
開始する • パートナーシップ • レジストリ • CLI リファレンス
Lume — macOS 仮想化
Apple Silicon で Apple の Virtualization.Framework を利用し、ネイティブに近いパフォーマンスで macOS/Linux VM を作成・管理します。
使用方法
# Lume をインストール /bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/trycua/cua/main/libs/lume/scripts/install.sh)" # macOS VM をプルして起動 lume run macos-sequoia-vanilla:latest
開始する • FAQ • CLI リファレンス
パッケージ
| パッケージ | 説明 |
|---|---|
| マルチエージェント向けコンピュータ使用サンドボックス CLI |
| コンピュータ使用タスク向けの AI エージェントフレームワーク |
| サンドボックスの作成・制御用の SDK |
| サンドボックス内の UI 操作とコード実行用ドライバ |
| コンピュータ使用向けベンチマークおよび RL 環境 |
| Apple Silicon 向けの macOS/Linux VM マネージメントツール |
| Lume VM への Docker 互換インターフェース |
リソース
- ドキュメント: ガイド、サンプルコード、および API リファレンス。
- ブログ: チュートリアル、アップデート、および研究成果。
- Discord: コミュニティサポートと議論。
- GitHub Issues: バグ報告と機能リクエスト。
貢献
私たちは貢献を歓迎いたします!詳細については、貢献ガイドライン)をご覧ください。
ライセンス
MIT License — LICENSE ファイルの詳細をご覧ください。
サードパーティ製コンポーネント
サードパーティ製のコンポーネメントは独自のライセンスを持ちます:
- Kasm (MIT)
- OmniParser (CC-BY-4.0)
- オプションの
は ultralytics (AGPL-3.0) を含む場合があります。cua-agent[omni]
商標
Apple、macOS、Ubuntu、Canonical、Microsoft はそれぞれ所有者の商標です。本プロジェクトはこれらの企業と関係がなく、また承認されていません。