Libretto.sh

Web サイト：libretto.sh リポジトリ：github.com/saffron-health/libretto ドキュメント：libretto.sh/docs Discord: discord.gg/NYrG56hVDt

概要

Libretto は、堅牢な Web インテグレーションを構築するためのツールキットです。コーディングエージェントにライブブラウザとトークン効率の高い CLI を提供することで、以下の機能をサポートします：

• コンテキストオーバーヘッドを最小限に抑えた上でライブページを検証する
• サイトの API をリバースエンジニアリングするためにネットワークトラフィックをキャプチャする
• ユーザーの操作を記録し、それを自動化スクリプトとして再生する
• リアルなサイトに対してインタラクティブに破損したワークフローをデバッグする

発端： 私たちは Saffron Health で医療用ソフトウェア向けの一般的なブラウザインテグレーションを維持するために Libretto を開発しました。他のチームが同様の作業を行う際の負担を減らすため、これをオープンソース化しています。

デモ

libretto-demo.mov

インストール

npm install libretto

CLI コマンド

最初のオンボーディング

npx libretto setup

スキルをインストールし、Chromium をダウンロードしてデフォルトのスナップショットモデルを固定します。

ワークスペースの準備状況を照会

npx libretto status

スナップショット分析モデルを手動で変更（高度なオーバーライド）

npx libretto ai configure <openai | anthropic | gemini | vertex>

動作：

• setup

  コマンドは、利用可能なプロバイダーの認証情報を検出し（例：

  OPENAI_API_KEY

  ）、デフォルトモデルを自動的に

  .libretto/config.json

  に固定します。健全なワークスペース上で setup を再実行すると、再プロンプトを行うのではなく現在の構成を表示します。以前構成されたプロバイダーに対して認証情報が不足している場合、setup はインタラクティブな修復フローを提供します。
• プロバイダーを明示的に切り替えたり、カスタムモデル文字列を設定したい場合は

  ai configure

  を使用してください。

用途事例

Libretto は、コーディングエージェントにおけるスキル（機能）として使用する設計されています。ここではいくつかのプロンプト例を示します：

ワンショットスクリプト生成

"Libretto スキルを使用してください。LinkedIn にアクセスし、最初の 10 件の投稿からコンテンツ、投稿者、反応数、最初の 25 のコメント、および最初の 25 のリポストをスクレイプしてください。"

コーディングエージェントは、ユーザーが LinkedIn にログインするためのウィンドウを開き、その後自動的に探索を開始します。

インタラクティブなスクリプト構築

"eClinicalWorks EHR で患者の主要な保険 ID を取得するワークフローをご紹介します。Libretto スキルを使用して、それを.Patient Name と出生日（DOB）を入力とし、保険 ID を返す playwright スクリプトに変換してください。URL は..."

Libretto はブラウザ内でユーザーが実行した操作を読み取ることができるため、ワークフローを実行した後、その動作を元にワークフローを再構築するように依頼できます。

ブラウザ自動化をネットワークリクエストに変換

"

./integration.ts

にあるブラウザスクリプトは、Hacker News にアクセスして最初の 10 件の投稿を取得する自動化処理を行っています。これを直接呼び出すネットワークスクリプトに変換してください。Libretto スキルを使用してください。"

Libretto はブラウザからのネットワークリクエストを読み取ることができ、これを用いて API をリバースエンジニアリングし、そのリクエストを直接呼び出すスクリプトを作成できます。UI 自動化よりも API の直接呼び出しの方が高速で、信頼性が高いためです。また、Libretto にセキュリティ分析の実施も依頼でき、一般的なセキュリティクッキーの分析を通じて、ネットワークリクエストアプローチが安全か否かを理解できます。

破損したインテグレーションの修正

"

./integration.ts

にあるブラウザスクリプトは、Availity にアクセスし患者に対する適格性チェックを実行することを意図していますが、実行すると破損したセレクターエラーが発生します。これを修正してください。Libretto スキルを使用してください。"

エージェントは Libretto を使用して失敗を再現し、ワークフローの任意の地点で一時停止し、ライブページを検証し、問題を自動的に修正できます。

CLI 使用方法

コマンドラインから直接 Libretto も使用できます。すべてのコマンドは

--session <name>

npx libretto setup

npx libretto status

npx libretto open <url>

npx libretto snapshot --objective "..." --context "..."

npx libretto exec "<code>"

echo "<code>" | npx libretto exec -

npx libretto run <file>

npx libretto resume

npx libretto pages

npx libretto save <domain>

npx libretto close

npx libretto ai configure <provider>

構成

すべての Libretto ステートはプロジェクトのルートディレクトリにある

.libretto/

.libretto/config.json

設定ファイル

.libretto/config.json

{
  "version": 1,
  "ai": {
    "model": "openai/gpt-5.4",
    "updatedAt": "2026-01-01T00:00:00.000Z"
  },
  "viewport": { "width": 1280, "height": 800 }
}

フィールド：

• ai

  フィールドは、スナップショット分析（セレクタの抽出、インタラクティブ要素の特定、ステップが失敗した原因の診断など）に Libretto が使用するモデルを構成します。これは、コーディングエージェントのコンテキストウィンドウから重い視覚的情報を取り除くために必要です。

• npx libretto setup

  は、見つかれた最初のプロバイダーのデフォルトモデルを自動的に固定します。その後、明示的にプロバイダーまたはモデルを変更するには、以下のコマンドを使用してください：

  npx libretto ai configure <openai | anthropic | gemini | vertex>
  

• 変更せずに現在の構成を確認するには、

  npx libretto status

  を実行してください。

プロバイダー認証情報： プロバイダー認証情報は、環境変数またはリポジトリルート（

.git

.env

• OPENAI_API_KEY

• ANTHROPIC_API_KEY

• GEMINI_API_KEY

  /

  GOOGLE_GENERATIVE_AI_API_KEY

• GOOGLE_CLOUD_PROJECT

  （Vertex 向け）

.env

LIBRETTO_DISABLE_DOTENV=1

ビューポート：

viewport

セッション

各 Libretto セッションは

.libretto/sessions/<name>/

セッションディレクトリ構造

• state.json: セッションメタデータ（デバッグポート、PID、ステータス）
• logs.jsonl:構造化されたセッションログ
• network.jsonl: キャプチャされたネットワークリクエスト
• actions.jsonl: 記録されたユーザー操作
• snapshots/: スクリーンショット PNG および HTML スナップショット

プロフィール

プロフィールはブラウザセッション（クッキー、localStorage）を保存するため、実行の間に認証ステートを再利用できます。.libretto/profiles/.json に保存され、

npx libretto save <domain>

コミュニティ

疑問、アイデアがある場合や構築したものを共有したい場合は、Discord での議論に参加して、速いサポートや GitHub Discussions を使用した詳細なスレッドを楽しんでください。

• Q&A — 質問をしてサポートを受ける
• Ideas — 新しい機能や改善点を提案
• Show and tell — ワークフローと自動化を共有
• General — Libretto に関連するあらゆることについてチャット

バグを見つけた場合は、Issue をご登録ください。

著者者

Saffron Health のチームにより維持されています。

開発

このリポジトリでのローカル開発：

pnpm i
pnpm build
pnpm type-check
pnpm test

ソース構成

• packages/libretto/src/cli/

  — CLI コマンド

• packages/libretto/src/runtime/

  — ブラウザランタイム（ネットワーク、回復、ダウンロード、抽出）

• packages/libretto/src/shared/

  — 共有ユーティリティ（設定、LLM クライアント、ログ記録、ステート）

• packages/libretto/test/

  — テストファイル（

  *.spec.ts

  ）

• packages/libretto/README.template.md

  — リポジトリおよびパッケージ README の真実のソース

• packages/libretto/skills/libretto/

  — Libretto スキルの真実のソース

同期：

packages/libretto/README.template.md

packages/libretto/skills/libretto/

pnpm sync:mirrors

ユーティリティ：

• 生成された README、スキルミラー、スキルバージョンメタデータが同期されていることを確認するだけで修正せずにチェックするには、

  pnpm check:mirrors

  を実行してください。
• リリースするには、

  pnpm prepare-release

  を実行してください。