
2026/07/24 1:48
Launch HN: Screenpipe(YC S26)– 業務記録を取り、それをエージェントに変換する
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Screenpipe は、Louis(YC S26)が開発したプライバシーを最優先としたローカルで動作するアプリケーションであり、地元のスクリーンアクティビティとオーディオを記録することで AI エージェントのための検索可能なメモリを構築します。これは、スクリーンショットを操作システムのアクセシビリティツリーと連携させ、OCR は必要な場合のみ使用し、オーディオはローカルモデル(Apple MLX 向けの Parakeet/Whisper または Windows DirectML)またはオプションのクラウドサービスを使用して変換します。データはローカルの SQLite データベースに索引付けされ、ポート 3030 で認証された API を介して提供されます。このツールは、MCP、多様な AI エージェント(Claude、ChatGPT、Hermes、Openclaw)、および自動化ワークフローとの統合をサポートしており、ユーザーが個人的なウィキを維持、履歴を検索、CRM 更新などの自動化を発見するのを助けます。主なプライバシー機能には、ローカルストレージ、インコグニトモードのサポート、フィルタリング、およびサポートされたデバイス上で動作するローカル PII 匿名化モデルが含まれます。リソース使用量は、ローカル推論により CPU が 1% 未満、RAM が 400 MB 以下に最適化されています。主に Rust で構築され、実験的な Linux サポートを提供し、アカウントなしでデスクトップアプリまたは CLI としてインストールできます。このプロジェクトは GitHub でオープンソースでありながら、新しいバージョンでは商用ライセンスを使用(個人利用・非商業利用・研究利用は無料)していますが、以前のバージョンは MIT ライセンスのままです。企業がデータを独自にホストする場合にはエンタープライズプランが用意されています。
本文
Screenpipe(YC S26):作業を記録し、AI エージェントに活用するプラットフォーム
プロジェクト概要
- 開発者: ルイス (Louis)
- 位置づけ: HN 向けスタートアップ紹介・YC S26 選出
- 基本コンセプト: お使いの**画面と音声だけをローカル環境(それのみ!)**で記録し、AI エージェントが見たもの、話したこと、聞いたことに関する検索可能な記憶を提供。
- 主な利点:
- 反復的なタスクの自動化が容易になる
- 標準オペレーション手順 (SOP) の構築が容易になる
デモ動画と情報源
- HN 风格的のデモ動画: https://www.tella.tv/video/build-your-ai-second-brain-with-s...
- マーケティング用動画: https://www.youtube.com/watch?v=c1jV6E9pyug
開発経緯と背景
「第二の脳」への挑戦
- 2020 年より「第二の脳」運用を開始。日記、手書きメモ、音楽、プロジェクト、人脈 (CRM) を保存。
- 初期の実験: ParlAI を用いた多岐にわたる RAG (Retrieval-Augmented Generation) の試み。
- モデル探索: 数百種類の GPT2 ファインチューニングや GPT3 API 利用を試みた。
- 製品化の過程:
- Obsidian AI プラグイン「Ava」を開発し、数千ユーザーへ拡大。
- 名称を Embedbase に変更し、RAG 基盤の AI アプリ開発用 API へ進化。
課題と進化
- 知覚: モデルがユーザのコンピューター上での活動文脈を把握することが極めて重要。
- 技術的進化の軌跡:
- ファインチューニング(コストが高い)
- ツールコール (Tool calling):ソフトウェアアクセスは可能だが、自律性が不足し微細な管理が必要。
- MCP (Model Context Protocol):静的であり、非技術者が構築・利用しにくい。
- スキル (Skills) の概念出現。
- 現在のトレンド: Karpathy 氏の LLM 系ウィキや Garry 氏の GBrainz など、エージェントが Markdown コレクションを維持・更新するアプローチは魅力的だが、依然としてアプリ横断的な活動把握に限界がある。
Screenpipe の開発開始
- 2024 年: 開発を開始。画面記録と文脈活用のための CLI ツール化。
- HN からの影響: 2024 年の HN 投稿 (ID: 41695840) にて議論が活性化し、以下の特筆すべき改善要望が生んだ。
- 記録への同意管理
- ローカル環境におけるセキュリティ
- CPU 使用量の最適化
- 信号対雑音比の向上
- エージェントによるデータ駆動動作の可否
アーキテクチャと機能詳細
初期実装からの改善点
- 過去の課題: 継続的なビデオ記録+フレーム単位の OCR は重複データを生成し、リソース消費が莫大(PC をヒーターに変える)。
- 現在の検知ロジック: 意味のある変化のみを捉え、余計な処理を削減。
- アプリの切り替えイベントの検知
- クリック、タイピング時の一時停止
- スクロールイベントの検知
- アイドルフォールバック(無操作時)の検知
- データ収集戦略:
- 意味のある変化が生じた時点でのスクリーンショットとOS アクセシビリティツリーをペアリングして保存。
- アクセシビリティデータ利用不可時のみ OCR を使用(OCR はバックアップとしての役割)。
- 音声処理:
- 継続的な音声記録、話者識別。
- ローカル転写 (Parakeet, Whisper) またはクラウドモデルの選択が可能。
データストレージと API
- 保存形式: 全てのデータはローカル SQLite にインデックス化され、
ファイルや必要に応じてmp4
ファイルとして保存。md - API エンドポイント: ポート
で公開された AI 親和性 API。3030- 認証機能の実装
- MCP (Model Context Protocol) サポート
- スキル (Skills) の提供
利用シナリオと活用方法
Screenpipe が稼働した後、以下のエージェントやチャットツールを通じて以下のように利用可能:
- 文脈追加: 「タスク X に関する全ての文脈を収集」などのプロンプトにより、目標達成に必要なトークン数を削減。
- 情報検索:
- 例:「午前 8 時から午後 4 時までのタスクを検索し、完了・未完了をリスト化」。
- 個人ウィキ/第二の脳作成:
- 例:毎時ごとに Obsidian ファイル内にプロジェクト、人物、タスク、会議の活動データを Markdown フォルダとして整理。
- オートメーションの実装:
- 例:LinkedIn で特定プロフィールにアクセスすると、自動的に CRM を更新。
- 自動化機会の発見:
- 例:チームの今週の全活動を検査し、自動化可能な機会をリスト化。
プライバシーとセキュリティ
- 保存場所: データは原則としてローカル環境で保存。企業向けプランでは企業がデータ配置先を決定可能。
- 機密情報の処理: 独自の AI PII モデルを開発し、機密情報を自動的に削除。
- Apple MLX や Windows DirectML 上でローカル実行。
- 低スペックデバイス向けにクラウドコンフィデンシャル推論もサポート。
- ローカルモデルリソース制限:CPU 最大 1%、RAM 最大 400MB(意図的な設計)。
- フィルター機能: アプリ、ウィンドウ、URL の設定が可能。ブラウザのインコグニトモードにも対応。
- 管理機能: 記録スケジュールの設定やその他のプライバシー機能のサポート。
技術スタックとインストール
コードベース
- 主要言語: Rust, MLX, Onnx
- プラットフォーム別 API:
- Apple:
、直接的な C コール使用。cidre - Windows:
使用。windows-rs - Linux: 実験的なサポート。
- Apple:
インストール方法
- デスクトップアプリ: ダウンロードページ
- CLI ツール:
npx screenpipe record - ソースコード: GitHub リポジトリ (オープンソース公開)。
ライセンスと商用利用ポリシー
方針の転換経緯
- 現状: 企業による無料商用利用が継続されており、持続可能な開発を確保する方法が見出せないため、ライセンス変更。
- HN の傾向: OSI オープンソース (MIT/Apache など) を強く好む傾向があるが、現実的な資金調達と開発維持のバランスから独自判断。
ライセンス区分
- 無料利用対象:
- 個人・非商業利用
- 非営利組織
- 教育機関
- 研究目的
- 有料利用対象:
- 商用利用にはライセンス購入が必要。
- 過去のバージョン: ライセンス変更以前のリリースは引き続き MIT ライセンス下で利用可能。
プランの提供
- 無料プラン: 基本機能の利用。
- 企業向けプラン: 自動化機会の発見機能を支援する高级プラン。