**Show HN:** *Turbolite – S3 からの冷却 JOIN クエリを 250 ms 未満で応答する SQLite VFS*

turbolite – S3 から直接ポイント検索と結合を実行できる、Rust ベースの SQLite VFS。サブ 250 ms のコールドレイテンシを実現します。

• ページ単位圧縮（zstd）＆暗号化（AES‑256）で効率とセキュリティを両立。S3 から独立して利用可能です。
• 実験的プロダクトで、バグが存在しデータ破損の恐れがあります。慎重にご使用ください。

なぜ turbolite？

turbopuffer に触発された設計で、クラウド制約に最適化。初期目標は Neon's >500 ms コールドスタートを上回ること → 成功しました。

使い道

• サーバーごとにデータベースを持つ → ボリュームを利用。
• 数百〜数千のデータベース（テナント、ワークスペース、デバイス）を単一ボリュームで管理。書き込み元は 1 つでも可。

配布

sqlite3_load_extension

AWS S3、Tigris、R2、MinIO 等、S3 対応ストレージならどれでも動作。標準 SQLite VFS を採用しているため、FTS、R‑tree、JSON、WAL モード、VACUUM、autovacuum などほぼ全機能が使用可能です。

クイックスタート

Python

import turbolite

# S3 対応ストレージ（Tigris）からのコールドクエリ
conn = turbolite.connect(
    "my.db", mode="s3",
    bucket="my-bucket",
    endpoint="https://t3.storage.dev"
)

conn.execute("CREATE TABLE users (id INTEGER PRIMARY KEY, name TEXT, email TEXT)")
conn.execute("INSERT INTO users VALUES (1, 'alice', 'alice@example.com')")
conn.commit()

alice = conn.cursor().execute("SELECT * FROM users").fetchone()
print(alice[1])   # → "alice"

Node.js

const { Database } = require('turbolite');

const db = new Database('my.db');
db.exec(`CREATE TABLE users (id INTEGER PRIMARY KEY, name TEXT)`);
db.exec(`INSERT INTO users VALUES (1, 'alice')`);

console.log(db.query("SELECT * FROM users")); // [{ id: 1, name: 'alice' }]
db.close();

Rust

use turbolite::{register, CompressedVfs};

let vfs = CompressedVfs::new("/path/to/data", 3); // zstd レベル 3
register("turbolite", vfs)?;

let conn = rusqlite::Connection::open_with_flags_and_vfs(
    "mydb.db",
    rusqlite::OpenFlags::SQLITE_OPEN_READ_WRITE | rusqlite::OpenFlags::SQLITE_OPEN_CREATE,
    "turbolite",
)?;

アーキテクチャ

1. ページグループ – 同一タイプ（インターナル、インデックスリーフ、データリーフ）のページを S3 オブジェクトにまとめる（約 256 ページ ≈ 16 MB / 64 KB ページ）。
2. マニフェスト – 明示的ポインタで SQLite の暗黙の

   page * size

   を置き換える。古いページグループは上書きせず、マニフェストアップロードはアトミック。
3. 圧縮 – zstd フレーム（約 4 ページ単位）。範囲 GET により必要なサブチャンク（≈256 KB）だけを取得。
4. プリフェッチ
   • クエリプラン前処理 –

     EXPLAIN QUERY PLAN

     を傍受し、最初の読み込み前に必要ページグループ全てを事前取得。
   • リアクティブスケジュール – B‑tree のミッスクウンタから導出される 2 種類（SEARCH & LOOKUP）。

パフォーマンス

• ベンチマークは EC2 c5.2xlarge + S3 Express One Zone（GET 約 4 ms）で実施。
• プリフェッチスレッド数：8（デフォルト

  num_cpus + 1

  ）。
• キャッシュ階層：なし・インターナル・インデックス・データ。

チューニング

prefetch_threads

num_cpus + 1

pages_per_group

grouping_strategy

gc_enabled

sync_mode

プリフェッチスケジュール

• SCAN (frontrun) – バルクで全グループを事前取得。
• SEARCH (reactive) –

  [0.3, 0.3, 0.4]

  。
• LOOKUP (reactive) –

  [0.0, 0.1, 0.2]

  。

接続ごとに

SELECT turbolite_config_set(...)

耐久性

チェックポイント頻度：SQLite 自動チェックポイント（1000 フレームごと）。
2 つの同期モード：

1. Durable – チェックポイント時にアップロードし、排他ロック。
2. LocalThenFlush – ローカルキャッシュへ書き込み、後で呼び出し側が S3 にフラッシュ。

暗号化 & 圧縮

• 圧縮 – ページグループに zstd（シーク可能マルチフレーム）。カスタム辞書もサポート。
• 暗号化 – S3 では AES‑256‑GCM、ローカルデータは AES‑256‑CTR。キー回転は

  rotate_encryption_key

  で実施。

制限事項

• 単一ライターのみ。複数ライターはマニフェストを破壊する恐れあり。
• WAL の送信は未対応（計画中）。
• SQLite の全機能が完全にサポートされるわけではありません。

インストール

pip install turbolite

npm install turbolite

turbolite = "0.2"

features = ["tiered"]

make lib-bundled

可搬拡張のロード例：

# リポジトリクローン後
make ext   # turbolite.{so,dylib} を生成

sqlite3_enable_load_extension(db, 1);
sqlite3_load_extension(db, "path/to/turbolite", NULL, NULL);

関連プロジェクト

• Litestream – WAL の S3 送信（バックアップ）。
• sqlite_web_vfs + sqlite_zstd_vfs – 圧縮範囲リクエスト。
• mvsqlite – FoundationDB KV ストアでページを管理。
• Verneuil – DB を 64 KB チャンクに分割し、マニフェストを使用。

turbolite はシーク可能圧縮ページグループ、マニフェスト駆動ポインタ、適応型プリフェッチ、オプション暗号化を組み合わせた、標準 SQLite VFS 内で完結する点が特徴です。

ベンチマーク

バンドルされた実行ファイルを使用：

# 基本ベンチ（100k 投稿）
TIERED_TEST_BUCKET=my-bucket AWS_ENDPOINT_URL=https://t3.storage.dev \
  cargo run --features zstd,tiered --bin tiered-bench --release -- --sizes 100000

# スケジュールを調整
cargo run --features zstd,tiered --bin tiered-tune --release \
  --prefix "databases/my-db" \
  --query "SELECT * FROM users WHERE id = ?1"

全テストは

benchmark/

セキュリティモデル

• S3 データ：AES‑256‑GCM、フレームごとに一意のランダム nonce（認証付き）。
• ローカルキャッシュ：AES‑256‑CTR、ページ番号／オフセットを使った決定的 nonce。

ライセンスは Apache‑2.0 です。