
2026/11/19 17:39
SQLite 上での分散高パフォーマンスオブジェクトストレージ
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Blobasaur は、SQLite と Rust を用いて構築された、高性能なシャーディングされた Blob ストージードメインサーバーであり、Zerodha の Kite 取引プラットフォームを約 2000 万人のユーザーに提供しています。このシステムは、単一ノードのスケーリング制限、1 MB のサイズ上限、そして低いレイテンシという課題を抱えていた管理されていない SSDB バックエンドを成功裏に代替しました。「シャーディング」というアーキテクチャを実現するために、複数の SQLite ファイルに対してマルチプローブの一貫性のあるハッシュイングを採用することで、Blobasaur は書き込みスループットを 3.3 倍(約 25k ops/s に達する)高めており、中央値レイテンシを約 8 ms から 3 ms 未満へと削減しています。
このシステムは、標準搭載の Zstd 圧縮を活用し、データペイロードを概ね 11 倍に压缩することでストレージコストを大幅に低減するとともに、
blobs テーブルと Redis 風のハッシュネームスペースを採用した独自スキーマを通じて、KB から MB までの多様なデータ種別を処理します。ScyllaDB、PostgreSQL、RocksDB、S3 といった代替案は、リソース使用量の多さ、バルク書き込み性能の不十分さ、あるいは複雑性などの理由により却下されましたが、Blobasaur は軽量な静的バイナリソリューションを提供します。現在このプロジェクトは AGPLv3 ライセンスの下で稼働しており、手動でのフェイルオーバー支援(ライブのリバランスおよび自動フェイルオーバーは将来の目標です)に対応したクラスター(3 ノード)上で動作しています。
Text to translate
," I will generate one that retains the high-level narrative of the original while integrating the critical technical details (content types, specific comparisons, architecture specifics) from the list without making it overly dense.
Output Results
Missing elements:
- Specific data types stored (user preferences, chart layouts, financial templates).
- Context of the user base (~20 million customers on the Kite platform).
- Detailed comparison of rejected technologies (specific names and reasons like CGo limitations, BYTEA performance, complexity).
- Technical architecture specifics (schema design with namespaces, WAL mode, dual-write migration strategy, specific licensing).
Inferences / leaps:
- None. The summary stays within the bounds of the provided text.
Improved summary:
Blobasaur is a high-performance, sharded blob storage server built on SQLite and Rust to serve Zerodha's Kite trading platform for approximately 20 million users. It successfully replaced an unmaintained SSDB backend that was limited by single-node scaling, a 1 MB size cap, and poor latency. By implementing a "sharded" architecture using multi-probe consistent hashing across multiple SQLite files, Blobasaur achieves write throughput 3.3 times higher (reaching ~25k ops/s) and reduces median latency from ~8 ms to under 3 ms.
The system leverages built-in Zstd compression to shrink data payloads by roughly 11x, significantly lowering storage costs, and utilizes a custom schema with
tables and Redis-style hash namespaces to handle various data types (from KBs to MBs). While alternative options like ScyllaDB, PostgreSQL, RocksDB, and S3 were evaluated and rejected for reasons such as high resource usage, suboptimal bulk write performance, or complexity, Blobasaur offers a lightweight static binary solution. The project is currently operational with manual failover support (live rebalancing and auto-failover are future goals) and runs on a cluster of three nodes under the AGPLv3 license.blobs
本文
Blobasaur:高スループットな分散軽量ブロブストレージの開発と採用
TL;DR
私たちは、高スループットのブロブ(バイナリ大規模オブジェクト)の読み書きユースケースを解決するために、**SQLite をベースにした分片化された分散軽量ブロブストレージサーバー「Blobasaur」**を開発しました。主な特徴は以下の通りです:
- JSON 形式の数 KB から MB にわたるデータに対応
- 汎用ハードウェア上で単一桁(ミリ秒未満)のレイテンシを実現
- 毎秒数千回から数万回の高速読み書きが可能
背景:既存インフラの課題と選定プロセス
当社の取引プラットフォーム「Kite」では、ユーザーが投資画面を高度にカスタマイズする機能を提供しています。
- ユーザー設定にはマルチチャートレイアウト、財務指標テンプレート、ベクトル図面などが含まれます。
- これらのデータは数 KB から数 MB の**不透明なブロブ(主に JSON)**として管理されています。
過去の技術スタックの移行履歴
- CouchDB: 初期には利用しましたが、スループット要件が高まるにつれ不適切でした。
- SSDB: C++ 製のディスクバックドストアで Redis プロトコルに対応。統合が容易であり、数年間安定して稼働しました。
SSDB が置かれた窮地
時間の経過とともに、以下の二つの課題により替代案の捜索を余儀なくされました:
- メンテナンスの停止と運用リスク: 開発が休止状態に陥り、C++ という言語スタックとの相性も悪く、フォーク維持が困難でした。
- スケーラビリティと容量制限: 単一ノード動作のため水平スケーリングに限界があり、特に大規模なペイロードではレイテンシが悪化し、1 MB のサイズ制限にせざるを得ませんでした。
新ソリューションの選定基準
より堅牢で高スループットな FOSS(フリーオープンソースソフトウェア)データベースを求めました:
- シンプルな API を持つ**鍵値ペア型(Key-Value)**ストア。
- 数メガバイト規模のブロブに対する読み書き、高スループット対応(毎秒数千〜数万リクエスト)。
- 水平スケーラブルで分散型。
- ディスクスペース効率性および圧縮機能。
- 維持が容易でコスト効率に優れたもの。
検討候補の絞り込み
既存のデータベースやストレージシステムの調査結果は以下の通りでした:
| システム | 評価 | 主な課題 |
|---|---|---|
| ScyllaDB | × | 大規模ブロブでのテスト結果が非最適。スループット低下、TTL 処理への細かなチューニングが必要。 |
| PostgreSQL | × | BYTEA カラムでの実装はパフォーマンスとディスク効率の両面で不向き。 |
| YugabyteDB | × | ブロブストレージが主目的ではなく、機能が多岐にわたる大型システム。 |
| RocksDB | × | 高スループットなマルチ MB ブロブ書き込み向けアーキテクチャではない。 |
| Ceph | × | 運用の複雑さとリソース要件が甚大で実装に至らなかった。 |
| SeaweedFS | △ | コンパクション前の追加が続くためディスク使用量が制御不能になるリスク。独自 ID とマッピングのレイヤー増、TTL 対応の不備など。 |
| S3 / MinIO | × | 小規模ブロブでのレイテンシが高い。書き込み中心ワークロードでコストが高くなる(トラフィックの半分)。粗粒度なライフサイクル TTL のみ。 |
| ローファイルシステム | × | 1 ファイルごとの管理、アトミック操作の実装、TTL メタデータ管理など手間がかかる。 |
なぜ SQLite と Rust を選んだのか
調査中に SQLite の「ファイルシステムよりも 35% 高速」という主張に感銘を受け、「数百万のブロブを保存するシステムを作ってみる」ことにしました。 その結果、**Rust で書かれたオープンソースの分片化されたブロブサーバー「Blobasaur」**を開発することになりました。
要件との適合性
- Redis プロトコルの互換性: 既存の Go や Python サービス(GET, SET, HGET など)をそのまま利用でき、ドローインレプリシメントが可能です。
- 低いレイテンシ: 2 KB でも 5 MB でも単一桁のミリ秒で対応。
- 組み込み圧縮機能: JSON 中心のペイロードを効果的に圧縮。
- シンプルな CRUD と TTL: ハッシュ型の CRUD、キーの有効期限管理のみで十分。
- マルチノードパーティショニング: 単一ノードボトルネックを防ぐ分散設計。
- 緩和された耐久性: UI 設定等非金融データのため、完全な ACID よりもパフォーマンスを優先できる判断が可能。
SQLite のメリット
- ローファイルシステムよりも最大 35% 高速。
- ACID トランザクションとクラッシュ回復が保証される実証済みストレージエンジン。
- 任意のシャードを標準的な
CLI で検査可能。sqlite3
Rust の採用理由
当社のスタックは主に Go ですが、Blobasaur は Rust で記述されています:
- Go の SQLite ドライバーでは CGo を使用するため静的ビルドが複雑になる。
- Rust(sqlx, rusqlite)を使用することでSQLite の C API を直接呼び出し、予測可能なメモリ使用量と単一静的バイナリの実現が可能。
アーキテクチャ
データのシャーディング
WAL モードでは書き込みは一度に 1 つしか許可されません。そこで、ディスク上に複数の SQLite ファイルを**「シャード」**として分割し、以下のように管理します:
- 一致ハッシュ(Consistent Hashing): キーをマルチプロブハッシュでマッピングし、ノード再シャーディング時のデータ移動を最小限に抑えます。
- シャード単位のライターとグループコミット: 有界キューから書き込みをバッチ処理し、
トランザクション内で実行することでオーバーヘッドを平準化します。BEGIN IMMEDIATE ... COMMIT - 並行読込: 読み取りはシャードごとの只読みの SQLite コネクションプールでライタと並行して動作します。
シャーディング効果(ベンチマーク結果)
64 の同時コネクション、平均 64 KiB の JSON ペイロードを zstd で圧縮した環境下での比較です(tmpfs を使用)。
| ワークロード | 1 シャード (ops/s, p99) | 16 シャード (ops/s, p99) |
|---|---|---|
| HSET だけ | 7,740 ops/s, p99 10.7 ms | 25,324 ops/s, p99 8.3 ms |
| HSET/HGET (各 50%) | 14,227 ops/s, p99 10.5 ms | 29,538 ops/s, p99 8.5 ms |
| HGET だけ | 67,128 ops/s, p99 2.1 ms | 70,884 ops/s, p99 2.3 ms |
- 書き込みスループットは約 3.3 倍増加。
- 中央値の書き込みレイテンシは 8.2 ms から 2.1 ms に低下(読み込みスループットは維持)。
- 総スループット:圧縮された JSON で約 1.66 GB/s処理可能。
スキーマ設計
単純な鍵とハッシュ型を使い分けます。各シャード内では、
blobs テーブルにデータを格納します。
CREATE TABLE IF NOT EXISTS blobs ( key TEXT PRIMARY KEY, data BLOB, created_at INTEGER NOT NULL, updated_at INTEGER NOT NULL, expires_at INTEGER, version INTEGER NOT NULL DEFAULT 0 ); -- 有効期限管理用の部分インデックス CREATE INDEX IF NOT EXISTS idx_expires_at ON blobs(expires_at) WHERE expires_at IS NOT NULL;
- HSETは名前空間テーブル(例:
)に格納。blobs_prefs - 有効期限は行の
カラムへ保存し、部分インデックスで効率化。expires_at
圧縮戦略
SQLite への書き込み前に zstd, lz4, gzip, brotli のいずれかを適用します(本番では zstd を採用)。
| メトリック | クライアント送信サイズ | SQLite 保存サイズ | 削減率 |
|---|---|---|---|
| 平均値 | 63.6 KiB | 5.5 KiB | 約 11 倍 |
| p99 | 935 KiB | 59.3 KiB | 約 16 倍 |
- ペイロードを 63.6 KiB から 5.5 KiB に圧縮することで、ストレージフットプリントを約 16 ページから約 2 ページに削減。
- キャッシュ負荷の軽減と WAL データ量の削減効果が見込めます。
耐久性とスケーリング
- 耐久性: 非批判的ユースケースのため
を設定し、fsync のオーバーヘッドを回避しています(オプションでPRAGMA synchronous = NORMAL
モードあり)。async_write - マシン横断スケーリング: Redis Cluster プロトコルを実装。CRC16 でスロット分割、gossip によるノード発見、MOVED リダイレクト対応。
- クラスターレベル:
でマシン選択。CRC16(key) % 16384 - ノードレベル:一致ハッシュでシャード選択。
- クラスターレベル:
- シャーディング変更:
コマンドを用いて、最小限のデータ移動(約 20%)でノード増強が可能。blobasaur shard migrate
バックグラウンドタスクによるレイテンシスパイクの解決
初期には、TTL クリーンアップが主要なボトルネックでした:
- 原因: 巨大な
文がライタロックを長時間保持し、通常のクライアントバッチを停止させていた。DELETE - 対策:
- クリーンアップをシャードの既存ライターコネクション経由で行う。
- バッチサイズを制限(デフォルト
= 1,000 行)。cleanup_chunk_size
これにより、p99 レイテンシは通常 5 ms 以下で安定しています。
SSDB からの撤退と本番運用
移行戦略
- 二重書き込みとバックフィル: Kite Terminal モードなど新機能には Blobasaur、旧機能については SSDB との二重書き込みを行いながら履歴データを移行。
- 切り替え: コード変更(単一ノードから Redis Cluster クライアントへ)のみで完了。
運用実績
3 ノード(4 vCPU、8 GB RAM)クラスターでの本番稼働結果です:
- HSET の p99: 約 2 ms
- HGET の p99: 約 1.4 ms
- HDEL の p99: ほぼ 1 ms 未満
運用上の重要な学び
- 行削除はファイル縮小しない:
を有効にし、PRAGMA auto_vacuum = INCREMENTAL
コマンドで不要なページを回収。その後blobasaur shard vacuum
で物理的に縮小。PRAGMA wal_checkpoint(TRUNCATE) - 非同期書き込みの可視化:
モードでは待機マップに Tombstone 明示格納し、GET/HGET/EXISTS/TTL すべてでチェックすることで一貫性を維持。async_write
まとめ
Blobasaurは、SQLite の信頼性と Rust のパフォーマンスを組み合わせることで、高スループットかつ低レイテンシなブロブストレージを実現しました。既存の Redis クライアントとの互換性により、インフラ移行コストを最小限に抑えつつ、SSDB を成功裏に置換しています。
ソースコードは以下のリポジトリでオープンソース公開されています:
- GitHub:
iamd3vil/blobasaur - 関連プロジェクトについては 4th Cross Labs を参照ください。