SQLite 上での分散高パフォーマンスオブジェクトストレージ

2026/11/19 17:39

SQLite 上での分散高パフォーマンスオブジェクトストレージ

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

Blobasaur は、SQLite と Rust を用いて構築された、高性能なシャーディングされた Blob ストージードメインサーバーであり、Zerodha の Kite 取引プラットフォームを約 2000 万人のユーザーに提供しています。このシステムは、単一ノードのスケーリング制限、1 MB のサイズ上限、そして低いレイテンシという課題を抱えていた管理されていない SSDB バックエンドを成功裏に代替しました。「シャーディング」というアーキテクチャを実現するために、複数の SQLite ファイルに対してマルチプローブの一貫性のあるハッシュイングを採用することで、Blobasaur は書き込みスループットを 3.3 倍(約 25k ops/s に達する)高めており、中央値レイテンシを約 8 ms から 3 ms 未満へと削減しています。

このシステムは、標準搭載の Zstd 圧縮を活用し、データペイロードを概ね 11 倍に压缩することでストレージコストを大幅に低減するとともに、

blobs
テーブルと Redis 風のハッシュネームスペースを採用した独自スキーマを通じて、KB から MB までの多様なデータ種別を処理します。ScyllaDB、PostgreSQL、RocksDB、S3 といった代替案は、リソース使用量の多さ、バルク書き込み性能の不十分さ、あるいは複雑性などの理由により却下されましたが、Blobasaur は軽量な静的バイナリソリューションを提供します。現在このプロジェクトは AGPLv3 ライセンスの下で稼働しており、手動でのフェイルオーバー支援(ライブのリバランスおよび自動フェイルオーバーは将来の目標です)に対応したクラスター(3 ノード)上で動作しています。

Text to translate

," I will generate one that retains the high-level narrative of the original while integrating the critical technical details (content types, specific comparisons, architecture specifics) from the list without making it overly dense.


Output Results

Missing elements:

  • Specific data types stored (user preferences, chart layouts, financial templates).
  • Context of the user base (~20 million customers on the Kite platform).
  • Detailed comparison of rejected technologies (specific names and reasons like CGo limitations, BYTEA performance, complexity).
  • Technical architecture specifics (schema design with namespaces, WAL mode, dual-write migration strategy, specific licensing).

Inferences / leaps:

  • None. The summary stays within the bounds of the provided text.

Improved summary:

Blobasaur is a high-performance, sharded blob storage server built on SQLite and Rust to serve Zerodha's Kite trading platform for approximately 20 million users. It successfully replaced an unmaintained SSDB backend that was limited by single-node scaling, a 1 MB size cap, and poor latency. By implementing a "sharded" architecture using multi-probe consistent hashing across multiple SQLite files, Blobasaur achieves write throughput 3.3 times higher (reaching ~25k ops/s) and reduces median latency from ~8 ms to under 3 ms.

The system leverages built-in Zstd compression to shrink data payloads by roughly 11x, significantly lowering storage costs, and utilizes a custom schema with

blobs
tables and Redis-style hash namespaces to handle various data types (from KBs to MBs). While alternative options like ScyllaDB, PostgreSQL, RocksDB, and S3 were evaluated and rejected for reasons such as high resource usage, suboptimal bulk write performance, or complexity, Blobasaur offers a lightweight static binary solution. The project is currently operational with manual failover support (live rebalancing and auto-failover are future goals) and runs on a cluster of three nodes under the AGPLv3 license.

本文

Blobasaur:高スループットな分散軽量ブロブストレージの開発と採用

TL;DR

私たちは、高スループットのブロブ(バイナリ大規模オブジェクト)の読み書きユースケースを解決するために、**SQLite をベースにした分片化された分散軽量ブロブストレージサーバー「Blobasaur」**を開発しました。主な特徴は以下の通りです:

  • JSON 形式の数 KB から MB にわたるデータに対応
  • 汎用ハードウェア上で単一桁(ミリ秒未満)のレイテンシを実現
  • 毎秒数千回から数万回の高速読み書きが可能

背景:既存インフラの課題と選定プロセス

当社の取引プラットフォーム「Kite」では、ユーザーが投資画面を高度にカスタマイズする機能を提供しています。

  • ユーザー設定にはマルチチャートレイアウト、財務指標テンプレート、ベクトル図面などが含まれます。
  • これらのデータは数 KB から数 MB の**不透明なブロブ(主に JSON)**として管理されています。

過去の技術スタックの移行履歴

  1. CouchDB: 初期には利用しましたが、スループット要件が高まるにつれ不適切でした。
  2. SSDB: C++ 製のディスクバックドストアで Redis プロトコルに対応。統合が容易であり、数年間安定して稼働しました。

SSDB が置かれた窮地

時間の経過とともに、以下の二つの課題により替代案の捜索を余儀なくされました:

  • メンテナンスの停止と運用リスク: 開発が休止状態に陥り、C++ という言語スタックとの相性も悪く、フォーク維持が困難でした。
  • スケーラビリティと容量制限: 単一ノード動作のため水平スケーリングに限界があり、特に大規模なペイロードではレイテンシが悪化し、1 MB のサイズ制限にせざるを得ませんでした。

新ソリューションの選定基準

より堅牢で高スループットな FOSS(フリーオープンソースソフトウェア)データベースを求めました:

  • シンプルな API を持つ**鍵値ペア型(Key-Value)**ストア。
  • 数メガバイト規模のブロブに対する読み書き、高スループット対応(毎秒数千〜数万リクエスト)。
  • 水平スケーラブルで分散型。
  • ディスクスペース効率性および圧縮機能。
  • 維持が容易でコスト効率に優れたもの。

検討候補の絞り込み

既存のデータベースやストレージシステムの調査結果は以下の通りでした:

システム評価主な課題
ScyllaDB×大規模ブロブでのテスト結果が非最適。スループット低下、TTL 処理への細かなチューニングが必要。
PostgreSQL×BYTEA カラムでの実装はパフォーマンスとディスク効率の両面で不向き。
YugabyteDB×ブロブストレージが主目的ではなく、機能が多岐にわたる大型システム。
RocksDB×高スループットなマルチ MB ブロブ書き込み向けアーキテクチャではない。
Ceph×運用の複雑さとリソース要件が甚大で実装に至らなかった。
SeaweedFS△コンパクション前の追加が続くためディスク使用量が制御不能になるリスク。独自 ID とマッピングのレイヤー増、TTL 対応の不備など。
S3 / MinIO×小規模ブロブでのレイテンシが高い。書き込み中心ワークロードでコストが高くなる(トラフィックの半分)。粗粒度なライフサイクル TTL のみ。
ローファイルシステム×1 ファイルごとの管理、アトミック操作の実装、TTL メタデータ管理など手間がかかる。

なぜ SQLite と Rust を選んだのか

調査中に SQLite の「ファイルシステムよりも 35% 高速」という主張に感銘を受け、「数百万のブロブを保存するシステムを作ってみる」ことにしました。 その結果、**Rust で書かれたオープンソースの分片化されたブロブサーバー「Blobasaur」**を開発することになりました。

要件との適合性

  • Redis プロトコルの互換性: 既存の Go や Python サービス(GET, SET, HGET など)をそのまま利用でき、ドローインレプリシメントが可能です。
  • 低いレイテンシ: 2 KB でも 5 MB でも単一桁のミリ秒で対応。
  • 組み込み圧縮機能: JSON 中心のペイロードを効果的に圧縮。
  • シンプルな CRUD と TTL: ハッシュ型の CRUD、キーの有効期限管理のみで十分。
  • マルチノードパーティショニング: 単一ノードボトルネックを防ぐ分散設計。
  • 緩和された耐久性: UI 設定等非金融データのため、完全な ACID よりもパフォーマンスを優先できる判断が可能。

SQLite のメリット

  • ローファイルシステムよりも最大 35% 高速。
  • ACID トランザクションとクラッシュ回復が保証される実証済みストレージエンジン。
  • 任意のシャードを標準的な
    sqlite3
    CLI で検査可能。

Rust の採用理由

当社のスタックは主に Go ですが、Blobasaur は Rust で記述されています:

  • Go の SQLite ドライバーでは CGo を使用するため静的ビルドが複雑になる。
  • Rust(sqlx, rusqlite)を使用することでSQLite の C API を直接呼び出し、予測可能なメモリ使用量と単一静的バイナリの実現が可能。

アーキテクチャ

データのシャーディング

WAL モードでは書き込みは一度に 1 つしか許可されません。そこで、ディスク上に複数の SQLite ファイルを**「シャード」**として分割し、以下のように管理します:

  • 一致ハッシュ(Consistent Hashing): キーをマルチプロブハッシュでマッピングし、ノード再シャーディング時のデータ移動を最小限に抑えます。
  • シャード単位のライターとグループコミット: 有界キューから書き込みをバッチ処理し、
    BEGIN IMMEDIATE ... COMMIT
    トランザクション内で実行することでオーバーヘッドを平準化します。
  • 並行読込: 読み取りはシャードごとの只読みの SQLite コネクションプールでライタと並行して動作します。

シャーディング効果(ベンチマーク結果)

64 の同時コネクション、平均 64 KiB の JSON ペイロードを zstd で圧縮した環境下での比較です(tmpfs を使用)。

ワークロード1 シャード (ops/s, p99)16 シャード (ops/s, p99)
HSET だけ7,740 ops/s, p99 10.7 ms25,324 ops/s, p99 8.3 ms
HSET/HGET (各 50%)14,227 ops/s, p99 10.5 ms29,538 ops/s, p99 8.5 ms
HGET だけ67,128 ops/s, p99 2.1 ms70,884 ops/s, p99 2.3 ms
  • 書き込みスループットは約 3.3 倍増加。
  • 中央値の書き込みレイテンシは 8.2 ms から 2.1 ms に低下(読み込みスループットは維持)。
  • 総スループット:圧縮された JSON で約 1.66 GB/s処理可能。

スキーマ設計

単純な鍵とハッシュ型を使い分けます。各シャード内では、

blobs
テーブルにデータを格納します。

CREATE TABLE IF NOT EXISTS blobs (
    key TEXT PRIMARY KEY,
    data BLOB,
    created_at INTEGER NOT NULL,
    updated_at INTEGER NOT NULL,
    expires_at INTEGER,
    version INTEGER NOT NULL DEFAULT 0
);

-- 有効期限管理用の部分インデックス
CREATE INDEX IF NOT EXISTS idx_expires_at
    ON blobs(expires_at)
    WHERE expires_at IS NOT NULL;
  • HSETは名前空間テーブル(例:
    blobs_prefs
    )に格納。
  • 有効期限は行の
    expires_at
    カラムへ保存し、部分インデックスで効率化。

圧縮戦略

SQLite への書き込み前に zstd, lz4, gzip, brotli のいずれかを適用します(本番では zstd を採用)。

メトリッククライアント送信サイズSQLite 保存サイズ削減率
平均値63.6 KiB5.5 KiB約 11 倍
p99935 KiB59.3 KiB約 16 倍
  • ペイロードを 63.6 KiB から 5.5 KiB に圧縮することで、ストレージフットプリントを約 16 ページから約 2 ページに削減。
  • キャッシュ負荷の軽減と WAL データ量の削減効果が見込めます。

耐久性とスケーリング

  • 耐久性: 非批判的ユースケースのため
    PRAGMA synchronous = NORMAL
    を設定し、fsync のオーバーヘッドを回避しています(オプションで
    async_write
    モードあり)。
  • マシン横断スケーリング: Redis Cluster プロトコルを実装。CRC16 でスロット分割、gossip によるノード発見、MOVED リダイレクト対応。
    • クラスターレベル:
      CRC16(key) % 16384
      でマシン選択。
    • ノードレベル:一致ハッシュでシャード選択。
  • シャーディング変更:
    blobasaur shard migrate
    コマンドを用いて、最小限のデータ移動(約 20%)でノード増強が可能。

バックグラウンドタスクによるレイテンシスパイクの解決

初期には、TTL クリーンアップが主要なボトルネックでした:

  • 原因: 巨大な
    DELETE
    文がライタロックを長時間保持し、通常のクライアントバッチを停止させていた。
  • 対策:
    1. クリーンアップをシャードの既存ライターコネクション経由で行う。
    2. バッチサイズを制限(デフォルト
      cleanup_chunk_size
      = 1,000 行)。

これにより、p99 レイテンシは通常 5 ms 以下で安定しています。

SSDB からの撤退と本番運用

移行戦略

  • 二重書き込みとバックフィル: Kite Terminal モードなど新機能には Blobasaur、旧機能については SSDB との二重書き込みを行いながら履歴データを移行。
  • 切り替え: コード変更(単一ノードから Redis Cluster クライアントへ)のみで完了。

運用実績

3 ノード(4 vCPU、8 GB RAM)クラスターでの本番稼働結果です:

  • HSET の p99: 約 2 ms
  • HGET の p99: 約 1.4 ms
  • HDEL の p99: ほぼ 1 ms 未満

運用上の重要な学び

  • 行削除はファイル縮小しない:
    PRAGMA auto_vacuum = INCREMENTAL
    を有効にし、
    blobasaur shard vacuum
    コマンドで不要なページを回収。その後
    PRAGMA wal_checkpoint(TRUNCATE)
    で物理的に縮小。
  • 非同期書き込みの可視化:
    async_write
    モードでは待機マップに Tombstone 明示格納し、GET/HGET/EXISTS/TTL すべてでチェックすることで一貫性を維持。

まとめ

Blobasaurは、SQLite の信頼性と Rust のパフォーマンスを組み合わせることで、高スループットかつ低レイテンシなブロブストレージを実現しました。既存の Redis クライアントとの互換性により、インフラ移行コストを最小限に抑えつつ、SSDB を成功裏に置換しています。

ソースコードは以下のリポジトリでオープンソース公開されています:

同じ日のほかのニュース

一覧に戻る →

2026/11/20 7:13

Synology セキュリティお知らせ

## Japanese Translation: Synology から、CVE-2026-120382 という遠隔攻撃者が任意のファイルを読み書きしたりサービス拒否(DoS)攻撃を实施できる深刻な脆弱性を是正するための緊急セキュリティ更新が発表されました。APM 2.0 と APM 1.2 は影響を受けていません。しかし、他の多くのプラットフォームでは重大なリスクに直面しています: - **DSM 7.4** ユーザーはバージョン 7.4.1-90080-2 以上にアップグレードする必要があります。 - **DSM 7.3** ユーザーはバージョン 7.3.2-86009-6 以上にアップグレードする必要があります。 - **DSM 7.2.x** ユーザー(具体的にバージョン 7.2.1 および 7.2.2)は、既存の 7.2.x シリーズ向けの修正が不十分であるため、現在のパッチをスキップして DSM 7.3.2-86009-6 以上のバージョンに直接移行する必要があります。 - **BeeStation OS 1.5** は「Critical」かつ「OnGoing」ステータスが付けられており、パッチが利用可能になったらアップグレードが推奨されます。 すべての影響を受ける更新は 2026 年 11 月 20 日までにリリースされる予定です。アップグレードを怠ると、システムはデータ漏洩やサービス停止につながる遠隔攻撃に対して脆弱な状態のままになります。これらの脆弱なバージョンに依存している企業は、この厳格なセキュリティ期限に合わせてインフラストラクチャをすぐに移行し、高まる脅威に対してネットワークが保護された状態を確保する必要があります。

2026/11/20 2:30

Claude がブラックホール物理学の 2 つの未解決問題を解明した

## Japanese Translation: Summary: Claude は、ブラックホールと量子重力に関する理論物理学の 20 年にもわたる謎を自律的に解決し、人工知能における画期的なマイルストーンを達成しました。この成し遂げは、スティーヴン・ホーキングなどの科学者たちによって長らく予測されたことを確認すると同時に、特定の研究手法に対して新たな数学的な限界を確立しています。このプロセスは完全に自律的であり、AI エージェントが 6 ヶ週間にわたって協力し、結果を検証しながら、解明フェーズ中には人間の直接介入なしに行われました。 最初の突破により、ブラックホールの形成は量子理論に固有の断絶的な現象であることが証明され、2003 年に Omer Aharony らのグループによって提起された 20 年にもわたる議論が解決されました。第二の解法では、スペクトル曲線を用いて二次元モデルにおけるブラックホールの質量の厳密な上限値を特定し、Simeon Hellerman によって導入されたモジュラーブーツトラップ法を採用するとともに、以前のアダープティによる球充填に関する証明で用いられた戦略の上に構築しました。精度を確保するため、生成された論文は Lean(コンピュータ化された証明チェッカー)を用いた厳格な検証と、人間による物理学者によるレビューが行われました。これらの見解が日常生活への直ちに実用的な応用を提供するものでもないこと、あるいは我々の特定の宇宙を記述しているわけではないとしても、量子力学と一般相対性理論の統一に関する理解を大幅に深化させます。これは、AI が複雑な理論的な領域を自律的にナビゲートし、歴史的な科学的仮説を検証できることを示しています。

2026/11/17 1:13

ガレージドアのスプム

## Japanese Translation: Chamberlain の 2023 年の第三者 API アクセス禁止判断に対し不満を抱いていたユーザーが、クラウドへの依存を完全に回避することで、ガレージドアの完全な監視機能を成功裡に復旧させました。この解決策には、Ratcloud LLC から ratgdo32 WiFi 制御ボードを 2 つ購入(各約 $62)、ESP Home または HomeKit と互換性のあるローカルファームウェアをインストールする事が含まれます。これらのデバイスは、LiftMaster の Security+ 2.0 プロトコルを使用して既存の開閉器に直接接続され、myQ アプリの広告およびデータプライバシーに関する懸念(2026 年 10 月以前に批判されていた)を排除します。固定されたローカル IP アドレス(192.168.0.192 および 192.168.0.245)およびセキュアなヘルスチェックのための Tailscale ルーティングにより、このセットアップでは HomeKit を介した Siri の音声制御が可能になり、JSON ステータスエンドポイントを通じて Slack と統合されます。`garage-watch` コマンドを使用した監視スクリプトが 1 時間に一度のスケジュールで実行され(具体的には 21:00–23:00 および 00:00–05:00)、システムは誰がドアを開けたかを特定することを保証し、myQ では欠けていた機能を備えています。このコミュニティ主導のアプローチはリポジトリの維持者によって単純な解決策として承認され、将来的なクラウドの変更から独立した長期的な機能性を確保しており、未使用の補助ハーネスが付属するインストールバンドルを含むハードウェアにもかかわらず、廃止された機能を持続可能なローカルシステムに変えました。

SQLite 上での分散高パフォーマンスオブジェクトストレージ | そっか~ニュース