
2026/09/12 0:56
Neki で 1 秒あたりのクエリ数 11800 万
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
Neki は正式にプラットフォームプレビュー段階に入り、前例のないスケーラビリティを示すベンチマークを達成しました:初期構成 5 シャードから動的に拡張し、512 シャードで 1 億 1800 万 QPS(正確には 118,538,803)を実現しました。この大規模なスループットは、r8g.16xlarge マシン上の primary オフのみ Postgres インスタンスを使用して達成され、単一行ポイント選択を通じて 1.22 ピタバイトのデータを処理しました。このテストでは書込み、ジョイン、クロスシャードクエリは一切含まれません。クラスターは 8xlarge インスタンス上の 480 個の専用 Neki ルーターを利用し、ベンチマークを 16 分間維持しました。ルーターでの P99 レイテンシーは 6.06ms、クライアントでは 13.95ms です。テストは読み取り専用であり複雑な操作を含まなかったものの、別個のルーターインスタンスがデータ複製オーバーヘッドなしで高いパフォーマンスを提供することができ、Neki が sub-14ms の応答時間を必要とする本番環境に適していることを証明する重要な基準線を設定しました。
本文
Neki プレビュー版リリース記念:512 シャードで 1.18 億 QPS を達成
昨夕、Neki のプレビュー版がリリースされました。その機会を捉え、毎秒 100 万件(100k QPS)のクエリ処理を実証するテストを実施しました。 当初は 5 シャードで目標を達成し、さらにスケーラビリティを検証した結果、以下の驚異的な成果を挙げました。
- 環境: 512 シャード構成
- データ量: 1.22 ピタバイト
- 達成 QPS: 毎秒 1.18 億件(約 118,538,803 件)
ベンチマークテストの概要
テスト内容は極めてシンプルで、複雑な結合処理やマルチシャーリングクエリは含まれていません。 各シアードのワークロードは独立しており、**リード専用(書き込みなし)**な環境下での性能測定です。
目標と設定
- 目標: クラスター規模を拡大しつつ、各シアードあたり 毎秒 20 万件(200k QPS) の処理能力を維持すること。
- 段階的なスケーリング:
- 第 1 段階:5 シャード
- 第 2 段階:50 シャード
- 最終段階:512 シャード
シアードごとの性能推移
| シャード数 | 全体 QPS | シアードあたり QPS (平均) | 備考 |
|---|---|---|---|
| 5 | 約 500 万 | 約 99.96 万 | 目標のほぼ達成 |
| 50 | 約 4,900 万 | 約 98 万 (※誤記補正) | 線形スケーリング維持 (誤差 ±0.8% 以内) |
| 512 | 約 1.185 億 | 約 23.1 万 | ロードチューニングにより 目標を超過(Headroom の活用) |
注釈: 5 シャードから 50 シャードへの移行で線形性が維持され、512 シャードでは負荷許容余地(ヘッドルーム)を活用してシアードあたりの処理量が目標の 20 万 QPS を超える23.1 万 QPSに向上しました。
メトリクスとインフラ構成
記録された主要数値
512 シャード、1.22 ピタバイトデータを管理し、16 分間にわたり安定した性能を発揮しました。
- 平均 QPS: 毎秒 118,538,803 件
- 最大 QPS: 毎秒 118,747,267 件
- 読み取り IOPS: 1,580 万 IOPS (フリート全体)
- ネットワーク帯域: 2 Tb/s を超えるトラフィック処理
インフラ構成詳細
- Compute (シアード):
- 実機数:512 シャード
- インスタンス型:
r8g.16xlarge - コンフィグ: Postgres Primary only(レプリカなし)
- ルーティング:
- ルーター実機数:480 台 (Neki Router)
- インスタンス型: 独立した
8xlarge
パフォーマンスメトリクス
- p99 レイテンシ:
- ルーター側:6.06 ms
- クライアント側:13.95 ms
- エラーレート:
- 発生頻度: 毎秒約 67 回
- エラー率: 全クエリのうち 約 1,800 万件に 1 件
重要なコンテキストと今後の展望
テストの前提条件(重要)
今回のベンチマーク結果は以下の条件下でのみ有効です。
- レプリケーションなし: シアード内にレプリカを配置していないため、フェイルオーバー機能は無効化されています。
- 書き込み非対応: ワークロードはリード専用(クエリのみ)です。
- 連続稼働: 測定期間中にフェイルオーバー操作は一切行われていません。
エンジニアリングの課題と次のステップ
今後、1 億 QPS の達成に向けた詳細なエンジニアリング上の取り組みや、直面した興味深い技術的課題についてまとめた記事を公開予定です。