Valkey はシリアルリストを廃止し、ソート済みセットのオーバーヘッドを最大 43%削減

2026/11/18 1:58

Valkey はシリアルリストを廃止し、ソート済みセットのオーバーヘッドを最大 43%削減

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

Valkey 9.2 は、従来の高メモリ消費型の skip list 構造を、大規模なソート済み集合用として新しい効率的なデータ型である fbtree に置き換えることで、主要なパフォーマンス向上を実現します。この構造変化は、前回の設計に見られる決定的なボトルネック、すなわち過剰なメモリ使用量と複雑なポインタ管理によって引き起こされる頻発するキャッシュミスに直接対応しています。B+ 樹を灵感を得たアーキテクチャを採用した新しい fbtree は、パックされたストレージ値と高度な SIMD 検索技術を駆使し、速度を大幅に向上させています。

実用的な影響は即時かつ著しく、Valkey 9.2 を導入するユーザーは、メンバーあたりのメモリオーバーヘッドが約 36〜43% 減少し、500 万件のメンバーを持つデータセットでは最大 109 MB の節約が可能であることを確認します。さらに、動作パフォーマンスも飛躍的に向上しており、ZADD コマンドのスループットは +105% の増加を示し、ZREM 操作は 76% の改善が見られます。内部エンコーディング文字列が"skiplist"から"btree"に変更されるものの、この最適化により、メモリ制約のある環境においても、以前よりも速くより大規模なデータセットをホストできるようになりました。

本文

Valkey 9.2「fbtree」実装の技術的深掘り:B+ ツリーへの転換とパフォーマンス向上

日付: 2026 年 11 月 16 日
著者: Rain Valentine, Dragos Andriciuc

背景と概要

Valkey 9.2 では、ソート済みセット(Sorted Set)のバックエンドとして、従来の「スキップリスト」を 「fbtree」 に置き換える大きな変更を行いました。

  • fbtree の定義: 「Feature-based B+ Tree」の略称であり、高い分岐因子を持つ B+ ツリーの変種です。
  • 採用理由: スキップリストは要素ごとの順序付けメタデータ(メモリ使用量)が大きかったため、より効率的なデータ構造への変更が必要でした。
  • fbtree の特徴:
    • 従来の B+ ツリーの「高い分岐因子」と「連続的なメモリ配列」の利点を活きます。
    • Valkey のワークロードやメモリアロケータに合わせて最適化されています。
    • 主な機能: 特徴ベースのルックアップ、SIMD による検索、葉ノードの連結リスト化、連続操作への高速パスなど。

実験結果(500 万要素規模):

  • メモリオーバーヘッド削減:36%〜43%
  • 最大メモリ節約量:109 MB (連続挿入時)

なぜスキップリストを置き換える必要があるのか?

リストパック(Listpack)の閾値を超えたソート済みセットは、ハッシュテーブルとスキップリストの組み合わせで構成されています。ハッシュテーブルはメンバー名の

O(1)
ルックアップ、スキップリストはスコアによる順序付きルックアップ
O(log n)
を担当します。

メモリオーバーヘッドの問題

Valkey のスキップリストには大きな「生メモリ(raw memory)」のコストがかかります。

  • ノード構造: 各ノードは exactly 1 つの要素のみを持ち、ポインタで連結されますが、メモリの散在した異なる場所(allocations)に配置されます。
  • 計算上のコスト:
    • 後方ポインタ: 8 バイト
    • ポインタ + スパン値: レベルあたり平均約 1.33 (確率的な追加のため) → 合計でノードあたり約 29 バイト のオーバーヘッド。
    • スコア用データ (+8 バイト) を含むと、メンバー文字列以前にノードあたり約 37 バイト が発生します。

キャッシュミスと依存付きフェッチの課題

現代の CPU は L1/L2/L3 ハードウェアキャッシュを活用しています(DRAM アクセス約 100 ns vs L1 ヒット約 1 ns)。しかし、スキップリストには以下のような欠点があります。

  • 分散アロケーション: 各ノードはヒープ上の任意の場所に配置されるため、構造を辿る際に不関係なメモリアドレスからのデータフェッチを繰り返す必要があり、キャッシュミスが発生します。
  • 依存付きアクセス: 各ステップが次のステップの場所を決定するため、メモリエアーキテクチャへの往復回数が多くなり、コアが待機する余地があります。
  • 比較研究: 2025 年のインメモリインデックス同時実行性研究では、従来のスキップリストは同等の B ツリーと比較してキャッシュミスを約 2.4〜4.8 倍多く、スループットが 2〜8 倍低い傾向があることが示されました。

その代わりとなったもの:fbtree

fbtree は固定サイズのノードを持ち、葉ノードにエントリを、内部ノードに進路データを格納します。1 ノードあたり最大 61 個のエントリ(61 ウェイ)を詰め込むことで、以下の問題を解決しました。

メモリ配置の最適化

  • 高密度な設計: 64 ビットビルドでは jemalloc のアロケーションクラスに収まるサイズで設計され、空間を無駄にしていません。32 ビットビルドでは
    innerNode
    が 1280 バイトのクラスに丸め上げられます。
  • 値の共有化: 512 バイトの葉ノードで最大 61 個の値ポインタを共有します(1 ノード = 61 メンバー)。
  • データ統合: スコアとメンバー名を別々に格納せず、正規化された 8 バイトのスコアにメンバーバイト列を付加した単一のパック済み値として格納します。これにより比較に必要なデータをまとめ、ポインタ間接化のレベルを削減しました。

メモリフェッチ回数の削減

  • 分岐因子の違い: スキップリスト(有効分岐因子約 4)に対し、fbtree のファノアウトは 61 です。
  • 検索パスの短縮:
    O(log n)
    を保ちつつ、traversing するレベル数が劇的に減少したため、高コストなメモリフェッチ回数が大幅に減りました。
  • 連続メモリアクセス: データが連続配置されているため、現代 CPU のハードウェアプリフェッチにより、隣接するキャッシュラインを効率的にフェッチできます。数個のキャッシュラインで複数のノードを読み取ることが可能になります。

高度な最適化機能

fbtree は特定の実行操作に向けた独自の最適化も備えています。

  • 特徴ベースのルックアップ (Feature-based Lookups):
    • 問題:子ノードを選定する際、文字列(アンカー)を毎回フェッチして比較する必要がありました。
    • 解決:内部ノードに 4 バイトの「特徴(feature)」とアンカーを格納。共有プレフィックスを別で保存し、特徴バイト列だけで子ノードを識別します。
    • 効果:SIMD を活用して並列比較でき、正しい子ノードをフェッチする前に特定できます。
  • 葉ノードの連結リスト化:
    • ZRANGE
      などの範囲コマンドで順序読み進める際、木を上昇せずに葉から葉へ移動可能(二重連結リスト構造)。
    • 最大 61 個の項目を並列処理しつつ、次の葉ノードをフェッチすることでスキャン効率を高めます。
  • 両端操作への高速パス:
    • ZPOPMIN
      などで左右の葉ノードをキャッシュ保持。
    • 検索コストは通常 B+ ツリーの
      O(log n)
      ですが、fbtree ではキャッシュ保持により
      O(1)
      に近づきます。

ユーザーにとって実際に何が変化したのか

  • 機能面: コマンドの機能自体には変更はありません。ソート済みセットのコマンド動作は維持されています。
  • エンコーディング表記: 大規模なソート済みセットに対して、
    OBJECT ENCODING
    コマンドの戻り値が
    skiplist
    から
    btree
    に変更されました。
    • ⚠️ 注意: 監視システムやテストツールで文字列
      "skiplist"
      を検証している場合はアップデートが必要です。
    • リストパック閾値未満の小規模セットは影響がありません(元々スキップリストではなかったため)。

ベンチマーク結果

メモリ効率性

順序インデックスのみを比較(ハッシュテーブル等は変更前)です。

挿入パターン変化前 (オーバーヘッド)変化後 (オーバーヘッド)削減率節約メモリ (500 万要素)
連続的挿入50.3 バイト28.5 バイト43%約 109 MB
ランダム挿入50.3 バイト32.0 バイト36%約 92 MB
  • 補足: 削減率は「バイト単位の保存量」ではなく「メンバー単位」です。メンバーが小さいセットほど相対的な削減率は大きくなります。

コマンドパフォーマンス

テスト環境:Graviton3 c7g.metal (64 コア)、I/O スレッド 9 つ、ソート済みセットサイズ 30 万件。 ※信頼区間はコマンドのほとんどで ≤2% です。

コマンドワークロードスループット改善率
ZADDスコア更新(全ヒット)+105%
ZREMランダムな追加/削除 (50/50)+76%
ZCOUNTスコア範囲カウント+27%
ZRANKポイントランクルックアップ+19%
ZRANGE100 要素分のランクスキャン+6%
ZRANDMEMBER100 のランダムサンプリング+2%
ZSCOREポイントスコアルックアップ+2%
ZRANGEBYSCORE100 要素分のスコラスキャン+1%
ZPOPMIN最小値の POP と新しいメンバー追加~0%
  • 改善の理由:
    ZADD
    /
    ZREM
    は要素位置再配置に伴うポインタ更新コストが大幅に減少したため。一方、範囲操作は巡回自体が安価になったが、要求処理の割合が大きいため改善率は小さいです。
  • 変化なし:
    ZSCORE
    や
    ZRANDMEMBER
    はハッシュテーブルを利用しているため、順序インデックスへの依存度が低く変化がありません。

GA 前の Valkey 9.2 テストと今後の動き

重要な結論

  • コマンド機能は変更されていません。
  • 大規模ソート済みセットにおいて、各要素あたりのオーバーヘッドが 36〜43% 減少。
  • ZADD
    および
    ZREM
    のスループットがそれぞれ **105%**と **76%**向上。
  • fbtree は既存の環境下でベンチマークを重ね、スキップリストと同等かそれ以上のパフォーマンスを示すまで最適化を続行しました。

リリース情報

Valkey 9.2 は現在**リリース候選(release-candidate)**テスト中です。

  • 推奨: 特に大規模ソート済みセットや
    ZADD
    ,
    ZREM
    ,
    ZRANK
    ,
    ZCOUNT
    を多用するワークロードは、GA 前にリリース候補版を試すことを強く推奨します。
  • フィードバック: テストで問題を見つけた場合は Issue を作成してください。これにより最終リリース前のバグを表面化させることができます。

同じ日のほかのニュース

一覧に戻る →

2026/11/21 3:33

慌ててのお知らせ:Alessandro Masullo(GRH)

## Japanese Translation: Alessandro Masullo は、数十年にわたる数学的猜想である一般リーマン予想(GRH)に関する証明の提案を発表し、その公開が迫っていると表明した。この画期的な成果は完全に人間によるものであり、数学者の Brian Conrad による強力な検証が得られている。Conrad 氏は草案を数月にわたり精査し、現在統合されている詳細なフィードバックを提供しているもともとの予定では、Masullo 氏がさらに推敲のためにスタンフォード大学で 1 年間過ごすことが計画されていたが、現在は米数学会会議中に現在の草案を即座に公開することが専門家による迅速な検証を可能にするとして最適と判断されている。直近の目標は、専門家が既存の理論枠組み内において議論を正式化し、わずかなギャップを速やかに解消することである。成功すれば、この長年の未解決問題の解決は数論に大きな影響を与え、分野全体の焦点を新たな証明をその核心構造に取り入れることへとシフトさせながら、その厳密な正確性を確保することとなる。

2026/11/21 5:12

インクリンク 2 ミニ

## 日本語翻訳: Anthropic は、標準的な消費者向けラップトップ(例:MacBook Pro M5 Pro)のローカルでの利用を目的とした、高効率な人工知能モデル「Inkling 2 Mini」を発売します。この 264 億パラメータを持つエキスパート混合物(Mixture-of-Experts)システムは、中間層にループアーキテクチャを独自に採用しており、トークンあたり 6 層のブロックが 2 つあり、それぞれがトークンごとに 3 回ループします。この設計により複雑な推論能力を強化しつつ、出力は簡潔で人間が読みやすいものとして保たれます。モデルにはアクティブパラメータ 34 億と、ループオーバーヘッドを含むトークンあたり重み活性化値 54 億があります。重みは最初の 20 層で NVFP4 でトレーニングされ、最後の 4 層では MXFP8 でトレーニングされており、NVIDIA GB300 プラットフォーム上でトレーニングされたにもかかわらず量子化による損失はありません。 ベンチマーク結果により、他の 100B パラメータ未満のモデルを上回ることがコーディングタスクで確認されており、DeepSWE v1.1(48.2%)および Vals Index v2.2(46.5%)においてオープンウェイトモデルで首位に立ちました。PMPP-Hard ではより大きな Inkling 2 Small に迫るコーディングスコアを達成し、SWEBench Multilingual などでは Qwen3.8-27B のみを凌ぐ水準です(Inkling 2 Mini: 79.2% vs Qwen: 71.1%)。ループアーキテクチャにより、「no-CoT 時間地平線」が延長され(Think Fast タスクでは 16 秒から 37 秒へ)、人間が読みやすい出力を維持できますが、これらの思考を制御する steerability は依然として低く(〜0.1%)です。LinuxArena での安全性テストでは、Qwen3.6 にて監視された場合、ループ回数に基づくモニタービリティの明確な傾向は見られませんでした。 Stanford の Hazy Research Lab と Goodfire lab と共同開発されたこのモデルは、先進的な NVFP4 量子化技術を採用し、高いインテリジェンス毎ジュール効率(DGX Spark で 0.703)を維持しています。研究者たちは現在、Tinker や Hugging Face を介してオープンウェイトに直接アクセスし、推論をカスタマイズできるようになりました。これには、変数ループの研究用バリエーション("TML-d24-varloop-research")も含まれており、1 回から 5 回のループパスをサポートします。このリリースは、洗練されたオフライン AI 機能を日常デバイスへ持ち込む方向への大きな転換を示しています。研究者たちは、同モデルが構築したフライトシミュレータを飛行モードで実行することに成功し、その実現可能性を実証しました。

2026/11/21 7:30

NINLIVE:ナイン・インチ・ネイルズのライブアーカイブ

## Japanese Translation: この独立した、親和関係のないファン運営のアーカイブは、「The Future Is Here」というプラットフォームを介して、1988年から2026年までのニル・ヤンナイルスのコンサート1,200回以上のストリーミングアクセスを提供しており、46カ国373都市の公演にわたります。デジタルライブラリには、1,900以上の録音、4,600枚以上の写真およびメディアファイル、363曲のトラックが含まれています。最近、管理者たちは歴史的なオーディオ転送の大きな未処理作業を完了しました。これには、NYCのテーパーのための200本のDATテーププロジェクトの完了や、acc123456コレクションの追加などがあり、新しいファンの投稿のより迅速な統合を可能にしています。アーカイブ上またはまだ存在しないアイテムや新しい転送の依頼はメールでお問い合わせいただけます。コンテンツキュレーションはコミュニティによる貢献によって推進されています:管理者が各公演に対してチケットスラブ、セットリストスキャン、パス、写真を追加する一方、カメラマンは外部サイトへのリンクを付与した公演ハイライトの投稿を招待されます。お気に入りの録音を保存し、コンテンツを整理するためには、Discord経由でログインする必要があります。ニル・ヤンナイルスのコアツアーのみならず、関連プロジェクトやサイドパスもアーカイブに含まれており、積極的な参加を通じて歴史保存と現代的アクセシビリティのバランスに成功しています。

Valkey はシリアルリストを廃止し、ソート済みセットのオーバーヘッドを最大 43%削減 | そっか~ニュース