ByteDance の次世代レコメンデーションシステムに向けた USDB ストアージのスケールアップ

2026/11/04 1:40

ByteDance の次世代レコメンデーションシステムに向けた USDB ストアージのスケールアップ

RSS: https://news.ycombinator.com/rss

要約▶

Japanese Translation:

米国 DB の提案は、推奨モデルにおいて長い属性豊富なユーザー履歴を扱う際に生じるストレージの非対称性を解決することを目的とした統一されたストレージシステムを導入する。頻繁な小規模な更新と大きな反復読み取りをバランスさせる不効率に対して、インゲスジョン、推論、トレーニングの各プロセスにわたるデータ維持を時間ベースのコンパクションおよび差別化されたレプリカによって統合することで対応する。本システムは混合形式的なカラム形式を採用し、プロジェクテッド読み取りを加速すると同時に、最近の状態とバージョン管理された履歴から推論入力を再構築するために部分的ダンプを利用する。ByteDance の研究チームが開発したこの解決策は、新鮮なサービング要件および歴史アクセスニーズの両方を成功裏に支援している。最適化された RocksDB シーケンス基準線に対するプロダクションでの移行において、新しいシステムは平均書込みレイテンシを**85.8%**削減し、インフラコストを大幅に低減させるとともに(42.1%低下)、制約のある予算の下でも通常の読み取りより8.5 倍高いスループットを維持する。これらの結果は、長期データシーケンスの効率的な処理へとの変化を示しており、これにより推奨モデルのトレーニング、サービング、そしてスケーラビリティに直接利益をもたらす高速なオペレーションを実現している。

本文

USDB:ByteDance の統一化されたシーケンスストレージ実践法

著者情報

  • Xiaoran Zhu, Jieming Cai, Weiping Yu, Xi Chen, Shu Cai
  • Jiahao Li, Yifan Xiao, Yan Deng, Yisha Zhou
  • Yu Lin, Shiru Ren, Siqiang Luo, Peng Xu
  • Junjun Chai

背景と課題

レコメンデーションモデルの拡大に伴い、以下の非対称性が中心的課題となっています。

  • 入力側: 属性に富んだ長尺ユーザー履歴(大規模読み取り)
  • 更新側: 小さな連続的なデータ書き込み(小規模書き込み)

USDB システム概要

ByteDance で採用された統一的なシーケンスストレージ「USDB」の設計思想は以下の通りです。

アーキテクチャの主要特性

  • 時基的コンパクト化ステージ (CascadeLSM)
    • アプリケーション固有の履歴をマテリアライズ(物質化)します。
  • 差別化されたレプリカ戦略
    • 永続ファイルを引き続き共有して利用します。
  • 部分的なダンプ機構
    • 捕捉された直近の状態とバージョン付けられた履歴から推論入力を超再構成します。
  • ハイブリッドな列形式
    • プロジェクションされた読み取り(投影読み取り)を加速します。

設計思想の共通性

上記の要素は、システムライフサイクル全体でメンテナンス結果を再利用します。

  • インゲスチョン(データ読み込み)
  • 推論
  • 学習

パフォーマンス測定と成果

実装環境での改善

本番環境への移行記録では、以下の大幅な性能向上が確認されました。

  • 平均書き込みレイテンシ: 85.8% 低減
  • インフラコスト: 標準化されたデプロイメント収支分析により 42.1% 低減

ベンチマーク比較 (Optimized RocksDB ベースライン vs USDB)

制御比较において、以下の結果が得られました。

  • 全プロジェクションおよびクライアント負荷
    • 長歴史の読み取りにおいて、USDB がより高速であることを示しました。
  • 集計プッシュダウン機能
    • 制限された受信予算の下で、通常の読み取り処理能力の 8.5 倍 を維持しました。

学習への影響

本番環境での検証結果です。

  • 超再構成および直接ファイルによる学習の実装
    • 共有されたシーケンスメンテナンスが、最新のサービングと反復的な歴史的アクセスをどのように支えるかを明らかにしました。

同じ日のほかのニュース

一覧に戻る →

2026/11/04 6:40

生成 AI の基礎:直感的な数学入門の小さな本

## Japanese Translation: 本書は、現代の生成人工知能の数学的基盤に対するコンパクトかつ導出志向的な導入を提供する。主となるモデルファミリー—including 主成分分析(PCA)と確率的 PCA、変分オートエンコーダー、正規化フロー、自己回帰的因数分解、拡散モデル、Wasserstein GAN、GAN、エネルギーベースモデル—to れらの間の深い相互関係を明らかにするために関連する概念を開発する。本書の目的は、生成モデリングの構造を理解しやすくしつつ、モデルの導出と関係性を理解するために必要な数学的な実体も保持することにある。本書は、数学に興味を持つ研究者、実践者、学生のための基礎構築用の入門書として機能する。メタデータには提出履歴が反映されており、v1 バージョンが 2026 年 5 月 28 日に(125 KB)、v2 バージョンが 2026 年 9 月 8 日に(1,168 KB)提出された。改訂を通じて、コアなミッションは元のドラフトと一貫して維持されている。

2026/11/04 6:51

PostgreSQL の内部構造

## Japanese Translation: 弘野博文氏のテキストの核心となるメッセージは、PostgreSQL と機械学習統合に特化した国際的なリモート職へのターゲットされた求人情報であり、ヨーロッパ、南半球、または東南アジアでのビザスポンサシップを具体的に要請しています。彼は最近の一時滞在からの回復後、日本に長期的に住み続ける意図を持っています。鈴木氏は、広範な技術的作業に対する商業契約を明確に提供しており、売上利益共有(売上 20%)または完全な買収(5,000,000 ユーロ)を含みます。彼の主要プロジェクトである「PostgreSQL の内部構造」は、2015 年 9 月 26 日に最初に公開され、バージョン 19-beta 以前の版本をカバーしています。最近の更新には、2026 年 5 月 1 日に出版された第 12 章(「論理的複製」)、2026 年 6 月 28 日に出版された 8.5 セクション(「非同期 I/O」)、および 2024 年 12 月 14 日に追加された第 11.2.4 セクションの衝突が含まれています。教育機関はこれらの教材の研究のために無料アクセスが与えられています。過去の XZ バックドア事件に関連する匿名脅威による過去のため、鈴木氏は連絡問い合わせを受諾する前に 2 つの SNS アドレスによるソーシャルメディアの認証を厳格に必要としています;匿名メッセージはもう受け入れられていません。

2026/11/04 6:39

Safari が 27.3 で適応型ダークモードを導入

## Japanese Translation: Apple は Safari 27.3 ベータ版で Adaptive Dark Mode を導入しました(ダークモードサポートは当初 Safari 12.1 で提供開始)。この機能は、明るい色のウェブサイトをダークなシステムインターフェース内でも表示できるようにすると同時に、既存のレイアウトを崩さずに処理することを目的としています。ページの色を自動的に解析し、色相を保ちながら輝度を反転させる高度なカラーマトリックスを採用し、アクセシビリティ向上のため WCAG 4.5:1 のコントラスト比を目標としています。以前のバージョンでは開発者のサポートがなかったためトラフィックの約 40% しかダークモードを利用できず(ネイティブ対応サイトは約 10%)、この新たなベータ版では既存コンテンツを自動的に適応させます。システムは SVG をピクセルヒストグラムで処理し、mix-blend-mode などのエフェクトによる視覚的な不具合を防ぐためにビットマップロゴを変換しますが、パフォーマンスとプライバシーを確保するため `<canvas>` コンテンツは変更しません。ユーザーが電力効率の向上から恩恵を受ける一方で、機能はユーザーのプライバシーを最優先としており、JavaScript の色クエリやキャンバスレンダリングも元の色を保つように設計されており、ウェブサイト自身でも検知不可能です。開発者には最適な互換性を得るために透明な背景など現代的な実践を採用するよう推奨されていますが、現時点では特定のメタタグを使用して変換から opting out(除外)することは可能でありながら、Safari 27.3 ベータ版 1 ではこの目的で"light only"キーワードをサポートしていません。