
2026/11/04 1:40
ByteDance の次世代レコメンデーションシステムに向けた USDB ストアージのスケールアップ
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
米国 DB の提案は、推奨モデルにおいて長い属性豊富なユーザー履歴を扱う際に生じるストレージの非対称性を解決することを目的とした統一されたストレージシステムを導入する。頻繁な小規模な更新と大きな反復読み取りをバランスさせる不効率に対して、インゲスジョン、推論、トレーニングの各プロセスにわたるデータ維持を時間ベースのコンパクションおよび差別化されたレプリカによって統合することで対応する。本システムは混合形式的なカラム形式を採用し、プロジェクテッド読み取りを加速すると同時に、最近の状態とバージョン管理された履歴から推論入力を再構築するために部分的ダンプを利用する。ByteDance の研究チームが開発したこの解決策は、新鮮なサービング要件および歴史アクセスニーズの両方を成功裏に支援している。最適化された RocksDB シーケンス基準線に対するプロダクションでの移行において、新しいシステムは平均書込みレイテンシを**85.8%**削減し、インフラコストを大幅に低減させるとともに(42.1%低下)、制約のある予算の下でも通常の読み取りより8.5 倍高いスループットを維持する。これらの結果は、長期データシーケンスの効率的な処理へとの変化を示しており、これにより推奨モデルのトレーニング、サービング、そしてスケーラビリティに直接利益をもたらす高速なオペレーションを実現している。
本文
USDB:ByteDance の統一化されたシーケンスストレージ実践法
著者情報
- Xiaoran Zhu, Jieming Cai, Weiping Yu, Xi Chen, Shu Cai
- Jiahao Li, Yifan Xiao, Yan Deng, Yisha Zhou
- Yu Lin, Shiru Ren, Siqiang Luo, Peng Xu
- Junjun Chai
背景と課題
レコメンデーションモデルの拡大に伴い、以下の非対称性が中心的課題となっています。
- 入力側: 属性に富んだ長尺ユーザー履歴(大規模読み取り)
- 更新側: 小さな連続的なデータ書き込み(小規模書き込み)
USDB システム概要
ByteDance で採用された統一的なシーケンスストレージ「USDB」の設計思想は以下の通りです。
アーキテクチャの主要特性
- 時基的コンパクト化ステージ (CascadeLSM)
- アプリケーション固有の履歴をマテリアライズ(物質化)します。
- 差別化されたレプリカ戦略
- 永続ファイルを引き続き共有して利用します。
- 部分的なダンプ機構
- 捕捉された直近の状態とバージョン付けられた履歴から推論入力を超再構成します。
- ハイブリッドな列形式
- プロジェクションされた読み取り(投影読み取り)を加速します。
設計思想の共通性
上記の要素は、システムライフサイクル全体でメンテナンス結果を再利用します。
- インゲスチョン(データ読み込み)
- 推論
- 学習
パフォーマンス測定と成果
実装環境での改善
本番環境への移行記録では、以下の大幅な性能向上が確認されました。
- 平均書き込みレイテンシ: 85.8% 低減
- インフラコスト: 標準化されたデプロイメント収支分析により 42.1% 低減
ベンチマーク比較 (Optimized RocksDB ベースライン vs USDB)
制御比较において、以下の結果が得られました。
- 全プロジェクションおよびクライアント負荷
- 長歴史の読み取りにおいて、USDB がより高速であることを示しました。
- 集計プッシュダウン機能
- 制限された受信予算の下で、通常の読み取り処理能力の 8.5 倍 を維持しました。
学習への影響
本番環境での検証結果です。
- 超再構成および直接ファイルによる学習の実装
- 共有されたシーケンスメンテナンスが、最新のサービングと反復的な歴史的アクセスをどのように支えるかを明らかにしました。