
2026/01/15 3:49
ネイティブ ZFS VDEV をオブジェクトストレージ向けに(OpenZFS Summit)
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
要約
MayaNAS と MayaScale は、ZFS の信頼性を S3、GCS、Azure Blob などのモダンオブジェクトストアと NVMe‑over‑Fabric ネットワークに統合したクラウドネイティブなストレージプラットフォームです。
-
ローンチとリーチ – 両製品は 2025 年、オレゴン州ポートランドで開催された OpenZFS Developer Summit にて初登場し、AWS、Azure、および GCP 全てに対して同一の Terraform モジュール、ZFS 設定、管理インターフェースを用いて一貫してデプロイ可能です(クラウド固有のインスタンスタイプ、ブロックストレージ、オブジェクト API のみが異なります)。
-
コアテクノロジー –
MayaNAS はハイブリッド構成を採用しています。メタデータと <128 KB のブロックはローカル NVMe SSD 上に保持され、≥1 MB の大きなブロックはオブジェクトストレージからストリームで取得します。これにより、2 つのパフォーマンスティアを備えた単一ファイルシステムが実現します。
objbacker.io はネイティブ ZFS VDEV タイプ(
)であり、FUSE をバイパスしてVDEV_OBJBACKER
を Go デーモンに公開し、クラウド SDK と直接通信します。WRITE→PUT、READ→GET、TRIM→DELETE、IOCTL sync→USYNC の ZIO 操作をマッピングし、1 MB のレコードサイズを採用して各 ZFS ブロックが 1 つのオブジェクトに揃うようにしています。/dev/zfs_objbacker -
パフォーマンス – AWS
上で実施したベンチマークでは、S3 への連続読み取りで 3.7 GB/s、連続書き込みで 2.5 GB/s を達成しました。これは 6 本のストライプドバケットを並列に使用して I/O を行った結果です。c5n.9xlarge
MayaScale は GCP のパフォーマンスティアを利用し、サブミリ秒レイテンシーを提供します:Ultra(書き込み 585 K IOPS、読み取り 1.1 M、レイテンシ 280 µs)から Basic(書き込み 60 K IOPS、読み取り 120 K、レイテンシ 218 µs)まで。 -
コスト – MayaNAS 上の 100 TB NAS は EBS gp3 を使用して年間 $96 k の費用で済みますが、AWS EFS では同じ容量に対し年間 $360 k と比較すると 70 %以上の節約になります。
-
次のステップとリソース – イントロ、アーキテクチャ、コスト課題、ハイブリッドアーキテクチャ、objbacker.io の詳細解説、ベンチマーク、MayaScale 概要、Q&A を含む全 50 分間のプレゼンテーションは OpenZFS YouTube チャンネルに掲載予定です。ダウンロードリンクと連絡先情報もすぐにデプロイできるよう提供されています。
-
インパクト – エンタープライズはストレージコストを削減し、マルチクラウド ZFS スタックを統合、ハイブリッドティアリングを実現し、サブミリ秒のブロックレイテンシーを維持しつつ信頼性を損なうことなく運用できます。
本文
2025年ポートランド・オレゴン州で開催された OpenZFS Developer Summit において、MayaNAS と MayaScale を発表しました。
プレゼンテーションの中心は objbacker.io です – FUSE を完全にバイパスしたネイティブ ZFS VDEV 実装で、S3、GCS、Azure Blob Storage から直接 3.7 GB/s の読み取りスループット を実現しました。
OpenZFS Summit にて発表
- 本サミットは、プラットフォーム横断で ZFS を構築・保守するコア開発者とエンジニアが集まる場です。
- クラウドネイティブストレージへのアプローチを披露するには理想的な会場でした。ZFS のアーキテクチャの柔軟性を活かし、ローカル NVMe の性能とオブジェクトストレージの経済性を組み合わせたハイブリッドシステムを紹介しました。
50 分間プレゼンテーション概要
- Zettalane ストレージプラットフォーム全体を網羅:
- MayaNAS – ファイルストレージ
- MayaScale – ブロックストレージ
- objbacker.io 実装の詳細技術解説により、オブジェクトストレージ上での ZFS を本番ワークロードに実用化しました。
クラウド NAS の課題
クラウドストレージの経済性は NAS 導入における根本的な問題を提示します:
| Tier | コスト / 年 | ストレージ |
|---|---|---|
| 100 TB on EBS (gp3) | $96K | |
| 100 TB on AWS EFS | $360K |
MayaNAS の洞察: すべてのデータが同じ性能ティアを必要とするわけではありません。
- メタデータ操作 は低レイテンシーと高 IOPS を要求します。
- 大規模な連続データ はスループットが重要で、IOPS ほど重視されません。
ZFS の特殊デバイスアーキテクチャにより、各ワークロードを適切なストレージティアへ配置できます:
| Tier | データサイズ | ストレージ |
|---|---|---|
| メタデータ & 小ブロック (<128 KB) | ローカル NVMe SSD | |
| 大きいブロック (≥1 MB) | オブジェクトストレージ |
一つのファイルシステム、二つの性能ティア、最適なコスト。
objbacker.io: オブジェクトストレージ用ネイティブ ZFS VDEV
- 従来は FUSE ベース(s3fs, goofys)を使用し、カーネル ↔ ユーザー空間のクロスオーバーによるオーバーヘッドが発生します。
- objbacker.io はネイティブ ZFS VDEV タイプ (
) を実装し、VDEV_OBJBACKER
経由でユーザースペースデーモンと直接通信します。/dev/zfs_objbacker- デーモンは AWS, Google Cloud, Azure のネイティブ SDK を利用してオブジェクトストレージへアクセスします。
アーキテクチャ比較
| アプローチ | I/O パス | オーバーヘッド |
|---|---|---|
| FUSE ベース (s3fs) | ZFS → VFS → FUSE → ユーザー空間 → FUSE → VFS → s3fs → S3 | 高い(複数のコンテキストスイッチ) |
| objbacker.io | ZFS → → objbacker.io → S3 SDK | 最小(直接パス) |
objbacker.io の動作原理
- フロントエンド:
を通じた ZFS VDEV インターフェース。/dev/zfs_objbacker - バックエンド: GCS, AWS S3, Azure Blob Storage 用のネイティブクラウド SDK 統合。
ZIO → オブジェクトストレージマッピング
| ZFS I/O | /dev/objbacker | オブジェクトストレージ |
|---|---|---|
| WRITE | PUT object |
| READ | GET object |
| UTRIM | DELETE object |
(sync) | USYNC | バックログ書き込みフラッシュ |
データアラインメント
- ZFS のレコードサイズを 1 MB に設定すると、各ブロックが単一オブジェクトに直接マップされます。
- アラインド書き込みはキャッシュなしで直接 PUT 要求となり、性能向上に不可欠です。
オブジェクト命名
- S3backer と互換性のあるレイアウト:5 MB ファイルはオフセット 0 MB, 1 MB …, 4 MB にそれぞれ 5 個のオブジェクトを作成します。
- オブジェクト名例:
,bucket/00001
など。bucket/00002
検証済みパフォーマンス結果
AWS c5n.9xlarge (36 vCPU, 96 GB RAM, 50 Gbps ネットワーク) でベンチマーク実施:
| メトリクス | スループット |
|---|---|
| S3 からの順次読み取り | 3.7 GB/s |
| S3 への順次書き込み | 2.5 GB/s |
ポイントはパラレルバケット I/O。6 個の S3 バケットをストライプドプールとして構成し、ZFS が複数エンドポイントに対して読み書きを並列化することで帯域幅を最大限に活用しています。
FIO テスト設定
- レコードサイズ: 1 MB(オブジェクトサイズとアライン)
- ブロックサイズ: 1 MB
- パラレルジョブ数: 10 (同時)
- ジョブあたりのファイルサイズ: 10 GB(合計 100 GB)
- I/O エンジン: sync (POSIX 同期 I/O)
MayaScale: 高性能ブロックストレージ
- サブミリ秒レイテンシーを実現する NVMe‑oF ブロックストレージソリューション。
- ローカル NVMe SSD を活用し、アクティブ・アクティブ HA クラスタリングで高可用性を提供します。
パフォーマンスティア (GCP)
| Tier | 書き込み IOPS (<1 ms) | 読み取り IOPS (<1 ms) | 最良レイテンシ |
|---|---|---|---|
| Ultra | 585 K | 1.1 M | 280 µs |
| High | 290 K | 1.02 M | 268 µs |
| Medium | 175 K | 650 K | 211 µs |
| Standard | 110 K | 340 K | 244 µs |
| Basic | 60 K | 120 K | 218 µs |
マルチクラウドアーキテクチャ
MayaNAS と MayaScale は、同一の Terraform モジュール、ZFS 設定、管理インターフェースを使用して AWS, Azure, GCP 全てで一貫したデプロイが可能です。クラウド固有のネットワークとストレージ API だけが異なります。
| コンポーネント | AWS | Azure | GCP |
|---|---|---|---|
| インスタンス | c5.xlarge | D4s_v4 | n2-standard-4 |
| ブロックストレージ | EBS gp3 | Premium SSD | pd‑ssd |
| オブジェクトストレージ | S3 | Blob Storage | GCS |
| VIP マイグレーション | ENI attach | LB ヘルスプローブ | IP アリアス |
| デプロイメント | CloudFormation | ARM Template | Terraform |
完全プレゼンテーションの視聴
- 50 分間の完全なプレゼンテーションは、OpenZFS YouTube チャンネルで公開されています(公開後にアップロード)。
プレゼンテーションハイライト
| 時刻 | トピック |
|---|---|
| 0:00 | 導入 & Zettalane 概要 |
| 5:00 | Zettalane ZFS ポートアーキテクチャ (illumos‑gate ベース) |
| 12:00 | クラウド NAS コスト課題 |
| 18:00 | MayaNAS ハイブリッドアーキテクチャと ZFS 特殊デバイス |
| 25:00 | objbacker.io 詳細解説:ネイティブ VDEV 実装 |
| 35:00 | AWS 上のパフォーマンスベンチマーク |
| 42:00 | MayaScale NVMe‑oF ブロックストレージ |
| 48:00 | Q&A & 今後の方向性 |
はじめに
お好みのクラウドプラットフォームで MayaNAS または MayaScale をデプロイするには、当社が提供する Terraform モジュールとドキュメントを利用してください。
結論
OpenZFS Developer Summit 2025 にて発表したことで、ZFS を支えるコミュニティに我々のアプローチを共有できました。
主な技術貢献: objbacker.io はネイティブ ZFS VDEV とオブジェクトストレージの統合が実用的かつ高性能であることを示し、FUSE オーバーヘッドなしで 3.7 GB/s のスループット を達成しました。
- MayaNAS + objbacker.io はオブジェクトストレージ上にエンタープライズグレードの NAS を提供し、従来のクラウドブロックストレージと比べて 70%以上のコスト削減 が可能です。
- MayaScale はサブミリ秒レイテンシーを備えたアクティブ・アクティブ HA ブロックストレージを提供し、レイテンシ感度の高いワークロードに最適です。
両者は合わせて 主要クラウドプラットフォーム上でエンタープライズストレージニーズの 90% をカバー します。
OpenZFS コミュニティへの特別な感謝を表します。
クラウドネイティブストレージをデプロイする準備はできましたか?
当社ウェブサイトからインストーラーとドキュメントをダウンロード、またはお問い合わせください。