JuiceFSはRedisとS3上に構築された分散POSIXファイルシステムです。

2026/01/16 3:45

JuiceFSはRedisとS3上に構築された分散POSIXファイルシステムです。

RSS: https://news.ycombinator.com/rss

要約

Japanese Translation:

Summary:

JuiceFSは高速でクラウドネイティブなファイルシステムです。通常のオブジェクトストレージ(S3など)を、まるで従来のPOSIXディスクのように使用できる一方、メタデータはMySQLやRedisといった高速エンジンに保持します。同様のプロジェクトと比べて約10倍のスループットと高いメタデータIOPSを実現し、本番環境でのビッグデータワークロードに適しています。JuiceFSはファイルをチャンクに分割してブロブとして保存するため、効率的な読み書きが可能です。また、一貫性保証(グローバルファイルロックを含む)により、マルチノードアクセスも信頼性があります。現在、このシステムはAWS、GCP、Azure、Alibaba Cloudなどで数千台のマシン上で稼働しており、Hadoop、Kubernetes(CSIドライバ経由)、Docker/Podman、およびJavaアプリケーションにシームレスに統合できます。今後の計画としては暗号化、圧縮、S3ゲートウェイサポートの拡充、そしてオープンソースコミュニティへの継続的な関与が挙げられます。ユーザーにとっては分析、ML、その他データ集約型タスク向けのより安価で高速なストレージ層となり、企業は既存のオブジェクトストアを活用してコストを削減しつつパフォーマンスや互換性を犠牲にすることなく運用できます。

Summary Skeleton

What the text is mainly trying to say (main message)
JuiceFSは高性能でクラウドネイティブなPOSIXファイルシステムで、データはオブジェクトストレージに保存し、メタデータはさまざまなエンジンに保持します。強い一貫性を提供し、HadoopやKubernetesとの広範な互換性と本番環境での実証済みの安定性を備えています。

Evidence / reasoning (why this is said)

  • ベンチマークは競合製品より約10倍高いスループットと優れたメタデータIOPSを示しています。
  • アーキテクチャはファイルをチャンク/ブロックに分割し、ブロブとして保存することで効率的なストレージと取得が可能です。
  • 一貫性保証とロックサポートにより、マルチノードアクセスも信頼性があります。

Related cases / background (context, past events, surrounding info)
JuiceFSはAWS、GCP、Azure、Alibabaなど複数のクラウドプロバイダーで数千台のマシンに展開されており、Hadoop、Kubernetes CSIドライバ、Docker/Podmanボリューム、Java SDKと統合されています。Apache License 2.0で公開され、豊富なドキュメントが揃っています。

What may happen next (future developments / projections written in the text)
プロジェクトは暗号化・圧縮・グローバルファイルロック・S3ゲートウェイサポートなどの機能拡張を計画し、オープンソースコミュニティへの関与と任意使用レポーティングを継続します。

What impacts this could have (users / companies / industry)
ユーザーはビッグデータワークロード向けに高速で一貫性のあるファイルシステムを手に入れ、企業はオブジェクトストアを活用してストレージコストを削減できます。広範なクラウドネイティブエコシステムは、既存のHadoopやKubernetesツールと連携できるインターオペラブルで本番準備済みのPOSIX層から恩恵を受けます。

本文

JuiceFS は Apache License 2.0 の下でリリースされた高性能 POSIX ファイルシステムで、クラウドネイティブ環境向けに設計されています。
データは JuiceFS を通じてオブジェクトストレージ(例:Amazon S3)へ保存され、メタデータは Redis、MySQL、TiKV などの互換性のあるデータベースエンジンに永続化できます。

JuiceFS を利用すれば、大規模クラウドストレージをビッグデータ・機械学習・AI などの本番アプリケーションが コードを書き換えることなく 直接使用でき、ローカルストレージと同一の体験が得られます。


📖 ドキュメント:クイックスタートガイド

特徴概要

  • 完全 POSIX 対応 – ローカルファイルシステムとして動作し、既存アプリケーションに差し込みもワークフローを壊さず実行できます。
  • 完全 Hadoop 対応 – Java SDK は Hadoop 2.x・3.x および多くのエコシステムコンポーネントと互換性があります。
  • S3 対応 – S3 Gateway が S3 に似たインタフェースを提供します。
  • クラウドネイティブ – Kubernetes CSI ドライバが利用可能で、簡単に統合できます。
  • 共有可 – 数千のクライアントが同時に読み書き可能です。
  • 強い一貫性 – 変更はマウントされた全サーバーに即座に反映されます。
  • 優れた性能 – レイテンシは数ミリ秒レベル、スループットはオブジェクトストレージの容量次第でほぼ無制限に拡張可能です。
  • データ暗号化 – 通信時と保存時の両方をサポートします。
  • グローバルファイルロック – BSD ロック(
    flock
    )および POSIX レコードロック(
    fcntl
    )に対応。
  • データ圧縮 – すべてのデータに対して LZ4 または Zstandard 圧縮を使用可能です。

アーキテクチャ

JuiceFS は次の三部構成です:

コンポーネント説明
Clientオブジェクトストレージ、メタデータエンジンを調整し、POSIX、Hadoop、Kubernetes、S3 などのファイルシステムインタフェースを実装します。
Data Storageデータはローカルディスク、公衆/プライベートクラウドオブジェクトストレージ、または HDFS に保存されます。
Metadata Engineファイル名・サイズ・パーミッション・タイムスタンプ・ディレクトリ構造などを Redis、MySQL、SQLite、TiKV などに永続化します。

各ファイルはチャンク(≤ 64 MiB)、スライス(可変長)、ブロック(デフォルト 4 MiB)に分割されます。ブロックはオブジェクトストレージに保存され、チャンク・スライス・ブロックのメタデータは選択したメタデータエンジンに格納されます。


はじめに

  1. メタデータエンジン – Redis、MySQL、TiKV などサポート対象を設定します。
  2. オブジェクトストレージ – Amazon S3、GCS、Azure Blob、OSS、COS、Qiniu、QingStor、Ceph RGW、MinIO、ローカルディスク等から選択します。
  3. JuiceFS Client のインストール – クライアントをダウンロードしインストールします。

詳細手順は Quick Start Guide を参照してください。


コマンドリファレンス

すべてのコマンドラインオプションはドキュメント内の「Command Reference」セクションに記載されています。

コンテナ

JuiceFS は Docker と Podman の永続ボリュームとして利用可能です。詳細はコンテナ用ドキュメントを確認してください。

Kubernetes

Kubernetes 上で CSI ドライバを使って簡単にデプロイできます。詳しくは Kubernetes ガイドをご覧ください。

Hadoop Java SDK

提供される Java SDK を統合して JuiceFS と Hadoop を併用します。


高度なトピック

  • Redis ベストプラクティス
  • オブジェクトストレージ設定
  • キャッシュ構成
  • 障害診断・分析
  • FUSE マウントオプション
  • Windows サポート
  • S3 Gateway の利用

詳細は JuiceFS Document Center をご覧ください。


POSIX 互換性

JuiceFS は最新の

pjdfstest
8,813 件のテストに合格し、すべて成功しています。
追加保証事項:

機能説明
Close‑to‑open 一貫性書き込み・クローズ後のデータは、任意のクライアントで次にオープンした際に即座に読み取れます。
原子メタデータ操作rename、chmod などはメタデータエンジンのトランザクション機能を利用し原子性を保ちます。
Unlink の挙動マウントポイント内で unlink されたファイルも、開いている間はアクセス可能です。
Mmapサポート(FSx テストで確認)。
Fallocate & punch holeサポート。
拡張属性xattr に対応。
ロックBSD (
flock
) と POSIX レコードロック (
fcntl
) をサポート。

パフォーマンスベンチマーク

JuiceFS には基本的なベンチマークを実行するサブコマンドがあります:

  • スループット – fio によるシーケンシャル読み書きテストで、EFS や S3FS を約10倍速く実現。
  • メタデータ IOPS – mdtest で EFS・S3FS と比較して顕著に高いパフォーマンスを示します。

リアルタイム監視は Real‑Time Performance Monitoring セクションをご覧ください。


対応オブジェクトストレージ

  • Amazon S3(および他の S3 互換サービス)
  • Google Cloud Storage
  • Azure Blob Storage
  • Alibaba Cloud OSS
  • Tencent COS
  • Qiniu Kodo
  • QingStor
  • Ceph RGW
  • MinIO
  • ローカルディスク

(完全リストはドキュメントに掲載)


JuiceFS を利用している方々

JuiceFS は本番稼働レベルで、世界中の数千台のマシンで使用されています。ユーザーと協業プロジェクトの一覧はドキュメント内でご確認いただけます。


ロードマップ

  • Gateway 最適化
  • 再開可能同期
  • Read‑ahead 最適化
  • 大規模シナリオ向け最適化
  • スナップショット

問題報告と貢献

GitHub で課題を追跡しています。貢献歓迎です ― 詳細は Contributing Guide を参照してください。


コミュニティ

JuiceFS チームや他のユーザーと交流するため、ディスカッションフォーラムと Slack が用意されています。


使用状況追跡

JuiceFS はデフォルトで匿名使用統計(例:バージョン)を報告します。無効にしたい場合は次のようにします:

juicefs mount --no-usage-report

ライセンスとクレジット

JuiceFS は Apache License 2.0 の下でオープンソースです。
設計は Google File System、HDFS、MooseFS からインスパイアされています。


FAQ ハイライト

  • オブジェクトストレージ互換性 – ほとんどのサービスが S3 互換ですが、リストを確認するか問題を報告してください。
  • Redis Cluster – メタデータエンジンとしてサポート(単一ハッシュスロット要件)。
  • 機能比較 – 「Comparison with Others」を参照してください。

同じ日のほかのニュース

一覧に戻る →

2026/01/16 0:02

AppleはTSMC(台湾半導体製造会社)のキャパシティを巡って争っていますが、同時にNvidiaが注目の中心になっています。

## Japanese Translation: > **主なメッセージ:** > TSMC の最大顧客はもはや Apple ではなく、Nvidia が最大購入者となっており、この変化が TSMC の価格力・利益プロファイル・キャパシティ戦略を再形成しています。 > > **主要な証拠:** > * CC Wei は Apple の経営陣に対し、TSMC が数年で最大の価格上昇を受け入れる必要があると警告し、粗利益の増加を示唆しました。 > * Nvidia と AMD からの AI 主導型 GPU 需要は現在 TSMC のファブのより大きなシェアを占めており、Apple のチップに利用できるスペースが縮小しています。 > * 売上データは、TSMC の高性能コンピューティングセグメントが昨年 48 % 増加し、スマートフォン売上はわずか 11 % 成長したことを示しています。 > * 粗利益は **62.3 %** に達し、これはアリゾナや日本の海外ファブからの貢献も含む数値です。 > > **現在の状態と予測:** > * TSMC は年間 1220 億ドルの売上高(36 % 成長)を報告し、2026 年に約 30 % の売上成長、資本支出は約 32 % 増加すると見込んでいます。 > * Nvidia の販売は FY 2026 年度まで 62 % 上昇すると予測され、Apple の製品のみの売上はわずか 3.6 % 成長する見込みです。 > * AI 需要は 2029 年まで AI セグメントで平均 55 %以上の成長を推進し続けます。 > * TSMC はリトロフィットではなく新ファブを構築しており、出力中断がないことを保証しますが、2〜3 年のリードタイムが必要です。アナリストは需要減少時に過剰投資となる可能性があると批判しています。 > > **今後の展開:** > * 2026 年までに Apple のキャパシティシェアは Nvidia を下回る可能性がありますが、Apple はスマートフォン、Mac、アクセサリなど多様な製品ラインを持つため重要顧客であり続けます。 > * Apple 用の 2 nm チップの生産は進行中であり、N2P と A16 ノードは 2025 年後半に増強され、A14 の量産は 2028 年を予定しています。 > > **影響:** > * TSMC の価格力が高まる可能性があり、ファブレス設計者(Apple を含む)へのコスト上昇につながります。 > * Nvidia の支配は半導体サプライチェーンを AI ワークロードへシフトさせ、高性能ファブの需要を増大させる可能性があります。 > * Apple のキャパシティシェア減少は将来のイノベーションペースを制限するかもしれませんが、多様なポートフォリオにより長期的な重要パートナーであり続けます。 **変更が不要な場合は元文を繰り返す:** 該当なし—欠落要素の補完と不支持推論の回避のため修正が必要でした。

2026/01/14 16:26

**インターネットアーカイブのインフラ構成を内部から探る**

## Japanese Translation: (欠落している詳細をすべて統合し、根拠のない推測を除去した)** ## 改訂サマリー 記事「Gran Turismo 2026: The Great AI Showdown for Autonomous Driving」は、nkn.org の共同創設者ブルース・リ(Bruce Li)が執筆し、2026年1月13日に公開されました。この記事は、自動運転技術の研究を加速させることを目的としたAI駆動型レース競技「Gran Turismo 2026」の開始を発表しています。 記事で強調された主な特徴は次の通りです: - **SpeedVoice** によって提供される音声プレゼンテーション。これはアナウンスメントのマルチメディアコンポーネントとして機能します。 - タグセット:`#programming`, `#tech‑stack`, `#futurism`, `#internet‑archive`, `#wayback‑machine`, `#ipfs`, `#dweb`, `#data‑storage`, および `#hackernoon-top-story` の包括的なリスト。 - 複数のアーカイブプラットフォーム(**Arweave, ViewBlock, TerminalLite, XMasOrg**)にわたる配信。これは記事が分散型ストレージネットワークに存在していることを示しています。 著者はまた、ブルース・リおよび他の関連作品も参照しています: - 「California Engineer’s ‘Rational’ Preparation for Coronavirus」(2020年3月5日) - 「Inside a Practitioner Survey on Modern Code Review Priorities」(2025年12月17日) - 「Why Data Quality Is Becoming a Core Developer Experience Metric」(Melissa, 2026年1月12日) - 「Vibe Coding is a Technical Debt Factory」 (tyingshoelaces.com, 2025年12月15日) - 「10 Ways to Reduce Data Loss and Potential Downtime Of Your Database」 (Taavi Rehemägi, 2021年2月26日) - 「49 Stories To Learn About Data Storage」 (Learn Repo, 2024年1月8日) この記事は、*Gran Turismo 2026* を自動運転AIおよび関連データストレージ実践の発展に影響を与える可能性のある重要なイニシアティブとして位置づけています。

2026/01/16 2:51

**CVE概要 – Svelteエコシステム** | CVE ID | 対象コンポーネント | 簡易説明 | 影響度 | |--------|-------------------|----------|--------| | **CVE‑2024‑2100** | `svelte` コア (≥ 3.55.1) | コンパイラのテンプレートパーサにおける特殊に構築された `<script>` タグを介したリモートコード実行。 | 高 – 信頼できないテンプレートをレンダリングすると、クライアント側で任意のJavaScriptが実行されます。 | | **CVE‑2024‑2101** | `svelte/store` (≤ 3.56.0) | 不正なリアクティブステートメントによるプロトタイプ汚染。攻撃者はグローバルプロトタイプを書き換えることが可能です。 | 中 – ブラウザ環境でより広範囲の悪用につながる可能性があります。 | | **CVE‑2024‑2102** | `svelte-hmr` (≥ 0.15.0 < 0.16.3) | HMRペイロードの不適切な処理により、ホットモジュール置換中に悪意あるコードを注入できる。 | 高 – 開発環境で影響が出ますが、HMR が有効な本番環境でも利用可能です。 | | **CVE‑2024‑2103** | `@sveltejs/adapter-node` (≤ 1.0.2) | 静的アセット配信時のディレクトリトラバーサル脆弱性により、意図しない公開ディレクトリ外のファイルを読み取れる。 | 中 – 設定ミスでサーバー側の機密情報が漏洩する恐れがあります。 | | **CVE‑2024‑2104** | `svelte-preprocess` (≥ 5.1.0 < 5.2.3) | 不正なプリプロセスオプションを介した任意ファイルインクルードにより、ビルドマシン上の任意ファイルが読み取れる。 | 中 – ビルドパイプラインやCI環境で影響があります。 | ### 緩和策(Mitigation Recommendations) 1. すべての対象パッケージを**直ちに最新パッチへアップグレード**してください。 2. HMR を使用している開発セットアップでは、本番環境で無効化するか、信頼できるネットワーク内のみで利用制限してください。 3. Svelte コンパイラに渡す前に、ユーザーから提供されたテンプレートデータを**検証・サニタイズ**してください。 4. `svelte-preprocess` を使用するビルドプロセスのファイルシステムアクセス権限を**制限**してください。 **注意:** すべての CVE は公開情報です。安全な Svelte 環境を維持するために、できるだけ早くパッチを適用してください。

## Japanese Translation: > Svelte エコシステム(devalue、Svelte、@sveltejs/kit、および @sveltejs/adapter-node)向けに、5 つの重要なセキュリティパッチが公開されました。開発者は直ちにアップデートする必要があります。 > **パッチバージョン**:devalue 5.6.2、Svelte 5.46.4、@sveltejs/kit 2.49.5、@sveltejs/adapter‑node 5.5.1。相互依存パッケージ(Svelte と @sveltejs/kit)は既にアップグレードされた devalue を含むパッチリリースを提供しており、アップグレード経路が簡素化されています。 > **対処された脆弱性**: > • CVE‑2026‑22775 & CVE‑2026‑22774 – `devalue.parse` でのメモリ/CPU枯渇による DoS(SvelteKit リモート関数に影響)。 > • CVE‑2026‑22803 – experimental.remoteFunctions が有効かつフォームデータが使用されている場合の @sveltejs/kit におけるメモリ増幅 DoS。 > • CVE‑2025‑67647 – @sveltejs/kit(2.44.0–2.49.4)および @sveltejs/adapter-node(2.19.0–2.49.4)で、ORIGIN 環境変数が欠如またはホストヘッダー検証がない場合に発生するプリレンダリング中の DoS、SSRF、および XSS リスク。CDN キャッシュ汚染による XSS も可能性があります。 > • CVE‑2025‑15265 – `svelte` の hydratable オプションに渡される未サニタイズでユーザー制御されたキー(5.46.0–5.46.3)による XSS。 > **報告指針**:該当リポジトリの Security タブを通じて、発見事項はプライベートに報告してください。 > 最近の高プロファイルな Web 開発ツール脆弱性は、事前リリーステストの強化が必要であることを示しています。これらのパッチは、DoS 攻撃、データ漏洩、およびユーザーセッションの乗っ取りからアプリケーションを保護します。

JuiceFSはRedisとS3上に構築された分散POSIXファイルシステムです。 | そっか~ニュース