**rcloneでネットワークファイル同期を4 倍高速化(rsyncとの比較)** (2025)

2026/01/30 12:17

**rcloneでネットワークファイル同期を4 倍高速化(rsyncとの比較)** (2025)

RSS: https://news.ycombinator.com/rss

要約

日本語訳:

記事は、rclone をマルチスレッドストリーミングで使用すると、10 Gbps LAN 上で大きなビデオファイルを転送する際に rsync より約4倍速くなることを示しています。テストでは rsync がおよそ 350 MB/s に制限される一方、rclone は約 1 GB/s に達し、約 59 GiB の転送を 2 分余りで完了させたのに対し、rsync は 8 分以上かかりました。速度優位は、rclone が多くのファイルを同時にコピーできることから生まれます。両ツールともファイルメタデータのスキャンにはほぼ同じ時間が費やされました。

データは、ARM ベースの NAS(「mercury」)から外部 Thunderbolt NVMe SSD(「Shuttle」)へビデオプロジェクトを移動するワークフロー中に収集されました。rsync はシングルスレッドコピーと遅い ARM コアに制限され、特に圧縮が関与すると速度が落ちました。著者は

rclone sync
--exclude='**/._*'
--exclude='.fcpcache/**'
、および
--multi-thread-streams=32
を使用して高スループットを実現しました。

著者は LAN 転送に rclone の使用を継続し、ストリーム数の調整や他プロトコルの試行を検討する予定であり、このアプローチがビデオ制作チームやデータ集約的な業務全般において転送時間・ボトルネック・ストレージコストの削減に寄与すると考えています。

本文

問題の概要

  • 私は毎日、Mac と外付け Thunderbolt NVMe SSD(Shuttle)間で「作業セット」と呼ばれる映像・プロジェクトデータを転送しています。
  • 1 日あたり 500〜1 000 個のファイルが生成され、そのうち数十個は 1–10 GB の大容量です。
  • Thunderbolt ドライブは 5 GB/s を超える速度で動作しますが、ネットワークは 1 GB/s(10 Gbps)に制限されています。
  • Thunderbolt 5 にアップグレードしても、転送速度はまだ制約されていました。

rsync のアプローチ

以下のコマンドを使用しました。

rsync -au --progress --stats /Volumes/mercury/* /Volumes/Shuttle/Video_Projects
  • /Volumes/mercury
    は高速 NVMe ベースの NAS ボリューム(“Mercury”)です。
  • テスト実行結果は次の通りです。
ファイルサイズ%速度時間
Radxa Orion O6/.DS_Store6148 B100%4.80 MB/s00:00:00

概要

  • 総ファイル数: 3 564
  • 転送済みファイル数: 122
  • 合計サイズ: 244 284 287 846 B (≈228 GiB)
  • 転送済みサイズ: 62 947 785 101 B (≈58 GiB)
  • 所要時間: 8 分 17 秒

主な問題点は次の 2 点です。

  1. 単一スレッド – 同時に 1 ファイルしかコピーできません。
  2. ネットワーク上限 – ファイルごとに約 350 MB/s の速度で、10 Gbps ランクを大きく下回ります。

圧縮や rsync デーモンを試しても改善せず、NAS の ARM コアが単一スレッドの CPU 処理を抑制していました。


rclone ソリューション

rclone は並列転送(

--multi-thread-streams
)に対応しています。
rsync‑a と同等になるようオプションを調整し、問題のあるシンボリックリンクを除外した後、次のコマンドで実行しました。

rclone sync \
  --exclude='**/._*' \
  --exclude='.fcpcache/**' \
  --multi-thread-streams=32 \
  -P -L --metadata \
  /Volumes/mercury/ /Volumes/Shuttle/Video_Projects

結果は次の通りです。

メトリック
転送量58.625 GiB (≈59 GB)
チェック数2 503 (100%)
サーバー側コピー122 @ 58.625 GiB
経過時間2 分 15 秒

rclone は 10 Gbps ランクを完全に飽和し、rsync の約 4 倍の速度で転送できます。
わずかなサイズ差は単位(GB vs GiB)と

.fcpcache
を除外したためです。


結論

  • 並列化が鍵:rclone の
    --multi-thread-streams
    は複数 CPU コアとネットワークレーンを活用し、大量ファイルのスループットを大幅に向上させます。
  • rsync の単一スレッド設計 は高速ネットワークでパフォーマンスを制限します。特にソースが高速 NVMe NAS である場合は顕著です。
  • 大規模データセットのローカル LAN 転送では、rclone が rsync より優れた選択肢となります。

同じ日のほかのニュース

一覧に戻る →

2026/02/03 3:02

Codex アプリ

## Japanese Translation: OpenAIは、macOS向けに新しいCodexアプリをリリースしました。このアプリは、開発者が複数のAIエージェントを同時にプロジェクト間で実行できるようにし、Plus、Pro、Business、Enterprise、およびEduプランではレート制限が2倍になります。コマンドセンターインターフェースは、各プロジェクトごとに別々のスレッドでエージェントを実行し、共有リポジトリのビルトインワークツリー編集をサポートし、「スキル」バンドル―Figma翻訳、Linear課題トリアージ、クラウドデプロイメント、画像生成、および文書編集などのタスクに対する数百の内部ツール―を提供します。デモでは、GPT‑Imageとウェブ開発スキルで作成されたレースゲームが1つのプロンプトから700万以上のトークンを消費しました。Codexはまた、スケジュールに従ってバックグラウンドジョブを実行するオートメーション、`/personality`によるパーソナリティ切替、およびセキュリティ用のネイティブサンドボックス機能も備えています。アプリは本日macOSで起動し、すべてのChatGPT購読者に利用可能です。無料/Goユーザーには一時的なアクセスが提供され、追加クレジットを購入することもできます。将来のアップデートでは、Windowsサポート、より高速な推論、拡張されたモデル機能、強化されたマルチエージェントワークフロー、クラウドトリガー型オートメーション、およびコーディング以外の幅広いアプリケーションが追加される予定です。

2026/02/03 5:48

Anki の所有権は AnkiHub に移転されました。

## Japanese Translation: AnkiHub は Anki の新たなリーダーシップ団体として登場し、プラットフォームをコミュニティ所有でオープンソースかつ利益中立に保ちつつ、そのデザイン・エコシステム・ガバナンスを強化することを誓約しています。チームは Damien に協力要請を行い、より大きな役割を受け入れました;ガバナンスの選択肢はまだ決定中ですが、コミュニティからの入力とともに公開される予定です。David Allison はフルタイムで参加し、技術的およびガバナンス上の質問に対応します。 Anki のユーザー主体性と非操作的設計の歴史がこの新方向を支えています。単一開発者への依存から離れ、より広範なボランティア参加へ移行しつつ、ビジネスモデルは公平かつ変更なしに保たれます。近い将来、AnkiHub は透明性と最小限の官僚主義を両立させる正式なガバナンス構造を構築し、UI/UX の再設計を開始し、アドオンエコシステムを拡大し、モバイルアプリを維持し、API をより明確にし、文書化を改善し、開発者向けのリリースサイクルを予測可能にし、非医療ユーザーもサポートします。 利用者にとっては、時間が増え、アクセシビリティが向上し、外部投資家から自由な安定したプラットフォームとなります。アドオン作成者は破壊的変更の減少と強力なサポートを享受でき、広範なコミュニティは一貫した行動、オープンコミュニケーション、約束の遵守により信頼を得ます。ボランティア寄与者は開発を継続する上で不可欠であり、この移行は単一人物以上のエンジニアリング・デザイン・サポートへの帯域幅を徐々に増やしていきます。

2026/02/03 6:28

GitHub での経験―部分的な停止や機能低下の事例

## Japanese Translation: (以下はご提示いただいたテキストの日本語訳です) ``` ## Summary 2026年1月26日(UTC 14:03〜23:42)の間に、GitHub Actions は Windows 標準ホストランナーで失敗を経験しました。これは、新しいランナー構成で D ドライブが欠落していたことによるものでした。すべての Windows ジョブの約2.5 % が影響を受け、22:02 UTC にロールバック完了後でも、パブリックリポジトリにおける 4 コア Windows ランナーで11 % の失敗率が残っていました。 GitHub は問題のある変更を迅速にロールバックし、その構成を持つプロビジョンドランナーを削除、23:45 UTC に残りの影響を受けた容量をオフラインにしました。20:10〜23:51 UTC の間に複数回アップデートが行われ、ユーザーに失敗したワークフローの再実行を促しました;ほとんどのリトライは成功し、変更のロールアウトが限定的だったためです。 再発防止のため、GitHub はランナーのテレメトリー拡張とランナー構成変更の検証改善に取り組みつつ、将来のインシデントに対するより迅速な緩和策を評価しています。このインシデントは、パブリックリポジトリで信頼性の高い CI/CD パイプラインを実現するために堅牢なランナー構成管理が重要であることを示しています。 ```