
2026/01/30 12:17
**rcloneでネットワークファイル同期を4 倍高速化(rsyncとの比較)** (2025)
RSS: https://news.ycombinator.com/rss
要約▶
日本語訳:
記事は、rclone をマルチスレッドストリーミングで使用すると、10 Gbps LAN 上で大きなビデオファイルを転送する際に rsync より約4倍速くなることを示しています。テストでは rsync がおよそ 350 MB/s に制限される一方、rclone は約 1 GB/s に達し、約 59 GiB の転送を 2 分余りで完了させたのに対し、rsync は 8 分以上かかりました。速度優位は、rclone が多くのファイルを同時にコピーできることから生まれます。両ツールともファイルメタデータのスキャンにはほぼ同じ時間が費やされました。
データは、ARM ベースの NAS(「mercury」)から外部 Thunderbolt NVMe SSD(「Shuttle」)へビデオプロジェクトを移動するワークフロー中に収集されました。rsync はシングルスレッドコピーと遅い ARM コアに制限され、特に圧縮が関与すると速度が落ちました。著者は
にrclone sync、--exclude='**/._*'、および--exclude='.fcpcache/**'を使用して高スループットを実現しました。--multi-thread-streams=32著者は LAN 転送に rclone の使用を継続し、ストリーム数の調整や他プロトコルの試行を検討する予定であり、このアプローチがビデオ制作チームやデータ集約的な業務全般において転送時間・ボトルネック・ストレージコストの削減に寄与すると考えています。
本文
問題の概要
- 私は毎日、Mac と外付け Thunderbolt NVMe SSD(Shuttle)間で「作業セット」と呼ばれる映像・プロジェクトデータを転送しています。
- 1 日あたり 500〜1 000 個のファイルが生成され、そのうち数十個は 1–10 GB の大容量です。
- Thunderbolt ドライブは 5 GB/s を超える速度で動作しますが、ネットワークは 1 GB/s(10 Gbps)に制限されています。
- Thunderbolt 5 にアップグレードしても、転送速度はまだ制約されていました。
rsync のアプローチ
以下のコマンドを使用しました。
rsync -au --progress --stats /Volumes/mercury/* /Volumes/Shuttle/Video_Projects
は高速 NVMe ベースの NAS ボリューム(“Mercury”)です。/Volumes/mercury- テスト実行結果は次の通りです。
| ファイル | サイズ | % | 速度 | 時間 |
|---|---|---|---|---|
| Radxa Orion O6/.DS_Store | 6148 B | 100% | 4.80 MB/s | 00:00:00 |
| … | … | … | … | … |
概要
- 総ファイル数: 3 564
- 転送済みファイル数: 122
- 合計サイズ: 244 284 287 846 B (≈228 GiB)
- 転送済みサイズ: 62 947 785 101 B (≈58 GiB)
- 所要時間: 8 分 17 秒
主な問題点は次の 2 点です。
- 単一スレッド – 同時に 1 ファイルしかコピーできません。
- ネットワーク上限 – ファイルごとに約 350 MB/s の速度で、10 Gbps ランクを大きく下回ります。
圧縮や rsync デーモンを試しても改善せず、NAS の ARM コアが単一スレッドの CPU 処理を抑制していました。
rclone ソリューション
rclone は並列転送(
--multi-thread-streams)に対応しています。rsync‑a と同等になるようオプションを調整し、問題のあるシンボリックリンクを除外した後、次のコマンドで実行しました。
rclone sync \ --exclude='**/._*' \ --exclude='.fcpcache/**' \ --multi-thread-streams=32 \ -P -L --metadata \ /Volumes/mercury/ /Volumes/Shuttle/Video_Projects
結果は次の通りです。
| メトリック | 値 |
|---|---|
| 転送量 | 58.625 GiB (≈59 GB) |
| チェック数 | 2 503 (100%) |
| サーバー側コピー | 122 @ 58.625 GiB |
| 経過時間 | 2 分 15 秒 |
rclone は 10 Gbps ランクを完全に飽和し、rsync の約 4 倍の速度で転送できます。
わずかなサイズ差は単位(GB vs GiB)と
.fcpcache を除外したためです。
結論
- 並列化が鍵:rclone の
は複数 CPU コアとネットワークレーンを活用し、大量ファイルのスループットを大幅に向上させます。--multi-thread-streams - rsync の単一スレッド設計 は高速ネットワークでパフォーマンスを制限します。特にソースが高速 NVMe NAS である場合は顕著です。
- 大規模データセットのローカル LAN 転送では、rclone が rsync より優れた選択肢となります。