☰

初めて実行すると、cpはrsyncより高速ですか？

tag-icon • tag-icon ubuntu rsync cp ssd large-files
初めて実行すると、cpはrsyncより高速ですか？

私は現在、これを使用してrsyncSamsung Portable SSD T7からHPCクラスターに73 GBのファイルをコピーしています。

rsync -avh path/to/dataset [email protected]:/path/to/dest

以下が適用されます。

  1. 私のローカルコンピュータ（T7が接続されている）は、Ubuntu 20を実行しているVirtualBox VMです。
  2. T7伝送速度は最大約2.5kmでなければなりません。 1000MB/秒
  3. ネットワークは約7.9Mbpsのアップロード速度を提供しました。
  4. これによれば、Rsync転送速度はボトルネックを1〜5MB / sに制限することができます。回答。

問題は、9時間が経過するように移動が完了していないという点だ。 ~によると1、cp空のディレクトリを使用することをお勧めします（最初）。私はこれが本当かどうか理解していません。誰かがこれを説明できますか？

答え1

そう言うけど、

  1. ネットワーク速度は約8Mb / sです。
  2. rsync約1-5MB/sで実行されています。

1MB/s が約 10Mb/s であることを考えると、これはrsync大きな助けになります。

私は、おそらく圧縮を追加し-z、rsyncネットワーク接続で適切なフラグを使用しているので、中断して圧縮を再開することもできます。中断された部分から続きます。

簡単に計算してみてください。 73GBは73,000MB *または730,000Mb ‡です。について。ネットワーク速度は8Mb / sです。つまり、コピーには約730,000/8 = 91,250秒かかります。理論的には、ネットワーク帯域幅を最大限に使用すると仮定すると、25時間です。

*なぜ1024：1ではなく1000：1ですか？部分的にはGB：MBが厳密に1000：1だからですが、ほとんどは近似値だからです
。 ‡8ビットから1バイトに8：1ではなく10：1を推奨するのはなぜですか？これには2つの理由があります。 （a）これはO（n）近似であり、（b）パケット/プロトコルオーバーヘッドを考慮する必要があります。

今質問に正確に答えてください。例: "初めて実行すると、cpはrsyncより高速ですか？「使用する場合は、cpローカルサーバーとリモートサーバー間の転送を管理できることが必要です。これはsshfsNFSと同じかもしれませんscp。

  1. cpNFS経由でマウントされたファイルシステム。よく調整されたネットワークを使用すると、これは非常に効果的です。
  2. cp超えているsshfs。これには、暗号化オーバーヘッドだけでなく、sshファイルシステムFUSEによって実装されたカーネルとユーザースペースの間の変換も含まれます。効率が低い。
  3. scp（暗黙の終わりssh）。これには の暗号化オーバーヘッドが含まれますssh。許可されており、リンク圧縮によって追加の利点が得られます（-C）。
  4. rsync（ssh私たちが言及していないので暗黙的に終了しましたrsyncd）。これには の暗号化オーバーヘッドが含まれますssh。許可され、プロトコル圧縮の利点をさらに享受できます（-z）。

私は定量的なパフォーマンス測定をしていません。これは定性的な評価でした。ただし、次の回答のコメントを参照してください。scpがなぜそんなに遅く、どのように速くすることができますか？公平ではありますが、これは単一の大きなファイルではなく、複数のファイルの比較転送速度について話します。

ただし、rsyncネットワーク経由で接続すると再起動できるという利点があります。--partial転送中にも正しいフラグ（つまり）があります。 73GBファイルの場合、転送時間は約25時間で、これは大きな潜在的な利点です。

関連情報