Rsyncを介した72TB画像シーケンスの移動

現在、いくつかの小さなファイルを探して読み書きすることに制限されています。持つ20GBの.​​zip/.tarファイルが役に立ちます。作るzip同じことを行う必要があるため、rsyncよりも遅くなる可能性があります（ランダムアクセスを読む）。しかし、私の言葉をそのまま受け入れないでください。 rsyncを一時停止してテストしてください！テストはほぼ常に正解です。

Linuxでは、このツールを使用してiostatディスクを待つのにかかる時間の割合を確認することをお勧めします。 OS Xを使用している場合は、OS Xに対応するものが何であるかわかりません。

フルソースRAIDとターゲットRAIDを組み合わせる場合まったく同じ最後に（オプションは提供されていますが-bそうではありません）、dd1000 MB / sで実行されているRAIDデバイスなどのものを使用できます。しかし、必ず知っておいてください。正確にddで何をしていますか？そうしないと、データが破損する可能性があります。

これが頻繁に行われている場合は、イメージの作成中にrsyncを繰り返し実行して4日間待たないようにすることをお勧めします。

rsync ストリームに使用する主な速度向上は次のとおりです。

1. ファイルのリストを分割し、ソースコンピュータとターゲットコンピュータの間で並列rsyncストリームを実行します。これは通常、かなりのスループットの増加をもたらす。
2. 転送方法でSSHを削除しました。暗号化/復号化フェーズにはいくつかのオーバーヘッドがあります。安全な場合（最近は一般的ではありません）、rsyncクライアントを（暗号化されていない）rsyncデーモンに接続すると、スループットが大幅に向上する可能性があります。
3. あなたが質問し、他の答えで解決されました。特に、データが圧縮可能で、転送前に圧縮し、転送後に解凍できる場合は、平均ファイルサイズを増やすと便利です。 （そして追加のストレージスペースがあります。）圧縮/圧縮解除ステップに投資した時間は、転送ステップの時間を短縮することができます。

単一のTCPストリーム（つまり、単一のrsync転送）が1 Gbps以上のネットワークリンクを介して最大スループットを達成できることは非常にまれです。並列伝送が最大の差を生じる可能性が高い。インターネットには、並列rsyncを実行できると主張するいくつかのプログラムがあります。大成功を収めずに自分で書いてみました。これはビューよりも複雑な作業です。