私
Linux サーバー: a1 ローカルディスク: /scratch ローカルディスクのディレクトリ: /scratch/builda
/ buildaには100,000を超えるファイル(約100 GB)があります。
私のコンピューティングクラスタには、a1からa100まで約100台のサーバーがあります。
a:/scratch/builda を同じ構造の a2 - a100 にコピーする必要があります。 buildaの下のすべてのファイルは、同じ構造、権限、チェックサムなどをコピーして維持する必要があります。
私はrscyn --recursive a1:/ scratch / builda a2:/ scratch(thro a100)を試しました。 scpを試しました。自動化されたftpを試しました。
rsycnと並列の使用を見てみました。
10〜12回実行した後、すべてが遅くなったりクラッシュしたり、その後は遅くなり、いつ完了するかを予測することはできません。
私はGrid-ftpについて読みましたが、それは複雑に見え、グローバスをよく理解していません。
どんな助けでも。
Windows(b1:x:\ builda〜b2-b100:x:\ builda)とLinux(a1:/ scratch / builda〜a2-a100:/ scratch / builda)では、高速で少ないパスワード(またはsshパスワードを使用)が必要です。キー)
ありがとう