ネットワーク経由でビッグデータを複製する方法は？

Question 1

主観的に言えば、大量のデータをコピーするには、個人的な急流が最良の選択肢の1つである可能性があります。

しかし、ここはTorrentチュートリアルのための場所ではありません。

あなたは見ることができますここたとえば、または同様のものを探します。

個人的な急流を作成する方法

Answer

主観的に言えば、大量のデータをコピーするには、個人的な急流が最良の選択肢の1つである可能性があります。

しかし、ここはTorrentチュートリアルのための場所ではありません。

あなたは見ることができますここたとえば、または同様のものを探します。

個人的な急流を作成する方法

Question 2

rsync最高のソリューションです。-z圧縮をスキップするように削除することをお勧めします。圧縮すると、一時的に圧縮されたファイルに追加のディスク容量が消費される可能性があります。したがって、以下を使用する必要があります。

rsync -av -e "ssh" * [email protected]:/folder

Answer

rsync最高のソリューションです。-z圧縮をスキップするように削除することをお勧めします。圧縮すると、一時的に圧縮されたファイルに追加のディスク容量が消費される可能性があります。したがって、以下を使用する必要があります。

rsync -av -e "ssh" * [email protected]:/folder

Question 3

修正する

許可エラー（以下）は、ファイルから「-a」（--archive）フラグを削除することで要約されます。同期コピーされたファイルの所有権と権限を維持しようとしないようにするコマンド。

ローカルの「dd」テストを実行した後、ディスクエラーが原因でファイルシステムが破損している可能性がある低レベルのIOエラーが検出されました。

許可されていない仕事（1）

最後に、このエラーは、ユーザー「abude」に書き込み権限がない単純な権限の問題である可能性が高いです。/nas/メディア/）フォルダを公開して書き込み可能にしてみてください。

 chmod a+rwx /nas/media

rsync コマンドを繰り返します。

-------（OPは現在NTFSパーティションを使用しているため、以下では無視されます）----

基準：

Centos 7を搭載したHP Microserver gen 8があり、Bay Areaには2TBのハードドライブが1つしかありません。脂肪32。

...

rsync: '/folder/'への書き込みに失敗しましたmovie.mkv"：入出力エラー（5）rsyncエラー：ファイルIOエラー（コード11）はReceiver.c（322）にあります。>>[受信者=3.0.9]

そして後であなたのコメント。

@マスターG4GB未満のファイルにはエラーはありません。。この数を約8〜10GBに増やすこともできますが、わかりません。 – 約8時間前

私の考えでは、あなたが経験している問題があなたが解決しようとしている問題だと思います。同期4GB以上のファイル（少なくとも一部）をFAT32ファイルシステムにコピーすることは、FAT32ファイルサイズの厳しい制限であるため不可能です。

最大ファイルサイズ2^32 - 1バイト

（https://technet.microsoft.com/en-us/library/cc938937.aspx)

だから同期ファイルIOエラー報告：

11     Error in file I/O

（https://linux.die.net/man/1/rsync)

次のオプションがあります。

対応する大容量ファイルを同期から除外--最大サイズ=サイズrsyncオプション（何とか後で手動で処理）
より小さな部分に分割します（例：探すそして分ける)
ファイルシステムをNTFSやExt4などに変換します（例を参照）。https://askubuntu.com/questions/303091/convert-fat32-partition-to-ntfs-without-data-loss)

Answer