☰

並列にデータをダウンロード [閉じる]

tag-icon • tag-icon parallelism
並列にデータをダウンロード [閉じる]

20Gのデータをダウンロードするにはftpを使用する必要があります。これを並列に実行できますか（gnu？）以下は一部のデータへのリンクです。

 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030893/ERR030893.fastq.gz 
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030885/ERR030885_1.fastq.gz
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030885/ERR030885_2.fastq.gz
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030894/ERR030894.fastq.gz
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030886/ERR030886_1.fastq.gz
 ftp://ftp.sra.ebi.ac.uk/vol1/fastq/ERR030/ERR030886/ERR030886_2.fastq.gz

ありがとう、

答え1

わかりませんが、parallel並列ダウンロードのための素晴らしいツールであることはわかっていますaria2c。

以下はFTP / HTTPセクションから抜粋したものです。そのマニュアル:

  • -s、--split=[N]

  • 接続を使用してファイルをダウンロードしますN。N複数のURIが提供される場合、最初のNURIが使用され、残りのURIはバックアップに使用されます。より少ない数のURIが提供されると、これらのURIは同時に総接続数を確立するNために必要なだけ使用されます。N同じホストへの接続数は--max-connection-per-serverこのオプションによって制限されます。--min-split-sizeオプションも参照してください

  • デフォルト：5

関連情報