wgetミラーのウェブサイトをより迅速に取得するには?

wgetミラーのウェブサイトをより迅速に取得するには?

使用すると、wget -m url一度に1つのファイルをダウンロードします。

wget一度に複数のファイルをダウンロードする方法は?

答え1

このようなスクリプトがありますtheripper.shストレージリンクwget)、これはaria2cスパイダーとマルチスレッドダウンローダーの使用を組み合わせます。

しかし、簡単な答えはを使用することですwget2買戻契約これを複製してビルドしたり、簡単に使用したりできますsudo apt install wget2。使い方はほとんど同じですwgetが、操作を実行するためのより多くのオプションがあります。

--max-threads         Max. concurrent download threads.
                          (default: 5)

答え2

ウェブサイトをミラーリングするには、次のものを使用できます。Webクローラーwget-mフラグを含む)がリストされていますが、wget並列ダウンロード用ではありません。aria2一方、ウェブサイトはクロールできませんが、URLリストはダウンロードされます。最初はURLのリストを知っておく必要があります。

両方を実行できるツールが必要です。この質問には使用することをお勧めしますhttrack:8つのhttrack urlミラーを同時に接続します。url

関連情報