Wget:ファイルをオプションで再帰的にダウンロードしますか?

Wget:ファイルをオプションで再帰的にダウンロードしますか?

wget、サブフォルダ、index.htmlに関する質問です。

私が「website.com」:「website.com/travels/」の「travels/」フォルダにあるとしましょう。

"travels/"フォルダには、多くのファイルやその他の(サブ)フォルダが含まれています。 [1990 "]アメリカ/"、"website.com/travels/[1994]日本/"など...

すべてのサブフォルダから「.mov」と「.jpg」の両方をダウンロードする方法は? 「travels/」(例:「website.com/travels/list.doc」ではない)からファイルを選択したくありません。

wgetサブフォルダから「index.html」のみをダウンロードでき、他のものはダウンロードできないコマンド(UnixおよびLinux Exchangeでは説明されているものは覚えていません)を見つけました。なぜインデックスファイルのみをダウンロードするのですか?

答え1

このコマンドは、特定のWebサイトから画像とビデオのみをダウンロードします。

wget -nd -r -P /save/location -A jpeg,jpg,bmp,gif,png,mov "http://www.somedomain.com"

~によると気の利いた人:

-nd prevents the creation of a directory hierarchy (i.e. no directories).

-r enables recursive retrieval. See Recursive Download for more information.

-P sets the directory prefix where all files and directories are saved to.

-A sets a whitelist for retrieving only certain file types. Strings and patterns are accepted, and both can be used in a comma separated list (as seen above). See Types of Files for more information.

サブフォルダをダウンロードするには、--no-parent次のコマンドに似たflagを使用する必要があります。

wget -r -l1 --no-parent -P /save/location -A jpeg,jpg,bmp,gif,png,mov "http://www.somedomain.com"

-r: recursive retrieving
-l1: sets the maximum recursion depth to be 1
--no-parent: does not ascend to the parent; only downloads from the specified subdirectory and downwards hierarchy

index.html Webページ情報。フラグがコマンドに含まれると、フラグは特定の種類のファイルを強制的にダウンロードするため-A除外されます。つまり、ダウンロードが許可されているファイルのリスト(フラグなど)に含まれていない場合、ファイルはダウンロードされず、端末に次のメッセージが出力されます。wgetwgethtmlAwget

Removing /save/location/default.htm since it should be rejected.

wgetjpg、jpeg、png、mov、avi、mpeg...などの特定の種類のファイルは、指定されたURLリンクにそのファイルがある場合はダウンロードできます。wget例:

以下では、.zipファイルと.chdファイルをダウンロードするとします。ウェブサイト

このリンクにはフォルダと.zipファイルがあります(最後までスクロール)。それでは、次のコマンドを実行するとしましょう。

wget -r --no-parent -P /save/location -A chd,zip "https://archive.org/download/MAME0.139_MAME2010_Reference_Set_ROMs_CHDs_Samples/roms/"

このコマンドは.zipファイルをダウンロードし、.chdファイル用の空のフォルダを作成します。

.chdファイルをダウンロードするには、空のフォルダの名前を抽出してから、これらのフォルダ名を実際のURLに変換する必要があります。次に、関心のあるすべてのURLをテキストファイルに挿入し、最後に次のように対応するテキストfile.txtファイルをに入力します。wget

wget -r --no-parent -P /save/location -A chd,zip -i file.txt

前のコマンドは、すべてのchdファイルを検索します。

関連情報