ウェブサイトから再帰的にダウンロード

ウェブサイトから再帰的にダウンロード

その製品フォルダ内のWebサイトのURL ""から画像を取得しようとしていますが、多くのwww.example.com/productsサブフォルダがあるため、製品フォルダをダウンロードする必要があります。

www.example.com/products、www.example.com/products/subfoldersでは、画像は次のようになります。

  • www.example.com/products/subfolder1/image.jpg,
  • www.example.com/products/subfolder2/image.jpg,
  • www.example.com/products/subfolder3/image.jpg

データサブフォルダーを含む製品フォルダーをダウンロードする方法。

答え1

wget -nd -r -l1 -P /save/location -A jpeg,jpg http://www.example.com/products

説明する:

-ndディレクトリ階層の作成を防止します(例:ディレクトリなし)。

-r再帰検索を有効にします。バラより再帰ダウンロードより多くの情報を知りたいです。

-l1再帰の最大深度レベルを指定します。 1あなたの場合、このディレクトリのみですproducts

-Pすべてのファイルとディレクトリが保存されるディレクトリプレフィックスを設定します。

-A特定のファイル形式のみを検索するには、ホワイトリストを設定してください。文字列とパターンを許可し、両方ともカンマ区切りリストで使用できます(上記に示す)。バラよりファイルタイプより多くの情報を知りたいです。

答え2

httrack(1)ウェブサイト全体のローカルミラーを作成するのに最も便利なWebスパイダーを試してください。

リンクされたマンページの例を参照して始めてください。

答え3

wget -nH --page-requisites -R -nH -P mirrorDirectory https://example.com

ここで、mirrorDirectoryは出力が保存されるパスです。

関連情報