☰

ファイルをダウンロードせずにWgetをクロールする

tag-icon • tag-icon wget
ファイルをダウンロードせずにWgetをクロールする

私はこのパターンに一致するURLがいくつあるかを計算したいと思いますx--*.html。この場合、以下から一致するすべてのファイルがダウンロードされます。

$ wget --random-wait --mirror --no-parent -A x--*.html myBaseURL &

ただ数字を数えたいのですが、これらすべてのページを転送しないようにする方法はありますか？

メモ:コマンドがあることを知っていますが、--delete-afterまだ送信されます。

どんなアイデアがありますか？

答え1

私はこれを行う方法がないと思います。従う必要がある他のリンクがあることを確認するために、これらのファイルの内容を分析するには、そのファイルをダウンロードする必要がありますwget。

最善の選択は、おそらく次のようにすることです：

$ wget --random-wait --mirror --no-parent -A x--*.html myBaseURL -O /dev/null &

一致する回数を計算します。

wget --random-wait --mirror --no-parent -A x--*.html myBaseURL -O | wc -l

関連情報