特定のWebページに含まれている画像だけをダウンロードしたいのですが、100KBより大きい画像だけをダウンロードしたいと思います。これまでにすべての画像をダウンロードしてから小さな画像を削除しましたが、これは効率的ではありません。ダウンロード中に小さなファイルを無視する方法はありますか?
答え1
http HEAD要求を使用している場合は、ヘッダーのみが返されます。
これはおおよそのアプローチです(URLリストがあると仮定)。しきい値=expr 100 \* 1024
for url in ${list_of_urls} ; do
size=`curl -s --head ${url} | grep 'Content-Length:' | cut -d ' ' -f 2`
if [ ${size} -gt ${threshold} ] ; then
curl -s ${url}
fi
done