私はこれを試していますcurl -I zomato.com | head -n 1
私は何の答えも受け取りませんでした。
% Total % Received % Xferd Average Speed Time Time Time Current Dload Upload Total Spent Left Speed
0 0 0 0 0 0 0 0 --:- -:-- 0:05:29 --:- -:-- 0
ウェブサイトはファイアウォールで保護されていますか?
サイトwget
でも動作しません。他のサイトは期待どおりに応答をgoogle.com
返します。200
答え1
$ curl -I --max-redirs 1 "https://www.zomato.com/" 2>/dev/null | grep "^location:" | awk '{print $2}'
https://www.zomato.com/some-location-in-mongolia
だから...
$ newURL=$(curl -I --max-redirs 1 "https://www.zomato.com/" 2>/dev/null | grep "^location:" | awk '{print $2}'| grep -o ".*[a-z]"); curl -I "$newURL" | head -n 1
% Total % Received % Xferd Average Speed Time Time Time Current
Dload Upload Total Spent Left Speed
0 0 0 0 0 0 0 0 --:--:-- 0:00:01 --:--:-- 0
HTTP/2 200
このフォーラムがスクレイピングサポートを許可しているかどうかはわかりません。
wget --header "User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:45.0) Gecko/20100101 Firefox/45.0" --header "Host: www.zomato.com" --header "Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8" "https://www.zomato.com/bangalore/restaurants/biryani"