私は最近、GCP（Google Cloud Platform）を使い始めました。 Google Cloud EngineでUbuntu VMを作成し、wgetを介してウェブサイトからいくつかのファイルをダウンロードしたいと思います。
Windowsコンピュータから通常のWebブラウザを使用してダウンロードするか、WindowsコンピュータにローカルにインストールされているWSL Ubuntuカーネルからwgetを使用してダウンロードできます。
次のコマンドを使用しています。
wget -c --tries=0 -O sample.zip --user-agent="Mozilla" --referer="https://ida.loni.usc.edu/<.......>" --accept="text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9" https://<.....url.....>.zip
それは私に次のエラーを与えます：
HTTP 要求が送信されました。応答を待っています... 403エラー403：（説明なし）
他のユーザーエージェント値の試行、ユーザーエージェントなし、リファラーなしなど、さまざまなコマンドを試しました。しかし、それも動作しません。
最後に、カールとPythonスクリプトを試してみましたが、成功しませんでした。すべてが同じ403（禁止）エラーで終わります。
私は投稿を読んだ。カールとwgetによって403が禁止されるのはなぜですか？この403エラーの問題に対する解決策を議論する同様の記事があります。しかし、それらのどれも私のために働かない。
私の考えでは、ファイアウォールの設定やリクエストヘッダに何かが欠けているようです。
修正する:
ダウンロードするファイルが500MBを超えています。明らかに、以下から小さなメタデータzipファイルをダウンロードできます。https://ida.loni.usc.edu/フィールド。
これについて推測がありますか？
また、外部IPを許可するファイアウォールルールも含めました。