このウェブページをスクラップしようとしていますが、ユーザー/パスワードが必要なログインフォームの後ろにあります。
私はFirefoxデバッグモードを使用してHTTPリクエストを探します。資格情報を入力すると、set-cookie
応答ヘッダーを返すPOST要求が発生します。その後、このCookieはGET
(ユーザー/パスワードの代わりに)最終的に実際のページにアクセスするために使用されます。クッキーには有効期限があります。
私は1カールPOSTを介して対応するCookieを取得してダンプし、2オプションでcookie.txt
カールGETを再度使用する必要があるとします。-b cookie.txt
いいえユーザー/パスを渡す必要があります。)
set-cookie
コマンドラインからcurl
インポートしたいです(ステップ1)。 POSTのコマンドで
Firefoxが実行する操作を複製しようとしています。Copy as cURL
これはカール要求を形成します(スイッチ内にuser / passがあり、--data-raw
a内にshortがあります)。問題はヘッダーを返しますが、クッキーが存在しないことです。ダウンロードしたウェブサイト(HTML)は何かが間違っていることを示しています。今、フォーミング後、、、のようなフィールドがログインページごとに変更されるようで、スクリプトを通じて埋め込んだが問題は解決されませんでした。ASP.NET_SessionId
-H 'Cookie: ...
--data-raw
__VIEWSTATE
__VIEWSTATEGENERATOR
__EVENTVALIDATION
GET
Firefoxからコピーしたカールコマンドを使用しています-c cookie.txt -D - -v
。ヘッダーにCookieを印刷しないか、Cookieをファイルにダンプしません。