☰

ウェブページ全体のコンテンツをカリングする方法は？

tag-icon • tag-icon linux debian ubuntu curl
ウェブページ全体のコンテンツをカリングする方法は？

完全なHTMLソースコードをダウンロードしたいと思います。Xウェブページは乾燥していますが、XリンクページのHTMLソースコードの一部を返します。スクロールが必要もっと見るカールは「下にスクロール」を超えているようではありません。

これまでは、これは手動でのみ実行できます。
1）目的のWebサイトに移動します。
2）ブラウザコンソールで次のコマンドを実行して自動スクロールします（各オブジェクトを読み込む）。

var scroll = setInterval(function(){ window.scrollBy(0,1000); }, 2000);

3）チェックした要素から完全なHTMLソースコードをコピーします。

したがって、問題は、curl上記の手順と同じ結果を得るために端末に出力する前にWebページのコンテンツ全体を取得するようにコマンドを実行できます（すべてのオブジェクトがロードされるまでスクロールする）ことです。一緒でなければ、curl多分wget？

答え1

curl本格的なブラウザではなく、私が知っている限り、JavaScriptの実行をサポートしていません。 HTTP/FTP を使用してファイルをインポートすることがすべてです。基本的なHTTPリクエストに到達できないスクリプトやその他のツールに依存する機能をテストするには、Seleniumなどのより詳細なテストスイートを調べることをお勧めします。

答え2

これを行う唯一の方法は、実行するにはJavascriptが必要なので、Webブラウザをエミュレートすることです。 Seleniumを使ってこれを行うことができるはずですが、Pythonを使ったプログラミングが必要になるでしょう。

セレンリンク：https://www.seleniumhq.org/

関連情報