データベース検索エンジンのWebページのソースファイルをダウンロードしたいです。カールを使用すると、htmlホームページのみをダウンロードできます。また、このWebページにリンクされており、基本的なHTMLページに記載されているすべてのJavaScriptファイル、CSSファイル、およびPHPファイルをダウンロードしたいと思います。カール/ wgetまたは他のユーティリティを使用してこれを実行できますか?
答え1
まず、Webサイト運営者は、これがそのサービスの使用を許可されていることを確認する必要があります。その後、次のことができます。
wget -pk example.com
-p
ページを表示するために必要な条件(Javascript、CSSなど)を入手してください。-k
ページのリンクをローカルで表示できるリンクに変換します。
からman wget
:
-p、--ページ前提条件
このオプションを使用すると、Wgetは指定されたHTMLページを正しく表示するために必要なすべてのファイルをダウンロードします。これには、インライン画像、サウンド、参照スタイルシートなどが含まれます。
[...]
-k、--convertリンク
ダウンロードが完了したら、ドキュメントのリンクをローカルビューに合わせて変換します。これは、表示されるハイパーリンクだけでなく、埋め込み画像、スタイルシートリンク、HTML以外のコンテンツへのハイパーリンクなど、外部コンテンツにリンクされている文書のすべての部分にも影響します。