ウェブページのサイズを決定する方法がありますが、ウェブサイト全体のサイズはどうですか？ダウンロードは必要ありません。
編集：ドメイン名を含むサイズ統計にページのみを含めたい。
答え1
お客様は、ウェブサイトの構成およびウェブサイトに含まれていないリンクおよびリソースの構成を定義しました。ウェブサイトは基本的にグラフデータ構造です。同様のクエリ文字列に基づいて重複をループ、キャプチャ、および定義せず、「サイトの一部ではない」として定義されたリンクに従わないように、訪問としてマークされたすべてのリンクに対してDFS / BFSを実行します。
結局、ウェブサイトをダウンロードしたくないので、ウェブサイトはHTTP HEADメソッドをサポートし、正確なContent-Lengthヘッダーを生成したいと思います。これらのそれぞれについて質問し、要約してください。
簡単ですか？
OTOH、これがあなたのウェブサイトであり、ftpアクセスまたは同様の権限があり、ウェブサイトをウェブサイトのルート上のすべてのファイルとして定義した場合、再帰的なディレクトリサイズを取得するだけで問題は解決されます。うん！