WebサイトからWebページに提供されているEメールアドレスをどのようにダウンロードしますか?
親ページ、子ページなど、サイトのすべてのページをスキャンする必要があります。目標は、ウェブサイトのさまざまなページで参照されているさまざまな電子メールアドレスを取得することです。
ウェブサイトにはrobots.txtファイルもあります。
答え1
好きなだけ簡単ではありません。
wget
Webメールインターフェースから電子メールをダウンロードすることもできます。このインタフェースはブラウザができる高度な機能を多く使用しますが、wgetはできません(または極端なスクリプトでしかできません)。
ただし、ほとんどのWebメールはMAPまたはPOPもサポートしているため、これを比較的簡単に実行できます。
そうしない場合は、withを使用してくださいwget
。たとえば、withを使用します。セレン構成は比較的複雑で、より多くのリソースを消費しますが、実際のブラウザを自動化できます。基本的にプログラミングが必要です。
あなたの場合は、POP3 / IMAPの方向に行くことをお勧めします。