私は走っています刈るUbuntu Server 13. クロールすると、ネットワークの速度が非常に遅くなり、システムに SSH で接続することも困難です。
スクレイピーが使用していない別のルーターに別のネットワークインターフェースカードを接続すると、問題を解決できるようです。可能ですか?どのように?
答え1
一般的に言えばそうです。役に立つかもしれないいくつかの注意:
複数のインターフェースがある場合は、固定パスを設定して、特定の宛先に到達するために使用する必要があるインターフェースを指定できます。CentOSネットワークドキュメントまともなガイドがあります。これにより、システムが特定のアウトバウンドアドレスにアクセスするために使用するインターフェイスを指定できます。
あなたが得ることができることをもっと望むように聞こえます。存在するバックアップインターフェイスから。ほとんどのデーモン(例
ssh
:)では、リッスンするインターフェイスを設定できます。 SSHの場合は、以下を参照してください。sshd_configListenAddress
構成。もちろん、どちらも特定のインターフェースを使用するようにアプリケーションを構成できるかどうかを尋ねる質問ではありません。以下を使用しても可能です。iptables
--uid-owner
そのユーザーのアプリケーションでのみ使用されるパスを指定するオプション。持つlinuxquestions.orgでこのシナリオに関する有用な議論。最後に、ネットワークにボトルネックがあることは確実ですか?プロンプトも表示されない場合は、あまりにも
scrapy
多くのCPUを消費しないことを確認し、nice
その場合は-ingなどを検討してください。