☰

linux +ポート使用中に+ PIDを終了するためにnetstatから返されたPIDはありません

tag-icon • tag-icon linux networking rhel netstat port
linux +ポート使用中に+ PIDを終了するためにnetstatから返されたPIDはありません

Hadoopクラスタがあります。 Linuxはrhel 7.5システムです。

ネームノードはポート50070を使用しています

ログでポート 50070 が使用されていることがわかります。

しかし、興味深いのは、netstat -tulpn | grep 50070PIDを見つけるためにこれを行うときに何も返さないということです。

netstat -tulpn | grep 50070   ( we not get output )

それはどのように可能ですか？

ポートを消去する方法は？

2020-07-18 21:26:22,753 INFO  impl.MetricsSystemImpl (MetricsSystemImpl.java:shutdown(606)) - NameNode metrics system shutdown complete.
2020-07-18 21:26:22,753 ERROR namenode.NameNode (NameNode.java:main(1783)) - Failed to start namenode.
java.net.BindException: Port in use: linux.gg.com:50070
        at org.apache.hadoop.http.HttpServer2.constructBindException(HttpServer2.java:1001)
        at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1023)
        at org.apache.hadoop.http.HttpServer2.openListeners(HttpServer2.java:1080)
        at org.apache.hadoop.http.HttpServer2.start(HttpServer2.java:937)
        at org.apache.hadoop.hdfs.server.namenode.NameNodeHttpServer.start(NameNodeHttpServer.java:170)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.startHttpServer(NameNode.java:942)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:755)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:1001)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:985)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1710)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1778)
Caused by: java.net.BindException: Address already in use
        at sun.nio.ch.Net.bind0(Native Method)
        at sun.nio.ch.Net.bind(Net.java:433)
        at sun.nio.ch.Net.bind(Net.java:425)
        at sun.nio.ch.ServerSocketChannelImpl.bind(ServerSocketChannelImpl.java:223)
        at sun.nio.ch.ServerSocketAdaptor.bind(ServerSocketAdaptor.java:74)
        at org.mortbay.jetty.nio.SelectChannelConnector.open(SelectChannelConnector.java:216)
        at org.apache.hadoop.http.HttpServer2.bindListener(HttpServer2.java:988)
        at org.apache.hadoop.http.HttpServer2.bindForSinglePort(HttpServer2.java:1019)
        ... 9 more
2020-07-18 21:26:22,755 INFO  util.ExitUtil (ExitUtil.java:terminate(124)) - Exiting with status 1
2020-07-18 21:26:22,757 INFO  namenode.NameNode (LogAdapter.java:info(47)) - SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at 
************************************************************/
[root@linux hdfs]#
[root@linux hdfs]#
[root@linux hdfs]# netstat -tulpn | grep 50070 ( no PID number is returned )

答え1

このメッセージは、Hadoopに属するHTTPサーバーに問題があることを示します。私はポート50070がHadoop 2.7.1以上のHDFS Web UIのデフォルトポートだと思います。

を使用すると、着信netstat -tulpnTCP接続をリッスンするポートを表示できます。問題はHadoopのHTTPサーバーにあるため、HTTPはTCPポートのみを使用するため、UDPポートをまったく表示する必要はありません。

ただし、ポート番号が高すぎるため占有されている可能性があります。出る代わりに接続してください。試してnetstat -tapn | grep 50070みてください。

発信接続に動的に割り当てることができるポート範囲を表示するには、を実行しますcat /proc/sys/net/ipv4/ip_local_port_range。範囲を調整するためにnet.ipv4.ip_local_port_range = min_value max_valuein を使用できますが、発信/etc/sysctl.conf[.d]接続が多く、使用量の多いサーバーで範囲を制限するのはおそらく良い考えではありません。私のDebian 10のデフォルトの範囲はポート32768から60999です。エンタープライズディストリビューションでは、デフォルトで拡張範囲を使用できます。

代わりに、発信接続に使用されるポートの範囲外のこのHDFS Web UIのデフォルト以外のポートを選択できます。設定しない場合、dfs.namenode.http-addressこのプロパティはhdfs.xmlデフォルト値を持ちます。0.0.0.0:50070このプロパティを値に設定できます0.0.0.0:<some_other_port>。

つまり、ポート番号をたとえば32070に設定するには、次のように追加しますhdfs.xml。

<property>
    <name>dfs.namenode.http-address</name>
    <value>0.0.0.0:32070</value>
</property>

これは、0.0.0.0「Web UIを実行しているシステムが持っているすべてのIPアドレス」を意味します。システムに異なるアドレスを持つ複数のネットワーク接続があり、単一のIPアドレスを介してのみHDFS Web UIにアクセスしたい場合は、それをIPアドレスに置き換えることができます。

もちろん、Web UI機能を必要とする管理者がHDFS Web UIを見つけることができるように、HDFS Web UIがデフォルト以外のポートにあるという事実も文書化する必要があります。

関連情報