7/04/27 10:50:17 INFO Master: Driver submitted org.apache.spark.deploy.worker.DriverWrapper
17/04/27 10:50:17 INFO Master: Launching driver driver-20170427105017-0000 on worker worker-20170427103840-192.168.5.242-7078
17/04/27 10:50:22 INFO Master: 192.168.5.5:53156 got disassociated, removing it.
17/04/27 10:50:22 INFO Master: 192.168.5.5:37668 got disassociated, removing it.
17/04/27 10:50:22 INFO Master: 192.168.5.5:53154 got disassociated, removing it.
17/04/27 10:55:27 INFO Master: Registering app ETL DataPipeline App
17/04/27 10:55:27 INFO Master: Registered app ETL DataPipeline App with ID app-20170427105527-0000
17/04/27 10:55:27 INFO Master: Launching executor app-20170427105527-0000/0 on worker worker-20170427103842-192.168.5.175-7078
17/04/27 10:55:27 INFO Master: Launching executor app-20170427105527-0000/1 on worker worker-20170427103838-192.168.5.37-7078
17/04/27 11:08:25 INFO Master: Asked to kill driver driver-20170427105017-0000
17/04/27 11:08:25 INFO Master: Kill request for driver-20170427105017-0000 submitted
17/04/27 11:08:26 INFO Master: Received unregister request from application app-20170427105527-0000
ドライバ-20170427105017-0000とその192.168.5.242を取得するにはどうすればよいですか?同様に、app-20170427105527-0000/0とその192.168.5.175をgrepする方法もあります。
答え1
sed
得るために使うみんな driver
そしてexecutor
「スタート」に関するメッセージ:
$ sed -n -E 's/^.*Launching (driver|executor) ([^ ]*).*worker-[0-9]*-([^-]*).*$/\2 \3/p' file.in
driver-20170427105017-0000 192.168.5.242
app-20170427105527-0000/0 192.168.5.175
app-20170427105527-0000/1 192.168.5.37
[^ ]*
スペースを除くすべての文字と一致します。\2
\3
2番目と3番目の角かっこがそれぞれ一致する項目の逆参照。 2番目の角かっこはまたは後ろのテキストを含み、一致し、3番目の角かっこ[^ ]*
はIPアドレス(終了アドレスまで)を含み、一致します。Launching driver
Launching executor
[^-]*
-
^
inは行の始まりと終わりに正規表現を$
固定しますが、whileは代替結果(代替が行われた場合)を「印刷」するように指示します。s/^...$/.../p
p
sed
または、正規表現の魔法が少なく、より強力である可能性があるため、以下を使用してくださいawk
。
$ awk '/Launching/ { split($NF, a, "-"); print $7, a[3] }' file.in