☰

ジョブを並列に実行し、単一ファイルに書き込む

tag-icon • tag-icon xargs gnu-parallel
ジョブを並列に実行し、単一ファイルに書き込む 
#!/bin/bash
  range=$(seq -f "ma%04g" 5001 5505)
  for n in $range;do
      ping -q -c 1 -w 3 -s 10 $n >/dev/null
      if [ $? -eq 0 ];then
          awk -F, -v key="${n}" -v val="up" -v OFS="," '$1==key{$2=val}' /tmp/master.csv > /tmp/temptest.csv
          cp /tmp/temptest.csv /tmp/master.csv
      else
          awk -F, -v key="${n}" -v val="down" -v OFS="," '$1==key{$2=val}' /tmp/master.csv > /tmp/temptest.csv
          cp /tmp/temptest.csv /tmp/master.csv
  done

このフォーラムのどこからでも同じクエリを要求したかどうかはわかりませんが、xargsを使用または並列化してこのプロセスをスピードアップして結果を得る方法がわかります。 /tmp/master.csvファイルも空になりますか？

答え1

Gnuはparallelループを簡単に実行できますが、繰り返しごとにCSVファイルを変更しないでください。出力を新しいファイルに収集し、それを既存のCSVにマージするか、ノード固有のデータがない場合は、最初から完全に新しいCSVファイルを作成するのが最善です。

答え2

do_one() {
  n="$1"
  if ping -q -c 1 -w 3 -s 10 $n >/dev/null ; then
      echo up
  else
      echo down
  fi
}
export -f do_one
seq -f "ma%04g" 5001 5505 | parallel -j0 --tag do_one {} > results
# results contains host \t up_or_down
# create files with only hostnames for up
grep up   results | awk -e '{print $1}' > up-hosts
# create files with only hostnames for down
grep down results | awk -e '{print $1}' > down-hosts
# This perl script takes 1 second to run if you have 100000 hosts
perl -i.bak -ape 'BEGIN {
        # make fast lookup hash for up/down hosts
        chomp(@up=`cat up-hosts`);
        @up{@up} = @up;
        chomp(@down=`cat down-hosts`);
        @down{@down} = @down;
      }
      sub updown {
        my $host = shift;
        my $last = shift;
        if($up{$host}) { return "$host up" };
        if($down{$host}) { return "$host down" };
        return "$host $last";
      }
      # $1 = hostname, $2 = up/down of master.csv
      s/^(\S+)\s+(\S+)/updown($1,$2)/gme;' master.csv

関連情報