☰

Bashでマルチスレッドする方法？

tag-icon • tag-icon bash multithreading
Bashでマルチスレッドする方法？ 
#!/bin/bash
while IFS="," read  ip port; do
    ruby test.rb "http://$ip:$port/"&
    ruby test.rb "https://$ip:$port/";
 done <test1.txt

マルチスレッドではどうすればいいですか？ & で分割してより多くの行を実行する場合は、同じ IP とポートを使用して同じコマンドを複数回実行し、次の IP とポートを使用して実行したいと思います。また、同じファイルは192.168.1.2,8089のように見えます。

答え1

私はそうします：

parallel --colsep , ruby test.rb {3}://{1}:{2}/ :::: ipport.txt ::: http https

デフォルトでは、CPUコアごとに1つのジョブが実行されます。これは-j20、20の並列操作に合わせて拡張できます。

- ソリューションとは異なり、xargs出力を後処理できます。出力はシリアル化されているため、両方のジョブの混合出力は表示されません。

GNU Parallelは、同じコンピュータまたはSSHを介してアクセスできる複数のコンピュータでタスクを並列に簡単に実行できる汎用の並列ハンドラです。

4つのCPUで32の異なるジョブを実行する場合は、並列化する簡単な方法は、各CPUで8つのジョブを実行することです。

簡単なスケジューリング

代わりに、GNU Parallel はタスクが完了すると新しいプロセスを作成し、CPU をアクティブに保つことで時間を節約します。

GNU並列スケジューリング

インストールする

セキュリティ上の理由から、パッケージマネージャを使用してインストールすることをお勧めします。ただし、これを行うことができない場合は、この10秒のインストールを使用できます。

10秒のインストールはフルインストールを試み、失敗した場合はプライベートインストールを実行し、失敗した場合は最小インストールを実行します。

$ (wget -O - pi.dk/3 || lynx -source pi.dk/3 || curl pi.dk/3/ || \
   fetch -o - http://pi.dk/3 ) > install.sh
$ sha1sum install.sh | grep 883c667e01eed62f975ad28b6d50e22a
12345678 883c667e 01eed62f 975ad28b 6d50e22a
$ md5sum install.sh | grep cc21b4c943fd03e93ae1ae49e28573c0
cc21b4c9 43fd03e9 3ae1ae49 e28573c0
$ sha512sum install.sh | grep da012ec113b49a54e705f86d51e784ebced224fdf
79945d9d 250b42a4 2067bb00 99da012e c113b49a 54e705f8 6d51e784 ebced224
fdff3f52 ca588d64 e75f6033 61bd543f d631f592 2f87ceb2 ab034149 6df84a35
$ bash install.sh

その他のインストールオプションについては、以下を参照してください。http://git.savannah.gnu.org/cgit/parallel.git/tree/README

詳細

チートシートのダウンロード：http://www.gnu.org/s/parallel/parallel_cheat.pdf

より多くの例を見る：http://www.gnu.org/software/parallel/man.html

紹介ビデオを見る：https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

このチュートリアルを見てください。http://www.gnu.org/software/parallel/parallel_tutorial.html

サポートを受けるには、メールリストに参加してください。https://lists.gnu.org/mailman/listinfo/parallel

答え2

tr ',' ':' <test1.txt | xargs -P 4 -I XX ruby test.rb "http://XX/"

test1.txtファイルに次のような行が含まれているとします。

127.0.0.1,80
127.0.0.1,8080

次に、tr次のように変更します。

127.0.0.1:80
127.0.0.1:8080

xargs一度に1行ずつ取得し、指定されたXXコマンド文字列をその行の内容に置き換えてコマンドを実行します。-P 4最大4つのプロセスを同時に実行できます。

ファイルの各行にカンマがある場合は、まずコンマを削除してください。

sed 's/,$//' test1.txt | tr ',' ':' | xargs ...as above...

でも

sed -e 's/,$//' -e 'y/,/:/' test1.txt | xargs ...as above...

答え3

gnu-parallelこれは良い選択ですが、xargswhileループを使用してこれを行う方法を示すために、2つの主なオプションがあります。

するすべて同時に：

while IFS="," read  ip port; do
    ruby test.rb "http://$ip:$port/" <&- &
done <test1.txt

一度に2人に制限してください。

while IFS="," read  ip port; do
    ruby test.rb "http://$ip:$port/" <&- &
    IFS=, read ip port || break
    ruby test.rb "http://$ip:$port/" <&- &
    wait
done <test1.txt

2つ目は、1つのプロセスの完了と2番目の完了の間にデッドタイムがあるため、あまり理想的ではなく、プロセスを追加すると、この問題は悪化します。シェルで問題を解決しようとすることはできますが、すでに存在するため、xargsあまりparallel意味がありません。

関連情報