
PCAPスクリプト
32個のプロセッサを搭載したサーバーがあり、これらのプロセッサを利用するにはこのスクリプトを最大化する必要があります。現在のプログラムはプロセッサを1つだけ使用するため、複数のインスタンスを同時に実行するtshark
必要があります。tshark
現在、以下のスクリプトで定義されているループは一度に1 pcapを実行しますが、これは非常に遅いです。一度に最大15秒間実行する必要がありますtshark
が、ループがファイルの終わりに達するまでそれ以上実行されません。
デフォルトでは、スクリプトはいくつかのpcapファイルを読み取り、テキストファイルにpcapを一覧表示しtshark
ますmergecap
。
この例には、フィルタリングするpcapファイルが5つあります。
- full_cap_1589
- full_cap_1590
- full_cap_1591
- full_cap_1592
- full_cap_1593
#!/bin/bash # pcapファイルを解析するためのテストスクリプト #DATE = `日付| awk '{print $2}'` セット-x echo "開始時間 - 月/日時間の例: 07/19 08:00" 読み取り -e 日付1 echo "終了時間 - 月/日時間の例 07/19 08:35" 読み取り -e 日付 2 echo "どのIPアドレスをフィルタリングする必要がありますか?" 読み取り -e IP $ ipをエコー FIND=`/mnt/pcap/captures/ -type f -newermt "$date1" ! -newermt "$date2" |cut -c20-40 > /home/username/loading_dock/load.txt` #"${FIND[@]}"の完全大文字 私にとっては `cat /home/username/loading_dock/load.txt`にあります。 する tshark -r /mnt/pcap/captures/$i "-Y ip.addr == $ip" -w /home/username/loading_dock/$i.pcap 完璧 mergecap -w /home/username/loading_dock/*.pcap -w /home/username/test1.pcap rm -rf /home/ユーザー名/loading_dock/*.pcap rm -f /home/ユーザー名/loading_dock/load.txt 0番出口
答え1
GNU並列性を使用できますか?
parallel -j15 tshark -r /mnt/pcap/captures/{} \'"-Y ip.addr == $ip"\' -w /home/username/loading_dock/{}.pcap :::: /home/username/loading_dock/load.txt
GNU Parallelは、同じコンピュータまたはSSHを介してアクセスできる複数のコンピュータでタスクを並列に簡単に実行できる汎用の並列ハンドラです。
4つのCPUで32の異なるジョブを実行する場合は、並列化する簡単な方法は、各CPUで8つのジョブを実行することです。
代わりに、GNU Parallel はタスクが完了すると新しいプロセスを作成し、CPU をアクティブに保つことで時間を節約します。
インストールする
セキュリティ上の理由から、パッケージマネージャを使用してGNU Parallelをインストールする必要がありますが、GNU Parallelが展開用にパッケージ化されていない場合は、rootアクセスを必要としないプライベートインストールを実行できます。これは10秒で完了できます。
(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash
その他のインストールオプションについては、以下を参照してください。http://git.savannah.gnu.org/cgit/parallel.git/tree/README
詳細
より多くの例を見る:http://www.gnu.org/software/parallel/man.html
紹介ビデオを見る:https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1
このチュートリアルを見てください。http://www.gnu.org/software/parallel/parallel_tutorial.html
サポートを受けるには、メールリストに参加してください。https://lists.gnu.org/mailman/listinfo/parallel