☰

パターンに一致する複数のファイルに対して並列にコマンドを実行する

tag-icon • tag-icon command-line parallelism
パターンに一致する複数のファイルに対して並列にコマンドを実行する

ファイルパスである単一引数を受け入れるコマンドがあるとします。

mycommand myfile.txt

これで、複数のファイル、特にパターンに一致するファイルでこのコマンドを並列に実行したいと思いますmyfile*。

これを達成する簡単な方法はありますか？

答え1

xargsプロセス交換をサポートするGNUおよびシェルの使用

xargs -r -0 -P4 -n1 -a <(printf '%s\0' myfile*) mycommand

mycommand最大4秒間並列に実行できます。

標準入力を使用しない場合は、次のようにすることもmycommandできます。

printf '%s\0' myfile* | xargs -r -0 -P4 -n1 mycommand

xargsこれは最新のBSDにも当てはまります。

ファイルを再帰的に検索するには、myfile*コマンドprintfを次のように置き換えます。

find . -name 'myfile*' -type f -print0

（-type f通常のファイルでのみ機能します。対応するglobの場合は必要ですzsh。printf '%s\0' myfile*(.)）

答え2

ループを使用してください。

for f in myfile*; do
  mycommand "$f" &
done

wait

または使用GNUパラレル。

答え3

GNU Parallelを使用すると、次のようになります。

parallel mycommand ::: myfile*

各コアは1つのタスクを実行します。

GNU Parallelは、同じコンピュータまたはSSHを介してアクセスできる複数のコンピュータでタスクを並列に簡単に実行できる汎用の並列ハンドラです。多くの場合for、ループを置き換えることができます。

4つのCPUで32の異なるジョブを実行する場合は、並列化する簡単な方法は、各CPUで8つのジョブを実行することです。

簡単なスケジューリング

代わりに、GNU Parallel はタスクが完了すると新しいプロセスを作成し、CPU をアクティブに保つことで時間を節約します。

GNU並列スケジューリング

インストールする

ディストリビューションにGNU Parallelがパッケージされていない場合は、rootアクセスなしでプライベートインストールを実行できます。これは10秒で完了できます。

(wget -O - pi.dk/3 || curl pi.dk/3/ || fetch -o - http://pi.dk/3) | bash

その他のインストールオプションについては、以下を参照してください。http://git.savannah.gnu.org/cgit/parallel.git/tree/README

詳細

より多くの例を見る：http://www.gnu.org/software/parallel/man.html

紹介ビデオを見る：https://www.youtube.com/playlist?list=PL284C9FF2488BC6D1

このチュートリアルを見てください。http://www.gnu.org/software/parallel/parallel_tutorial.html

サポートを受けるには、メールリストに参加してください。https://lists.gnu.org/mailman/listinfo/parallel

関連情報