
私はGNU Parallelを使用して自動的に大量の作業を開始し、それをシステムコアに配布しています。コアごとに1つの作業。
parallel python3 program.py ::: inputs1*
ワークセットがほぼ完了すると、残りのジョブは使用可能なコアのサブセットのみを使用します。parallel
未使用のコアのみを使用するように、次の入力セットを開始することをお勧めします。だから最初はすべてのコアのサブセットですが、後で以前のタスクがすべて完了したら、すべてのコアを使用できます(それで使用できません--jobs
)。
2番目のコマンドを起動すると、parallel
他のコマンドですでに使用されているコアの操作も開始されます。これを避けるための簡単で良い方法はありますか?
答え1
努力する:
parallel --load 100% ...
現在実行中のプロセスの数を確認し、空きコアがある場合はジョブを開始します。