☰

アプリケーション並列処理を使用せずにデータファイルをバッチ処理するにはどうすればよいですか？ [コピー]

tag-icon • tag-icon bash jobs
アプリケーション並列処理を使用せずにデータファイルをバッチ処理するにはどうすればよいですか？ [コピー]

分析プログラムとデータを含むテキストファイルがあります。説明の便宜のためにそれぞれとwibbleを呼び出しますdata.txt。

forすべてのデータを処理するために単純なループを試しました。

私は$（cat data.txt）で行います。
    スイング$i
完璧

しかし、一つずつ分析するには長い時間がかかります。

そこで、各データに対して別々の作業を分割してみました。

私は$（cat data.txt）で行います。
    （スイング$ i）＆
完璧

しかし、あまりにも多くの分析プロセスを実行すると、メモリ破損が発生する可能性があります！

だから私は5人ずつグループ別に分析過程を始めたかったのです。最初の5つのデータ項目を選択し、そのデータ項目の分析プロセスを開始してから、次の5つの項目を選択して同じ操作を実行します。

前の記事（下記）で説明した手続き型「並列性」を使用せずにこれを行うにはどうすればよいですか？機関ワークステーションにこのアプリケーションをインストールするためのsudo権限がないため、これを達成するためにより簡単なコードを使用しようとしています。

https://unix.stackexchange.com/questions/299346/running-commands-at-once
https://unix.stackexchange.com/questions/361505/how-to-control-for-loop

答え1

GNUの使用xargs:

xargs -rn 1 -P 5 -a file wibble

これはarrallで最大5つのコマンドを実行しwibble、各コマンドはas引数から1ワードを取得します。Pfile

GNU の場合、xargs単語は一連の空白、タブ、または改行文字で区切られ、一重引用符、二重引用符、およびバックスラッシュはこれらの区切り文字および互いの引用演算子として認識されます。

~のため性格ファイルの各行に1つずつ追加します-d '\n'。

~のため性格bashデフォルトでは、（変更されない限り）スペース、タブ、および改行で区切られ、ファイル名の生成の影響を受けるonのメソッドのように処理するには、次のようにします$IFS。

xargs -rn 1 -P 5 -0a <(printf '%s\0' $(<file)) wibble

つまり、シェルに分割+globを実行し、printf結果の単語をに渡すようにしますxargs。

関連情報