awk は、あるファイルからヘッダーを読み取り、分割して別のファイルで使用します。

私は列166以降の列ヘッダーを取得し、それを各後続の行に印刷するawkスクリプトを使用しています。

前任者。

col165    col166    col167
a         1         2
b         3         4
c         5         6

これになる--

col165    col166    col167
a         col166|1         col167|2
b         col166|3         col167|4
c         col166|5         col167|6

しかし、私が作業しているファイルはかなり大きく（約160万行）、処理に約1.5時間かかります。

プロセスを高速化するために、大容量ファイルを100,000行に分割し、gnuを使用してparallel各ファイルを個別に処理する方法を考えました。しかし、ファイルのヘッダーを取得してヘッダーをインポートするために使用するスクリプトに問題が発生しました。ヘッダを指定するために別のファイルを使用したいと思います。それ以外の場合は、各分割ファイルにヘッダーを追加する必要があります（それ自体は面倒です）。

私が使用するコードは -

awk 'BEGIN { FS="\t";OFS="\t" };
     NR == 1 { split($0, headers); print; next }
     {for (i=166;i<=NF;i++) $i=headers[i] "|" $i } 1' input > output

column_headersファイルを使用してタイトルを指定したいと思います。可能ですか？

次のコードを試しましたが、うまくいかず、コードが正しいかどうかはわかりません。

awk -v head='$(cat column_headers)' 'BEGIN{ FS="\t";OFS="\t" };
        NR == 1 { split($head, headers); print; next }
        {for (i=166;i<=NF;i++) $i=headers[i] "|" $i } 1' input > output

私が何か間違っているような気がしますが、何なのかよくわかりません。私が受けることができるどんな助けにも感謝します。

編集：ありがとう。実際、長期的な犯人だったチェーンのもう一つの命令を逃した。

@Ole Tangeが述べたようにコマンドを使用しましたが、少し修正しました。

time cat input_1|parallel -k -q -j 24 --tmpdir tmp/ --block 900M --pipe awk -f culprit_script > output

スクリプトはデフォルトで各フィールドを分割し、値に応じて削除/保持します。

最初のコマンドを実行するのに約15〜20分かかり、2番目のスクリプトは1時間かかりました。並列性と24スレッドを活用して7分で完了！最初のコマンドにも並列性を使用すると思います。

皆様のご意見やご提案ありがとうございます！