テキストファイルを読み、一意のレコードを見つけます。

テキストファイルを読み、一意のレコードを見つけます。

A、B、C、Dの列を含む大きなテキストファイルがあります。 C列とD列の一意の値を読み取り、これらの一意の行をプレーンテキストファイルまたはJSON形式に書き込むにはどうすればよいですか?

答え1

次のスクリプトを試してください。

sort -k 3,5 -u yourFile.txt | awk '{output = $3; for(i=4; i<=NF; i++) output = output " " $(i); print output;}'

-k オプションは C 列と D 列をキーに設定し、-u 一意で awk は C 列と D 列を印刷します。

関連情報