awk重複排除[重複]

awk重複排除[重複]

レコードに特定のフィールドの重複値が含まれていることを確認してから、重複レコードを削除して新しいファイルを保存したいと思います。

abc|123|def|456
abc|456|ghi|789
def|123|def|456

重複したフィールド1を持つすべてのレコードが削除された新しいファイルを保存したいと思います。

abc|123|def|456
def|123|def|456

このawkコードは近いですが、実際にはその逆です。新しい重複行を作成し、新しいファイルに保存します。

awk -F'|' 'myv=a[$1] !/^myv++/' file.txt > newFile.txt

関連情報