レコードに特定のフィールドの重複値が含まれていることを確認してから、重複レコードを削除して新しいファイルを保存したいと思います。
abc|123|def|456
abc|456|ghi|789
def|123|def|456
重複したフィールド1を持つすべてのレコードが削除された新しいファイルを保存したいと思います。
abc|123|def|456
def|123|def|456
このawkコードは近いですが、実際にはその逆です。新しい重複行を作成し、新しいファイルに保存します。
awk -F'|' 'myv=a[$1] !/^myv++/' file.txt > newFile.txt