次のファイルがあります。
入力する：
34
34
34
43
54
54
10001
10001
10001
10001
100005
100005
500000
したがって、各数字が一度だけ表示されるようにする必要があります。
出て：
34
43
54
10001
100005
500000
実際のファイルを考慮した提案はかなり大きく、繰り返しが多すぎますか？
答え1
あなたのため:
$ uniq inputFile > outputFile
uniqただし、連続した重複行のみ削除されますのでご注意ください。したがって、連続して行われない行でもすべての重複行を削除するには、まずsortファイルを入力して次のように使用できますuniq。
$ sort -g inputFile | uniq > outputFile
-gオプションは共通値に基づいて比較されます。
または単に使用sort -nu inputFile > outputFile
答え2
連続した行ではなく重複する項目を削除するには、次のようにソートする必要があります。
cat FILE1 | sort -nu > FILE2
sort -n数値のソートと連続した重複行の削除を示します（ソートされたファイル/データに対して-uスタンドアロンコマンドが実行するのと同じ）。uniq