☰

ある列に基づいて重複項目を削除しますが、他の列を除いて行全体を削除したいと思います。

tag-icon • tag-icon linux files text
ある列に基づいて重複項目を削除しますが、他の列を除いて行全体を削除したいと思います。

多くの行と2つの列を持つテキストファイルがありますが、ある列の重複項目に基づいて行全体を削除し、別の列の重複項目を削除したいと思います。私のデータには次の例があります

ASV000001       76.697
ASV000002       75.667
ASV000003       81.044
ASV000003       85.976
ASV000004       81.218
ASV000004       81.596
ASV000005       79.612
ASV000006       81.726
ASV000006       81.983
ASV000007       99.385

たとえば、上記のデータから重複した2行目を削除したいとします。

ASV000003       81.044
ASV000003       85.976

Linuxプラットフォームで実行できる可能性を教えてください。よろしくお願いします。

答え1

そして、最も慣用的な技術の1つを使用してくださいawk。

$ awk '!seen[$1]++' file
ASV000001       76.697
ASV000002       75.667
ASV000003       81.044
ASV000004       81.218
ASV000005       79.612
ASV000006       81.726
ASV000007       99.385

関連情報