☰

特定の列で同じ値を持つ行を削除する

tag-icon • tag-icon text-processing uniq
特定の列で同じ値を持つ行を削除する

入力ファイルがあります（-tを使用して列2でソート）。

TOP,25424242,T0137,0.08,0.06,0.02,24
TOP,25424242,T0138,0.07,0.06,0.01,24
TOP,17236110,T0138,9.65,9.37,0.28,89
TOP,23525255,T0137,0.40,0.30,0.11,24
TOP,23525255,T0138,0.08,0.07,0.01,24
TOP,21627012,T0138,0.41,0.33,0.08,24
TOP,75856354,T0137,0.18,0.17,0.01,36
TOP,75856354,T0138,0.18,0.17,0.01,26
TOP,42401990,T0137,0.06,0.05,0.01,24

列2で同じ値を持つ両方の行を削除したいので、フィールド2に固有の値を持つ行だけが残ります。上記の例では、次のようになります。

TOP,17236110,T0138,9.65,9.37,0.28,89
TOP,21627012,T0138,0.41,0.33,0.08,24
TOP,42401990,T0137,0.06,0.05,0.01,24

答え1

これは働きます:

 $ awk -F, '{a[$2]=$0; b[$2]++;} END{for(i in a){if(b[i]==1){print a[i]}}}' file
TOP,17236110,T0138,9.65,9.37,0.28,89
TOP,21627012,T0138,0.41,0.33,0.08,24
TOP,42401990,T0137,0.06,0.05,0.01,24

答え2

短いuniq現在の入力構造のヒント（最初の2つのフィールドの長さは固定されています）：

uniq -s4 -w8 -u file
  • -s4- 最初の4文字をスキップします（例TOP,：）。
  • -w8- 比較行は8文字以下でなければなりません。
  • -u- 独自のラインのみ印刷

出力：

TOP,17236110,T0138,9.65,9.37,0.28,89
TOP,21627012,T0138,0.41,0.33,0.08,24
TOP,42401990,T0137,0.06,0.05,0.01,24

答え3

これを達成するためにawkを使用することができます。

for k in `awk -F "," '{print $2}' file.txt | uniq -D`; do
  sed -i '/'$k'/d' file.txt;
done

出力

TOP,17236110,T0138,9.65,9.37,0.28,89
TOP,21627012,T0138,0.41,0.33,0.08,24
TOP,42401990,T0137,0.06,0.05,0.01,24

関連情報