☰

各列の重複項目数の計算

tag-icon • tag-icon text-processing awk text-formatting
各列の重複項目数の計算

私のファイルには100個の列が含まれています。

以下を行う必要があります。

  • まず、各列の重複項目数を計算します。
  • 次に、行数（最大から最小）で出力列の順序を表示します。

入力ファイル：

a     b     c     d     e
11    11    22    56    11
11    44    56    89    11
12    56    78    91    11 
22    60    78          11
22    60    91
      60    98
      91
      91
      95

結果ファイル：

b       c       a       d       e
11      22      11(2)   56      11(4)
44      56      12      89
56      78(2)   22(2)   91
60(3)   91
91(2)   98
95

答え1

GNU awk foを使用する配列の配列の合計sorted_in：

$ cat tst.awk
BEGIN { FS=OFS="\t" }
NR == 1 {
    numCols = split($0,tags)
    next
}
{
    for ( colNr=1; colNr<=NF; colNr++ ) {
        val = $colNr
        if ( val != "" ) {
            if ( !seen[colNr][val]++ ) {
                ++colRowNrs[colNr]
            }
            rowNr = colRowNrs[colNr]
            numRows = ( rowNr > numRows ? rowNr : numRows )
            rowColVals[rowNr][colNr] = val
            rowColCnts[rowNr][colNr]++
        }
    }
}
END {
    PROCINFO["sorted_in"] = "@val_num_desc"
    for ( colNr in colRowNrs ) {
        tag = tags[colNr]
        printf "%s%s", tag, (colNr<numCols ? OFS : ORS)
    }
    for ( rowNr=1; rowNr<=numRows; rowNr++ ) {
        for ( colNr in colRowNrs ) {
            val = rowColVals[rowNr][colNr]
            cnt = rowColCnts[rowNr][colNr]
            printf "%s%s%s", val, (cnt > 1 ? "("cnt")" : ""), (colNr<numCols ? OFS : ORS)
        }
    }
}


$ awk -f tst.awk file
b       c       a       d       e
11      22      11(2)   56      11(4)
44      56      12      89
56      78(2)   22(2)   91
60(3)   91
91(2)   98
95

上記は、入力内容がタブで区切られていると仮定しています。これが間違っている場合は、質問を編集して明確にしてください。

答え2

Linux ユーティリティを使用する 1 つの方法をここに示します。

if="$PWD/file"
tmp=$(mktemp -d) || exit
cd -- "$tmp"

nf=$(awk -F '\t' '{print NF;exit}' "$if")

printf -v fmt '%%0%dd\n' "$(expr "$nf" : '.*')"

for i in $(seq "$nf"); do
  cut -f"$i" "$if" | 
  grep -E '[^[:space:]]' |
  uniq -c | awk '{$0 = $2 \
   ($1>1 ? "("$1")" : "")}1' \
  > "$(printf "$fmt" "$i")"
done

wc -l * | sed 's/^\s*//;$d' |
sort -k1,1nr -k2 |
 cut -d" " -f2 |
 sed -e '${y/\n/\t/;q;}' -e 'N;H;z;x;D' |
xargs -l  paste | column-t

出力：

b      c      a      d   e
11     22     11(2)  56  11(4)
44     56     12     89  
56     78(2)  22(2)  91  
60(3)  91                
91(2)  98                
95

答え3

Perlデータ構造を使用してこの問題を解決できます。

perl -F'/\t/,$_,-1'  -lane '
  $.==1 && do{
    @hdr = @F; next;
  };
  for (0..$#F) {
    my $e = $F[$_];
    next if $e eq "";
    my $main_key = $hdr[$_];
    $h{$main_key}{$e}++;
  }
  }{
  my @AoA =
  map {
    my $key = $hdr[$_];
    my $href = $h{$key};
    local($a,$b);
    [
      $key,
      map {
        my $k = $href->{$_};
        $k > 1 ? qq[$_($k)] : $_;
      }
      sort {
        $a <=> $b
      }
      keys %$href
    ]
  }
  sort {
    keys %{$h{$hdr[$b]}} <=> 
    keys %{$h{$hdr[$a]}} ||
    $a <=> $b
  }
  0..$#hdr;

  # output
  local $, = "\t";
  for (my $i=0; $AoA[0][$i] ne ""; $i++) {
    print map($AoA[$_][$i],0..$#AoA)
  }
' file

出力：

b      c      a      d   e
11     22     11(2)  56  11(4)
44     56     12     89  
56     78(2)  22(2)  91  
60(3)  91                
91(2)  98                
95

答え4

列が行になるようにテーブルを置き換えると、作業が簡単になります。rsたとえば、BSDを使用してこれを実行できます。

< yourfile unexpand -t6 | # convert to tsv assumming 6-column wide columns
  rs -nTc | # transpose
  gawk -v OFS='\t' '{
    c=0
    for (i=j=2;++j<=NF+1;)
      if ($i == $j"")
        c++
      else{
        if (c++) $i=$i"("c")"
        $++i=$j
        c=0
      }
    print NF=--i,$0
  }' |
  sort -rn |
  cut -f2- |
  rs -nTc

関連情報