☰

最初の行の情報に基づいて複数の行をグループ化する方法は？

tag-icon • tag-icon shell sed awk perl
最初の行の情報に基づいて複数の行をグループ化する方法は？

次のデータファイルがあります。

1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 3 3 3 3 3  . . .
1 0 4 4 3 1 2 0 0 0 3 1 1 2 1 1 1 1 1 1 0 1 1 3  . . .
0 0 0 0 0 0 0 3 3 1 1 2 3 2 1 2 2 3 1 2 3 1 2 2  . . .          
.
.
.

まず、同じ5つの値の間にスペースを挿入したいと思います。最初の行を見て、同じ5つの数字を列に入れてから、これらのグループ文字の間にスペースを入れないようにします。最初のステップ：

1 1 1 1 1  1 1 1 1 1  1  2 2 2 2 2  2 2 2  3 3 3 3 3  . . .
1 0 4 4 3  1 2 0 0 0  3  1 1 2 1 1  1 1 1  1 0 1 1 3  . . .
0 0 0 0 0  0 0 3 3 1  1  2 3 2 1 2  2 3 1  2 3 1 2 2  . . .          
.
.
.

2番目のステップ（出力）：

11111  11111  1  22222  222  33333  . . .
10443  12000  3  11211  111  10113  . . .
00000  00331  1  23212  231  23122  . . .          
.
.
.

また、実際のデータでは、さまざまなグループサイズを試してみたい場合があります。だから柔軟なスクリプトが必要です。提案がありますか？

答え1

これはawkスクリプトです。5数字のみを変更すると、別のグループ化を実行できます。

awk '
NR==1{
 previous = $1
 for(i = 1;i<=NF+1;i++)
  if($i!=previous){
    col[++numcol] = i
    previous = $i
  }
}
{ j = 1; start = 1
  for(i = 1;i<NF;i++){
   printf "%s",$i
   if(i==col[j]-1){printf "  "; start = col[j++]}
   else if((i-start+1)%5==0)printf "  "
  }
  printf "%s\n",$NF
}'

最初の部分は行1のみを処理し、配列内の各同じ数値セットの開始列を収集しますcol。 2番目の部分は、開始列の5列またはシーケンスの終わりを除いて各フィールドを無制限に印刷します。

答え2

その他の変形アッ

awk '
    NR==1{
        for(i=2;i<=NF;i++){
            count++
            if($(i-1)!=$i || count>4){
                D[i]=1
                count=0
            }
        }
     }
     {
        for(i in D)
            $i=" "$i
            print
     }
     ' OFS="" data.file >new.file

そしてsed

sed -re '
    s/ +//g;s/^/\n/
    ' -f <(
        sed -r '
            s/(. )\1*/s_\\n(&)_\n/g
            s/\S /./g
            s/\n\s*/\\1 \\n_\n/g
            s/\\n[^\n]*\n$/ \\n__/
            1q
        ' data.file
        ) -e '
    s/\S{5}/& /g
    ' data.file >new.file

答え3

1つの可能な方法はPerlを使用することです。荷物などから取り出すファイルの最初の行で構成されたテンプレートを使用する関数。

スペースを削除した後、反復逆参照を含む正規表現を使用して、同じ文字の最長の連続文字列を見つけ、そのmaxwidth位置を配列に保存します。フィールドの幅は、配列の隣接する要素を減算して抽出され、関数A5A5A1A5A3A5A3に渡されるフォームの適切なテンプレート文字列にマップされます。unpack

#!/usr/bin/perl -l

use strict;
use warnings;

my $filename = shift or die "Usage: $0 FILENAME MAXWIDTH\n";
my $maxwidth = shift or die "Usage: $0 FILENAME MAXWIDTH\n";
open my $infile, $filename or die "Could not open $filename: $!";

my $n = $maxwidth-1;
my $template;

while( my $line = <$infile> )  { 
    $line =~ s/\s+//g;

    if ($. == 1) {
        my @ends = (0);
        while ($line =~ /(.)\g1{0,$n}/g) {
            push(@ends, pos $line);
        }
        my @fieldwidths = map $ends[$_] - $ends[$_-1], 1 .. $#ends;
        # http://stackoverflow.com/a/29821158/4440445
        $template =  join "", map { 'A' . $_ } @fieldwidths;
        # http://stackoverflow.com/a/2725663/4440445
    }

    my @fields = unpack($template, $line);
    print join " ", @fields;
}

close $infile;

関連情報