☰

2列データファイルを行形式に変換

tag-icon • tag-icon awk sed
2列データファイルを行形式に変換

私は、2列ファイルを行形式のデータファイルに変換したい初心者のUnixユーザーです。

サンプルデータファイル：ヘッダー数：6、EMPID、EMPNAME、SALARY、DEPT、AGE、JOD

col1;col2

empid;1001
empname;ABC
salary;3000
dept;ABC
age;24
JOD;20170101
empid;2001
salary;5000
dept;XYZ
age;27
JOD;20170303
empid;1002
empname;MAN
salary;11000
dept;SCI
age;30
JOD;20180607
empid;1005
empname;NAME
salary;10200
dept;XYZ
JOD;20161212

以下は試したコードですが、目的の結果が得られませんでした。

awk '
BEGIN {FS=';'
       OFS=';'
       RS="\n"
Print An = "empid", Bn = "empname", Cn = "salary", Dn = "Dept", En = "age", Fn = "DOJ"
     }
     {
     A=B=C=D=E=F=" "
     for ( i = 1; i<=NF; i++)
          {
           if($i == An)
                A = $(i+1)
           if($i == Bn)
                B = $(i+1)
           if($i == Cn)
                C = $(i+1)
           if($i == Dn)
                D = $(i+1)
           if($i == En)
                E = $(i+1)
           if($i == Fn)
                F = $(i+1)
             }
            print A, B, C, D, E, F
             }' FILE.txt >New_file.txt

ここに必要なものがあれば教えてください。私はUNIX、64ビットIntel Core i5-5300U CPU、2.30 GHzでPUTTYを使用しています。

この問題を解決するのに役立ちますか？私はとても役に立ちます。

ありがとう、ナレッシュ

答え1

各入力レコードのフィールド数が一貫していないため、コード内の列名をハードコードしないようにするには、2段階のアプローチが必要です。

$ cat tst.awk
BEGIN { FS=OFS=";" }
NR==FNR {
    if ( !($1 in colNrs) ) {
        colNrs[$1] = ++numCols
        hdr = (numCols>1 ? hdr OFS : "") $1
    }
    next
}
FNR == 1 { print hdr }
{ colNr = colNrs[$1] }
colNr in vals { prt() }
{ vals[colNr] = $2 }
END { prt() }

function prt(   colNr) {
    for (colNr=1; colNr<=numCols; colNr++) {
        printf "%s%s", vals[colNr], (colNr<numCols ? OFS : ORS)
    }
    delete vals
}

。

$ awk -f tst.awk file file
empid;empname;salary;dept;age;JOD
1001;ABC;3000;ABC;24;20170101
2001;;5000;XYZ;27;20170303
1002;MAN;11000;SCI;30;20180607
1005;NAME;10200;XYZ;;20161212

シェルスクリプトで上記のawkスクリプトを使用するには：

#!/bin/env bash

... other shell stuff ...

awk '
BEGIN { FS=OFS=";" }
NR==FNR {
    if ( !($1 in colNrs) ) {
        colNrs[$1] = ++numCols
        hdr = (numCols>1 ? hdr OFS : "") $1
    }
    next
}
FNR == 1 { print hdr }
{ colNr = colNrs[$1] }
colNr in vals { prt() }
{ vals[colNr] = $2 }
END { prt() }

function prt(   colNr) {
    for (colNr=1; colNr<=numCols; colNr++) {
        printf "%s%s", vals[colNr], (colNr<numCols ? OFS : ORS)
    }
    delete vals
}
' file file

... other shell stuff ...

答え2

まず、コードに構文エラーがあります。

ブロック内の一重引用符はBEGIN二重引用符でなければなりません。

BEGIN {FS=";";
       OFS=";";
       RS="\n";

第二に、以前のように変数を割り当てて印刷することはできません。これは修正する必要があります。

第３に、Ｄｎ＝「Ｄａｔｅ」、履歴のフィールドが「Ｄａｔｅ」であり、「ＤＯＪ」／「ＪＯＤ」に同じ問題がある。

        An = "empid"; Bn = "empname"; Cn = "salary"; Dn = "dept"; En = "age"; Fn = "JOD";
        print An, Bn, Cn, Dn, En, Fn
     }

これらBEGINのブロックを変更すると、次のことができます。

empid;empname;salary;dept;age;JOD
1001; ; ; ; ; 
 ;ABC; ; ; ; 
 ; ;3000; ; ; 
 ; ; ;ABC; ; 
 ; ; ; ;24; 
 ; ; ; ; ;20170101
2001; ; ; ; ; 
 ; ;5000; ; ; 
 ; ; ;XYZ; ; 
 ; ; ; ;27; 
 ; ; ; ; ;20170303
1002; ; ; ; ; 
 ;MAN; ; ; ; 
 ; ;11000; ; ; 
 ; ; ;SCI; ; 
 ; ; ; ;30; 
 ; ; ; ; ;20180607
1005; ; ; ; ; 
 ;NAME; ; ; ; 
 ; ;10200; ; ; 
 ; ; ;XYZ; ; 
 ; ; ; ; ;20161212

これは論理エラーによるものです。

@pLumoが指摘したように、データセットにデータフィールドがないため、コードでこれを許可しませんが、さらに重要なのは、awk各レコードセットの印刷（表示直前）ではなく各レコード（各行）に印刷することですempid。

この特別な猫のスキンを作る方法はいくつかありますが、今日は気分が良くて初心者が配列を学ぶ簡単な方法を教えてくれます。

BEGINブロックに必要なフィールド番号を含む配列をロードし、フィールド名をインデックスとして使用し、タイトルを印刷します。

awk -F";" 'BEGIN{
    fields["empid"]=1;
    fields["empname"]=2;
    fields["salary"]=3;
    fields["dept"]=4;
    fields["age"]=5;
    fields["JOD"]=6;
    print "empid;empname;salary;dept;age;JOD"
    }

最初のフィールドが「empid」で&&最初のレコードでない場合は、NR>1フィールド値を含む配列を繰り返し（NR==1これがスキップされた理由なので空です）、その配列を印刷してそれを消去して再利用します。delete

    $1=="empid" && NR>1 {
         for (f=1; f<6; f++) printf field[f]";"; print field[6]; delete field}

ファイルの各行に対してブロックに構築された配列から回復されたフィールド番号をインデックスとして使用し、フィールド名に基づいて値の配列に$2値をロードします。fieldfieldsBEGIN$1

   {field[fields[$1]]=$2

ファイルの終わりに達すると、配列はまだ印刷されていない値で読み込まれるため、最後に配列を印刷する必要があります。

    }END{for (f=1; f<6; f++) printf field[f]";"; print field[6]}' file1

編集する

このスクリプトを端末にコピーして貼り付けます。

awk -F";" 'BEGIN{
    fields["empid"]=1;
    fields["empname"]=2;
    fields["salary"]=3;
    fields["dept"]=4;
    fields["age"]=5;
    fields["JOD"]=6;
    print "empid;empname;salary;dept;age;JOD"
    }$1=="empid" && NR>1 {
         for (f=1; f<6; f++) printf field[f]";"; print field[6]; delete field}{field[fields[$1]]=$2 
         }END{for (f=1; f<6; f++) printf field[f]";"; print field[6]}' file1

この入力を通して

empid;1001
empname;ABC
salary;3000
dept;ABC
age;24
JOD;20170101
empid;2001
salary;5000
dept;XYZ
age;27
JOD;20170303
empid;1002
empname;MAN
salary;11000
dept;SCI
age;30
JOD;20180607
empid;1005
empname;NAME
salary;10200
dept;XYZ
JOD;20161212

出力は次のとおりです

empid;empname;salary;dept;age;JOD
1001;ABC;3000;ABC;24;20170101
2001;;5000;XYZ;27;20170303
1002;MAN;11000;SCI;30;20180607
1005;NAME;10200;XYZ;;20161212

関連情報