☰

Awk：複数のデータ行の計算による複数ファイルの列の結合

tag-icon • tag-icon bash awk
Awk：複数のデータ行の計算による複数ファイルの列の結合

複数のファイルから選択した列を1つのファイルにマージし、隣接するデータ行に対していくつかの計算を実行するにはどうすればよいですか？

たとえば、複数のデバイスの複数のデータファイルであり、各ファイルは毎月複数のセンサーからのデータを報告します。それで、ファイル/デバイス/月があり、ファイル/センサーが欲しいです。

以下は、いくつかのサンプルデータと予想される出力です。

サンプルデータファイルdevice0_202105.csv:

Date;Time;Timestamp;PM2_5;AQI;PM10;CO2
2021/05/01;00:00:49;1619827249;21.0;70;29.0;413
2021/05/01;00:10:49;1619827849;20.0;68;37.0;409
2021/05/01;00:20:49;1619828449;21.0;70;39.0;412
2021/05/03;08:10:39;1620029439;33.0;95;43.0;430
2021/05/03;08:20:39;1620030039;33.0;95;50.0;427
2021/05/03;08:30:39;1620030639;35.0;99;38.0;429
2021/05/03;08:40:39;1620031239;33.0;95;46.0;431
2021/05/03;18:10:39;1620065439;12.0;50;18.0;425
2021/05/03;18:20:39;1620066039;12.0;50;18.0;426

サンプルデータファイルdevice0_202106.csv:

Date;Time;Timestamp;PM2_5;AQI;PM10;CO2
2021/06/01;08:19:16;1622535556;19.0;66;30.0;426
2021/06/01;08:29:16;1622536156;20.0;68;33.0;454
2021/06/01;08:39:16;1622536756;24.0;76;31.0;456
2021/06/01;20:49:16;1622580556;36.0;102;32.0;447

サンプルデータファイルdevice1_202105.csv:

Date;Time;Timestamp;PM2_5;AQI;PM10;CO2
2021/05/03;11:14:59;1620040499;19.0;66;20.0;438
2021/05/03;11:15:09;1620040509;19.0;66;20.0;486
2021/05/03;11:15:19;1620040519;18.0;63;18.0;485

利用可能な全データ期間（ここでは202105および202106）に対して、各センサータイプ（CO2など）のファイルを生成したいと思います。data-co2.csv上記のデータを使用すると、次のようになります。

Date;Time;Device 0;Device 1
2021/05/03;10:30;429.25;469.667
2021/06/01;10:30;475.333

各デバイスのデータは列形式で報告されます。各データポイントは、特定の時間間隔の平均です。。したがって、1行は元のデータの1時間間隔の平均を報告します。

最初は時間間隔ごとに2つだけ考慮しました。働く日のみ：午前8時から13時までの時間間隔（10:30と表示）および午後13時から18時までの時間間隔（15:30と表示）。

デバイスとサイクルファイルを繰り返すスクリプトawkで始まるスクリプトを実行する予定です。bashこれが私のスクリプトの始まりです。ただし、出力ファイルの作成に問題があります（適切な-inplaceオプションを使用する必要がありますか？）。私はより簡単なルートを考えています。つまり、一時ファイルに書き込んで後で出力ファイルに接続することです。

#!/bin/bash
touch data-co2.csv
gawk -v device=0 -v sensor=18 -f read-data.awk device0_202105.csv data-co2.csv

#!/bin/gawk -f
BEGIN {
    FS  = "[;/:]";
    OFS = ";";
    day  = 1 ;
    sam = 0 ; nam = 0 ; spm = 0 ; npm = 0 ;
}
FNR==NR {
    if ( $1 ~ /20[0-9]{2}/ ) {
        if ( $3 != day ) {
            if ( nam != 0 ) a[date";10:30"] = sam / nam ;
            if ( npm != 0 ) a[date";15:30"] = spm / npm ;
            day = $3 ;
            sam = 0 ; nam = 0 ; spm = 0 ; npm = 0 ;
        }
        if ( strftime("%u", $7, 1) < 6) {
            if ( $4 >= 8 && $4 <= 12 ) {
                sam += $sensor ;
                ++nam ;
            }
            else if ( $4 >= 13 && $4 < 18 )  {
                spm += $sensor ;
                ++npm ;
            }
        }
        date = $1"/"$2"/"$3 ;
    }
    next ;
}
{
    if ( device == 0 ) {
       for ( i in a ) {
           print i, a[i] ;
       }
    }
    else {
       i = $1"/"$2"/"$3";10:30" ;
       j = $1"/"$2"/"$3";15:30" ;
       print $0, a[i] ;
       print $0, a[j] ;
    }
}

各デバイスは異なる時間にデータを報告し、デバイスのエラー、ネットワークの問題などによってデータが失われる可能性があることに注意してください。

編集済みコメントに従ってください。

答え1

#setting ":" as FS allows taking hours as separate field
BEGIN { FS="[:;]" ; OFS="\t" 
        #this gawk feature helps properly addressing the arrays in the end
        PROCINFO["sorted_in"] = "@ind_str_asc"
}

#get device ID from filename on every new file
#get device IDs in array
FNR==1 {devID=FILENAME ; sub(/_.*/,"",devID) ; devs[devID]=devID }

#select time ranges, sum up values in time ranges and count occurences
FNR>1 {
    if ($2 >= 8 && $2 <= 12) {
        vals[devID,$1,1030]=vals[devID,$1,1030]+$NF
        n[devID,$1,1030]++
        }
    else if ($2 >= 13 && $2 <= 17) {
        vals[devID,$1,1530]=vals[devID,$1,1530]+$NF
        n[devID,$1,1530]++
        }
#get dates in array
    dates[$1]=$1
}
    
END {
    #needed for value selection
    times[1030]="10:30"
    times[1530]="15:30"
    #print headers
    printf("date\ttime")
    for (dev in devs) {printf("\t"dev)}
    printf("\n")

    
    #print values
    for (date in dates) {
    #get day of week from system date command
        cmd="date -d"date" +%w"
        cmd | getline dow
    #do not use Sat+Sun
        if ( dow != 0 && dow != 6 ) {
            for (time in times) {
                printf(date"\t"times[time])
                for (dev in devs) {
                    if ( !vals[dev,date,time] ) { printf("\tN/A") }
                    else { printf("\t"vals[dev,date,time]/n[dev,date,time]) }
                }
                printf("\n")
            }
        }
    }   
}

おそらく最もエレガントではありませんが、作業は完了です。gawkデバイスの列ヘッダーが値と一致することを確認するには、配列トラバースオプションフォームが必要です。

サンプル入力に基づいて、1_04、2_04、および3_02という名前のサンプル出力フォームファイルを生成し、いくつかの日付（5月1日と2日は週末であり、選択されていない、「該当なし」をテストするためのより多くの日付を追加）、いくつかの数字の縮小（確実性を確保するために）数量と機器が一致します）。

date    time    1   2   3
2021/05/03  10:30   832 N/A 832
2021/05/03  15:30   406 401 406
2021/05/04  10:30   809 809 1009
2021/05/04  15:30   N/A N/A N/A
2021/05/06  10:30   N/A 832 N/A
2021/05/06  15:30   N/A N/A N/A

ご覧のとおり、すべてのデバイスに値が指定されていない場合は、1日全体または時間間隔も表示されます。ただし、その日付はログファイルになければなりません。

関連情報