複数の列の合計

awk解決策は次のとおりです。

awk -F'[|]' 'NR>1             { I[$1]+=$5 }
    ($4=="TIMES")             { T[$1]+=$5 }
    ($4=="ROADS")             { R[$1]+=$5 }
    ($4=="ROADS" && $3=="NYC"){ RN[$1]+=$5 }
END{ print "DATE|REV|TIMES|ROADS|ROADS&NYC"
     for (x in I) printf"%d|%d|%d|%d|%d\n", x, I[x], T[x], R[x], RN[x]
}' infile.txt

複雑愚かな目標を達成するためのソリューション：

awk 'BEGIN{ FS=OFS="|" }NR==1{ next }{ sum[$1]+=$5 }
     $4=="TIMES"{ d[$1]["t"]+=$5 }
     $4=="ROADS"{ d[$1]["r"]+=$5 }$3=="NYC" && $4=="ROADS"{ d[$1]["r&n"]+=$5 }
     END{ print "DATE|REV|TIMES|ROADS|ROADS&NYC"; 
     for(i in d) print i, sum[i], int(d[i]["t"]), int(d[i]["r"]), int(d[i]["r&n"]) }' file

出力：

DATE|REV|TIMES|ROADS|ROADS&NYC
20170807|2012027|1919150|92877|92877
20170808|494626|361625|133001|0

複数の配列は必要ありません。フィールドにインデックスを書き込み、すべてを合計し、必要な合計インデックスのみを返し、NULLフィールドが表示されるようにゼロを追加します。

awk 'BEGIN{FS=OFS="|"; print "DATE|REV|TIMES|ROADS|ROADS&NYC"}
    NR>1{rev[$1]+=$5; sum[$1$4]+=$5; sum[$1$4$3]+=$5}
    END{for (dt in rev) print dt, rev[dt], sum[dt"TIMES"]+0, sum[dt"ROADS"]+0, sum[dt"ROADSNYC"]+0}' file

読みやすさも良く...

使用ミラー( mlr):

mlr --csv --fs pipe \
    reshape -s FILES,REVENUE then \
    put '$tmp=$ROADS; $REV=$ROADS+$TIMES' then \
    reshape -s CITY,tmp then \
    stats1 -a sum -g DATE -f REV,TIMES,ROADS,NYC then \
    unsparsify --fill-with 0 file.csv

質問のデータが与えられると、次のものが生成されます。

DATE|REV_sum|TIMES_sum|ROADS_sum|NYC_sum
20170807|2012027|1919150|92877|92877
20170808|494626|361625|133001|0

最初のジョブ（reshapeジョブ）はフィールドから値を取得し、の値FILESを使用してそのフィールドから新しいフィールドを作成しますREVENUE。これは次のレコードを提供します（一部のレコードには特定のフィールドがないため、3つの別々のコレクションにあります）。

このput操作はREV合計値を合計して各レコードのフィールドを計算します（そのうちの1つは各レコードにありません）。また、後に総収益を計算するために使用される一時値も計算します。その後、次のデータがあります。ROADSTIMESROADSNYCput

2番目の方法は、合計を計算するreshapeより簡単な方法を提供します。ROADSNYC

次に、このstats1コマンドを使用して、次の方法でグループ化された必須フィールドの合計を計算しますDATE。

次に、他のレコードのフィールドが欠落しているすべてのレコードにそのフィールドの値としてゼロを追加するように最終的にスパースします。