☰

csvファイルをキー列とマージする

tag-icon • tag-icon text-processing csv columns merge
csvファイルをキー列とマージする

csvファイルをマージするには、シェルスクリプトを作成する必要があります。どちらのファイルも同じ列を持ち、「キー」で指定された固定数の列があります。キーが同じ場合は、キーではなく列を追加してマージしたいと思います。

たとえば、

A.csv

k1,k2,k3,v1,v2      => This is the header row
A,B,C,4,5
A,B,D,3,4

B.csv

k1,k2,k3,v1,v2      => This is the header row
A,B,A,2,3
A,B,C,1,4
A,B,E,4,5

Merged.csv:

k1,k2,k3,v1,v2      => This is the header row
A,B,A,2,3
A,B,C,5,9           => A,B,C is present in both the csv, so value cols are added 
A,B,D,3,4
A,B,E,4,5

答え1

ミラーの使用（http://johnkerl.org/miller/doc/index.html）と

mlr --csv stats1 -a sum -g k1,k2,k3 -f v1,v2 input_a.csv input_b.csv

あなたはやる

k1,k2,k3,v1_sum,v2_sum
A,B,C,5,9
A,B,D,3,4
A,B,A,2,3
A,B,E,4,5

答え2

奇妙な：

BEGIN{FS=OFS=","}

# print head row
NR==1;

# skip blank, sum column 4, 5 into a, b
FNR!=1 && NF!=0 {k=($1","$2","$3); a[k]+=$4; b[k]+=$5 }

# print result
END { for(k in a) print k, a[k], b[k] }

関連情報