行数は異なりますが、列数は同じ2つのtxtファイルの特定の列をマージしたいと思います(下記参照)。
file1:
xyz desc1 12
uvw desc2 55
pqr desc3 12
file2:
xyz desc1 56
uvw desc2 88
Preferred output:
xyz desc1 12 56
uvw desc2 55 88
pqr desc3 12 0
現在awkを使用する貼り付けコマンドは次のとおりです。
paste <(awk '{print $1}' file1) <(awk '{print $2}' file1) <(awk '{print $3}' file1) <(awk '{print $3}' file2)
しかし、これは単に重なり合う列をマージするようです。行自体を省略するのではなく、0を挿入する方法はawkにありますか?
出力ファイルに102個の列が含まれるように100個のファイルをマージする必要があります。
答え1
列の順序が重要な場合、つまり同じファイル内の数字を同じ列に保持する必要がある場合は、別のファイルを読み取るときにパディングを追加する必要があります。 GNU awkを使用してこれを行う1つの方法は次のとおりです。
merge.awk
# Set k to be a shorthand for the key
{ k = $1 SUBSEP $2 }
# First element with this key, add zeros to align it with other rows
!(k in h) {
for(i=1; i<=ARGIND-1; i++)
h[k] = h[k] OFS 0
}
# Remember the data element
{ h[k] = h[k] OFS $3 }
# Before moving to the next file, ensure that all rows are aligned
ENDFILE {
for(k in h) {
if(split(h[k], a) < ARGIND)
h[k] = h[k] OFS 0
}
}
# Print out the collected data
END {
for(k in h) {
split(k, a, SUBSEP)
print a[1], a[2], h[k]
}
}
以下はいくつかのテストファイルです:f1
、f2
とf3
:f4
$ tail -n+1 f[1-4]
==> f1 <==
xyz desc1 21
uvw desc2 22
pqr desc3 23
==> f2 <==
xyz desc1 56
uvw desc2 57
==> f3 <==
xyz desc1 87
uvw desc2 88
==> f4 <==
xyz desc1 11
uvw desc2 12
pqr desc3 13
stw desc1 14
arg desc2 15
テスト1
awk -f merge.awk f[1-4] | column -t
出力:
pqr desc3 23 0 0 13
uvw desc2 22 57 88 12
stw desc1 0 0 0 14
arg desc2 0 0 0 15
xyz desc1 21 56 87 11
テスト2
awk -f merge.awk f2 f3 f4 f1 | column -t
出力:
pqr desc3 0 0 13 23
uvw desc2 57 88 12 22
stw desc1 0 0 14 0
arg desc2 0 0 15 0
xyz desc1 56 87 11 21
編集する:
出力をタブで区切る必要がある場合は、それに応じて出力フィールド区切り記号を設定してください。
awk -f merge.awk OFS='\t' f[1-4]
答え2
この試み:
$ awk '
FNR == NR { a[$1,$2] = $3; next }
{
print $0,(($1,$2) in a) ? a[$1,$2] : "0"
}
' file2 file1
xyz desc1 12 56
uvw desc2 55 88
pqr desc3 12 0
答え3
少し長いですが動作します。
$ cat file1 file2 | awk '{a[$1FS$2]=a[$1FS$2]FS$3; b[$1FS$2]++} END {for (i in b) max=max<b[i]?b[i]:max; for (i in a) {printf "%s %s", i, a[i]; for (j=b[i]; j<max; j++) printf "%s0", FS printf "%s", RS}}'
pqr desc3 12 0
xyz desc1 12 56
uvw desc2 55 88
awkブロックの形式は次のとおりです。
awk '{a[$1FS$2]=a[$1FS$2]FS$3; b[$1FS$2]++}
END {for (i in b) max=max<b[i]?b[i]:max
for (i in a) {printf "%s%s%s", i, FS, a[i]
for (j=b[i]; j<max; j++) printf "%s0", FS
printf "%s", RS}
}'
アイデアは、すべてのファイルを印刷してから配列の重複値をキャプチャすることですa[$1 $2]
。また、(、)ペアの発生回数も含まれますb[$1 $2]
。$1
$2
END{}
ブロック内では、値を繰り返し繰り返し、0
要素数から最大要素数までの欠落sを完成させます。