☰

キー列に基づくファイル行のマージ

tag-icon • tag-icon shell scripting
キー列に基づくファイル行のマージ

〜区切り記号の値を含むテキストファイルがあります。最初の4列はキー列であるため、5列目の値に基づいて抽出する必要があります。ファイルは次のようになります。

S1~D1~1~1~abc
S1~D1~1~1~bef
S2~D1~1~2~xyz
S2~D1~1~2~mnp

出力は次のようにする必要があります

S1~D1~1~1~abcbef
S2~D1~1~2~xyzmnp

最後の列には改行文字がある場合がありますが、2 行を正しくマージするには削除する必要があります。

答え1

awk '
  BEGIN{OFS = FS = "~"} 
  {x = $5; NF--; a[$0] = a[$0] x; next} 
  END{for(i in a) print i, a[i]}
' file
S1~D1~1~1~abcbef
S2~D1~1~2~xyzmnp

答え2

PandasでPythonを使用できる場合：

#!/usr/bin/python3
# combine_by_keys.py
# Take input file with tilde-delimited keys and combine strings with exact key
# match.
#
# ./combine.py myfile.txt
#
import pandas as pd
import re
import sys

filename = sys.argv[1]

# Read keys and strings into lists.
keys = list()                
strings = list()             
with open(filename) as f:
    for line in f.readlines():
        key, string = line.strip().rsplit('~', 1)
        keys.append(key)
        strings.append(string)

print(re.sub(
        r'\ +',  # Pandas separates index and values with spaces.
        '~',     # Replace spaces with tilde.
        pd.DataFrame({'keys':keys,'strings':strings})
                .groupby('keys')['strings']
                .apply(lambda x:''.join(x))
                .to_string(header=False)))

このようなデータファイルに使用してください。

$ cat myfile.txt 
S1~D1~1~1~abc
S1~D1~1~1~bef
S2~D1~1~2~xyz
S2~D1~1~2~mnp

$ ./combine_by_keys.py myfile.txt 
S1~D1~1~1~abcbef
S2~D1~1~2~xyzmnp

関連情報