私は3000万から4000万のデータ項目の間にある多くのデータを持っています。私たちはこれらのファイルを処理して他のインターフェースチームに送信する必要があります。
以下は私たちが受け取ったファイル形式です。
c1 c2 c3 c4 c5 c6
A B C D 5 s
A B C D 4 s
A B E F 5 s
A B E F 8 S
C D E F 9 S
出力ファイルのすべての列を印刷する必要があります。これはGPRSの使用に関連しているため、グループ化する必要があります。c1-c4その後、すべてが一致した場合は要約する必要があります。c5をクリックしてファイルの内容をすべて印刷します。
以下はサンプル出力ファイルです。
c1 c2 c3 c4 c5 c6
A B C D 9 s
A B E F 13 s
C D E F 9 s
また、このワークフローはUnixスクリプトよりもPerlではるかに速く実行されると聞きました。
答え1
perl
@terdonの答えと似ていますが、より良い形式の出力を提供する別の解決策は次のとおりです。
$ perl -alne '
(print && next) if $. == 1;
$h{"@F[0..3]"}{s} += $F[4];
$h{"@F[0..3]"}{t} = $F[5];
END {
for (keys %h) {
printf "%-4s%-4s%-4s%-4s%-4s%-4s",split(" ",$_),$h{$_}{s},$h{$_}{t};
printf "\n";
}
}' file
c1 c2 c3 c4 c5 c6
A B E F 13 S
A B C D 9 s
C D E F 9 S
答え2
ツールの選択関連:一般に、ツールが専門化されるほどスピードが速くなります。したがって、、などを含むパイプラインは、、tr
などより速い傾向があります。しかし、もちろんそれは仕事によって大きく異なります。 Perlがより速いという内容を読んだ場合、誤って読んだ可能性があります。あるいは、比較は一度に1行を処理するシェルループです(数百万行のファイルの場合は遅くなる可能性があります)。cut
grep
sort
sed
awk
perl
python
ruby
マージする行が連続した形式で入力されている場合、awkは良い選択です(sedでは追加を実行する合理的な方法はありません)。
awk -v OFS='\t' ' # use tabs to separate output fields
NR==1 {print; next} # keep the first line intact
function flush () { # function to print a completed sum
if (key != "") print previous, sum, more;
sum=0
}
{key = $1 OFS $2 OFS $3 OFS $4} # break out the comparison key
key!=previous {flush()} # if the comparison key has changed, print the accumulated sum
{previous=key; sum+=$5; more=$6} # save the current line
END {flush()} # print the last
'
行が連続していない場合は、ソートによって連続的に作成できます。一般的なsort
実装は、高度な言語でデータ構造を操作するよりも高度に最適化され、高速です。
sort | awk …
これは、列区切り文字が常にタブのように一貫していると仮定します。そうでない場合は、入力を前処理してそれを行うか、sort -k1,1 -k2,2 -k3,3 -k4,4
区切り文字に関係なくこれらの特定のフィールドを比較するために使用します。
答え3
これは始めるのに役立ちます。
perl -ane '$h{"@F[0 .. 3]"} += $F[4] }{ print "$_ $h{$_}\n" for keys %h' input-file
実行するアクションを指定していないため、最後の列は印刷されません。また、ヘッダー行は正しく処理されませんが、簡単に修正できます。
答え4
私が正しく理解したら、次のようなことをしたいと思います。
$ perl -lane 'if($.>1){$k{"@F[0..3]"}{sum}+=$F[4]; $k{"@F[0..3]"}{last}=$F[5]}
else{print "@F"}
END{
foreach (keys(%k)){ print "$_ $k{$_}{sum} $k{$_}{last}"}
}' file
c1 c2 c3 c4 c5 c6
C D E F 9 S
A B E F 13 S
A B C D 9 s
これにより、列の並べ替えは維持されません。これが問題かどうかはわかりません。ただし、ヘッダーを正しく処理し、必要な出力を生成します。
説明する
perl -lane
:-l
各文字列の末尾から改行文字を削除し、それを各print
ステートメントに追加します。各入力行を空白のフィールドに分割し、これらのフィールドをa
配列に保存します@F
。n
方法入力ファイルを1行ずつ読み、以下のスクリプトを適用します。-e
。
以下は、コメントアウトされたスクリプト形式の同じ行です。
#!/usr/bin/env perl
## This is the equivalent of perl -ne
## in the one-liner. It iterates through
## the input file.
while (<>) {
## This is what the -a flag does
my @F=split(/\s+/);
## $. is the current line number.
## This simply tests whether we are on the
## first line or not.
if ($.>1) {
## @F[0..3] is an array slice. It holds fields 1 through 4.
## The slice is used as a key for the hash %k and the 5th
## field is summed to $k{slice}{sum} while the last column is
## saved as $k{slice}{last}.
$k{"@F[0..3]"}{sum}+=$F[4]; $k{"@F[0..3]"}{last}=$F[5];
}
## If this is the first line, print the fields.
## I am using print "@F" instead of a simple print
## so that all lines are formatted in the same way.
else {
print "@F\n";
}
}
## This is the same as the END{} block
## in the one liner. It will be run after
## the whole file has been read.
## For each of the keys of the hash %k
foreach (keys(%k)){
## Print the key ($_, a special variable in Perl),
## the value of $k{$key}{sum} (the summed values),
## and the last column.
print "$_ $k{$_}{sum} $k{$_}{last}\n"
}