異なる列に異なる情報を含む行の抽出

Question 1

awk入力ファイルを一度だけ使用して処理します。

awk 'min[$3, $5]!=""{ if(min[$3, $5]>$6){ line[$3, $5]=$0; min[$3, $5]=$6}; next }
                    { min[$3, $5]=$6; line[$3, $5]=$0 }
END{ for(x in line) print line[x] }' infile

到着「同じ最小値でラインを維持」6列^：

awk 'min[$3, $5]!=""{ if(min[$3, $5] >$6){ line[$3, $5]=$0; min[$3, $5]=$6 };
                      if(min[$3, $5]==$6){ line[$3, $5]=line[$3, $5] ORS $0 }; next
                    }
                    { min[$3, $5]=$6; line[$3, $5]=$0 }
END{ for(x in line) print line[x] }' infile

Answer

awk入力ファイルを一度だけ使用して処理します。

awk 'min[$3, $5]!=""{ if(min[$3, $5]>$6){ line[$3, $5]=$0; min[$3, $5]=$6}; next }
                    { min[$3, $5]=$6; line[$3, $5]=$0 }
END{ for(x in line) print line[x] }' infile

到着「同じ最小値でラインを維持」6列^：

awk 'min[$3, $5]!=""{ if(min[$3, $5] >$6){ line[$3, $5]=$0; min[$3, $5]=$6 };
                      if(min[$3, $5]==$6){ line[$3, $5]=line[$3, $5] ORS $0 }; next
                    }
                    { min[$3, $5]=$6; line[$3, $5]=$0 }
END{ for(x in line) print line[x] }' infile

Question 2

そしてawk

FNR==NR && !seen[$3,$5]++ {val[$3,$5]=$6}
FNR==NR && seen[$3,$5] {if ($6<val[$3,$5]) {val[$3,$5]=$6} }
 
NR!=FNR && val[$3,$5]==$6

次に実行

awk -f script.awk input input

それは何をしますか？

作る擬似多次元配列列3と5をインデックスとして使用し、

その要素がない場合は、列6の値を取得します。
そのような要素が存在する場合は、値を6列と比較してより小さい要素を選択します。
次に、ファイルを再度実行し、配列インデックスが列 3 と 5 に一致し、列 6 の値が配列要素に一致する各行を選択します。

ファイルは 2 回実行されますが、RAM 使用率は非常に低いです。ソートは入力ファイルに示されているとおりです。

Answer

そしてawk

FNR==NR && !seen[$3,$5]++ {val[$3,$5]=$6}
FNR==NR && seen[$3,$5] {if ($6<val[$3,$5]) {val[$3,$5]=$6} }
 
NR!=FNR && val[$3,$5]==$6

次に実行

awk -f script.awk input input

それは何をしますか？

作る擬似多次元配列列3と5をインデックスとして使用し、

その要素がない場合は、列6の値を取得します。
そのような要素が存在する場合は、値を6列と比較してより小さい要素を選択します。
次に、ファイルを再度実行し、配列インデックスが列 3 と 5 に一致し、列 6 の値が配列要素に一致する各行を選択します。

ファイルは 2 回実行されますが、RAM 使用率は非常に低いです。ソートは入力ファイルに示されているとおりです。

Question 3

sort -t$'\t' -k3,3 -k5,5 -k6n,6 file | awk -F\\t '!seen[$3,$5]++'

主にsortフィールド 6 の数値ソートに使用されます。次も動作します。

sort -t$'\t' -k6n,6 file | awk -F\\t '!seen[$3,$5]++'

ただし、出力は列3と5にグループ化されていません。awk一意の列の3/5ペアを含む最初の行を印刷するために使用されます。 C文字列をサポートしていないシェルで使用できます"$(printf '\t')"。$'\t'$'...'

awk はファイルを 2 回処理し、入力と同じ順序を維持し、同じ最小値で行を維持します。

awk '
FNR==NR {if (min[$3,$5]=="" || $6<min[$3,$5]) min[$3,$5]=$6; next} $6==min[$3,$5]
' file file

Answer

sort -t$'\t' -k3,3 -k5,5 -k6n,6 file | awk -F\\t '!seen[$3,$5]++'

主にsortフィールド 6 の数値ソートに使用されます。次も動作します。

sort -t$'\t' -k6n,6 file | awk -F\\t '!seen[$3,$5]++'

ただし、出力は列3と5にグループ化されていません。awk一意の列の3/5ペアを含む最初の行を印刷するために使用されます。 C文字列をサポートしていないシェルで使用できます"$(printf '\t')"。$'\t'$'...'

awk はファイルを 2 回処理し、入力と同じ順序を維持し、同じ最小値で行を維持します。

awk '
FNR==NR {if (min[$3,$5]=="" || $6<min[$3,$5]) min[$3,$5]=$6; next} $6==min[$3,$5]
' file file

Question 4

出力は提案された順序とは異なるため、順序が重要でない場合は次のことができます。

sort -s -k3,3 -k5,5 -k6,6n < in | perl -ane 'print unless $seen{$F[2]}{$F[4]}++' > out

元の順序を維持するには、次を実行できます。

nl < in | sort -s -k4,4 -k6,6 -k7,7n | perl -ane 'print unless $seen{$F[3]}{$F[5]}++' | sort -k1,1n | cut -f2- > out

しかし、サンプル出力いいえ元の順序は維持されます（grep 4ch[9b]_A_001入力と出力のサンプルに見られるように）。

Answer

出力は提案された順序とは異なるため、順序が重要でない場合は次のことができます。

sort -s -k3,3 -k5,5 -k6,6n < in | perl -ane 'print unless $seen{$F[2]}{$F[4]}++' > out

元の順序を維持するには、次を実行できます。

nl < in | sort -s -k4,4 -k6,6 -k7,7n | perl -ane 'print unless $seen{$F[3]}{$F[5]}++' | sort -k1,1n | cut -f2- > out

しかし、サンプル出力いいえ元の順序は維持されます（grep 4ch[9b]_A_001入力と出力のサンプルに見られるように）。

異なる列に異なる情報を含む行の抽出

答え1

答え2

答え3

答え4

関連情報