パイプで区切られたファイルの各行が等しいことを確認する方法

Question 1

キー1から32までの並べ替え（-k1,32）垂直ストリップ区切り記号として-t'|'。
-u意味：同じ実行（キーの組み合わせ）の最初の行のみを出力します。詳細については、
オプションを参照してください man sort。sort

sort -t'|' -k1,32 -u infile

もちろん、上記のコードはソートされた出力を生成します。
ただし、入力ファイルのように最初に見つかった行の順序を同じにするには、次のようにします。

nl -s'|' -ba infile | sort -t'|' -k2,5 -u | sort -t'|' -k1 -n | cut -d'|' -f2-

nl連続した行番号をプレフィックスとして使用してください。この行番号は次のcut手順に従いますsort。
2番目の方法の出力は次のとおりです。テデンパールソリューション。

Answer

キー1から32までの並べ替え（-k1,32）垂直ストリップ区切り記号として-t'|'。
-u意味：同じ実行（キーの組み合わせ）の最初の行のみを出力します。詳細については、
オプションを参照してください man sort。sort

sort -t'|' -k1,32 -u infile

もちろん、上記のコードはソートされた出力を生成します。
ただし、入力ファイルのように最初に見つかった行の順序を同じにするには、次のようにします。

nl -s'|' -ba infile | sort -t'|' -k2,5 -u | sort -t'|' -k1 -n | cut -d'|' -f2-

nl連続した行番号をプレフィックスとして使用してください。この行番号は次のcut手順に従いますsort。
2番目の方法の出力は次のとおりです。テデンパールソリューション。

Question 2

ピーターのsort方法はほとんど間違いなく最も効果的であるため、使用することをお勧めします。多様性のために、Perlソリューションは次のとおりです。

perl -F"\|" -lane  'push @G,$_ unless ++$k{join("\|",@F[0..31])}>1;
                    END{print join "\n",@G}' file

Answer

ピーターのsort方法はほとんど間違いなく最も効果的であるため、使用することをお勧めします。多様性のために、Perlソリューションは次のとおりです。

perl -F"\|" -lane  'push @G,$_ unless ++$k{join("\|",@F[0..31])}>1;
                    END{print join "\n",@G}' file

関連情報