ディレクトリとサブディレクトリから重複ファイルを削除する方法は？

Linuxにはfdupesパッケージがあります（たとえば、debianリポジトリにあります）。 md5sumsとバイト単位の比較を使用して、一連のディレクトリで重複フ​​ァイルを見つけます。 -dオプションを使用して重複エントリを削除することもできますが、私はそのオプションを使用したことがありません。出力ファイルからgrepまたはsedを使用してディスクから削除することもできます。

あなたは発見するでしょうこれunix / linuxテキストユーティリティパイプラインは非常に便利です。このコマンドは最初にファイルサイズを比較し、サイズが同じ場合にのみハッシュを比較します。

または

あなたはそれを使用することができますレプリカroユーティリティは重複ファイルを識別します。

どちらのソリューションもmd5ハッシュを使用します。

liten2 http://code.google.com/p/liten2/Mac OSXでも動作します！
テストの実行、インタラクティブな削除など、非常に便利な機能がたくさんあるPythonスクリプト
で、非常に高速です。