deduplication

重複排除ファイルシステムを搭載したPop OS
deduplication

重複排除ファイルシステムを搭載したPop OS

私は友達の開発コンピュータをLinux(PopOS)に永久に移行しています。心配しないでください。彼はブーツを履いており、タキシードも用意されています。 問題は彼の推進力である。ほぼプロジェクトでいっぱいのさびた512GB HDDからの移行は256GB SSDで、使用されているスペースの大部分はベンダー共有ライブラリ(npm hell、作曲家など)から取得されます。 パッケージマネージャはライブラリをダウンロードしてプロジェクトにコピーするので、重複排除を処理するファイルシステムに役立つと思いました。 重複ファイルを削除するために、Linuxにファイルシステ...

Admin

同じプレフィックスを共有するバッチの名前変更ファイル
deduplication

同じプレフィックスを共有するバッチの名前変更ファイル

サーバーに重複エントリを削除するプレフィックスを含むファイルのリストがあります。これらはまったく異なるmakefileです。 生成されたファイルのようです。 {Title} - {yyyy-MM-dd}_{random} - {Description}.ts たとえば、 Camera Recording - 2023-08-11_14 - Front Deck.ts Camera Recording - 2023-08-11_14 - Back Deck.ts Camera Recording - 2023-08-16_27 - Front Deck.ts...

Admin

20以上のバックアップディレクトリ、すべてのファイルを1つの「ホームディレクトリ」に重複排除したいと思います。
deduplication

20以上のバックアップディレクトリ、すべてのファイルを1つの「ホームディレクトリ」に重複排除したいと思います。

タイトルからわかるように、私はテキストファイルでいっぱいの約30のファイルサーバーの「完全または部分的なバックアップ」を含むファイル構造を継承しました。これは明らかに言葉ではありません。私はこれに対して重複排除を実行して、すべてのバックアップのすべての一意のファイルを含む「マスターディレクトリ」を作成したいと思います。 (この時点ですべてのバックアップを削除でき、実際には何も失うことはありません。) はい、ファイルの変更が問題であることを知っています。この場合、最新のファイルを維持したいと思います。 私はrdupes、jdupes、robinhoodを見まし...

Admin

各列に固有の値を保持します(カンマで区切られます)。
deduplication

各列に固有の値を保持します(カンマで区切られます)。

.tsvLinuxシステムには、さまざまなタイプ(文字列、数字)のカンマ区切り値を含む次の列を含む(タブ区切り列)ファイルがあります。 col1 col2 . NS,NS,NS,true,true . 12,12,12,13 1,1,1,2 door,door,1,1 独自の価値を維持したいと思います(残念ながら試しましたが失敗しました)。出力は次のとおりです。 col1 col2 . NS,true . 12,13 1,2 door,1 ...

Admin

重複排除機能を備えたスタンドアロンファイルサーバーが必要
deduplication

重複排除機能を備えたスタンドアロンファイルサーバーが必要

状態: Homelabサーバー(Windows OS)をLinuxベースのサーバーとして再インストールしたいです。 仕える人|目的:バックアップシステム(主にオフライン) 現在、HP Proliant Microserver N54 Turion II Neo N54l 2,2Ghz、4GB RAMを使用しています。 https://geizhals.at/a688459.html 設定 JBODストレージ(15,6TiB)のプール内の物理ディスク6個(HDD 5個、SSD 1個) LUN 1個、 Windows共有(SMB / Cifs)を介してフォーマ...

Admin

複数のzipファイルのうち、ディレクトリ構造に元のファイルが含まれていることを確認してください。
deduplication

複数のzipファイルのうち、ディレクトリ構造に元のファイルが含まれていることを確認してください。

ここには非常に難しい問題があります。 さまざまなフォルダに多数の写真を含むフォトライブラリがあります。 それからGoogleフォトを使って写真を撮り始め、そのオリジナルをGoogleフォトに入れて5年以上使っていました。 今Googleフォトを放棄したいと思います。すべての写真をGoogleにエクスポートし、約1.5TB(150 x〜10 GBファイル)相当のすべてのZipファイルをダウンロードしました。 元のディレクトリ構造を維持し、Googleフォトからすべての重複ファイルを削除したいと思います。この操作の後、デフォルトでは、それぞれに一意のファイルを含...

Admin

grepを使用するか、シェルスクリプトを使用する他のオプションを使用してテキストを一覧表示したいと思います。
deduplication

grepを使用するか、シェルスクリプトを使用する他のオプションを使用してテキストを一覧表示したいと思います。

サブフォルダがrules/resourcesあるためというフォルダがありますA。各サブフォルダーに。BCconstraint.yaml これで文字列を含むファイルが欲しいですgrep。私は次のように使用しようとしています:constraint.yamlassetTypegrep grep -rIih assetType rules/resources/ 私は次のような結果を得ます。 assetType: cloudfunctions.googleapis.com/CloudFunction assetType: cloudfunctions.googlea...

Admin

rmlintまたは他のツールを使用して、複数のディレクトリ(2つ以上のパス)から重複したエントリを削除します。
deduplication

rmlintまたは他のツールを使用して、複数のディレクトリ(2つ以上のパス)から重複したエントリを削除します。

複数のディレクトリから重複したファイルやフォルダを削除しようとしていますが、rmlintが複数のディレクトリ入力をサポートしているかどうかを知りたいです。 (どちらか一方を参照に設定すると、両方のディレクトリを使用できることがわかります)。 ...

Admin

重複項目の移動、マージ、名前変更のためのLinuxコマンド
deduplication

重複項目の移動、マージ、名前変更のためのLinuxコマンド

ディレクトリ(サブディレクトリとファイルを含む)を別のディレクトリに移動しようとしています。一部のmvフォルダは、ファイルが同じディレクトリに存在するため、マージされません。これは、ソースディレクトリにあるファイルが最新バージョンであっても移動すると削除されるため、これはお勧めできません。 次のコマンドが必要です。 宛先ディレクトリに存在しないディレクトリを移動します。 ターゲットディレクトリにすでに存在するディレクトリをマージします。 重複したファイルの名前を変更します(たとえば、file.txtすでに存在する場合はソースファイルの名前をに変更しますfi...

Admin

duperemoveの正しいブロックサイズの選択
deduplication

duperemoveの正しいブロックサイズの選択

複数のサブボリュームを持つBTRFSファイルシステムの重複を削除しようとしています。合計約3.5TBのデータを保持しており、重複排除後はそのサイズが半分以上になると予想されます。私の主な関心事は個々のブロックではなく重複ファイルです(しかし、まだ小さなファイルを重複排除したい)。ファイルサイズは非常に多様です。ドライブは現在メンテナンスモードになっています。これは、重複排除中にファイルが変更されないことを意味します。 duperemove16GBの物理メモリ、8GBのスワップ領域を備えたシステムで動作します。データ量が多く、いつでも中断して再開できるため、ハ...

Admin

ツール
deduplication

ツール

定期的にスナップショットを作成するbtrfsボリュームがあります。スナップショットは循環され、最も古いものが1年になりました。そのため、大容量ファイルを削除しても、実際に削除してから1年間スペースが確保できない場合があります。 約1年前にパーティションを大きなドライブにコピーしましたが、以前のパーティションはそのまま残りました。 今新しいドライブが破損しているので、データを取得する唯一の方法はbtrfs-restore。私が知っている限り、新しいドライブのデータはまだ古いより小さいドライブに収まるべきであり、ファイルは実際にはあまり変わりません(最大数の新し...

Admin

AWKを使用したタイムスタンプによる異なる重複項目のフィルタリング
deduplication

AWKを使用したタイムスタンプによる異なる重複項目のフィルタリング

以下のようにタイムスタンプでソートされたファイルのリストを提供します。各ファイルの最後の項目(各ファイルの一番下のファイル)を検索しようとしています。 たとえば、 archive-daily/document-sell-report-2022-07-12-23-21-02.html archive-daily/document-sell-report-2022-07-13-23-15-34.html archive-daily/document-loan-report-2022-07-18-05-12-16.html archive-daily/docume...

Admin