大規模な dar アーカイブの最速かつ最高の圧縮は何ですか

大規模な dar アーカイブの最速かつ最高の圧縮は何ですか

私はdar(tarに似ていますが、ハードドライブに最適化されています)を使用してRAIDボリュームをバックアップします。 RAIDの場合、サイズは3〜10TB程度で中程度です。私の目標は、8TBの外付けドライブに結果を置くことですが、1つのドライブに複数のバックアップを入れることができればと思います。これは私の個人的な好みなので、価格が重要です。

とにかく、xz:0圧縮を使用して3.4TBファイルを作成するためにdarを使用し始めました。この作業には24時間かかり、最終的に740GBしか残っておらず、作業の数パーセントが完了したかどうかわかりません。これは32のハイパースレッドを備えたデュアルXeonシステムにありますが、4GHzはそれほど高速ではありません。

そのため、1日3TBのデータを処理できるコンプレッサーが必要です。圧縮が良くなればいいのですが、今はかかる時間を制御したいと思います。この情報を扱った研究はありますか?大容量アーカイブを圧縮した経験がある人はいますか?

ああ、そしてdarの仕組みのためにストリームを圧縮できるはずです。 Darは、各コンポーネントを圧縮してスライスを切り替えるタイミングを知ることができます(出力は、複数のディスクまたはストレージスティックの複数のスライスに転送できます)。

答え1

ZSTDの最終圧縮レベルはXZに似ていますが、圧縮速度ははるかに速く(最大20倍)、解凍速度は膨大です。

極度にそれにもかかわらず、すべての圧縮ファイルに対してpar2回復レコードを生成することをお勧めします。 1回の誤りでアーカイブ全体が完全に損傷する可能性があります。

関連情報