Linuxの大容量ファイル(バックアップ)のための信頼できるファイルシステム

Linuxの大容量ファイル(バックアップ)のための信頼できるファイルシステム

バックアップに最適なファイルシステムは何ですか?私は主に信頼性(特にハード再起動中のファイルの整合性など)に興味がありますが、大容量(> 5 GB)のファイルを処理する効率も重要です。

また、どのインストールパラメータを使用する必要がありますか?

カーネルは Linux >= 2.6.34 です。

編集する:はいいいえバックアップ方法が欲しいこれを保存するにはファイルシステムが必要です。

答え1

あなたはそれを使用することができます外部4journal_dataただし、初期問題を引き起こす可能性があるdealloc(遅延割り当て)をオフにするモードインストールを使用することをお勧めします。割り当て解除を無効にすると、新しいデータの書き込みが遅くなりますが、停電中に書き込みが失われる可能性が低くなります。また、Deallocを使用せずに無効にできることにも注意する必要がありますjournal_data。これは、少し改善された読み取りやより良い回復など、いくつかの異なる利点があります(または少なくともext3では可能です)。

範囲はまだ断片化の問題に役立ちます。スコープを使用すると、ext3よりも大容量ファイルをはるかにすばやく削除でき、すべてのサイズのデータ​​(単一ファイル)の削除はext4ではほぼ瞬時に行われますが、ext3では時間がかかります。 (すべてのスコープベースのFSにはこの利点があります)

ext4 はfsckext3 より高速です。

最後に、ext4から2.6.31までのバグ修正はありますか?デフォルトでは、LTSカーネルである2.6.32より前のカーネルを実行していないことを確認します。

答え2

XFSは非常に堅牢で、長年カーネルに使用されてきました。 xfs_freezeのようなツールをチェックして、あなたが望むものが正しいことを確認してください。私はこれが非常に主観的であることを知っていますが、何年も問題なくデータ保存にXFSを使用してきました。

答え3

チェックサムをサポートするバックアップツールを使用してください。例えばダルはい。増分バックアップをサポートします。その後、ext3などの堅牢なファイルシステムにバックアップできます。

バックアップには堅牢で非常に安定したものが必要です。そして、btrfsまたはZFSはまだ準備されていません。

答え4

IMHO、他の回答で議論されていない非常に重要な側面の1つディスクレイアウトの安定性特性ファイルシステム(例:候補文書を参照)外部4BTFS)

コードベースとコードベースファイルシステムドライバのテスト量は重要ですが、他の答えですでに指摘されているように読み書き中のデータ保護、これディスクレイアウト/フォーマット情報読み取れないセクタやサイレントなどのハードウェア障害の形で保存されているデータの危険から保護されますか?ビット腐敗

Aboutはext4長い間テストされたコードベースのために良い機能を持っていると言います(https://events.static.linuxfound.org/sites/events/files/slides/AFL%20filesystem%20fuzzing%2C%20Vault%202016_0.pdf現代的で複雑な場合よりもバグを見つけるのに時間がかかることを示していますbtrfs.)静止状態におけるext4の抵抗研究そして、他の人が賞賛したファイルシステムのIMHOの欠点を発見しました。

私はそれが慎重だと思います(あなたが「を選ぶならext4堅牢なバックアップファイルシステムe2image「)開発者が提供したツールを使用して、ext4回復可能性を向上させます(「強化」しても)。

e2imageプログラムは、デバイスの重要なext2、ext3、またはext4ファイルシステムメタデータをimage-fileで指定されたファイルに保存します。これらのプログラムの-iオプションを使用して、dumpe2fsとdebugfsで画像ファイルを調べることができます。これは、専門家が深刻に破損したファイルシステムを修復するのに役立ちます。将来、e2fsckは、重大に破損したファイルシステムを修復するのに役立つように、イメージファイルを使用するように拡張されます。

そしておすすめ

システム内のすべてのファイルシステムのイメージファイルを作成し、パーティションレイアウト(fdisk -lコマンドを使用して作成できます)を定期的に(起動時および/または毎週)保存することは非常に良い考えです。イメージファイルは、重大なファイルシステムの破損が発生した場合にデータにアクセスできるように、データを含むファイルシステム以外のファイルシステムに保存する必要があります。

すべてのメタデータではないことを考慮するとext4 ディスクレイアウトに冗長性を提供するために(つまり、スーパーブロックはしばしば複数回コピーとして保存され、indoは正確に1つの場所にのみ保存されます)、これは少なくとも次の項目のチェックサムを提供するほど良くありませんext4btrfsみんなメタデータ+ファイルコンテンツデータ

この「デメリット」を補うために、ext4よりrock-solid重要になります。ディスクレイアウトにpar2補足ファイルを介したコンテンツの重複と回復が正当化される可能性があります。パッチウェイ

この質問にはファイルシステムソリューションに注意が必要ですが、ファイルシステムが提供する機能のほとんど(キャッシュ、ロギング、割り当てスペースの回収、ブロック割り当てなど)が必ずしもバックアップデータに役立つわけではないことに注意してください。書き込みと読み出しが一括して、少量でしか行われない場合、多くのことが発生する可能性があります。このため、プロセスではより少ないコードベースが使用され、「機能」が少ないとバグも少ないため、parchive補足バックアップをより最適化されたバックアップソリューションとして使用することを検討します。tar

関連情報