☰

ビッグデータ+正しいファイルシステムext4またはxfsとは何ですか？

tag-icon • tag-icon linux filesystems rhel ext4 xfs
ビッグデータ+正しいファイルシステムext4またはxfsとは何ですか？

xfsファイルシステムを備えたLinux Redhatバージョン7.2があります。

from /etc/fstab

/dev/mapper/vgCLU_HDP-root /                       xfs     defaults        0 0
UUID=7de1ab5c-b605-4b6f-bdf1-f1e8658fb9 /boot                   xfs     defaults        0 0
/dev/mapper/vg
/dev/mapper/vgCLU_HDP-root /                       xfs     defaults        0 0
UUID=7de1dc5c-b605-4a6f-bdf1-f1e869f6ffb9 /boot                   xfs     defaults        0 0
/dev/mapper/vgCLU_HDP-var /var                    xfs     defaults        0 0 var /var                    xfs     defaults        0 0

このマシンは hadoop クラスターで使用されます。

この目的に最適なファイルシステムが何であるか疑問に思います。

それでは、hadoopクラスタで使用されるシステムには、EXT4とXFSのどちらが良いですか？

答え1

この時間はこのナレッジベース文書;主な考慮事項は利用可能なサポートレベルです。 Ext4は最大50TBをサポートし、XFSは最大500TBをサポートします。本当に大きなデータの場合、基本的にはRHEL 7のGFS2を意味する共有ストレージを見るでしょう。ただし、Hadoopの場合はHDFSまたはGlusterFSを使用します。

RHELのローカルストレージの場合、デフォルトはXFSであり、特別な理由がない限り通常使用する必要があります。

答え2

XFSは、特に大容量ファイルの場合には素晴らしいファイルシステムです。タスクに小さなファイルがたくさん含まれている場合は、定期的な最適化を実行するとパフォーマンスが向上する可能性があります。私はそれを心配せずにXFSを使用してすべてのロードを処理します。うまくサポートされているので、使用しない理由はありません。

一般的なワークロードに最適なシステムを見つけるには、さまざまなファイルシステムを直接テストできるマシンとディスクを別々に用意してください。ディスク全体にわたってテスト負荷を段階的に進めると、テスト中のファイルシステムがどのように機能するかがわかります。

確かに知ることができる唯一の方法は、機械の負荷をテストすることです。

関連情報