Hadoopクラスタ+設計ディスク数とデータノードシステムの最小要件

Hadoopクラスタ+設計ディスク数とデータノードシステムの最小要件

私たちはHDPバージョン2.6.5を使用しており、HDFSブロックの複製は3です。

ブロックレプリケーション=3という事実に基づいて、本番モードでのデータノードディスクの最小要件を理解しようとしました。

本番クラスタについて話し、HDFSレプリカに再度アップグレードするので、= 3

データノードマシンあたりの最小ディスク数はどれくらいですか?

答え1

レプリケーション要素は、単に必要なストレージ容量が必要であることを意味します* 3.ディスクの場合、1つのディスクをOS /ソフトウェア用に使用し、残りのディスクをデータ用に使用することが賢明です。保存するデータのサイズ、必要なI / O操作を提供していないため、より詳細な回答を提供することは困難です。ただし、3つのディスク(DASの場合)を使用することを検討できます。 1つはOS /アプリケーション用で、2つ(ミラー)はデータ用です。

関連情報