データノードマシン（各データノードマシンにはサービスノードマネージャも含む）を含むHadoopクラスタがあり、487すべてのマシンは物理マシン（DELL）であり、オペレーティングシステムはRHELバージョン7.9です。 各データノードマシンには12個のディスクがあり、各ディスクサイズは12Tです。 HDPパッケージ（以前はHorton-works、現在はCloudera）にインストールされているHadoopクラスタの種類 ユーザーは、データノードシステムで実行されている遅いSparkアプリケーションについて文句を言います。 調査後、データノードログに次の警告...
NameNodeプロセスはJava Virtual Machine（JVM）で実行され、NameNodeで作成されたJavaオブジェクトはJava Virtual Memory（JVM）によって管理されます。ファイルまたはディレクトリが作成されると、ヒープメモリに inode オブジェクトとブロックオブジェクトが作成されます。 名前空間で管理されるJavaオブジェクトのサイズは150バイトに近い。当初はオブジェクトサイズが小さいので、かなりの量のオブジェクトをファイルシステムに保存することができました。 それでは、namnodeヒープのサイズを変更するとしま...
CentOS 9とHadoop 3.1.1を使用して、パーソナルコンピュータにHadoop擬似クラスタを構築しています。私はhadoopのインストールを終えて少し遊んでいましたが、すべてが大丈夫です。後でjpsを実行したときにnamenodeデーモンは実行されませんでした。そのため、Googleで検索したガイドに従って、namenodeとdatanodeディレクトリを削除して再作成し、「hadoop namenode -format」を実行してから、namenode（およびdatanode）デーモンが実行されました。ただし、ネームノードをフォーマットする前に...
私たちは265のLinux RHELシステムで構成されたHadoopクラスタを持っています。 合計265台のマシンのうち、HDFSファイルシステムを備えた230台のデータノードマシンがあります。 各データノードの合計メモリは128Gであり、これらのシステムで多くのSparkアプリケーションを実行します。 先月に別のSparkアプリケーションを追加したため、プロセスはデータノードシステムでより多くのメモリを占有しました。 我々はそのキャッシュを発見した。メモリは非常に重要な部分であり、マシンでより多くのプロセスが実行されるときの正しい結論は、より多くのRAMメ...
ログファイルの生データ： READER_1_1_1> BIGQUERYV2_10000 [2022-11-04 01:55:20.724] [INFO] Job statistics - \n Job ID [job_PsfUvYJkPeBfecxeIzUUrIIa9TEc] \n Job creation time [2022-11-04 01:54:54.724] , \n Job start time [2022-11-04 01:54:54.936], \n Job end time [2022-11-04 01:55:10.88], \n B...
3つの仮想マシンがあります。 master@master-virtualbox ワーカー1@ワーカー1 - 仮想ボックス ワーカー2@ワーカー2 - 仮想ボックス Worker1からmasterにssh IDをコピーしようとすると、パスワードの入力を求められますが、それが何であるかわかりません。パスワードが何なのかもしれません！とにかく、私はすべてのコンピュータで生成されたパスワードを試しました（すべて同じパスワードでした）、最終的には次のようになりました。 worker1@master-virtualbox: Permission denied (pu...
毎回エラーが表示されるため、ClouderaはPythonをアップグレードできません。私次のコマンドを実行します。 $ sudo yum install python27 error: No package python27 available. $ sudo yum install python36u error: No package python36u available 私も実行しますyum install mrjobが、まだclouderaからPythonをアップグレードすることはできません。 ...
"start-dfs.sh" コマンドを使用して hadoop クラスターを起動しようとすると、次のエラーが発生します。 [マスター]でnamenodeを開始 master: ssh: connect to host master port 22: Connection refused データノードの起動 master: ssh: connect to host master port 22: Connection refused SSHの状態を確認した結果、次のように返されました。 ssh.service - OpenBSD Secure...
私はhadoopそれをインストールしましたssh。hadoopsbin/start-dfs.sh Starting namenodes on [localhost] localhost: ssh: connect to host localhost port 22: Connection refused Starting datanodes localhost: ssh: connect to host localhost port 22: Connection refused Starting secondary namenodes [chbpc-Vir...
hadoopクラスタには2つのネームノードがあります。 以下は、良い状態を返すネームノードの1つの良い例です。 最初のネームノードマシンIP -92.3.44.2 curl -v http://92.3.44.2:50070/jmx?qry=Hadoop:service=NameNode,name=NameNodeStatus * About to connect() to 92.3.44.2 port 50070 (#0) * Trying 92.3.44.2... * Connected to 92.3.44.2 (92.3.44.2) por...
私たちはHDPバージョン2.6.5を使用しており、HDFSブロックの複製は3です。 ブロックレプリケーション=3という事実に基づいて、本番モードでのデータノードディスクの最小要件を理解しようとしました。 本番クラスタについて話し、HDFSレプリカに再度アップグレードするので、= 3 データノードマシンあたりの最小ディスク数はどれくらいですか？ ...
ディスクにxfsファイルシステムを作成する必要がありますkafka ディスクの特別な点はkafkaディスクサイズです。 kafka20TB私たちの場合、ディスクのサイズは次のとおりです。 次のことはよくわかりませんが、mkfs次のcliがxfs大容量ディスク（kafkaマシン）にファイルシステムを作成するのに十分かどうかについてのアドバイスが必要です。 DISK=sdb mkfs.xfs -L kafka /dev/$DISK -f カフカのベストプラクティス ファイルシステムの選択 Kafka はディスク上の汎用ファイ...
HDFSの場所に1年間のデータがあり、過去6ヶ月間のデータを別のHDFSの場所にコピーしたいと思います。 hdfsコマンドから直接6ヶ月のデータをコピーできますか？それとも、過去6ヶ月のデータをコピーするにはシェルスクリプトを作成する必要がありますか？ 私は成功せずにこれを行うためにhdfsコマンドを使ってみました。 以下のシェルスクリプトを試してみましたが、TempFileが作成されるまで正しく機能しますが、エラーが発生します。 $ sh scriptnew.sh scriptnew.sh: line 8: syntax error: unexpec...
私の目標は、VM VirtualBoxでHDPを実行することです。 このイメージは私のポート転送ルールを示しています。 ダッシュボードを実行しようとすると 私のホストはUbuntu 18.04です。 Port mapping output 8000/tcp open http-alt 8042/tcp open fs-agent 8081/tcp open blackice-icecap 8082/tcp open blackice-alerts 8086/tcp open d-s-n 8088/tcp open rad...